基于stm32与yolov5相结合的智能陪护机器人

案例介绍：
项目背景随着老龄化问题的日益凸显，老年人和残疾人的陪护将成为社会的重大负担。为了降低整个社会对陪护人员数量和质量的要求，服务型机器人越来越受欢迎，它不仅能对普通人生活品质的提升起到积极作用，还在老年人及残疾人的看护方面扮演重要角色，在一定程度上缓解社会养老压力。目前市场上的产品智能化程度低，功能少，无法满足消费者的使用需求。因此，高智能化、功能全面、使用费用低的智能陪护机器人是当今社会发展所需要的。 项目功能⒈手势交互：mediapipe算法框架可以识别人体手部的21个关键点，通过向量坐标所构成的角度来判断手指的弯曲情况，达到手势的一个识别。在本项目中，先通过人脸识别后确定使用对象，从而再识别手势进入相应的模式——当使用者比划“1”的时候则进入模式一：陪护模式，当使用者比划“2”的时候则进入模式二：导盲模式。⒉姿态交互：mediapipe算法框架可以识别人体姿态的33个关键点，通过算法计算得到当前对象姿态的特征。本项目中，当人体处于爬窗或者摔倒的姿势时，会将此时的危险姿态拍摄并传给他的家人进行报警。⒊语音交互：本项目中采用麦克风阵列，拾音距离有10m，支持多个唤醒词，在本项目中，呼叫机器人，可进行语音交互，可通过语音控制机器人前进、后退、左转、右转。⒋表情交互：mediapipe算法框架可以识别人的表情，从而当心脑血管疾病的人突发疾病，此时病人无法说话也无法进行手势交互，机器人会识别病人痛苦的表情从而给家人报警后面添加一个表情识别、会发送给通义千问模型，让通义千问根据用于心情进行对话交流等

（1）机械视觉技术——结合opencv视觉算法库、mediapipe框架与YOLOv7算法来应对“单个对象”以及“多个对象”的识别。
（2）算力处理——采用板载计算机与传感器进行连接，保证数据处理算力的同时压缩产品体积。 （3）人机交互界面——采高清可触碰屏幕，方便进行视频通话、娱乐教育等功能。 （4）程序设计——利用体感人机交互，传感器识别与语音识别转换，提供导盲功能与聋哑人手语识别交流显示功能。 （5）人工智能方面——引入相应的最新人工智能api接口给残疾人出门前能有更好的问卷服务提供残疾人选择。 （6）上位机信息处理技术方面——在板载计算机上搭载操作系统并配置搭建上位机，搭建opencv、mediapipe、yolo识别编译环境，完成与传感器的通讯。 （7）下位机嵌入式驱动技术——底层驱动STM32F407IGT6芯片端口配置初始化与代码编写，通讯协议数据帧的编写。 （8） 通讯协议信息处理技术——上位机与 MCU 通信的过程就是主控制器向板载计算机发送状态信息，为了对机器人运行状态进行实时控制以便完成各种规定操作。