自动驾驶
yolo5自动驾驶
1、重要!更换U盘的操作指引
2、关闭开机自启动大程序
3、Linux基础
4、YoloV5训练集
5、自动驾驶基础调试(代码解析)
6、自动驾驶特调
7、自动驾驶原理
8、PID算法理论
9、阿克曼运动学分析理论
10、建立运动学模型
常用命令
首次使用
一、原理分析
麦克纳姆轮运动学分析
二、AI大模型
3、AI大模型类型和原理
4、RAG检索增强和模型训练样本
5、具身智能机器人系统架构
6、具身智能玩法核心源码解读
7、配置AI大模型
三、深度相机
2、颜色标定
10、深度相机的基础使用
11、深度相机伪彩色图像
12、深度相机测距
13、深度相机色块体积测算
14、深度相机颜色跟随
15、深度相机人脸跟随
16、深度相机KCF物体跟随
17、深度相机Mediapipe手势跟随
18、深度相机视觉循迹自动驾驶
19、深度相机边缘检测
四、多模态视觉理解
20、多模态语义理解、指令遵循
21、多模态视觉理解
22、多模态视觉理解+自动追踪
23、多模态视觉理解+视觉跟随
24、多模态视觉理解+视觉巡线
25、多模态视觉理解+深度相机距离问答
26、多模态视觉理解+SLAM导航
27、多模态视觉理解+SLAM导航+视觉巡线
28、意图揣测+多模态视觉理解+SLAM导航+视觉功能
五、雷达
8、雷达基础使用
思岚系列雷达
六、建立地图
9、Gmapping建图
cartographer快速重定位导航
RTAB-Map导航
RTAB-Map建图
slam-toolbox建图
cartographer建图
Navigation2多点导航避障
Navigation2单点导航避障
手机APP建图与导航
七、新机器人自动驾驶与调整
多模态视觉理解+SLAM导航
新机器人自动驾驶
场地摆放及注意事项
启动测试
识别调试
无人驾驶的车道保持
无人驾驶路标检测
无人驾驶红绿灯识别
无人驾驶之定点停车
无人驾驶转向决策
无人驾驶之喇叭鸣笛
无人驾驶减速慢行
无人驾驶限速行驶
无人驾驶自主泊车
无人驾驶综合应用
无人驾驶融合AI大模型应用
八、路网规划
路网规划导航简介
构建位姿地图
路网标注
路网规划结合沙盘地图案例
九、模型训练
十、YOLOV11开发
多机通讯配置
汝城县职业中等专业学校知识库-信息中心朱老师编辑
-
+
首页
四、多模态视觉理解
22、多模态视觉理解+自动追踪
22、多模态视觉理解+自动追踪
### 1.课程内容 1.学习使用机器人的视觉理解功能 2.学习新出现的关键源码 ### 2.准备工作 #### 2.1 内容说明 示例使用multimodel : "qwen-vl-max-2025-04-08" 国际版使用model:"qwen/qwen2.5-vl-72b-instruct:free","qwen-vl-latest" ⚠️ 同样的测试指令,大模型回复的内容不会完全相同,和教程中截图会略有差异 ⚡️ 建议先体验前面的视觉案例,此案例是在单例的基础上增加了语音功能,功能上大部分一致,不再对程序的实现过程,代码调试,效果详细赘述!!! ### 3. 运行案例 #### 3.1 启动程序 打开终端输入命令: ``` ros2 launch largemodel largemodel_control.launch.py ```  初始化完成后会显示如下内容  #### 3.2 测试案例 这里给出参考的测试案例,用户可自行编撰自己的对话指令 开始xx追踪 颜色/人脸/物体/机器码/二维码/手势识别/人体姿态 颜色追踪,颜色包括:red红色、green绿色、blue蓝色、yellow黄色,(需要事先按照AI大模型准备工作教程进行颜色标定) 物体追踪, ### 3.2.1 案例1:"开始追踪红色" 首先使用"你好小亚"唤醒机器人,机器人回应:"我在,请吩咐",机器人应答后蜂鸣器短暂(beep—)响后,用户可以进行讲话,机器人会进行动态声音检测,如果有声音活动则打印1,无声音活动会打印-,当说话结束后会进行尾音检测,静音超过450ms则停止录音。 动态声音检测(VAD)如下图所示:  机器人会先与用户进行对方回复用户,然后按照指令动作,同时终端打印信息如下:  VNC画面中会打开**frame**标题的窗口显示当前机器人视角的图像,  如果画面中没有需要追踪的目标,程序会计时10s,终端打印5秒倒数,进程自动结束,视为任务已经完成,  需要手动结束任务时,语音"你好小亚"唤醒机器人,机器人回应:"我在,请吩咐",此时会打断该程序,程序进程自动杀死,可以进行下一个指令,  🔧结束追踪时,如果出现以下警告,是正常现象,是子进程杀死的提示,不影响程序正常运行 ``` [action_service_usb-13] Failed to publish log message to rosout: publisher's context is invalid, at ./src/rcl/publisher.c:389 [action_service_usb-13] Exception in thread Thread-284 (execute): [action_service_usb-13] rclpy._rclpy_pybind11.RCLError: Failed to publish: publisher's context is invalid, at ./src/rcl/publisher.c:389 ``` 此时机器人又再次进入自由对话状态,但所有的对话历史会被一直保留。此时可以再此唤醒小亚,“结束当前任务”,让机器人结束当前的任务周期,清理掉对话历史,开启新的任务周期。  ### 3.2.2 案例2"请追踪我手中的物体" ⚠️ 案例追踪物体获取到的坐标,完全由AI大模型的推理得来,所以建议使用日期较新的模型,效果会更佳! 与案例1测试相同,首先使用"你好小亚"唤醒机器人,机器人应答后蜂鸣器短暂(beep—)响后,用户可以进行讲话,讲话完成后,机器人回复用户并按照指令进行运动。请手拿任意一个物体放到视野当中,持续到出现追踪框。  VNC画面中会打开frame标题的窗口显示当前机器人视角的图像,  缓慢移动物体,舵机云台会跟着动,如果画面中没有需要追踪的目标,程序会计时10s,终端打印5秒倒数,进程自动结束,视为任务已经完成  需要手动结束任务时,语音"你好小亚"唤醒机器人,机器人回应:"我在,请吩咐",此时会打断该程序,程序进程自动杀死,可以进行下一个指令,  此时机器人又再次进入自由对话状态,但所有的对话历史会被一直保留。此时可以再此唤醒小亚,“结束当前任务”,让机器人结束当前的任务周期,清理掉对话历史,开启新的任务周期。 
admin
2025年12月1日 18:35
9
转发
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
Word文件
PDF文档
PDF文档(打印)
分享
链接
类型
密码
更新密码
有效期
AI