### 多模态视觉理解+视觉巡线
#### 1.课程内容
学习使用机器人的视觉理解结合巡线自动驾驶的功能
对新出现的关键源码进行解析
### 2.准备工作
#### 2.1 内容说明
📝 示例使用multimodel : "qwen-vl-max-2025-04-08"
国际版用户使用model："qwen/qwen2.5-vl-72b-instruct:free","qwen-vl-latest"
⚠️ 同样的测试指令，大模型回复的内容不会完全相同，和教程中截图会略有差异，如果需要增强或减弱大模型回复的多样性。
⚡️ 建议先体验前面的视觉案例，此案例是在单例的基础上增加了语音功能，功能上大部分一致，不再对程序的实现过程，代码调试，效果详细赘述！！！
### 3.运行案例
#### 3.1 启动程序
打开终端输入命令：
```
ros2 launch largemodel largemodel_control.launch.py
```

![](/media/202512/ca2737a128dd44c182d538a349d72a6f4104.png)
初始化完成后会显示如下内容

![](/media/202512/a35deca9bcec4ff381a4d94cc66787a13603.png)
#### 3.2 测试案例
这里给出参考的测试案例，用户可自行编撰自己的对话指令
开始巡颜色线
颜色包括：red红色、green绿色、blue蓝色、yellow黄色，(需要事先按照AI大模型准备工作教程进行颜色标定)
#### 3.2.1 案例:"开始巡绿线"
首先使用"你好小亚"唤醒机器人，机器人回应："我在，请吩咐"，机器人应答后蜂鸣器短暂（beep—）响后，用户可以进行讲话，机器人会进行动态声音检测，如果有声音活动则打印1,无声音活动会打印-,当说话结束后会进行尾音检测，静音超过450ms则停止录音。
动态声音检测（VAD）如下图所示：

![](/media/202512/00d0597e815a44f4ac76718f613d23a98828.png)
机器人会先与用户进行对方回复用户，然后按照指令动作，同时终端打印信息如下：

云台舵机USB相机版本用户，程序启动，舵机云台会默认控制朝下，
深度相机版本用户，需要自行将相机角度调节合适，

![](/media/202512/31b9d1647e03464ab6cce955eaac1d473235.png)
VNC画面中会打开frame标题的窗口显示当前机器人视角的图像，

![](/media/202512/dad111f119494faf9460375921703e014461.png)
然后，开始计算速度，小车巡线自动驾驶。巡线过程中遇到障碍物会停止运动，并且蜂鸣器开始鸣叫。

如果画面中没有需要追踪的目标，程序会计时10s，终端打印5秒倒数，进程自动结束，视为任务已经完成，

![](/media/202512/98b1ed45efe74a0a9c00256b690ae01e8250.png)
需要手动结束任务时，语音"你好小亚"唤醒机器人，机器人回应："我在，请吩咐"，此时会打断该程序，程序进程自动杀死，可以进行下一个指令，

![](/media/202512/14ea3b2ce04147a68518e7e3c2c0555b8999.png)
此时机器人又再次进入自由对话状态，但所有的对话历史会被一直保留。此时可以再此唤醒小亚，“结束当前任务”，让机器人结束当前的任务周期，清理掉对话历史，开启新的任务周期。

![](/media/202512/e2b952a846cb48c19fdc62ee448f40b09181.png)

24、多模态视觉理解+视觉巡线