### 多模态视觉理解+视觉跟随
#### 1.课程内容
1.学习使用机器人的视觉结合小车跟随功能
2.对新出现的关键源码进行解析
### 2.准备工作
#### 2.1 内容说明
📝 示例使用multimodel : "qwen-vl-max-2025-04-08"
国际版用户使用model："qwen/qwen2.5-vl-72b-instruct:free","qwen-vl-latest"
⚠️ 同样的测试指令，大模型回复的内容不会完全相同，和教程中截图会略有差异，如果需要增强或减弱大模型回复的多样性，参考【AI大模型基础知识】-【5.配置AI大模型】课程中配置决策层大模型参数部分。
⚡️ 建议先体验前面的视觉案例，此案例是在单例的基础上增加了语音功能，功能上大部分一致，不再对程序的调试，效果详细赘述！！！
### 3.运行案例
### 3.1 启动程序
打开终端输入命令：
```
ros2 launch largemodel largemodel_control.launch.py
```

![](/media/202512/5e8a71e99dc64394bc14266145f579e13024.png)
初始化完成后会显示如下内容

![](/media/202512/7c8abbc13aaa4cf8a190e1c112dc1e2b2752.png)

![](/media/202512/79e4e25b0fd64ecc8f4995a438a8e5224687.png)
#### 3.2 测试案例
这里给出参考的测试案例，用户可自行编撰自己的测试指令
开始xx跟随
颜色/人脸/物体/机器码/二维码/手势识别/人体姿态
颜色跟随，颜色包括：red红色、green绿色、blue蓝色、yellow黄色，(需要事先按照AI大模型准备工作教程进行颜色标定)
物体跟随，跟随案例，采用的是近大远小原理，对跟随的物体大小，跟随效果和识别到的面积有关，程序的调试请参考单例。

| 跟随案例           | 建议使用参考物体大小   |
|----------------|--------------|
| 颜色跟随           | 3x3cm的积木块    |
| 人脸跟随           | 手机图片人脸       |
| AprilTag机器码跟随  | 3x3cm的积木块    |
| 二维码跟随          | A5大小纸张打印的二维码 |
| Mediapipe手势跟随  | 真人手势         |
| Meidpipe人体姿态跟随 | 真人姿态         |
### 3.2.1 案例1："开始跟随红色"
首先使用"你好小亚"唤醒机器人，机器人回应："我在，请吩咐"，机器人应答后蜂鸣器短暂（beep—）响后，用户可以进行讲话，机器人会进行动态声音检测，如果有声音活动则打印1,无声音活动会打印-,当说话结束后会进行尾音检测，静音超过450ms则停止录音。

动态声音检测（VAD）如下图所示：

![](/media/202512/be0e3ac75ce14d8e83bbd7a5ab8531b65276.png)
机器人会先与用户进行对方回复用户，然后按照指令动作，同时终端打印信息如下：

![](/media/202512/63c937d3a1e644a5a948916f6db1fb106792.png)
缓慢移动物体，小车会跟随移动，

如果画面中没有需要追踪的目标，程序会计时10s，终端打印5秒倒数，进程自动结束，视为任务已经完成，

![](/media/202512/649fb79a07e842308abe9f838cbe780c1189.png)
需要手动结束任务时，语音"你好小亚"唤醒机器人，机器人回应："我在，请吩咐"，此时会打断该程序，程序进程自动杀死，可以进行下一个指令

![](/media/202512/ec29bb390fa049d28a96c15ac32731466513.png)
此时机器人又再次进入自由对话状态，但所有的对话历史会被一直保留。此时可以再此唤醒小亚，“结束当前任务”，让机器人结束当前的任务周期，清理掉对话历史，开启新的任务周期。

![](/media/202512/11979b2a429e462cb114fc0ce2ea4f208138.png)

![](/media/202512/b2ee4329a53646329f5f9cb5848ac6e13483.png)
### 3.2.2 案例2："请跟随我手中的物体"（深度相机）
⚠️ 案例跟随物体获取到的坐标，完全由AI大模型的推理得来，所以建议使用日期较新的模型，效果会更佳！

与案例1测试相同，首先使用"你好小亚"唤醒机器人，机器人应答后蜂鸣器短暂（beep—）响后，用户可以进行讲话，讲话完成后，机器人回复用户并按照指令进行运动。请手拿任意一个物体放到视野当中，持续到出现追踪框。

![](/media/202512/30f3c88e8f694c58850c8bae49f3ac408892.png)
VNC画面中会打开frame标题的窗口显示当前机器人视角的图像（省略截图）
缓慢移动物体，小车会跟随移动，

如果画面中没有需跟随的目标，程序会计时10s，终端打印5秒倒数，进程自动结束，视为任务已经完成

![](/media/202512/c4cb215292c7403f8aa202ad365cdaea2745.png)
需要手动结束任务时，语音"你好小亚"唤醒机器人，机器人回应："我在，请吩咐"，此时会打断该程序，程序进程自动结束，可以进行下一个指令，

![](/media/202512/bfc1433088d642708aff59efdeebfc0d4375.png)
此时机器人又再次进入自由对话状态，但所有的对话历史会被一直保留。此时可以再此唤醒小亚，“结束当前任务”，让机器人结束当前的任务周期，清理掉对话历史，开启新的任务周期。

![](/media/202512/862a2af6f92742e6ab8396546e4d66c63155.png)

23、多模态视觉理解+视觉跟随