## 多模态视觉理解+深度相机距离问答
### 1.课程内容
1.学习使用机器人的视觉反馈对应物体的距离功能
2.对新出现的关键源码进行解析

### 2.准备工作
#### 2.1 内容说明
📝 示例使用multimodel : "qwen-vl-max-2025-04-08"
国际版用户使用model："qwen/qwen2.5-vl-72b-instruct:free","qwen-vl-latest"
⚠️ 同样的测试指令，大模型回复的内容不会完全相同，和教程中截图会略有差异，如果需要增强或减弱大模型回复的多样性，参考【AI大模型基础知识】-【5.配置AI大模型】课程中配置决策层大模型参数部分。
⚡️ 建议先体验前面的视觉案例，此案例是在单例的基础上增加了语音功能，功能上大部分一致，不再对程序的调试，效果详细赘述。
### 3.运行案例
#### 3.1 启动程序
打开终端输入命令：
```
ros2 launch largemodel largemodel_control.launch.py
```

![](/media/202512/6557553e5576448fab89bdaf5089c8d14926.png)
初始化完成后会显示如下内容，就可以使用语音控制了，

![](/media/202512/f8bfe72c97434a60950c3a0b5eba1eba4139.png)
3.2 测试案例
这里给出两条参考的测试案例，用户可自行编撰自己的对话指令
请告诉我你面前xx物体和你之间的距离
例：请告诉我你面前风扇和你之间的距离

#### 3.2.1 案例1："请告诉我你面前风扇和你之间的距离"
首先使用"你好小亚"唤醒机器人，机器人回应："我在，请吩咐"，机器人应答后蜂鸣器短暂（beep—）响后，用户可以进行讲话，机器人会进行动态声音检测，如果有声音活动则打印1,无声音活动会打印-,当说话结束后会进行尾音检测，静音超过450ms则停止录音。

动态声音检测（VAD）如下图所示：

![](/media/202512/41300c4552684030b69fc66e417e2eaf2662.png)
机器人会先与用户进行对方回复用户，然后按照指令动作，同时终端打印信息如下：

![](/media/202512/10d4489e25e34c969e7d0ab54db40a194488.png)
VNC画面中会打开frame标题的窗口4秒之后自动关闭

![](/media/202512/a9b9871ad5c44773bc1a8ab28ed957f14805.png)
可以看到上面终端回复距离为0.356米。(注意：如果反馈的是0.0米可能是要识别的物体太小了，视觉大模型反馈的中心坐标不准导致，可以更换视觉模型、识别的物体解决)

25、多模态视觉理解+深度相机距离问答