### 1.课程内容
注意：本章节课程需要先按照【多模态视觉理解+SLAM导航】章节课程完成地图映射文件的配置

学习使用RAG知识库训练个人意图理解
利用RAG知识库可以扩展大模型的知识面，本节课程讲解扩展RAG知识库使大模型能理解个人的意图
**特别注意！！！：
扩展个人意图理解功能因用户不同有所差异，且大模型回复具有发散性，实际调试效果不完全相同
扩展个人意图理解功能需遵守社会良俗和法律法规、产生的影响负相关责任**
#### 2、启动程序
打开终端输入命令：

```
ros2 launch largemodel largemodel_control.launch.py
```

![](/media/202512/b4e5394cf6b74b558cedc818331a3e266122.png)
初始化完成后会显示如下内容

![](/media/202512/13ee9b5ffd084e1393765c5aa569040e3774.png)
新建一个终端启动

```
ros2 launch yahboomcar_nav display_nav_launch.py
```
等待导航算法开启即可出图

#导航算法二选一
#普通导航
```
ros2 launch yahboomcar_nav navigation_teb_launch.py  
```
#快速重定位导航 （RDKX5、树莓派5、jetsonnano主控不支持）
```
ros2 launch yahboomcar_nav localization_imu_odom.launch.py use_rviz:=false 
load_state_filename:=/home/jetson/yahboomcar_ros2_ws/yahboomcar_ws/src/yahboomcar_nav/maps/yahboomcar.pbstream 
```
```继续输入这条命令
ros2 launch yahboomcar_nav navigation_cartodwb_launch.py maps:=/home/jetson/yahboomcar_ros2_ws/yahboomcar_ws/src/yahboomcar_nav/maps/yahboomcar.yaml params_file:=/home/jetson/yahboomcar_ros2_ws/yahboomcar_ws/src/yahboomcar_nav/params/cartoteb_nav_params.yaml
```
注：此处yahboomcar.yaml必须和yahboomcar.pbstream是同时完成建图的，即是同一个地图，参考cartograph建图算法保存地图
之后按照启动导航功能的流程进行初始化定位，会打开rviz2的可视化界面，点击上方工具栏中的2D Pose Estimate，进入选择状态，在地图上大致标出具机器人所在的位置和朝向，初始化定位之后，准备工作完成

![](/media/202512/8d542f9d957a4b368a22bddec926cfbc7893.png)
### 4.2 测试案例
这里给出参考的测试案例，用户可自行编撰自己的对话指令
我现在在办公区，我感觉有点口渴了
### 4.2.1 案例
首先使用"你好小亚"唤醒机器人，机器人回应："我在，请吩咐"，机器人应答后蜂鸣器短暂（beep—）响后，用户可以进行讲话，机器人会进行动态声音检测，如果有声音活动则打印1,无声音活动会打印-,当说话结束后会进行尾音检测，静音超过450ms则停止录音。

动态声音检测（VAD）如下图所示：

![](/media/202512/1281a049f1044496ad9bdbb028d08baa1230.png)
机器人会先与用户进行对方回复用户，然后按照指令动作，同时终端打印信息如下：

网络异常情况:决策层AI规划：The model service is abnormal. Check the large model account or configuration options，不影响AI模型决策功能,但是建议在网络流畅条件再尝试!!

正常情况:决策层AI规划会分出1.2.3.4等等步骤

![](/media/202512/72142db19fd54e48bb3378ab38c04e4f4775.png)
[model_service]: "action": ['seewhat()'], "response": 我到了茶水间，正在看看有没有水可以喝

到达导航目的地后，这个步骤调用seewhat方法，VNC画面中会打开窗口显示5s，获取一张图片上传到大模型推理，

![](/media/202512/d5322ae3d9ed412392768609579fddec4512.png)
大模型得到结果，在茶水间看到了有一瓶水，所以反馈给用户，并进行接下来的指令，返回到出发点

![](/media/202512/cd73584e7cf24405860cd7c7fedad2979444.png)
完成所有任务，此时机器人又再次进入自由对话状态，但所有的对话历史会被一直保留。此时可以再此唤醒小亚，“结束当前任务”，让机器人结束当前的任务周期，清理掉对话历史，开启新的任务周期。

![](/media/202512/c8abb037451544f6b95100b09db183588389.png)

28、意图揣测+多模态视觉理解+SLAM导航+视觉功能