自动驾驶
yolo5自动驾驶
1、重要!更换U盘的操作指引
2、关闭开机自启动大程序
3、Linux基础
4、YoloV5训练集
5、自动驾驶基础调试(代码解析)
6、自动驾驶特调
7、自动驾驶原理
8、PID算法理论
9、阿克曼运动学分析理论
10、建立运动学模型
常用命令
首次使用
一、原理分析
麦克纳姆轮运动学分析
二、AI大模型
3、AI大模型类型和原理
4、RAG检索增强和模型训练样本
5、具身智能机器人系统架构
6、具身智能玩法核心源码解读
7、配置AI大模型
三、深度相机
2、颜色标定
10、深度相机的基础使用
11、深度相机伪彩色图像
12、深度相机测距
13、深度相机色块体积测算
14、深度相机颜色跟随
15、深度相机人脸跟随
16、深度相机KCF物体跟随
17、深度相机Mediapipe手势跟随
18、深度相机视觉循迹自动驾驶
19、深度相机边缘检测
四、多模态视觉理解
20、多模态语义理解、指令遵循
21、多模态视觉理解
22、多模态视觉理解+自动追踪
23、多模态视觉理解+视觉跟随
24、多模态视觉理解+视觉巡线
25、多模态视觉理解+深度相机距离问答
26、多模态视觉理解+SLAM导航
27、多模态视觉理解+SLAM导航+视觉巡线
28、意图揣测+多模态视觉理解+SLAM导航+视觉功能
五、雷达
8、雷达基础使用
思岚系列雷达
六、建立地图
9、Gmapping建图
cartographer快速重定位导航
RTAB-Map导航
RTAB-Map建图
slam-toolbox建图
cartographer建图
Navigation2多点导航避障
Navigation2单点导航避障
手机APP建图与导航
七、新机器人自动驾驶与调整
多模态视觉理解+SLAM导航
新机器人自动驾驶
场地摆放及注意事项
启动测试
识别调试
无人驾驶的车道保持
无人驾驶路标检测
无人驾驶红绿灯识别
无人驾驶之定点停车
无人驾驶转向决策
无人驾驶之喇叭鸣笛
无人驾驶减速慢行
无人驾驶限速行驶
无人驾驶自主泊车
无人驾驶综合应用
无人驾驶融合AI大模型应用
八、路网规划
路网规划导航简介
构建位姿地图
路网标注
路网规划结合沙盘地图案例
九、模型训练
十、YOLOV11开发
多机通讯配置
汝城县职业中等专业学校知识库-信息中心朱老师编辑
-
+
首页
四、多模态视觉理解
26、多模态视觉理解+SLAM导航
26、多模态视觉理解+SLAM导航
### 1.课程内容 1.学习使用机器人的视觉理解与SLAM导航结合的功能 2.学习新出现的关键源码 ### 2.准备工作 #### 2.1 内容说明 📝 示例使用multimodel : "qwen-vl-max-2025-04-08" 国际版用户使用model:"qwen/qwen2.5-vl-72b-instruct:free","qwen-vl-latest" ⚠️ 同样的测试指令,大模型回复的内容不会完全相同,和教程中截图会略有差异,如果需要增强或减弱大模型回复的多样性。 VNC连接机器人桌面,在docker打开终端输入命令, ``` ros2 launch yahboomcar_nav laser_bringup_launch.py ``` 之后会在rviz2的出现地图可视化界面,点击上方工具栏中的2D Pose Estimate,进入选择状态,在地图上大致标出具机器人所在的位置和朝向 机器人的模型会在地图中显示,如下如所示:  在虚拟机中再次新建一个终端,输入命令 ``` ros2 topic list ```  可以看到有/initialpose话题,该话题为为上一步在rviz2中使用2D Pose Estimate工具发布话题,我们可以借助该工具发布坐标查看/initialpose话题的数据获取到地图中某个点位的坐标和朝向角 在终端输入以下命令,即可观察到/initialpose话题上的数据 ``` ros2 topic echo /initialpose ``` 我们可以给地图中任意一个点位命名,这里以"主卧室"和"厨房"命名举例  如下图所示,我们先点击2D Pose Estimate工具,然后在"主卧室"区域任选一个地方鼠标左键点击不松手,可以调整朝向,确定后松手  机器人位置会调整到刚才选定的位置和朝向,在rviz中可以看到刚刚选定的位置出现一个相同朝向的机器人  在终端窗口的最后一帧信息中可以看到刚才我们通过2D Pose Estimate工具标出的目标点的的坐标  打开map_mapping.yaml地图映射文件,文件位于: ``` /home/jetson/yahboomcar_ros2_ws/yahboomcar_ws/src/largemodel/config/map_mapping.yaml ``` 将其中的A中的"name"替换成"主卧室"、"position"、"orientation"数据替换成终端中/initialpose话题刚才我们看到的数据 ``` #根据实际的场景环境,自定义地图中的区域,可以添加任意个区域,注意和大模型的地图映射保持一致即可 #According to the actual scene environment, customize the areas in the map. You can add any number of areas, just make sure they are consistent with the map mapping of the large model #地图映射Map mapping A: name: '主卧室' position: x: 1.6878514289855957 y: -0.32615160942077637 z: 0.0 orientation: x: 0.0 y: 0.0 z: 0.4503881236302555 w: 0.8928328724306793 #此处可新增添加区域对应的栅格地图坐标点,注意和上面格式保持一致 #Here, you can add the raster map coordinate points corresponding to the added area. Please note that the format should be consistent with the above ``` 按照同样的方式,我们可以增加"厨房"的地图映射 ``` #根据实际的场景环境,自定义地图中的区域,可以添加任意个区域,注意和大模型的地图映射保持一致即可 #According to the actual scene environment, customize the areas in the map. You can add any number of areas, just make sure they are consistent with the map mapping of the large model #地图映射Map mapping A: name: '主卧室' position: x: 1.6878514289855957 y: -0.32615160942077637 z: 0.0 orientation: x: 0.0 y: 0.0 z: 0.4503881236302555 w: 0.8928328724306793 G: name: '厨房' position: x: 2.367471694946289 y: -1.568994164466858 z: 0.0 orientation: x: 0.0 y: 0.0 z: -0.3106425066197889 w: 0.950526818706855 • #此处可新增添加区域对应的栅格地图坐标点,注意和上面格式保持一致 #Here, you can add the raster map coordinate points corresponding to the added area. Please note that the format should be consistent with the above ``` 然后在终端切换到/yahboomcar_ros2_ws/yahboomcar_ws#/工作空间下:重新编译largemodel功能包生效配置 ``` cd ~/yahboomcar_ros2_ws/yahboomcar_ws/ ``` 重新编译功能包: ``` colcon build --packages-select largemodel ```  #### 3.运行案例 #### 3.1 启动程序 终端输入: ``` ros2 launch largemodel largemodel_control.launch.py ```  虚拟端新建一个终端启动 ``` ros2 launch yahboomcar_nav display_nav_launch.py ``` 等待导航算法开启即可出图 ``` #导航算法二选一 #普通导航 ros2 launch yahboomcar_nav navigation_teb_launch.py #快速重定位导航 (RDKX5、树莓派5、jetsonnano主控不支持) ros2 launch yahboomcar_nav localization_imu_odom.launch.py use_rviz:=false load_state_filename:=/home/jetson/yahboomcar_ros2_ws/yahboomcar_ws/src/yahboomcar_nav/maps/yahboomcar.pbstream ros2 launch yahboomcar_nav navigation_cartodwb_launch.py maps:=/home/jetson/yahboomcar_ros2_ws/yahboomcar_ws/src/yahboomcar_nav/maps/yahboomcar.yaml params_file:=/home/jetson/yahboomcar_ros2_ws/yahboomcar_ws/src/yahboomcar_nav/params/cartoteb_nav_params.yaml ``` 注:此处yahboomcar.yaml必须和yahboomcar.pbstream是同时完成建图的,即是同一个地图,参考cartograph建图算法保存地图 之后按照启动导航功能的流程进行初始化定位,会打开rviz2的可视化界面,点击上方工具栏中的2D Pose Estimate,进入选择状态,在地图上大致标出具机器人所在的位置和朝向,初始化定位之后,准备工作完成  3.2 测试案例 这里给出参考的测试案例,用户可自行编撰自己的对话指令 请你先记住现在的位置,然后依次导航去厨房和办公区,记住你所看到的物品
admin
2025年12月6日 22:22
4
转发
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
Word文件
PDF文档
PDF文档(打印)
分享
链接
类型
密码
更新密码
有效期
AI