ROS2自动驾驶
yolo5自动驾驶
1、重要!更换U盘的操作指引
2、关闭开机自启动大程序
3、Linux基础
4、YoloV5训练集
5、自动驾驶基础调试(代码解析)
6、自动驾驶特调
7、自动驾驶原理
8、PID算法理论
9、阿克曼运动学分析理论
10、建立运动学模型
常用命令
!重要!首次使用
一、原理分析
麦克纳姆轮运动学分析
二、AI大模型
3、AI大模型类型和原理
4、RAG检索增强和模型训练样本
5、具身智能机器人系统架构
6、具身智能玩法核心源码解读
7、配置AI大模型
8、配置API-KEY
三、深度相机
2、颜色标定
10、深度相机的基础使用
11、深度相机伪彩色图像
12、深度相机测距
13、深度相机色块体积测算
14、深度相机颜色跟随
15、深度相机人脸跟随
16、深度相机KCF物体跟随
17、深度相机Mediapipe手势跟随
18、深度相机视觉循迹自动驾驶
19、深度相机边缘检测
四、多模态视觉理解
20、多模态语义理解、指令遵循
21、多模态视觉理解
22、多模态视觉理解+自动追踪
23、多模态视觉理解+视觉跟随
24、多模态视觉理解+视觉巡线
25、多模态视觉理解+深度相机距离问答
26、多模态视觉理解+SLAM导航
27、多模态视觉理解+SLAM导航+视觉巡线
28、意图揣测+多模态视觉理解+SLAM导航+视觉功能
五、雷达
8、雷达基础使用
思岚系列雷达
六、建立地图
9、Gmapping建图
cartographer快速重定位导航
RTAB-Map导航
RTAB-Map建图
slam-toolbox建图
cartographer建图
Navigation2多点导航避障
Navigation2单点导航避障
手机APP建图与导航
七、新机器人自动驾驶与调整
多模态视觉理解+SLAM导航
新机器人自动驾驶
场地摆放及注意事项
启动测试
识别调试
无人驾驶的车道保持
无人驾驶路标检测
无人驾驶红绿灯识别
无人驾驶之定点停车
无人驾驶转向决策
无人驾驶之喇叭鸣笛
无人驾驶减速慢行
无人驾驶限速行驶
无人驾驶自主泊车
无人驾驶综合应用
无人驾驶融合AI大模型应用
八、路网规划
路网规划导航简介
构建位姿地图
路网标注
路网规划结合沙盘地图案例
路径重规划
九、模型训练
1、数据采集
2、数据集标注
3、YOLOv11模型训练
4、模型格式转换
十、YOLOV11开发
多机通讯配置
汝城县职业中等专业学校知识库-信息中心朱老师编辑
-
+
首页
二、AI大模型
4、RAG检索增强和模型训练样本
4、RAG检索增强和模型训练样本
## RAG检索增强和模型训练样本 ### 1. 课程内容 1.对大模型幻觉、RAG检索增强、模型训练样本三个概念进行介绍,为后续实操做好理论铺垫便于后续理解操作。 ### 2. 什么是大模型幻觉?大模型为什么会产生幻觉? RAG检索增强和模型训练样本主要作用是为了减少大模型幻觉,这里先了解一下大模型幻觉。 大模型产生的幻觉指的是模型在理解环境、生成指令或规划行动时,输出与真实世界事实、逻辑不符的内容,导致机器人做出错误的行为、或者用户的期望结果偏差较大。 为什么会产生大模型幻觉?**大模型本质上是基于海量文本训练的概率预测系统**,在某些特定领域或特定场景中、训练数据可能缺乏足够样本,导致模型 “编造” 内容填补空白。 ### 3. RAG检索增强和训练样例 #### 3.1 RAG检索增强 RAG 是一种将**检索系统**(Retrieval)与**生成模型(Generation)相结合的架构,在解决传统生成模型在处理开放域知识问答、实时信息查询**等场景时的局限性(如知识过时、事实性幻觉、长文本依赖等)。其核心逻辑是:**通过检索获取相关的知识并将其融入Prompt,让大模型能够参考相应的知识,实现 “先检索、后生成”** 。  #### 3.2 训练样例 训练样例包含在RAG的知识库中,机器人有动作函数库、训练样例两个知识库,训练样例中包含了课程案例场景中的训练样本,为大模型在特定场景下的决策规划提供了思路。 ## 4. RAG检索增强、训练样本在机器人身上的作用 ### 4.1 减少大模型幻觉 大模型遇到完全没有接触过的领域和特殊的用户要求时,大模型会根据已有的训练数据给出可能的结果,但是这个结果可能会与用户希望的结果不同,或者不符合某个特定场景下的要求。 ### 4.2 增加机器人的场景泛化能力 机器人有预设了和课程案例相关的训练样例(在配置大模型课程中会详细讲解),这些训练样例为大模型提供了在特定场景下的参考信息,用户也可以添加自己的训练样本,定制属于自己专属的机器人以适应不同应用领域。 ### 4.3 减少模型的prompt提示 如果训练样本、知识库数量较少可以直接放在大模型prompt提示中,prompt提示是用户给大模型预设的角色,要求等需要提前告知大模型的信息,如果需要增加自己的训练场景、和机器人动作函数库,随着知识库体量的增加,如果prompt过长,会消耗更多的token额度。因此引入了RAG检索增强来统一管理机器人动作函数库和训练样例。 ### 4.4 便于扩展和管理机器人能力 大模型平台提供了在线管理知识库、训练样例的功能,使得用户能便捷管理和扩展数据,国内用户默认使用学校大模型平台管理动作函数库和训练样本。
admin
2025年11月29日 16:47
40
转发
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
Word文件
PDF文档
PDF文档(打印)
分享
链接
类型
密码
更新密码
有效期
AI