## Mediapipe手势跟随
#### 1、程序功能说明
程序启动后，自动检测画面中的人手手势，小车会锁定检测到的手势位置（食指根部关节），并保持0.4米距离进行跟随运动。使其保持在画面中心位置。当检测到"0"(拳头)手势时停止追踪，其他手势继续追踪。在终端使用 快捷键Ctrlc 则是退出程序。

#### 2、程序代码参考路径

```
~/yahboomcar_ros2_ws/yahboomcar_ws/src/yahboomcar_depth/yahboomcar_depth/MediaPipe/gestureFollow.py
~/yahboomcar_ros2_ws/yahboomcar_ws/src/yahboomcar_depth/yahboomcar_depth/media_common.py
gestureFollow.py
```
* gestureFollow.py

主要是完成手势检测与跟随，根据检测到的手势关键点坐标、手掌距离小车的深度距离，计算出小车要转动的角度以及要前进速度，发布控制转弯角度、电机速度数据到小车。
* media_common.py
* handDetector类：
* 实时手部关键点检测和跟踪
* 手势识别（支持0-8等多种手势）
* 提供手指状态检测和角度计算功能
###   3、程序启动
#### 3.1、启动命令
终端输入，

```
ros2 launch ascamera hp60c.launch.py
ros2 launch yahboomcar_bringup yahboomcar_bringup_M1_launch.py
ros2 run yahboomcar_depth depth_gestureFollow
```
当检测到手势时，会自动标记手势位置并显示中心坐标，小车开始追踪跟随。（注意：这个跟随效果和能不能识别到手掌深度距离信息有很大关系，如果效果不好可以增加跟随的距离、摄像头网上抬）

程序启动后，会出现以下画面，

![](/media/202511/41c6aca1522e40e3b1248f3b19dea3836041.png)

![](/media/202511/6ef402c1cd8d401d9b527a142796f2d39592.png)
3.2、动态参数调节
终端输入，

` ros2 run rqt_reconfigure rqt_reconfigure`

![](/media/202511/3e4d1ca635f04828ad2df04bdf016b5c7462.png)

☑️ 修改完参数，点击GUI空白处写入参数值。注意只会生效当次启动，永久生效需要将参数修改到源码当中。

参数解析：

【linear_Kp】、【linear_Ki】、【linear_Kd】：小车跟随过程中的线速度PID调控。

【angular_Kp】、【angular_Ki】、【angular_Kd】：小车跟随过程中的角速度PID调控。

【minDistance】：跟随距离，一直保持这个距离。

【scale】：PID比例缩放。
### 4、核心代码
#### 4.1、gestureFollow.py
这个程序主要有以下几个功能：

初始化手势检测器

订阅深度话题，获取图像

检测图像中的手势关键点

计算手势中心坐标并发布

使用PID算法计算舵机角度、前进速度并发布控制指令

部分核心代码如下，

```
#初始化手掌检测对象
self.hand_detector = handDetector(detectorCon=0.8)

#距离计算 #Distance calculation
points = [
        (int(self.cy), int(self.cx)),         # 中心点
        (int(self.cy +1), int(self.cx +1)),  # 右下偏移点
        (int(self.cy - 1), int(self.cx - 1))   # 左上偏移点
    ]
valid_depths = []
for y, x in points:
    depth_val = depth_image_info[y][x]
    if depth_val != 0:
        valid_depths.append(depth_val)
if valid_depths:
    dist = int(sum(valid_depths) / len(valid_depths))
else:
    dist = 0

#判断前进或者停止
if self.hand_detector.get_gesture() == "Zero":
    cv.putText(result_image, "STOP", (300, 30), cv.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 4)
    self.pub_cmdVel.publish(Twist())
elif dist > 0.2:
    cv.putText(result_image, "RUN", (300, 30), cv.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 4)
    self.execute(self.x,dist)
                
# 根据x值、y值，使用PID算法，计算运动速度，转弯角度
# Calculate the movement speed and turning angle using the PID algorithm based on the x and y values
def execute(self, rgb_img, action):
    #PID计算偏差 PID calculation deviation
    linear_x = self.linear_pid.compute(dist, self.minDist)
    angular_z = self.angular_pid.compute(point_x,320)
    # 小车停车区间，速度为0 The car is in the parking area and the speed is 0
    if abs(dist - self.minDist) < 30: linear_x = 0
    if abs(point_x - 320.0) < 30: angular_z = 0
    twist = Twist()
    ...
    # 将计算后的速度信息发布 Publish the calculated speed information
    self.pub_cmdVel.publish(twist)
```

17、深度相机Mediapipe手势跟随