简介：这套基于OpenCV、MediaPipe与CNN的手势识别项目，面向计算机视觉和人机交互学习者，用指尖的相对移动和运动速度控制鼠标指针，通过特定指尖动作完成点击、滚动页面，并支持手势触发快捷键与虚拟键盘输入。项目提供可直接运行的exe程序、完整Python源码、设计文档和操作说明，覆盖从模型加载、关键点检测到事件映射的完整流程，适合作为毕业设计、课程设计或入门实践。压缩包共109个文件，大小约300.75MB，结构上以38个Python脚本为核心，配套XML界面配置、pb模型文件、QSS样式表、PNG/JPG图片素材及说明文档，模块划分清晰，便于对照学习和二次开发。资源目前已有254人学习或下载，作者说明代码均测试运行成功，下载后可按README或设计文档快速搭建环境并验证效果。整体上，这是一套可运行、可复现的完整工程样本，尤其适合想借助实际项目掌握手势识别控制鼠标键盘方法的读者。
1. 手势控制鼠标，为什么偏偏是 OpenCV、MediaPipe、CNN 三个模块组合？
用手势控制鼠标，听起来像科幻，其实拆开就是三个开源模块的串接：OpenCV 负责把摄像头画面变成一帧帧能处理的图像，MediaPipe 从图像里找到手并抽出 21 个关键点的坐标，CNN 拿这些关键点拼成的图像判断你比的是哪种手势，最后把手势翻译成鼠标事件。很多初学者上来就想用一个端到端模型同时完成“检测手在哪”和“识别手势是什么”，但实际项目里这么做既慢又难调——实时性、误触发、不同人手差异都会让你崩溃。这个方向适合想在 PC 上跑通一套完整人机交互 pipeline 的开发者，也适合做毕业设计或桌面工具原型。下面按我自己的落地顺序，把架构、数据集、训练、鼠标映射和打包后的坑一步步讲清楚。
2. 从摄像头到手势类别：OpenCV、MediaPipe、CNN 各自在解决什么
2.1 为什么不是单模型端到端，而是三分工
早期手势识别常见做法是用 YOLO 这类目标检测模型直接框出手和手势类别，好处是部署单一，坏处是你得手工准备大量手势边界框数据集，而且手部小目标检测在摄像头实时流里经常漏检。我这个项目用的是严格分工：
OpenCV 管图像输入和输出。它从摄像头读帧，把 BGR 转成后续模块要的格式，最后把识别结果画在画面上给人眼反馈。OpenCV 在整个链路里是最“脏”的活，但不参与语义判断。
MediaPipe 管手部感知。它输出的是 21 个手部关键点，每个点有归一化坐标。这个模块本身也是一个深度模型，但它是 Google 训练好的，我们直接用。它解决了“手在哪、手指关节在哪”的问题，而我们不需要关心它是怎么训练出来的。
CNN 管手势分类。MediaPipe 只给出关键点坐标，并没有告诉你这是“握拳”还是“张手”。CNN 负责从关键点结构里学出空间规律。
为什么图像处理要用 CNN 而不是前馈神经网络？原因很实在：25 个全连接层的前馈网络接收一张 64×64 的图像，第一层就要学 4096 个像素的全局组合，参数爆炸不说，手指稍微平移几个像素，特征向量就全变了。CNN 用卷积核做局部感受野，同一根手指不管出现在画面左边还是右边，卷积核都能提取到相近的特征，这就是平移不变性。手势识别恰恰需要这种性质——手的绝对位置不重要，重要的是手指之间的相对结构。CNN 和 RNN 的选择也很简单：RNN 用来处理序列时序，我们这里单帧手势是独立判断的，没有前后依赖，所以用 CNN。
2.2 OpenCV 的预处理：BGR、镜像、分辨率与 FPS
OpenCV 的 VideoCapture 读出来的帧默认是 BGR 通道顺序，MediaPipe 要求 RGB，这里必须转换，否则手的肤色和轮廓会被通道顺序搞乱。另一个常见问题是镜像：摄像头拍你的时候，你往左挥手，画面里你是往右移动的。如果直接把坐标映射到鼠标，光标会和你反着走，所以读帧后要水平翻转，让操作符合正常直觉。
分辨率不是越高越好。MediaPipe 在 1280×720 和 640×480 下的检测耗时差很多，但关键点精度差别不大。我一般把采集分辨率设为 640×480，这样 CNN 推理和鼠标控制的总延迟能控制在 100ms 以内。FPS 方面，OpenCV 默认的 VideoCapture 是不限帧率的，但 MediaPipe 单帧处理需要时间，实际跑起来可能只有 15~20 帧。这时不要开线程去无限读帧，否则会积压帧队列导致延迟越来越大。简单做法是在主循环里每次读取一帧并处理，让摄像头帧率自然跟随处理速度。
2.3 最小可运行的摄像头读取与预处理代码
下面这段是最小可用的 OpenCV 采集代码，也是整个项目的入口：
import cv2 import mediapipe as mp cap = cv2.VideoCapture(0) # 0 表示默认摄像头 cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) mp_hands = mp.solutions.hands hands = mp_hands.Hands( static_image_mode=False, max_num_hands=1, min_detection_confidence=0.7, min_tracking_confidence=0.5, ) mp_draw = mp.solutions.drawing_utils while cap.isOpened(): ret, frame = cap.read() if not ret: break frame = cv2.flip(frame, 1) # 镜像翻转，避免光标移动方向相反 rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) # OpenCV 默认 BGR，MediaPipe 要 RGB rgb.flags.writeable = False # 防止 MediaPipe 内部修改 RGB 数据 results = hands.process(rgb) if results.multi_hand_landmarks: for landmarks in results.multi_hand_landmarks: mp_draw.draw_landmarks(frame, landmarks, mp_hands.HAND_CONNECTIONS) cv2.imshow("Gesture Mouse", frame) if cv2.waitKey(1) & 0xFF == ord('q'): break cap.release() cv2.destroyAllWindows()这段代码的逻辑很直白：每次循环从摄像头读一帧，翻转后转成 RGB 交给 Hands 模型推理，得到的关键点画回原图。有两个参数影响很大。min_detection_confidence是手部检测置信度阈值，0.7 比较平衡；调到 0.9 会减少误检，但手稍微离远点就检测不到。min_tracking_confidence是跟踪阈值，0.5 表示检测到手后，后续帧只要跟踪置信度大于 0.5 就沿用上一帧的关键点，这样能跳过部分检测计算，提升帧率。注意rgb.flags.writeable = False这个细节，如果不设，MediaPipe 内部可能会修改数组内容，而且还会警告你性能变差。
3. 用 MediaPipe 把关键点转成 CNN 能吃的输入：数据集构建与参数选择
3.1 Hands 模型输出的 21 个关键点到底怎么用
MediaPipe Hands 返回的landmarks是一个包含 21 个点的列表，每个点有x, y, z三个量，其中x和y是相对画面宽高的归一化坐标（0 到 1），z是相对手腕的深度信息。关键点编号从 0 到 20：0 是手腕，1 到 4 是大拇指（指根到指尖），5 到 8 是食指，9 到 12 是中指，13 到 16 是无名指，17 到 20 是小拇指。做手势分类时，最常用是 8（食指指尖）、4（拇指指尖）、12（中指指尖）这几个点的组合，因为握拳、张开、比一这些手势主要靠指尖相对位置区分。
但如果你只把 21 对 (x, y) 坐标拉平成一个 42 维向量喂给神经网络，模型也能学，但没有发挥 CNN 的空间结构优势。更稳的做法是：把关键点画到一张空白的图像上，用线段连接相邻关节，把这张“骨架图”作为 CNN 的输入。这样做的好处是骨架图不受衣服、肤色、光照和背景干扰，CNN 学到的不是“这只手是黑皮肤还是白皮肤”，而是“食指和中指之间是否分开”这种结构规律。实践中我对比过：直接喂坐标向量在训练集上能到 99% 的准确率，但一到摄像头实时画面，换了个人就掉到 80%；用骨架图之后，跨人的泛化能力明显更好。
3.2 为什么画骨架图而不是直接使用关键点坐标
骨架图还顺便解决了关键点抖动问题。MediaPipe 在单帧上的关键点会有微小抖动，直接传坐标给分类器，这种抖动会被当成本质特征学进去。而画成图像后，只要抖动不超过几个像素，卷积核提取到的边缘和角点特征基本不变。我把关键点坐标缩放到一个固定尺寸的画布上，比如 128×128，用线条把有连接关系的关键点连起来，指尖点单独画一个实心圆表示位置。如下图所示意的数据结构：
import numpy as np import cv2 CANVAS_SIZE = 128 SKELETON_CONNECTIONS = [ (0, 1), (1, 2), (2, 3), (3, 4), (0, 5), (5, 6), (6, 7), (7, 8), (5, 9), (9, 10), (10, 11), (11, 12), (9, 13), (13, 14), (14, 15), (15, 16), (13, 17), (17, 18), (18, 19), (19, 20), (0, 17) ] def landmarks_to_sketch(landmarks, size=CANVAS_SIZE): sketch = np.zeros((size, size, 1), dtype=np.float32) pts = [] for lm in landmarks: px = int(lm.x * size) py = int(lm.y * size) pts.append((px, py)) for start, end in SKELETON_CONNECTIONS: cv2.line(sketch, pts[start], pts[end], 1.0, thickness=2) for idx in [4, 8, 12, 16, 20]: # 五个指尖加粗 cv2.circle(sketch, pts[idx], 4, 1.0, thickness=-1) return sketch这段代码里landmarks_to_sketch把 21 个点的归一化坐标映射到 128×128 的画布，然后按照手的骨骼连接关系画线。SKELETON_CONNECTIONS里的连接关系对应 MediaPipe 官方定义的 HAND_CONNECTIONS，但这里显式写出来，方便你调整。指尖点用圆点加粗，因为很多手势（点击、捏合）最关键的信息就在指尖距离上。注意画布是单通道 float32，值域 0 到 1，后面喂给 CNN 不用再做归一化。为什么不用三通道？因为骨架图本身没有颜色信息，单通道能减少 CNN 计算量，而且单通道训练收敛更快。
3.3 录制手势数据集：用键盘打标签，边录边存
有了关键点转骨架图的函数，下一步就是录制训练样本。常见做法是打开摄像头，在手势稳定的前提下按键盘数字键打标签，每按一次把当前帧的骨架图存成 npy 文件。这样比先录视频再离线提取要省事得多。下面这段代码是我录制时的核心逻辑，重点在保存和标签计数：
import os import cv2 import numpy as np import mediapipe as mp GESTURE_LABELS = {0: 'open_palm', 1: 'fist', 2: 'point_up', 3: 'peace'} DATA_DIR = 'gesture_data' os.makedirs(DATA_DIR, exist_ok=True) mp_hands = mp.solutions.hands hands = mp_hands.Hands(static_image_mode=False, max_num_hands=1, min_detection_confidence=0.7) cap = cv2.VideoCapture(0) current_label = 0 counter = 0 while True: ret, frame = cap.read() if not ret: break frame = cv2.flip(frame, 1) rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) results = hands.process(rgb) if results.multi_hand_landmarks: landmarks = results.multi_hand_landmarks[0].landmark sketch = landmarks_to_sketch(landmarks) # 边录边看原始画面，便于确认手势 cv2.putText(frame, f"label={current_label} count={counter}", (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 2) cv2.imshow("Record", frame) # 同时显示骨架图，确认转换没有出错 cv2.imshow("Sketch", sketch) key = cv2.waitKey(1) & 0xFF if key in GESTURE_LABELS: current_label = key elif key == ord('s') and results.multi_hand_landmarks: np.save(os.path.join(DATA_DIR, f"{GESTURE_LABELS[current_label]}_{counter}.npy"), sketch) counter += 1 print(f"Saved label={GESTURE_LABELS[current_label]}, count={counter}") elif key == ord('q'): break cap.release() cv2.destroyAllWindows()参数说明：static_image_mode=False表示视频流模式，MediaPipe 会先检测后跟踪；如果改为True，每一帧都做检测，准确率稍高但速度慢一半，建议录制时也用 False，这样才能模拟真实使用场景。保存的文件名里带标签和序号，方便之后读取。这里的sketch是 (128,128,1) 的 float32 数组，np.save会直接保存为你需要的训练数据格式。注意录制时手要完整出现在画面里，尤其指尖不能切出画面边界，否则关键点坐标会被钳制在 0 到 1 的边缘，生成的骨架图上手指连成一条直线，模型会被这种脏数据污染。
每种手势至少录 300 帧。录制时要有意识地变换手的角度、距离、左右手，最好在不同光照条件下录几组。用 YOLO 手势识别数据集的人可能会想直接下载公开数据，但 YOLO 数据集给的是矩形框，不是关键点标注，你仍然要跑一遍 MediaPipe 去提取关键点，不如自己录来得干净。另外，我建议每类手势单独存一个子目录，不要写在同一个文件名里，这样方便训练时做分层采样。
4. CNN 手势分类模型：结构设计、训练参数与踩过的调参坑
4.1 CNN 模型的输入与输出：骨架图到手势类别的映射
CNN 的输入是上一章生成的 128×128 单通道骨架图，输出是 4 类手势的概率分布。这里用 4 类作为最小示例：open_palm（张手）、fist（握拳）、point_up（食指指天）、peace（比耶）。如果你想控制更多操作，可以增加“食指+中指同伸”“拇指+小指”等类别，但每增加一类，录制数据的量至少翻倍，否则分类器会混淆。
为什么不用循环神经网络 RNN 或者 Transformer 处理这个任务？因为单帧手势分类是静态图像分类，没有时序依赖。RNN 适合读句子、看视频这种有先后顺序的输入，强制把骨架图序列当成时间序列，会使问题变复杂。有些项目尝试用 Transformer 做关键点序列分类，但那是为了识别动态手势（比如挥手、画圈），而我们这里控制鼠标需要的是单帧稳定映射，用 CNN 是最直接、最容易调通的路子。
4.2 搭建和训练 CNN 的完整代码
下面是可以用 Keras 直接跑起来的最小 CNN 模型。为了让新手能复现，我把模型结构、数据加载和训练写在一个脚本里：
import numpy as np import os from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout from tensorflow.keras.utils import to_categorical from tensorflow.keras.preprocessing.image import ImageDataGenerator from sklearn.model_selection import train_test_split from sklearn.preprocessing import LabelEncoder # ---------- 1. 加载 npy 数据 ---------- DATA_DIR = 'gesture_data' X = [] y = [] for fname in os.listdir(DATA_DIR): if fname.endswith('.npy'): label_str = fname.split('_')[0] sketch = np.load(os.path.join(DATA_DIR, fname)) X.append(sketch) y.append(label_str) X = np.array(X) # (N, 128, 128, 1) y = np.array(y) # ---------- 2. 标签编码与划分 ---------- le = LabelEncoder() y_encoded = le.fit_transform(y) y_onehot = to_categorical(y_encoded) X_train, X_test, y_train, y_test = train_test_split( X, y_onehot, test_size=0.2, stratify=y_onehot, random_state=42 ) # ---------- 3. 数据增强 ---------- datagen = ImageDataGenerator( rotation_range=15, width_shift_range=0.1, height_shift_range=0.1, zoom_range=0.1, fill_mode='nearest' ) datagen.fit(X_train) # ---------- 4. 构建 CNN ---------- model = Sequential([ Conv2D(32, (3, 3), activation='relu', padding='same', input_shape=(128, 128, 1)), MaxPooling2D(pool_size=(2, 2)), Conv2D(64, (3, 3), activation='relu', padding='same'), MaxPooling2D(pool_size=(2, 2)), Conv2D(128, (3, 3), activation='relu', padding='same'), MaxPooling2D(pool_size=(2, 2)), Flatten(), Dense(128, activation='relu'), Dropout(0.5), Dense(len(le.classes_), activation='softmax') ]) model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy']) # ---------- 5. 训练 ---------- history = model.fit( datagen.flow(X_train, y_train, batch_size=32), validation_data=(X_test, y_test), epochs=50, verbose=1 ) model.save('gesture_cnn.keras')模型结构参数说明：三组Conv2D + MaxPooling2D逐层把空间尺寸从 128 降到 16，通道数从 32 升到 128。这种先降分辨率、再升通道的设计是 CNN 图像分类标配，能保证高层特征既保留空间结构又有足够的抽象表达能力。Dropout(0.5)放在全连接层后，防止模型记住训练集里的角度和位置，导致换个人就失灵。训练时epochs=50通常够了，数据增强已经把每个 batch 的样本做了随机旋转和平移，所以即使只有 1200 张图，模型也能见到多种变体。
训练完成后看两个指标：训练准确率应该接近 100%，验证准确率至少 95%。如果验证准确率一直卡在 75%~85%，常见原因是某两类手势的骨架图太相似，比如point_up和peace在角度偏斜时，中指的轮廓会重叠。这时不要盲目加卷积层，优先检查录制数据里这两类的图片是不是真的可分，再决定是补录数据还是合并类别。
4.3 训练时容易忽略的三个参数细节
第一个是ImageDataGenerator的fill_mode='nearest'。骨架图旋转时，边缘会空出来，默认填 0 会引入黑色边框，CNN 会把这边框当成特征。改为nearest后用邻近像素填充，虽然不完美，但至少不会产生突兀的黑色边界。第二个是batch_size，我用 32，如果显存不够会报 OOM，改小到 16 或 8，但验证准确率会略有波动。第三个是padding='same'，如果去掉，每次卷积后尺寸变小，三层之后 128 会变成 122，虽然也能算，但边缘关键点（比如手腕位置）的信息会更快被丢失，所以一定要用 same padding。
5. 鼠标操控映射与避坑：为什么光标乱飞、点击没反应、打包后黑屏
5.1 从手势到鼠标坐标：归一化、平滑与灵敏度
当 CNN 输出手势类别后，还需要把关键点坐标映射到屏幕坐标。映射的核心是确定“用什么点代表人想移动的位置”。常见做法是用食指指尖坐标（关键点 8），但缺点是食指移动幅度太大，微调鼠标很不舒服。我用手腕点（关键点 0）作为基准，因为手腕在画面里相对稳定，能够反映整只手的水平移动意图，而食指指尖专门用来做点击判断。映射公式很简单：
import ctypes import numpy as np import time # 获取屏幕尺寸 SM_CXSCREEN = 0 SM_CYSCREEN = 1 screen_w = ctypes.windll.user32.GetSystemMetrics(SM_CXSCREEN) screen_h = ctypes.windll.user32.GetSystemMetrics(SM_CYSCREEN) smooth_x, smooth_y = 0.3, 0.3 # 平滑系数，值越大光标越跟手但越抖 def hand_landmark_to_mouse(landmarks, prev_mouse, cur_mouse): wrist = landmarks[0] # 取手腕关键点 # 关键点坐标是 0-1 的归一化值，直接乘屏幕宽高 raw_x = wrist.x * screen_w raw_y = wrist.y * screen_h # 指数平滑：新位置 = 上一位置 * (1-alpha) + 原始坐标 * alpha mx = prev_mouse[0] * (1 - smooth_x) + raw_x * smooth_x my = prev_mouse[1] * (1 - smooth_y) + raw_y * smooth_y cur_mouse[0] = int(mx) cur_mouse[1] = int(my) return cur_mouse这里我用了指数平滑而不是直接移动，是因为 MediaPipe 关键点在视频流里会有几个像素的抖动，如果直接移动鼠标，光标会像触电一样抖个不停。smooth_x和smooth_y是平滑系数，0.3 意味着 70% 保留上一帧的位置，相当于低通滤波。系数调大（比如 0.8）会更跟手，但手指轻微晃动也会被放大。实际调参时建议从 0.3 开始，手感太肉就调到 0.5，太飘就降到 0.2。注意有些项目用类似pyautogui.moveTo的 API，那个自带 0.1 秒的延迟，而且有 fail-safe 机制，鼠标移到屏幕角落会触发异常，用起来很憋屈，所以我直接用ctypes调用 Win32 API 移动鼠标，响应在几毫秒级。
5.2 点击事件：为什么不能检测到握拳就立即触发
如果检测到fist手势就调用mouse_down()，你会发现只想点一次，结果系统执行了十几次点击。原因是摄像头每帧都会识别到握拳，而鼠标左键按下事件持续触发。正确的做法是维护一个状态机：只有“从非点击手势变成点击手势”的那一帧才触发按下，松开时触发抬起。比如定义open_palm为鼠标松开状态，fist为按下状态，那么当上一帧是open_palm、当前帧是fist时，才执行一次mouse_down()。下面这段代码实现了这个逻辑：
prev_gesture = None is_mouse_down = False def handle_click(gesture): global prev_gesture, is_mouse_down if gesture == 'fist' and not is_mouse_down: ctypes.windll.user32.mouse_event(2, 0, 0, 0, 0) # 左键按下 is_mouse_down = True elif gesture == 'open_palm' and is_mouse_down: ctypes.windll.user32.mouse_event(4, 0, 0, 0, 0) # 左键抬起 is_mouse_down = False prev_gesture = gesture参数说明：mouse_event的第一个参数2表示左键按下，4表示左键抬起，这是 Windows 标准的 event 常量。这里把“握拳”当成“按下左键拖动”，“张手”当成“松开”。如果你只想单击，可以这样：检测到握拳后等待 0.2 秒，在 0.2 秒内如果手势变成张手，就只做一次点击，否则进入拖拽模式。这个简单的时序判断能避免大量误操作。
5.3 鼠标操控常见问题排查：3 个真实踩坑记录
踩坑一：光标移动方向是反的，或者上下颠倒。现象是手往左移动光标往右，手往上移光标往下。原因是 OpenCV 读帧后没有做镜像，导致画面里的坐标系和你实际操作方向相反。解决就是在读帧后立即执行cv2.flip(frame, 1)。另外如果你把关键点的y坐标直接映射屏幕纵坐标，屏幕原点在左上角，摄像头画面里手抬高时y值减小，所以光标向上是正常的，不要画蛇添足加一个负号。
踩坑二：点击不跟手，偶尔会连点或漏点。现象是握拳后鼠标会执行好几下点击，或者明明握拳了却没反应。原因有两个：一是状态机的重置没有处理好，上一帧手势识别错误，导致状态翻转；二是关键点在握拳和张开之间抖动，CNN 输出的概率一会是fist一会是open_palm。我的解决办法是给手势输出加一个 3 帧的防抖缓存，连续 3 帧都是同一类才改变状态，效果立竿见影。代码可以这样实现：
gesture_buffer = [] def stable_gesture(gesture, buffer_size=3): global gesture_buffer gesture_buffer.append(gesture) if len(gesture_buffer) > buffer_size: gesture_buffer.pop(0) from collections import Counter counter = Counter(gesture_buffer) most_common = counter.most_common(1)[0][0] if counter[most_common] >= buffer_size - 1: return most_common return gesture # 没有稳定时返回当前帧结果踩坑三：打包成 exe 后模型加载失败，提示文件不存在。现象是你用 PyInstaller 打包后，在别的电脑上双击 exe，打开摄像头黑屏，或者加载 CNN 模型时报文件找不到。原因是 PyInstaller 打包后模型文件被解压到临时_MEIPASS目录，代码里写的相对路径指向的是当前工作目录，当然找不到。解决方法是把模型路径改为使用sys._MEIPASS，并配合os.path.join定位。一个通用写法是：
import sys import os def resource_path(relative_path): base_path = getattr(sys, '_MEIPASS', os.path.abspath('.')) return os.path.join(base_path, relative_path) model_path = resource_path('gesture_cnn.keras')注意打包时要在 PyInstaller 的 spec 文件里把.keras文件加到datas，否则_MEIPASS目录里也不会包含它。这些坑不是理论问题，是每个做桌面手势应用的人都会遇到的。
6. 进阶一档：动态手势、延迟验证与换到其他平台
如果你跑通了上面的基础版本，可以进一步把手势控制玩出更多花样。第一个是滚轮，识别出食指和中指同时伸开且指尖向上，就发送滚轮上滑事件；向下则是滚轮下滑。第二个是拖拽，握拳状态下手腕移动就是按住左键拖动，这在上面的状态机里已经实现了。第三个是双指缩放，用拇指指尖和食指指尖的欧氏距离变化来控制 Ctrl+加号和 Ctrl+减号，模拟浏览器缩放。
验证系统实时性有一个我自己常用的土办法：在屏幕上显示一个随机移动的目标点，你用手势移动光标去点击，记录点击命中率和从目标出现到实际点击的时间差。目标点可以用 OpenCV 的cv2.circle在单独窗口画出来，点击成功就换新点。连续操作 20 次，如果命中率在 80% 以上，同时光标移动流畅无撕裂，这个系统就基本可以给别人演示了。如果延迟超过 300ms，优先检查是否为上面说的平滑系数太大，或者是否开了额外的cv2.imshow窗口占用主线程。
这个方案的下一步也可以迁移到其他场景，比如把鼠标移动替换成发送 UDP 指令，就能控制 Tello 无人机的飞行姿态；想用红外手势识别的话，换一个能输出深度图的摄像头，MediaPipe 对深度图的兼容性同样支持，核心骨架图转换逻辑不用改。如果你想省掉 CNN 训练，可以用 MediaPipe Model Maker 自定义手势分类器，它基于更轻量的模型 Edge 架构，能在树莓派上跑实时推理，但需要准备一套带标注的手势视频，训练时间和产物体积会跟你的数据量直接挂钩。
最后说一个我自己的习惯：每次调参前，我会先把视频流、关键点绘制、CNN 预测结果和鼠标事件日志四个信号叠加显示在一个画面上，这样出问题时能一眼看出是检测环节坏了还是映射环节坏了。这个调试画面我会保留到项目结束，而不是放到说明书里。说句实在话，这个项目最大的价值不在“识别出多少种手势”，而在于让你把摄像头、感知模型和系统程序之间的延迟、坐标、状态这些边界问题真正理解一遍。我最早用原图直接训 CNN，准确率看着很高，一换灯光就崩；改成关键点骨架图以后，才体会到“特征工程”在深度学习里依然重要。希望这个拆解能帮你少走我走过的弯路——希望帮到你。
本文还有配套的精品资源，点击获取
