news 2026/6/5 22:24:25

yolov5实现游戏图像识别与后续辅助功能

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
yolov5实现游戏图像识别与后续辅助功能

YOLOv5 是基于深度学习的目标检测算法,优势是实时性强、能识别多目标、抗光影干扰,适合 FPS 游戏中敌人、武器、爆头点等复杂目标识别。整体流程:​

二、第一步:YOLOv5 游戏目标训练(关键前提)​需先训练适配游戏场景的 YOLOv5 模型,识别敌人、爆头点等目标:​

1. 数据准备​

  • 截图采集:在游戏中截取 100-500 张包含目标(如敌人头部、身体)的图片(窗口化 / 无边框模式),覆盖不同距离、光影、姿势。​
  • 标注数据:用 LabelImg 工具标注目标,格式选择 YOLO(txt 文件),标签定义如 0:enemy_head(敌人头部)、1:enemy_body(敌人身体)。​
  • 数据集划分:按 8:1:1 拆分训练集、验证集、测试集,放入 YOLOv5 的 datasets/游戏名/ 目录。​

2. 配置 YOLOv5 训练参数​

  • 下载 YOLOv5 源码(GitHub 地址),安装依赖:pip install -r requirements.txt。​
  • 复制 models/yolov5s.yaml 为 yolov5_game.yaml,修改 nc: 2(目标类别数,如敌人头部 + 身体 = 2 类)。​
  • 复制 data/coco128.yaml 为 data/game.yaml,修改:​

3. 训练模型​

运行训练命令(按需调整 epochs 和 batch-size):​

​训练完成后,在 runs/train/exp/weights/ 中获取最佳模型 best.pt。​

4. 模型推理测试​

编写 Python 脚本测试识别效果,输出目标的屏幕坐标(x,y)、置信度:​

# detect_game.py import cv2 import torch import numpy as np # 加载YOLOv5模型 model = torch.hub.load('ultralytics/yolov5', 'custom', path='best.pt') # 替换为你的模型路径 model.conf = 0.5 # 置信度阈值(只保留置信度≥0.5的目标) def detect_enemy(screen_img): """ 输入:屏幕捕获的图像(numpy数组) 输出:识别到的目标列表 [{'x':中心x, 'y':中心y, 'conf':置信度, 'cls':类别}] """ results = model(screen_img) targets = [] # 解析识别结果 for *box, conf, cls in results.xyxy[0]: x1, y1, x2, y2 = map(int, box) center_x = (x1 + x2) // 2 # 目标中心x坐标 center_y = (y1 + y2) // 2 # 目标中心y坐标 targets.append({ 'x': center_x, 'y': center_y, 'conf': float(conf), 'cls': int(cls) }) # 按置信度排序(优先锁定最清晰的目标) targets.sort(key=lambda t: t['conf'], reverse=True) return targets # 测试:捕获屏幕并识别(需安装mss用于屏幕捕获) from mss import mss sct = mss() monitor = {"top": 0, "left": 0, "width": 1920, "height": 1080} # 游戏窗口坐标范围 while True: # 捕获屏幕画面 img = np.array(sct.grab(monitor)) img = cv2.cvtColor(img, cv2.COLOR_BGRA2BGR) # 转换颜色空间 # 识别目标 targets = detect_enemy(img) if targets: print("识别到目标:", targets[0]) # 输出最优先目标 # 按q退出 if cv2.waitKey(1) & 0xFF == ord('q'): break cv2.destroyAllWindows()

三、第二步:易语言调用 YOLOv5 识别结果​

易语言无法直接运行 PyTorch 模型,需通过 进程通信 让 Python(YOLOv5)将识别结果传递给易语言,推荐两种方式:​

方式 1:共享内存(高效实时,推荐)​

Python 将目标坐标写入 Windows 共享内存,易语言读取共享内存数据,延迟<10ms,适合 FPS 实时瞄准。​

(1)Python 端:写入共享内存​

安装依赖:pip install pywin32​ ​while True:​ img = np.array(sct.grab(monitor))​ img = cv2.cvtColor(img, cv2.COLOR_BGRA2BGR)​ targets = detect_enemy(img) # 调用第一步的识别函数​ write_target_to_mem(targets[0] if targets else None)​ if cv2.waitKey(1) & 0xFF == ord('q'):​ break​ ​ # 关闭资源​ win32file.UnmapViewOfFile(p_buf)​ win32file.CloseHandle(h_map_file)​ ​

(2)易语言端:读取共享内存​

通过 Windows API 读取共享内存数据,核心代码:​

​.支持库 spec​

​// 声明共享内存相关API​

.DLL命令 CreateFileMappingA, 整数型, "kernel32.dll", "CreateFileMappingA"​

.参数 hFile, 整数型​

.参数 lpFileMappingAttributes, 整数型​

.参数 flProtect, 整数型​

.参数 dwMaximumSizeHigh, 整数型​

.参数 dwMaximumSizeLow, 整数型​

.参数 lpName, 文本型​

​.DLL命令 MapViewOfFile, 整数型, "kernel32.dll", "MapViewOfFile"​

.参数 hFileMappingObject, 整数型​

.参数 dwDesiredAccess, 整数型​

.参数 dwFileOffsetHigh, 整数型​

.参数 dwFileOffsetLow, 整数型​

.参数 dwNumberOfBytesToMap, 整数型​

​.DLL命令 CopyMemory, 整数型, "kernel32.dll", "RtlMoveMemory"​

.参数 Destination, 整数型​

.参数 Source, 整数型​

.参数 Length, 整数型​

​.DLL命令 UnmapViewOfFile, 逻辑型, "kernel32.dll", "UnmapViewOfFile"​

.参数 lpBaseAddress, 整数型​

​方式 2:Socket 网络通信(跨设备 / 调试方便)​

Python 作为服务端,易语言作为客户端,通过 TCP 发送识别结果,适合调试或非实时场景,核心代码简化:​

  • Python 端(TCP 服务端):用 socket 库监听端口,持续发送目标 JSON 数据。​
  • 易语言端(TCP 客户端):用 网络通讯支持库 连接服务端,接收并解析 JSON。​

四、第三步:易语言衔接自动化操作(瞄准 / 射击)​

结合 YOLOv5 识别到的目标坐标,实现平滑瞄准和射击,核心代码:​

​.版本 2​

.支持库 eAPI​

​// 声明鼠标操作API(同之前代码)​

.DLL命令 SetCursorPos, 逻辑型, "user32.dll", "SetCursorPos"​

.参数 X, 整数型​

.参数 Y, 整数型​

​.DLL命令 mouse_event, 逻辑型, "user32.dll", "mouse_event"​

.参数 dwFlags, 整数型​

.参数 dx, 整数型​

.参数 dy, 整数型​

.参数 cButtons, 整数型​

.参数 dwExtraInfo, 整数型​

​.常量 MOUSEEVENTF_LEFTDOWN, "2"​

.常量 MOUSEEVENTF_LEFTUP, "4"​

​// 全局变量​

.全局变量 脚本开关, 逻辑型, , "假"​

.全局变量 游戏窗口偏移X, 整数型 // 游戏窗口左上角X坐标(避免全屏偏移)​

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/5 3:34:04

DAY32 Linux Thread Programming

Linux Thread Programming I. Core Theoretical Foundations of Threads 1. What is a Thread? Definition: A thread is an execution unit within a process, also referred to as a “Lightweight Process (LWP)”. It belongs to a specific process and shares the proce…

作者头像 李华
网站建设 2026/6/5 3:04:54

打破设备壁垒,让实验室智能 “协同作战”

当自动化成为实验室标配,许多用户却陷入新的困境:昂贵的智能设备各自为战,数据孤岛难以打通,流程编排耗时耗力,一个环节出错便可能导致整个实验停滞。如何让自动化真正落地,而非停留在 “硬件堆砌”&#x…

作者头像 李华
网站建设 2026/6/4 14:35:48

特长生 VS 全科生:AI与AGI的本质区别,一张文说清

近期看到新闻——酷特智能跑通了首个行业级的AGI(通用AI),想来聊聊AI与AGI。简单来说,AI(人工智能)是我们今天正在广泛使用的技术,而AGI(通用人工智能)是我们努力迈向的未…

作者头像 李华
网站建设 2026/6/3 12:51:50

Dify对接Spring AI总失败?一文看懂版本依赖的4大雷区

第一章:Dify 与 Spring AI 的版本兼容在构建基于 Java 的 AI 应用时,Spring AI 框架为开发者提供了简洁的抽象层,而 Dify 作为低代码 AI 编排平台,支持快速集成外部服务。确保 Dify 与 Spring AI 的版本兼容性是实现稳定通信的关键…

作者头像 李华
网站建设 2026/6/4 14:33:43

对比多线程与batch(在极简单cnn上操作)

batch,从学习dos时,就认识了这个单词,它叫做批处理!现在我发现他与并行或多线程是有差别的!我们前头所有程序凡是用到batch,均是如下操作,比如batch3:输入一张图片,forwa…

作者头像 李华
网站建设 2026/6/4 19:47:18

乐迪信息:智慧煤矿解决方案:AI摄像机智能预警系统

AI摄像机智能预警系统为煤矿安全生产提供了全新的技术路径。该系统通过在煤矿关键区域部署智能摄像设备,结合AI算法实现对人员行为、设备状态及环境风险的实时识别与预警,有效提升了煤矿安全管理水平。一:系统架构与技术原理AI摄像机智能预警…

作者头像 李华