项目背景与核心痛点
在新能源汽车、储能及3C电子产业高速发展的浪潮下，CCS（Cells Contact System）激光焊接作为电芯连接的核心工艺，其质量直接决定了电池包的安全性与性能。我们（久众新视）在服务某头部电池制造客户时发现，尽管产线自动化程度很高，但焊接质量仍严重依赖人员对SOP（标准作业程序）的遵守情况。客户面临的核心痛点在于“最后一厘米”的人为因素难以管控：
- 动作遗漏难以杜绝：焊前检查、焊后确认等关键指检动作，易因人员疲劳、疏忽而遗漏，直接导致虚焊、爆点等缺陷。
- 动作规范难以量化：传统的“目视检查”是否真的执行了？指检动作是否到位？这些都无法用数据进行客观评估。
- 过程追溯缺乏数据：一旦出现焊接不良，无法回溯到具体是哪个操作员在哪道工序的哪个动作上出了问题，问题分析效率低下。
客户亟需一种技术手段，将工艺纪律从依赖“人眼”和“自觉”的“人治”模式，转变为基于“数据”和“规则”的“数治”模式，为精密制造装上可靠的“数字之眼”。
技术方案设计与选型
针对以上痛点，我们设计了一套非侵入式、以视觉感知为核心的SOP-AI智能行为分析系统。方案的核心架构如下：
- 感知层：安防相机：我们摒弃了传统的工业相机，选用了高分辨率、宽动态范围的安防相机。原因在于其安装灵活、视野范围大，能在一个固定机位下完整覆盖整个工位的操作区域（包括工装、扫码枪、人员上半身及手部动作），且成本更具优势。
- 计算层：本地AI服务器：考虑到客户产线数据的高度敏感性及对实时性的极致要求（毫秒级响应），我们采用本地化部署的AI服务器。所有视频流均在客户内网处理，数据不出厂，充分保障了工艺和数据的隐私安全。服务器搭载了高性能GPU，为多路视觉分析算法提供实时算力。
- 算法与软件层：
- JZ-AI-Pro深度学习平台：这是我们自研的AI算法开发与部署平台。在此项目中，我们利用它高效地完成了多个定制化检测模型的训练、优化与集成，包括手部检测、物体识别、姿态估计、外观比对等。
- SOP-AI流程设计软件：这是系统的“大脑”。客户工艺工程师可以在此软件中，以低代码或图形化的方式，灵活定义和配置每个工位的SOP流程步骤、触发条件、判定规则与报警逻辑，实现了AI能力与具体业务规则的深度融合。
- 交互层：现场显示器：实时显示当前工序状态、操作引导及报警信息，实现人机协同。
这套架构的核心思想是：利用通用的安防视觉硬件，结合深度定化的AI算法与灵活的流程软件，实现对非结构化人员操作行为的结构化解析与合规性判定。
核心算法实现与工程落地细节
我们将整个CCS激光焊接工位的SOP拆解为一系列可被视觉算法感知和判定的原子动作，并逐一攻克技术难点：
1. 工件放入与正反面识别
- 难点：工装背景复杂，工件放入瞬间存在遮挡；正反面特征差异细微。
- 实现：
- 放入检测：采用“动态背景建模+前景目标检测”结合的方式。首先通过背景减除算法敏感感知工装区域的状态变化，当检测到有物体进入预设区域时，触发一个轻量级的目标检测模型进行二次确认，判断是否为待焊接工件，有效避免了误报。
- 正反面识别：我们并未采用复杂的3D重建，而是基于外观比对（Template Matching）与深度学习特征提取结合的方案。在SOP-AI软件中，分别录入工件正反面的标准图像作为模板。当系统判定工件已放入后，自动抓取当前图像，先与两个模板进行快速相似度计算进行粗筛，再通过一个微调过的CNN网络对候选区域进行精细特征比对，最终输出正反面判断结果，准确率>99.5%。
2. 扫码动作合规性分析
- 难点：需要区分“拿起扫码枪”、“对准条码区域”、“成功扫码”的连续动作，且扫码成功信号来自外部PLC。
- 实现：这是一个典型的多模态行为分析。我们训练了一个手部-物体交互检测模型，专门识别“手抓取扫码枪”的姿态。当检测到该动作后，系统开始跟踪扫码枪枪头的运动轨迹和指向。同时，算法在工件条码区域设置一个虚拟的“感应区”。当系统通过视觉判断枪头已对准并停留于感应区，并且收到来自PLC的扫码成功信号时，才判定该步骤合规。这种“视觉预备判定+信号最终确认”的机制，确保了分析的鲁棒性。
3. 指检与二次指检动作有效性判定
- 难点：如何区分真实的“按压”动作与仅仅是手部掠过或虚放？如何定义“规定区域”和“有效压力”（视觉无法直接测量力）？
- 实现：这是我们项目的核心挑战之一。解决方案是高精度手部关键点检测结合时序动作建模。
- 使用MediaPipe或自研模型，实时检测出手部的21个关键点（指尖、关节等）。
- 通过关键点的空间位置关系，计算手心区域和指尖的坐标。
- 有效按压判定逻辑：当手心或指尖持续停留在工装表面预设的“按压区”内超过设定时长（如0.5秒），并且在这段时间内，手部关键点的高度坐标（Z方向）变化小于一个阈值（意味着手部稳定下压，而非悬空），则判定为一次有效指检。
- 系统会严格记录第一次指检（焊前）和第二次指检（焊后）的完成情况，任何遗漏或无效动作都会触发实时声光报警。
4. 目视检查的视线分析
- 难点：传统的头部朝向检测无法准确代表“视线”，人员可能扭头但并未注视目标。
- 实现：我们采用了头部姿态估计（Head Pose Estimation）与目标区域关联的策略。首先，算法估计出人脸的偏转和俯仰角度。然后，我们根据相机标定参数和工位空间几何关系，大致计算出头部朝向在工件平面上投影的“视线落点区域”。当系统进入“目视检查”工序时，会判断该“视线落点区域”是否与需要检查的工件关键区域（如焊接缝）有重叠，并且持续重叠时间达到工艺要求（如2秒）。虽然无法做到眼球追踪级别的精度，但此方法已能有效区分“面向工件”和“扭头他顾”的行为，解决了动作有无的定性问题。
应用效果与项目价值总结
该系统上线后，经过了严格的试运行与验收，取得了显著效果：
- 质量提升：通过刚性约束关键动作，将因人为漏操作导致的焊接不良率降低了约70%，客户SPC（统计过程控制）数据稳定性显著增强。
- 过程透明：所有操作行为均被自动记录并生成结构化日志，实现了生产过程的全数字化追溯。发生质量问题时，可快速定位到具体工位、操作员及违规动作，分析周期从小时级缩短至分钟级。
- 安全增强：系统可扩展定义安全区域，实现人员误入危险区域或异常滞留的实时预警，在不影响操作效率的前提下增加了一道虚拟安全屏障。
- 管理赋能：客观、量化的操作数据为人员技能培训、绩效考核和SOP持续优化提供了精准依据，推动了车间管理的精益化。
写在最后
CCS激光焊接SOP-AI项目的成功落地，印证了AI视觉在非标行为分析领域的强大潜力。它不仅仅是一个“监控”系统，更是一个将人类专家经验（SOP）转化为可执行、可度量、可优化数字规则的使能平台。
对于我们久众新视而言，该项目沉淀了一套从场景解析、算法选型、模型优化到软件集成的完整工程方法论。其核心在于：不追求单一的算法尖端，而是注重多种视觉技术的有机融合与工程化调优，并通过灵活的软件平台将其与客户的业务逻辑深度绑定，最终解决真实的生产痛点。我们相信，这套以“安防相机+本地AI服务器+JZ-AI-Pro平台+SOP-AI软件”为核心的方案架构，对于广大制造业中面临类似人员操作合规性挑战的场景，具有很高的参考与复用价值。
