1. 计算机视觉产业链的全景拆解与跟踪逻辑
1.1 为什么选择“产业链跟踪”这个视角
做计算机视觉这个方向的人,很容易陷入一个误区:盯着模型和论文看,觉得把检测、分割、跟踪的SOTA刷一遍就算入门了。我2022年底跟几个做安防和工业质检的朋友聊完才发现,真正在产业里跑通的项目,技术选型只是其中一环,更多时候决定项目成败的是上游的传感器选型、中游的算力成本、下游的场景适配。所以从2023年1月开始,我给自己定了一个习惯:每个月花两三天时间,把计算机视觉这条产业链从头到尾梳理一遍,记录关键变化。
这个“产业链跟踪梳理”不是学术综述,也不是投资研报,它更像是一个从业者的工作笔记。我会关注上游的芯片和传感器有什么新动向,中游的算法框架和开发工具有什么更新,下游哪些场景在真正落地、哪些在退潮。这样做的价值在于,当你下次要做一个视觉项目时,你能快速判断:现在这个时间点,用什么方案性价比最高,哪些坑已经被别人踩过了。
1.2 产业链上中下游的划分方式
计算机视觉的产业链,我习惯按“数据从哪来、算法在哪跑、结果给谁用”这条主线来切。上游是感知层和算力层,包括图像传感器、镜头模组、AI芯片、边缘计算设备;中游是算法层和平台层,包括开源框架、预训练模型、标注工具、训练平台、推理引擎;下游是应用层,覆盖安防、工业、医疗、零售、自动驾驶、消费电子等场景。
这个划分不是绝对的。比如海康威视既做上游的摄像机,也做中游的算法,还做下游的行业解决方案。但作为跟踪框架,它足够清晰,能帮我把零散的信息归位。2023年1月这个时间点,我重点跟踪的是三个变化:一是国产AI芯片在推理侧的份额变化,二是视觉大模型对传统算法方案的冲击,三是工业质检场景从“试点”到“批量复制”的拐点是否到来。
1.3 跟踪笔记的信息来源与筛选原则
我跟踪信息的来源分四类。第一类是公开的行业报告和白皮书,比如中国信通院、艾瑞、IDC的季度报告,这类信息宏观但滞后,适合看趋势。第二类是上市公司财报和招股书,尤其是科创板里做机器视觉和AI芯片的公司,财报里的营收结构和毛利率变化比任何研报都真实。第三类是开源社区和开发者论坛,GitHub上的star增长、issue讨论、版本更新日志,能反映技术栈的真实热度。第四类是一线从业者的交流,包括微信群、线下meetup、以及和客户聊天时听到的“抱怨”,这类信息最鲜活,但需要交叉验证。
筛选原则很简单:只记录能影响技术选型或成本结构的信息。比如某款国产推理芯片降价30%,这是有效信息;某公司发布了一个新的视觉大模型但没公布推理成本,这是无效信息。2023年1月我记录的关键词包括:计算机视觉、边缘推理、视觉大模型、工业质检、数据标注成本。
2. 上游感知与算力层的关键变化
2.1 图像传感器:全局快门与事件相机的渗透节奏
2023年1月,图像传感器这个环节最值得关注的是全局快门(Global Shutter)在工业场景的渗透。传统卷帘快门(Rolling Shutter)在拍摄高速运动物体时会产生果冻效应,这在工业质检里是致命的。以前全局快门的传感器价格是卷帘的3到5倍,很多项目为了省成本就忍了。但2022年下半年开始,国产厂商在全局快门上的产能上来后,价格差距缩小到1.5倍左右。
我拿到的几个工业相机报价单显示,200万像素全局快门CMOS模组,2022年初还要800到1000元,2023年1月已经降到500到600元区间。这个变化直接影响了产线质检的方案设计:以前只能用卷帘快门加频闪光源来“冻结”画面,现在可以直接上全局快门,光源方案简化,整体成本反而更低。
事件相机(Event Camera)这个月没有大的价格变化,依然停留在科研和小众场景。它的优势是只记录亮度变化,延迟极低、功耗极低,适合高速避障和低功耗监控。但缺点是输出的是异步事件流,不是传统图像,算法栈要重写。我个人的判断是,2023年事件相机还不会大规模进入工业场景,但做自动驾驶和机器人的人应该保持关注。
2.2 AI推理芯片:国产替代在边缘侧的实质性进展
这个月我重点跟踪了边缘推理芯片的报价和供货情况。2022年很多项目因为缺芯被迫改用国产方案,到了2023年1月,国产芯片不再是“备胎”,而是在性价比上真正有了竞争力。以某国产边缘推理芯片为例,INT8算力8TOPS,功耗5W,批量采购价在200元以内,而同级别的进口芯片还在400元以上。
但这里有一个坑:国产芯片的算力标称值往往是在理想条件下测的,实际跑视觉模型时,由于内存带宽和算子支持的限制,有效算力可能只有标称的50%到70%。我实测过一个国产芯片跑YOLOv5s,标称8TOPS,实际帧率只比另一款标称4TOPS的进口芯片高20%。所以选型时不能只看算力数字,一定要拿自己的模型去实测。
另一个变化是计算机视觉推理框架的适配。以前国产芯片的SDK很难用,算子覆盖不全,模型转换经常失败。2023年1月,主流国产芯片厂商基本都支持了ONNX和TFLite的模型导入,部分还支持PyTorch直接导出。这意味着算法工程师不需要为了适配芯片去重写模型,迁移成本大幅降低。
2.3 镜头与光源:被低估的成像质量决定因素
很多做算法的人不重视镜头和光源,觉得“算法能补”。我踩过的坑是:在一个金属表面缺陷检测项目里,算法换了三版,指标始终上不去,最后发现是镜头畸变导致边缘缺陷变形,算法根本学不到稳定特征。换了远心镜头后,同样的算法,召回率从72%提到91%。
2023年1月,远心镜头和工业光源的国产化程度已经很高,价格比进口低40%左右。但选型时要注意:远心镜头的景深很浅,适合测量但适合有高度差的表面;光源方面,频闪光源配合卷帘快门可以替代全局快门,但频闪的同步信号如果和相机曝光不同步,会出现亮度不均。这些细节在方案设计阶段就要确认,不要等到现场调试才发现。
3. 中游算法与平台层的技术选型实录
3.1 开源框架与预训练模型:从“造轮子”到“调轮子”
2023年1月,计算机视觉的开源生态已经非常成熟。检测有YOLO系列和DETR系列,分割有Segment Anything的前身工作,分类和特征提取有各种ViT变体。我的建议是:除非你的场景非常特殊,否则不要从零训练模型,而是基于预训练模型做微调。
但微调也有讲究。我试过在一个只有2000张标注图的工业缺陷数据集上,直接微调YOLOv5,mAP只有0.65;后来改用冻结主干网络、只训练检测头,mAP反而提到0.78。原因是数据量太少,全量微调容易过拟合。所以小样本场景下,计算机视觉模型的微调策略比模型结构更重要。
另一个变化是视觉大模型(Visual Foundation Model)的兴起。2023年1月,已经有多个视觉大模型开放API,可以做零样本分类和检测。但我在实际测试中发现,这些大模型在通用场景下表现惊艳,在工业缺陷这种细粒度场景下,零样本的准确率还不如小样本微调的传统模型。所以我的判断是:大模型适合做数据预筛选和标注辅助,不适合直接替代产线模型。
3.2 数据标注:成本结构与质量控制
数据标注是计算机视觉项目里最容易被低估的成本项。2023年1月,我跟踪了几个标注平台的报价:2D框标注大约0.1到0.3元一个框,语义分割按像素算,一张图可能几元到几十元。一个中等规模的检测项目,标注成本轻松超过十万。
控制标注成本有几个实操技巧。第一,先用预训练模型做预标注,人工只做修正,效率能提升3到5倍。第二,制定详细的标注规范,尤其是边界框的贴合标准、遮挡情况的处理规则,否则返工成本极高。第三,做标注质量抽检,我通常按10%的比例抽检,如果错误率超过5%,就要求全部返工。
还有一个坑:标注人员的培训成本。工业缺陷的种类往往需要专业知识才能区分,比如某种划痕和某种材料纹理的差异,普通人根本分不清。这种情况下,要么让产线质检员来标注,要么让算法工程师先标注一批“黄金样本”作为参考。
3.3 训练平台与推理引擎:选型的三个硬指标
训练平台方面,2023年1月主流的选择还是PyTorch,TensorFlow的份额在视觉领域继续萎缩。推理引擎方面,ONNX Runtime、TensorRT、OpenVINO各有适用场景。我选型的三个硬指标是:算子覆盖率、量化支持、跨平台部署能力。
算子覆盖率决定了你的模型能不能顺利转换。我遇到过一个自定义的注意力模块,在ONNX里没有对应算子,转换直接失败,最后只能重写。量化支持决定了你能不能把模型压到边缘设备上跑。TensorRT的INT8量化效果最好,但校准过程比较麻烦;ONNX Runtime的量化更简单,但精度损失可能大一些。跨平台部署能力决定了你换芯片时要不要重写推理代码。ONNX在这方面优势明显,基本做到了“一次导出,到处运行”。
4. 下游应用场景的落地进展与踩坑记录
4.1 工业质检:从“样板间”到“批量复制”的瓶颈
工业质检是2023年计算机视觉落地最密集的场景之一。我跟踪的几个项目显示,表面缺陷检测、尺寸测量、装配验证是三大主力需求。但“样板间”和“批量复制”之间有一道鸿沟:样板间里光线可控、产品单一、节拍慢;批量复制时,每条产线的光照、震动、产品批次都有差异,模型泛化能力面临考验。
我踩过的一个坑是:在实验室训练的模型,到了产线现场,因为传送带速度变化导致运动模糊,检测率直接掉了一半。解决办法是在训练数据里加入不同速度下的模糊样本,或者用全局快门加频闪来“冻结”画面。另一个坑是产线的电磁干扰导致相机丢帧,这个只能从硬件布线上去解决,算法层面无解。
4.2 安防与零售:存量市场的算法升级需求
安防是计算机视觉最成熟的下游市场,2023年1月的主要变化是存量摄像头的算法升级。以前的老旧摄像头只能录像,现在通过边缘盒子接入AI算法,可以实现人脸识别、行为分析、客流统计等功能。这个市场的特点是量大、单价低、对成本极度敏感。
零售场景我跟踪的是自助结算和客流分析。自助结算的核心是商品识别,技术路线从条形码向视觉识别迁移。但视觉识别的难点在于商品外观相似度高、遮挡严重、光线变化大。我见过一个方案,在测试集上准确率99%,到了真实超市只有85%,原因是顾客拿取商品的角度和测试数据差异太大。所以零售场景的数据采集一定要在真实货架上做,不能用实验室摆拍的数据。
4.3 医疗与自动驾驶:高价值但高门槛的长周期场景
医疗影像和自动驾驶是计算机视觉的两个高价值场景,但2023年1月的落地节奏明显慢于工业。医疗影像的瓶颈不在算法,而在法规审批和数据获取。一个医疗AI模型从研发到拿证,通常要两到三年,而且需要多中心临床验证。自动驾驶的瓶颈在长尾场景和算力成本,L4级别的自动驾驶每辆车的光雷达和摄像头成本依然很高。
我个人的建议是:如果你是算法工程师,想进入这两个领域,先确认自己能不能接受长周期的项目节奏。医疗影像可能半年都在等数据审批,自动驾驶可能一年都在调同一个corner case。相比之下,工业质检和零售的反馈周期短得多,适合快速积累经验。
5. 常见问题与排查技巧实录
5.1 模型训练不收敛的排查清单
训练不收敛是计算机视觉项目里最常见的问题。我整理了一个排查顺序:先看数据,再看标签,再看模型,最后看超参。数据方面,检查图像是否有损坏、标注是否越界、类别是否极度不平衡。标签方面,检查标注格式是否和模型输入匹配,比如YOLO要求归一化的中心点和宽高,如果你给了左上角和右下角坐标,模型肯定学不到东西。
模型方面,先用一个极小的数据集(比如10张图)做过拟合测试,如果模型连这10张图都拟合不了,说明模型结构或损失函数有问题。超参方面,学习率是最关键的,我通常从1e-3开始试,如果loss震荡就降到1e-4,如果loss下降太慢就升到1e-2。还有一个容易被忽略的点:数据增强的强度。如果增强太猛,模型可能学不到有效特征,尤其是小数据集场景。
5.2 推理速度不达标的优化路径
推理速度不达标时,优化路径按成本从低到高排列:第一,降低输入分辨率,这是最直接有效的,但要注意小目标检测的精度损失。第二,换更小的模型,比如从YOLOv5m换到YOLOv5s。第三,做量化,INT8量化通常能提速2到3倍,但需要校准数据。第四,换推理引擎,比如从ONNX Runtime换到TensorRT。第五,换硬件,这是最后的手段。
我实测过一个案例:YOLOv5s在CPU上跑,640x640输入,只有5FPS;降到320x320后到15FPS;再做INT8量化后到40FPS;最后换到边缘NPU上到80FPS。每一步的精度损失都在1%以内,但速度提升了16倍。所以优化是一个系统工程,不要一上来就换硬件。
5.3 现场部署的常见故障与应急处理
现场部署的故障往往和实验室环境差异很大。我遇到过相机被强光干扰导致自动曝光失控,画面一片白;也遇到过网络抖动导致推理结果回传延迟,产线已经流到下一站了才报警。应急处理的原则是:先保生产,再查原因。比如曝光问题,可以临时锁定曝光时间和增益;网络问题,可以在边缘端做本地缓存和断网续传。
还有一个常见故障是模型文件损坏或版本不匹配。我建议在部署包里加一个自检脚本,启动时校验模型文件的MD5和推理引擎的版本号,不匹配就直接报错,不要等到跑了一半才崩。这个习惯帮我省了很多现场排查的时间。
5.4 数据漂移的监测与模型迭代策略
数据漂移是模型上线后精度下降的主要原因。2023年1月,我跟踪的几个项目都开始重视这个问题。监测方法很简单:定期抽样线上数据,用当前模型推理,人工检查错误率。如果错误率比上线时高了5%以上,就说明数据漂移了,需要重新标注和迭代模型。
迭代策略上,我推荐“增量训练+全量验证”。增量训练是用新数据微调模型,全量验证是用一个固定的测试集确认精度没有退化。注意不要只用新数据训练,否则模型会“遗忘”旧场景。另一个技巧是保留一个“黄金测试集”,这个测试集不参与训练,只用于最终验证,确保模型迭代方向正确。
6. 个人实操心得与后续跟踪方向
6.1 从跟踪笔记到项目决策的转化方法
跟踪笔记的价值在于转化。我每个月梳理完产业链信息后,会做一件事:把信息映射到自己正在做或计划做的项目上。比如国产推理芯片降价,我就重新算一遍边缘盒子的BOM成本;视觉大模型有更新,我就拿自己的数据集测一下零样本效果。这样跟踪笔记就不是“看过”,而是“用过”。
转化时要注意区分“行业趋势”和“项目机会”。行业趋势是大家都知道的,比如AI芯片国产化;项目机会是只有深入一线才能发现的,比如某个特定场景下全局快门镜头的性价比拐点。跟踪笔记要重点记录后者,因为前者在公开报告里都能看到。
6.2 2023年后续值得关注的三个方向
第一个方向是计算机视觉与多模态的融合。2023年1月已经能看到视觉+语言模型在零样本检测上的潜力,后续如果推理成本降下来,可能会改变数据标注和模型微调的流程。第二个方向是边缘端的小样本学习,工业场景的数据获取成本太高,谁能用更少的数据达到可用的精度,谁就有优势。第三个方向是3D视觉在工业测量和机器人抓取上的渗透,随着深度相机价格下降,这个市场的增速可能会超预期。
6.3 给刚入行朋友的学习路线建议
如果你刚入行计算机视觉,我的建议是:先跑通一个完整的项目,从数据采集、标注、训练、部署到现场调试,全部走一遍。不要一上来就啃论文,论文里的SOTA和产线可用的方案之间差距很大。工具方面,Python和PyTorch是必须的,OpenCV和NumPy是基础,ONNX和TensorRT是部署必备。Visual Studio Code和PyCharm选哪个不重要,用顺手就行。
学习路径上,我推荐“项目驱动”:定一个具体的小目标,比如做一个车牌识别系统,然后围绕这个目标去学检测、OCR、部署。遇到什么问题就学什么,这样学得快、记得牢。最后再分享一个小技巧:多逛GitHub的issue区,很多实际问题的解决方案不在文档里,而在别人的讨论里。我很多踩坑经验都是从issue里看来的。