AI侦探P.I.项目：计算机视觉与生成式AI协同质检
一项结合了生成式人工智能和计算机视觉成像隧道的技术正在帮助某中心主动改善客户体验。
尽管某中心的配送中心存储着数亿件商品，但客户报告已发货商品受损的情况非常罕见。然而，对客户体验的极致追求意味着相关团队正在积极努力，力争在为数不多的瑕疵商品送达客户之前发现并移除它们。
其中一个团队由科学家组成，他们正在利用生成式人工智能和计算机视觉（由某机构的Bedrock和SageMaker等服务提供支持）来帮助发现、隔离和移除有缺陷的商品。在遍布北美的某中心配送中心内部，从狗粮、手机壳到T恤和书籍的各种商品会通过成像隧道，用于多种用途，包括根据商品的目的地进行分拣。这些用例已扩展到利用人工智能检查单个商品的缺陷。
例如，光学字符识别技术会检查产品包装上的有效期，以确保过期商品不会发送给客户。计算机视觉模型则会对彩色和单色图像进行仔细检查，以发现产品损坏的迹象，例如弯曲的书籍封面。
此外，近期一项突破性解决方案利用了生成式AI处理多模态信息的能力，通过综合商品履约过程中捕获的图像证据，并结合客户的书面反馈，以触发更快的纠正措施。这项统称为P.I.（意为“私家侦探”）项目的努力，涵盖了该团队的愿景：使用类似侦探的工具集来发现缺陷，并尽可能找出其原因，以便在产品到达客户之前从根源上解决问题。
缺陷检测
P.I.项目是某中心产品质量计划的产物，团队科学家开发的工具和系统包括帮助销售合作伙伴准确录入产品信息的机器学习模型。
早期的解决方案是一个OCR模型，它在库存到达时检查标签信息，并将其与数据库中的信息进行比较。如果出现不匹配，团队可以隔离并检查该批货物，防止任何过期产品到达客户手中。当检测到单个商品存在缺陷时，会采取几个步骤来解决问题，包括调查该商品是否属于一批有缺陷的产品，如果是，则将该批次与其他商品隔离。
利用客户反馈训练模型
尽管团队尽了最大努力，但有时产品质量问题只有在商品交付给客户后才会被发现。在这些情况下，团队会追踪商品所属的批次，核实问题，从配送中心货架上移除这些商品，进行退款，并向卖家沟通问题。
为了在产品包装和发货前更好地识别有缺陷的产品并采取精准、主动的措施，团队开始探索利用成像隧道的图像。该方法早期的挑战之一是训练CV模型以正确识别缺陷。为了解决这个问题，科学团队采用了一种集成方法，将自监督模型与有监督的Transformer模型相结合。通过学习与正常订单相关的配送中心图像中“正确”产品的样子，该模型可以将待包装的商品与其“正常”图像进行比较，并提供差异程度的度量。
这种方法使团队能够更可靠地发现明显的产品缺陷，但仍无法处理一些细节问题，如T恤尺码标签错误或盒子变形。为此，团队转向利用客户反馈来帮助训练多种ML模型，以区分正常和有缺陷的商品。这些更详细、带标签的数据被用于改进模型，以检测客户注意到的缺陷类型。
利用生成式AI
如今，科学团队正在利用生成式AI的突破，使产品缺陷检测更具可扩展性和鲁棒性。例如，团队推出了一个多模态大语言模型，该模型经过训练，可以识别破损的封条、撕裂的盒子和弯曲的书籍封面等损坏，并用通俗语言报告其检测到的损坏。
与传统CV技术需要为每个损坏场景（封条破损、盒子撕裂等）训练一个模型不同，MLLM是一个单一且可扩展的统一解决方案。P.I.团队最近还投入生产了一个生成式AI系统，该系统使用MLLM来调查客户负面体验的根本原因。该系统首先审查客户关于问题的反馈，然后分析隧道收集的产品图像和其他数据源，以确认根本原因。例如，如果客户因为订购了双人床单却收到特大号床单而联系客服，该生成式AI系统会将此反馈与配送中心图像进行交叉验证。系统会询问诸如“产品标签在图像中是否可见？”、“标签上写的是特大号还是双人床单？”等问题。系统的视觉语言模型则会查看图像，从标签中提取文本并回答问题。LLM将答案转换成一份通俗易懂的调查摘要。
配送中心内的概念验证
自2022年5月以来，产品质量团队一直在北美多个配送中心利用成像隧道推广其商品级产品缺陷检测解决方案。结果令人鼓舞。该系统已被证明能够熟练处理每月通过隧道的数百万件商品，并准确识别过期商品以及颜色或尺寸错误等问题。
未来，团队的目标是实现通过本地图像处理进行近乎实时的产品缺陷检测。在这种场景下，有缺陷的商品可以从传送带上取下，并自动订购替换商品，从而消除对履约流程的干扰。
新的研究方向
将这些解决方案无缝集成到整个配送中心网络，需要对AI模型进行改进，例如提高模型区分潜在缺陷误判与实际缺陷的能力。此外，使CV模型适应每个配送中心和地区的独特细微差别也存在挑战，例如配送中心内用于运送商品的料箱的大小和颜色，以及跨多种语言提取数据的能力。随着团队不断深入，他们积累的数据显示，缺陷有时源于配送中心外部发生的情况。团队还计划让销售合作伙伴更容易地获取缺陷数据。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
