news 2026/10/25 14:52:47

瑕疵样本失衡怎么用 Focal Loss:别把训练损失塞进推理链路

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
瑕疵样本失衡怎么用 Focal Loss:别把训练损失塞进推理链路

一张图里背景很多、裂纹很少,普通分类损失容易花大量更新去处理已经分对的背景。Focal Loss 的用途是改变训练时各样本的贡献;部署后,推理通常只执行前向网络,并不逐点计算这个损失。把它描述成 NPU 上线以后必跑的“定点加速算子”,会把训练和部署混在一起。

原始依据是 2017 年的 Focal Loss 论文。它不是 2026 年的新方法。近期 RKNN Toolkit2 v2.5.0列出了 QAT 等能力,实际使用仍要核对目标平台、转换算子和量化流程,不能由此推断设备支持在线反向传播。

调制因子会改变梯度,不只是乘一个权重

二分类标签取y∈{0,1},p=sigmoid(z)。令正样本的pt=p,负样本的pt=1-p,损失为L=-αt(1-pt)^γ ln(pt)。当 γ 为 0,它退化为带类别权重的交叉熵。

对 logit 求导时,(1-pt)^γ本身也随 z 变化。只写αt(1-pt)^γ(p-y)会漏掉一项。先用浮点参考和数值微分核对解析式,再决定是否值得做定点近似,比先写 LUT 更容易定位错误。

import math def focal(z, y, gamma=2.0, alpha=0.25): p = 1.0 / (1.0 + math.exp(-z)) pt, a = (p, alpha) if y == 1 else (1.0 - p, 1.0-alpha) return -a * (1.0-pt)**gamma * math.log(pt) def gradient(z, y, gamma=2.0, alpha=0.25): p = 1.0 / (1.0 + math.exp(-z)) pt, a = (p, alpha) if y == 1 else (1.0-p, 1.0-alpha) dpt = p*(1.0-p) * (1 if y == 1 else -1) dL = a*(gamma*(1.0-pt)**(gamma-1)*math.log(pt) - (1.0-pt)**gamma/pt) return dL*dpt worst = 0.0 for y in (0, 1): for z in (-6.0, -2.0, 0.0, 2.0, 6.0): h = 1e-5 numeric = (focal(z+h, y)-focal(z-h, y))/(2*h) worst = max(worst, abs(numeric-gradient(z, y))) assert worst < 1e-8 assert abs(focal(0, 1, gamma=0)-0.25*math.log(2)) < 1e-12 print("gradient finite-difference max error: %.3g" % worst)

例子只覆盖中等范围的 logit。生产训练应使用稳定的 logits 形式,避免极端概率导致log(0);混合精度、梯度缩放和 reduction 规则也要纳入测试。这里没有训练任何检测器。

先判断是样本失衡,还是缺陷根本没有被看见

如果原图上的裂纹只有两三个像素,失焦、曝光和缩放就可能改变标签含义。增加高分辨率特征层可能保留空间信息,也会增加显存和计算量;它不能恢复采集时已经丢失的光学细节。

训练集还容易出现相邻帧泄漏。按图随机切分,可能让同一零件的几乎相同图像同时进入训练和验证。应按工件、批次或产线时间切分,并单独保留新材质、新光照的验证样本。

验收时分别报告缺陷召回、误剔除率和复核成本。mAP 需要明确 IoU、类别和置信阈值,不能把一个固定阈值下的召回率叫 mAP。损失下降只说明优化目标变化,不能自动解释漏检减少。

只有在浮点参考、数据划分和检测指标都稳定之后,定点损失才值得讨论。本文验证的是导数,尚未验证训练收敛、量化感知训练、转换兼容性或板端性能。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/25 14:49:10

基于若依框架的MES二次开发:从车间数字化到数据闭环

简介&#xff1a;面向制造业信息化负责人、MES项目选型及实施人员、车间管理者的一份PDF资料&#xff0c;围绕智能制造与MES应用展开&#xff0c;可帮助读者建立从智能制造内涵到MES落地执行的整体认知框架。内容依据e-works黄培博士的行业报告整理&#xff0c;系统梳理了MES作…

作者头像 李华
网站建设 2026/10/25 14:49:07

SAP GUI 770安装配置与SAP Logon连接排障指南

简介&#xff1a;SAP GUI 770 最新版客户端面向需要连接 SAP R/3、ABAP 工作台及 NetWeaver 环境的 Windows 用户与企业运维人员&#xff0c;提供图形界面客户端的完整安装包&#xff0c;可用于日常业务操作、系统集成演示与客户端部署测试。压缩包共 2616 个文件&#xff0c;约…

作者头像 李华
网站建设 2026/10/25 14:42:20

基于LightGBM的糖尿病风险预警:从数据清洗到概率校准

简介&#xff1a;这是一份以《基于机器学习的糖尿病风险预警分析系统的设计与实现》为完整案例的毕业论文写作指南&#xff0c;主要面向计算机、数据科学、人工智能等专业的本科与专科学生。内容从选题与研究计划制定入手&#xff0c;逐步展开糖尿病危险因素分析、医疗数据收集…

作者头像 李华
网站建设 2026/10/25 14:39:16

WPFormer双域协同机制在工业缺陷检测中的应用与优化

1. 项目概述&#xff1a;WPFormer的双域缺陷检测创新在工业质检领域&#xff0c;表面缺陷检测一直是个既关键又棘手的任务。传统方法往往在复杂背景下表现不稳定&#xff0c;而纯视觉Transformer又面临计算资源消耗大、小缺陷敏感度不足的问题。WPFormer的提出&#xff0c;恰好…

作者头像 李华
网站建设 2026/10/25 14:30:55

Python+Spark智慧城市交通大数据实战:从环境搭建到分析案例

简介&#xff1a;这是一份基于Python与Spark的智慧城市交通大数据系统本科毕业设计完整资料包&#xff0c;面向计算机、人工智能、通信工程、电子信息、物联网等相关专业的在校学生与毕业设计开发者&#xff0c;也适合需要项目参考的企业员工和提升实战能力的小白学习者。资源围…

作者头像 李华
网站建设 2026/10/25 14:25:58

企业网络规划与设计课设指南:从需求分析到VLAN、NAT与安全策略落地

简介&#xff1a;这份《计算机网络》课程设计文档面向计算机、信息安全等专业学生及网络初学者&#xff0c;围绕“企业网络规划与设计”这一典型课设题目&#xff0c;提供从需求分析到方案落地的完整参考。内容以蓝天高科技产品研究与制造公司为背景&#xff0c;涵盖员工宿舍、…

作者头像 李华