我最早做未成年人内容审核时犯过一个大错：以为把成人内容审核模型的标签体系改一改，就能直接覆盖未成年人场景。上线之后第一周就被现实打脸——成年人视角下的"安全"内容，在未成年人视角里根本不算安全。一支点燃的蜡烛、一段校园生活记录、一句玩笑式的危险挑战台词，单看任何一个维度都不违规，但组合到一起就是需要处置的内容。这逼着我重新设计了一套面向短视频未成年人内容安全审核的多模态大模型训练与审核系统。
这篇文章就把这套系统的设计方案完整拆开讲，包括数据怎么建、模型怎么选、审核链路怎么搭、训练指标怎么定、上线之后会遇到哪些坑。内容偏工程实践，适合正在做内容安全、大模型应用或视频理解方向的同学参考。
1. 一个被频繁低估的问题：未成年人审核不是成人风控的换皮
1.1 内容风险清单与判断逻辑的差异
先把两个场景的风险清单摆在一起看，差异其实非常明显。
成人内容审核的核心对象通常比较明确：露骨色情、血腥暴力、违法信息、侵权内容。这一类内容的判断边界相对清晰，视频里出现露骨画面就是违规，出现真实血腥画面就是违规，关键词命中违禁词就是违规。它更像一道"硬门槛"，过了线就拦截，没过线就放行。
未成年人内容审核完全不是这个逻辑。大量需要处置的内容并不触碰明文红线，但对心智发育有直接负面影响。我把常见的类别梳理了一遍，大概包括以下几类：
- 软色情与不当性暗示：没有露骨画面，但通过穿着、动作、运镜、文案暗示性内容
- 危险行为模仿：模仿危险动作、危险挑战、不当实验，画面看似日常但存在安全风险
- 不良价值观引导：炫富拜金、未成年恋爱剧情化、矮化努力学习等
- 诱导消费与诈骗：针对未成年人的充值引导、虚假抽奖、私下加好友等
- 隐私泄露风险：未成年人露脸、定位信息暴露、学校信息暴露
- 不当社交诱导：陌生人索要联系方式、私下见面引导等
这组类别的共同特征是：判断标准不是"是否违规"，而是"是否适龄"。适龄性判断高度依赖语境——同样一个"点打火机"的画面，出现在魔术教学里和出现在危险挑战里，结论完全不同；同样一句"跟我走"，出现在校园剧情和出现在拐骗诱导里，风险等级也不同。
所以未成年人审核不像成人审核那样"过了线就拦截"，而是要在多个维度上做语境推理，再把各维度信号汇总成最终判断。
1.2 传统内容安全方案在这里会大面积失效
很多团队做未成年人审核，第一反应是复用已有的内容安全能力，但实际跑下来会发现常用的三类手段全部打折扣。
第一类是关键词过滤。短视频里大量危险内容根本不会出现敏感词。比如一条视频画面是几个孩子模仿从高处跳下，配文只有一句"太爽了"，没有任何触发词。反过来，大量正常内容反而会命中敏感词——"挑战"、"加好友"、"免费领"这些词在教育类、科普类、娱乐类内容里很常见。用关键词做粗筛可以，但作为主要判断手段会同时出现高漏报和高误报。
第二类是单帧图像识别模型。短视频是连续动作，大量风险信息存在于"动作过程"而不是"某一帧静止画面"里。孩子翻出窗外、从高处跳落、往嘴里塞不明物体，这些行为只在连续几秒内能看清。抽帧正好抽到关键动作的概率很低，而如果为了捕捉动作把抽帧密度加大，计算成本又成倍上升。
第三类是单模态文本模型。短视频里有语音、有字幕、有画面内的文字贴纸，但文本无法表达画面信息。语音说"点一下试试"，画面里是打火机和酒精，字幕写着"挑战"，这三个信号在文本模态里各自普通，组合起来就是一个典型的危险行为引导场景。单模态模型再强，在这个场景下也缺信息。
这些手段不是说完全没用，而是它们适合做前置过滤，不适合做最终决策。
1.3 多模态大模型的定位不是"更聪明的图像模型"
这套系统的核心思路，是把审核问题定义为跨模态推理问题，而不是单模态识别问题。
多模态大模型在这里的价值，是能把"画面里发生了什么""语音在表达什么意图""字幕/贴纸文字在暗示什么"三路信号放在同一个语义空间里对齐推理。它回答的是"这条视频整体在表达什么、对未成年人有什么影响"，而不是"这一帧里有没有出现违规元素"。
我用一个场景说明这种差距：某个视频画面是一个教室，语音内容是学生朗读课文，字幕写着"学霸的一天"，看起来完全正常。但画面角落里一个学生的手机上弹出了成人应用的推送界面，持续了不到两秒。单帧图像模型会认为画面是教室场景，文本模型会认为语音和字幕完全合规，只有把画面内容、语音内容、字幕内容以及时间轴对齐关系综合起来，才能推断出这条视频存在"不当信息展示"的风险。
文章后面讲的训练数据、模型结构、系统管线，都是围绕这个"跨模态推理"定位展开的。
2. 训练数据才是这套系统的真正护城河
模型结构可以抄，训练代码可以开源，但未成年人内容审核的数据资产没法抄。这一部分我想重点讲清楚数据上到底难在哪、怎么解。
2.1 未成年人场景的数据为什么这么难搞
第一个约束是合规获取成本极高。涉及未成年人的数据采集要处理肖像权、隐私权、监护人授权等一系列问题，不可能像爬取普通公开数据那样随意收集。很多团队索性放弃自采，转向开源数据集，但开源数据集和真实审核场景的目标分布差异非常大。
第二个约束是真实违规样本稀缺且分散。短视频平台每天上传的内容里，真正涉及未成年人风险的类别占比往往只有千分之几甚至更低。我在项目初期从历史积累的处置记录里捞样本，捞出来后发现大量违规样本是"低质重复"的——同一个模板换了个背景、换了个人拍，模型学会识别这批样本很容易，但遇到新拍法，效果立刻衰减。
第三个约束是人工标注的一致性非常差。我给标注团队一份"危险行为"的标注规范，同一段视频三个标注员可能给出三种结论。因为未成年人内容安全的很多判断依赖语境和主观理解，没有客观标准。
2.2 标签体系设计：先回答"要给谁看"和"危险在哪"
数据生产之前，必须先解决标签定义问题。设计标签体系时我遵循两条原则。
第一条原则是面向场景分类而不是面向内容分类。同一个标签体系要回答"这条视频拍的是什么场景"——校园、家庭、户外、才艺、剧情、科普等等，同时回答"这条视频包含哪类风险"。这两个维度分开标注，场景维度帮助模型理解语境，风险维度帮助模型做最终决策。只标风险维度的话，模型很难区分"正常教学视频里演示用火安全"和"危险视频里诱导点火挑战"。
第二条原则是风险等级必须细化。不建议用"安全/不安全"二分类，而是每类风险再分等级。比如"不当性暗示"从轻微到严重至少分三档，"危险行为模仿"也要区分"演示但安全""演示但有风险""明确诱导模仿"等场景。等级标签的作用有两个：一是让模型学得更细，二是配合后端的处置策略——不同等级走不同审核路径，不用一刀切。
还有一个容易被忽略的部分：反例样本的质量。模型误报往往不是因为正样本太少，而是因为"看似危险但实际安全"的边界样本缺失。蜡烛点燃是生日派对，打火机出现是魔术表演，孩子躺倒在地是游戏剧情。这些"安全但容易误判为危险"的样本，我建议单独建一个数据集专门积累，这件事比很多人想象的更要紧。
2.3 数据生产闭环：从种子样本到主动学习回环
具体的数据生产流程，我按下面这个闭环来跑。
第一步是先收集种子样本。从历史人工处置记录、用户举报记录、运营巡查记录中，把已确认的违规样本全部捞出来，形成第一批正样本池。同时从全量内容里随机抽一批负样本，再单独挖一批"边界样本"（人工审核时争议比较大的内容）。
第二步是跑模型初筛。用种子样本训一个v0版本模型，跑全量待审内容，把置信度落在中间区间（比如0.3到0.7）的样本挑出来送人工标注。这些样本是模型最吃不准的，也是信息量最大的。
第三步是标注质量控制。每一条样本至少两人独立标注，结果不一致的交由更高一级复核。定期用一批"黄金样本"（已经达成一致结论的内容）检验标注员的一致性，标注准确率低于阈值的需要重新校准。
第四步是数据回流。新标注的数据按周期合入训练集，重新训练模型后再做一轮初筛。循环往复，每一轮主动学习都会让模型对边界样本的判断更准。
第五步是隐私处理。所有送入训练的数据都要做人脸模糊、设备信息脱敏、地理位置信息去除。涉及未成年人形象时尤其严格，宁可少用一些样本，也不能在这个环节出问题。
3. 模型结构：为了"看懂视频在讲什么"，而不是单纯识别画面
数据问题解决之后，模型结构设计就变成核心议题。这里要做的选择很多，我按关键决策点逐个说明。
3.1 三流输入：画面、语音、文本，一个都不能少
我用了三路输入，分别是视频帧、语音内容和视频内文字。语音内容不是直接传音频波形，而是先做ASR转写成文本，再作为文本序列输入。视频内文字包括字幕和画面中出现的标语、贴纸文字，通过OCR抽取后同样文本化。
为什么要单独保留OCR这一路，值得多说一句。短视频里大量信息是通过字幕和贴纸表达的，而这类文字往往和语音不一致。比如画面上贴出"关注我领福利"的大字，语音通篇在讲教学内容，这里OCR文本的价值就体现出来了。我见过只做"画面+语音"两路输入的方案，在涉及文字贴纸的风险类型上漏报率明显偏高。
画面这路输入不直接用整段视频的所有帧，而是先做抽帧。抽帧策略后面小节单独讲，这里先说明整体架构：三路输入分别经过各自的编码器提取特征，再进入融合层做跨模态对齐和语义推理。
3.2 时序建模：从单帧到片段，才是"视频理解"的分水岭
未成年人审核场景里有大量风险类型依赖时间维度判断。危险动作模仿的"全程轨迹"、不当互动的"前后因果"、隐私泄露的"背景连续变化"，都需要模型理解片段级信息，而不是单帧信息。
抽帧策略我采用"场景切分加关键帧采样"两段式：先对视频做镜头边界检测，把长视频切成若干镜头；再在每个镜头内按内容变化程度采样关键帧。普通内容的2分钟视频，最终可能只抽20到30帧，但风险动作能被覆盖到的概率比均匀抽帧高不少。
时序建模层面，我在框架里同时保留两个分支：帧级分支直接对关键帧做分类，处理单帧就能判别的风险，比如画面里出现明显的成人向内容；片段级分支把关键帧序列和音频、文本在时间轴上对齐，用序列模型捕捉行为轨迹和跨模态共现关系。最终两个分支的特征拼接后统一做风险预测。这样一个模型同时覆盖"看静态画面"和"看动态过程"两类任务，比强行做成纯时序模型更稳。
3.3 融合策略与基座选型：效果、成本和可维护性的三角取舍
关于特征融合，早期拼接方案确实最简单——把三路特征向量直接拼起来喂给分类头。工程上稳定、调试方便、不容易崩，但它的问题是模态间信息交互不足，模型很难学到"画面和语音矛盾时该信哪个"这类跨模态规律。
后来我升级成交叉注意力融合，让三路特征的每个token在融合层里互相做注意力计算。效果确实更好，尤其是在"语音和画面不一致"这类高难度样本上，准确率提升明显。但代价是训练时间加长、显存占用增多、超参数调试变难。
我的建议是不要一上来就上交叉注意力。先用拼接方案跑通全流程，积累一批可靠的训练数据，再升级融合层。这个升级通常会在下一轮迭代中带来一次可感知的效果提升，但前提是前期的数据质量已经稳定，否则模型变复杂只会让错误更难定位。
基座选型上我的经验是选中等规模的预训练多模态模型，不要追求参数最大的那种。原因很实际：一是推理成本要按每天千万级视频去算，模型太大压不住；二是训练和迭代周期，大模型每次微调要几天甚至几周，中等模型可以做到按天迭代；三是部署灵活，中等模型可以同时支撑线上实时推理和离线批处理。
4. 审核系统设计：模型只是审核链路里的一环
模型训得好不好，决定审核效果的上限；但系统管线设计决定这个上限能兑现多少。这一章讲的是模型之外的部分。
4.1 多级管线：快速拦截、深度审核、人工兜底
整个审核流程我拆成四层，每层审的深度不同、成本不同、目标也不同。
第一层是轻量前置过滤。主要用规则和单模态小模型，目标是以最低成本处理掉绝大多数明显正常的内容，同时拦截掉那些连关键词层面都能确认违规的内容。这一层不需要追求高精度，核心指标是处理速度和零漏放高危内容。
第二层是中等规模多模态模型。前置过滤后剩下的内容，全部进这一层做完整的多模态推理，输出每个风险类别的置信度。这一层承担了超过九成的实际审核决策。
第三层是大模型疑难兜底。第二层置信度落在中低区间的样本，送入大模型做深度判断。大模型的优势在于长上下文理解能力强，能把整段视频的全局信息串起来，同时产出自然语言的判断理由。
第四层是人工复核。大模型也无法确定的内容，以及置信度落在特定高风险窗口内的内容，最终由人审兜底。
这套设计解决了一个核心矛盾：如果全量内容都走大模型，算力成本会高到无法承受；如果全量内容都只走小模型，效果又达不到要求。分层的意义就是让不同成本、不同能力的组件用在最合适的样本上。
4.2 召回与成本的矛盾：未成年人审核永远要偏向召回
审核系统的目标函数和常规推荐系统的目标函数不一样。推荐系统追求的是在约束下最大化指标，审核系统永远要把"漏掉危险内容"视为最严重的错误。漏掉一条高危内容，比误拦一百条正常内容更致命。
但无条件追求召回也会出问题。如果阈值调得过松，大量正常内容进入人工复核队列，人审成本会直线上升，反而拖慢高危内容的处置时效。我遇到的实际问题是：阈值收得太紧，中危内容堆积在人工队列里，等审到的时候已经过了黄金处置时间；阈值放得太松，低危误判大量产生，体验和效率双输。
解决办法是分级召回加分级处置。高风险类别用非常激进的召回策略，宁肯让大量疑似样本进入大模型兜底，也要保证不漏；中低风险类别则用相对保守的阈值，把进入人工队列的内容控制在可处理范围内。每条样本按风险等级和置信度综合排序，高优先级保证先审。
4.3 审核结果回写：让每一次审核都变成一次训练数据生产
系统里最容易忽略却最关键的环节，是审核结果的数据回写。
线上每次审核的输入视频、模型预测结果、处置动作、后续用户申诉结果，都应该结构化落库，并按周期回流到训练集。这一环的价值在于：真实线上内容的分布和变化趋势，只有从回写数据里才能看到。比如某个时间段突然出现一类新的风险内容形态，主动学习流程会捕捉到大量低置信度样本；如果这些数据不回流，模型就会一直停留在上一个版本的理解水平。申诉数据尤其重要——申诉通过的内容往往就是模型误判的高发类型，应该优先进入下一轮的训练和调优。
5. 训练工程里的硬仗：损失函数、样本平衡与评估
模型结构和系统管线定下来后，训练环节还有三场硬仗要打。
5.1 极端不平衡：恶意样本只占沧海一粟
未成年人风险类别在全量内容里的占比极低，某些类型可能只有万分之几。在这种分布下直接训练多分类模型，模型很快会学会"永远输出正常"，因为这样也能获得接近百分百的准确率。
我在训练里用了几种手段组合。第一是焦点损失，它对易分类样本的梯度进行衰减，让模型把注意力集中在难分类样本上。第二是在线难例挖掘，每个批次里动态筛出loss最高的样本参与梯度更新。第三是人工过采样：对每个风险类别设定最低样本数，不足的用数据增强补足。第四是类别间不平衡采用分级权重，高危类别权重显著高于低危类别。
这里有一个我自己踩过的坑：过采样比例不是越高越好。把稀有类别过采样到和正常内容一样多之后，模型确实在这类样本上表现变好，但对正常内容的误报也会上升，因为模型学到的类别先验被扭曲了。实操中过采样比例控制在1:5到1:10区间比较安全，具体需要按类别抽测。
5.2 多任务联合训练：让标签之间互相借力
我没有把模型训练成单标签多分类，而是做成多标签多任务结构。具体来说，共享一个多模态编码器，后面接多个预测头：风险类别识别头输出每条视频命中了哪些风险类型；场景分类头输出视频的上下文场景；严重程度头输出该视频的总体风险等级；适龄区间头输出适合观看的年龄段建议。
多任务联合训练的好处有三层。第一层是标签相关性互补——一条视频同时标了"危险行为模仿"和"校园场景"，模型能学到场景对风险判断的影响。第二层是样本利用率提升，一个样本即便只标注了其中一个任务，也能参与其他任务的梯度更新。第三层是抗过拟合，多任务共享编码器会形成正则化效果，在数据量不大的类别上尤其明显。
5.3 评估指标：不能只看一个F1值
审核系统的评估和推荐系统评估也有很大区别。推荐系统可以接受整体指标略下降换取某类指标上升，审核系统则必须分层分类地评估每类风险的表现。
我最终沉淀的评估体系包含几个层次。第一层是分风险类别的加权召回率，高危类别权重按业务严重程度设定，漏掉一条高危类别内容的惩罚远大于误报一条低危内容。第二层是整体误报率，它的意义在于控制人工审核压力。第三层是人工复检率，即多少人审队列里的内容实际被判有风险，这个指标直接反映模型把多少正常内容错误地推进了人审环节。
评估集的构建也有讲究，不能简单随机抽样。因为正常内容占比太高，随机抽出来一个评估集，正常内容会淹没风险样本，模型随便答"安全"都能拿到很高的准确率。我按分层抽样构建评估集：每个风险类别取固定数量，正常内容按比例取一部分，再混合成最终评估集，这样每个类别的召回率才有统计意义。
6. 上线之后真正折磨人的那几件事
模型上线不是终点，上线之后遇到的工程问题比训练阶段更让人头疼。挑几个我印象最深的展开讲。
6.1 误判的三种典型形态，以及对应的处理手段
第一种是边界误判。蜡烛点燃画面被打火机火源类风险拦截，生日派对视频误判成不当点火引导。这类问题最普遍，根因是风险类别的边界本来就有模糊地带。我的处理方式是把这些样本系统回流，专门标注成"边界安全"类别，让模型学习区分语境。实测两轮迭代后误伤率能下降一大截。
第二种是上下文误判。比如动漫作品里的打斗镜头，模型按真实暴力内容拦截了；新闻素材里的真实画面，模型按风险内容处置了。这类问题说明模型对内容体裁的区分能力不够。解决办法是在训练数据里为动漫、影视剪辑、新闻纪实、纪录片等特殊体裁单独建类，或者在做场景分类任务时增加体裁维度。
第三种是跨模态错误对齐。语音在讲消防安全知识，画面演示点火操作，模型把整条视频判成了危险行为引导。这种"演示安全操作"和"诱导危险行为"之间的区分，即使人工审核都要仔细判断。我的经验是不要把希望全放在模型自动学会上，而是显式地在训练数据里加入大量"教学演示"样本，同时在大模型兜底环节增加一条提示规则，让模型先判断内容体裁，再判断风险。
6.2 模型的稳定性比效果更让人操心
大模型的推理结果不是完全确定的。同一个视频、同一个模型版本，在大模型兜底环节可能出现两次推理风险等级不同的情况。这在审核场景里很麻烦，因为审核决定需要可解释、可追溯。
我把大模型兜底环节的推理温度设为固定值，并把随机种子固定下来。虽然不能做到百分之百稳定，但实际运行中同一视频重复推理的结果一致性已经足够支撑审核决策。更重要的手段是保留旧版本模型的预测快照。每次灰度发布新模型之前，先把旧模型的预测结果落到明细表，新模型上线后如果发现某类误报激增，可以一键比对新旧模型的预测差异，快速定位问题并回滚。
6.3 人机协同：人审队列不是简单的"机器审完给人看"
人机协同最忌讳的是让人审去做"机器做不了的低效劳动"。如果模型把大量明显安全的内容推进人审队列，人审很快会疲倦，真正的风险内容反而被人忽略。
我的做法是按"可疑程度排序"组织人审队列。模型输出的置信度不直接等于可疑程度，我会把置信度落在中间区间的样本排在第一位，这类样本最有价值，人工判断的增量信息最多。置信度很高或很低的样本要么直接处置，要么抽样抽检，不进入全量人审队列。这样人审的注意力集中用在模型最没有把握的内容上，人机协同才是有效率的。
另外每天统计人审通过率是一个重要的运营指标。如果某天某类风险的人审通过率突然从20%掉到5%，大概率不是人工变严了，而是模型对该类风险的判定阈值变化了，需要立刻介入检查。
这套系统从技术选型到落地，整体链路比预想中曲折得多。踩过最深的坑是把"内容审核"简单理解成"模型分类"，后来才意识到真正的审核是一个需要数据、模型、系统、人工协同的完整工程。如果你也在做类似的方向，我的建议是先从数据闭环和标签体系做起，一上来就钻研模型结构或者追热点大模型，大概率会在上线后被人审环节的实际问题反复教育。
