基于深度学习的网络欺凌检测：从数据清洗到BERT微调的完整实战指南-开发者社区

简介：这是一份面向深度学习初学者与进阶学习者的网络欺凌检测实战资源，可作为毕业设计、课程设计、大作业或工程实训的参考方案。资源围绕网络暴力文本识别任务，提供从数据到模型落地的完整链路，帮助读者理解文本分类在社交内容治理中的具体应用。压缩包共8个文件，约2.68MB，包含2个ipynb交互式笔记、2个json数据与词表文件、1个py脚本、1个h5模型文件及md说明与license，分别对应训练流程、推理示例、已训练模型和词表构建结果。已有101人学习关注。读者可直接加载预训练模型与词表，在Jupyter中复现训练与预测过程，也可基于纯Python脚本快速验证效果，同时借助训练笔记梳理数据预处理、词表构建、模型搭建与评估的完整思路，适合作为文本分类入门与网络欺凌检测方向的实践起点。

1. 网络欺凌检测：从一条恶意评论到可复现的深度学习流水线

社交平台上一条带有人身攻击的评论，从发布到被举报平均不超过几分钟，但人工审核往往要几小时才能响应。基于深度学习的网络欺凌检测，要解决的就是把这段延迟压到秒级：让模型自动识别文本中的侮辱、威胁、歧视与群体攻击，先拦截高风险内容，再交给人工复核。它适合三类人：想做一个能写进简历的深度学习项目案例的学生；需要给社区、弹幕、评论区加一道自动过滤的开发者；以及手上有标注数据、想验证模型到底能不能落地的算法工程师。这件事的门槛没有想象中高，但坑比想象中密——数据脏、类别极不平衡、脏话变体满天飞，模型在测试集上 F1 很高，上线后却频繁翻车。下面按“数据怎么来、模型怎么选、参数怎么调、坑在哪”一路拆开讲。

2. 数据准备：网络欺凌语料怎么清洗、怎么切分、怎么防泄漏

2.1 先搞清楚你要检测的是哪一类欺凌

网络欺凌不是一个二分类标签就能概括的。常见做法是拆成四个维度：侮辱谩骂、威胁恐吓、歧视仇恨、群体攻击。不同维度的语言特征差异很大——威胁类往往有明确的动作词和对象，歧视类依赖身份词和贬损搭配，侮辱类则高度依赖脏话变体和上下文反讽。如果一上来就做“欺凌/非欺凌”二分类，模型很容易学到“只要出现某个脏话词就是欺凌”，遇到反讽或引用就会翻车。

我一般会先做一轮标签审计：随机抽 200 条正样本，人工看它们分别落在哪个维度，如果某个维度占比超过 70%，说明数据来源单一，模型泛化能力会很差。这时候要么补充其他来源的数据，要么在标签体系里明确只做这个维度，不要硬撑四分类。

2.2 清洗脚本：去噪、去重、处理脏话变体

原始语料通常来自公开数据集或平台导出，里面混着大量噪声：HTML 标签、重复刷屏、无意义符号、以及为了绕过审核而故意拼写的脏话变体（比如用数字、拼音、谐音、间隔符号）。下面这段 Python 脚本做三件事：去重、去噪、把常见变体归一化。

import re import hashlib from collections import Counter def normalize_text(text: str) -> str: # 去掉 HTML 标签和 URL text = re.sub(r'<[^>]+>', '', text) text = re.sub(r'https?://\S+|www\.\S+', '', text) # 全角转半角，统一大小写 text = text.encode('utf-8').decode('utf-8') text = ''.join([chr(ord(c) - 0xFEE0) if 0xFF01 <= ord(c) <= 0xFF5E else c for c in text]) text = text.lower() # 压缩连续重复字符：草草草草 -> 草草 text = re.sub(r'(.)\1{2,}', r'\1\1', text) # 去掉多余空白 text = re.sub(r'\s+', ' ', text).strip() return text def dedup_by_hash(texts, labels): seen = set() out_texts, out_labels = [], [] for t, l in zip(texts, labels): h = hashlib.md5(t.encode('utf-8')).hexdigest() if h not in seen: seen.add(h) out_texts.append(t) out_labels.append(l) return out_texts, out_labels # 脏话变体归一化表，按自己语料补充 VARIANT_MAP = { r'傻\s*[逼比币]': '傻逼', r'[艹草操]\s*[你尼]': '操你', r'n\s*m\s*s\s*l': 'nmsl', } def normalize_variants(text: str) -> str: for pattern, repl in VARIANT_MAP.items(): text = re.sub(pattern, repl, text) return text

逻辑说明：normalize_text先做通用清洗，dedup_by_hash用 MD5 去重，normalize_variants处理变体。参数上，重复字符压缩阈值设为 2 次以上才压缩，是因为“哈哈哈”和“哈哈”语义接近，但“草草草”和“草”情绪强度不同，压到两个是折中。变体表不要一次写太大，先统计语料里高频的变体，按频次补，否则容易误伤正常词。

2.3 切分与防泄漏：为什么随机切分会让指标虚高

很多人直接train_test_split(random_state=42)就开跑，结果测试集 F1 0.95，上线就崩。原因是同一段对话的连续评论、同一用户的重复发言、甚至同一模板的变体，会被随机分到训练集和测试集，造成信息泄漏。正确做法是按“对话线程”或“用户”分组切分，保证同一线程/同一用户只出现在一个集合里。

from sklearn.model_selection import GroupShuffleSplit # groups 可以是 thread_id 或 user_id gss = GroupShuffleSplit(n_splits=1, test_size=0.2, random_state=42) train_idx, test_idx = next(gss.split(texts, labels, groups=thread_ids))

参数说明：test_size=0.2是常见起点，如果正样本很少，可以调到 0.3 保证测试集里有足够正例。groups必须和文本一一对应，不能有缺失值。切完之后要检查训练集和测试集的标签分布，如果偏差超过 5 个百分点，说明切分不稳定，换随机种子或分层分组切分。

3. 模型选型：从 TextCNN 到 BERT 微调，哪个更适合你的数据量

3.1 小数据量优先 TextCNN，别一上来就上大模型

如果你的标注数据在 1 万条以下，TextCNN 往往比 BERT 更稳。原因不是 TextCNN 更强，而是小数据下大模型容易过拟合，微调学习率稍微大一点就崩。TextCNN 结构简单：嵌入层 + 多尺寸卷积核 + 最大池化 + 全连接。它对局部 n-gram 特征敏感，正好匹配脏话、威胁短语这类模式。

import torch import torch.nn as nn class TextCNN(nn.Module): def __init__(self, vocab_size, embed_dim=128, num_classes=2, kernel_sizes=(2,3,4), num_filters=128): super().__init__() self.embedding = nn.Embedding(vocab_size, embed_dim, padding_idx=0) self.convs = nn.ModuleList([ nn.Conv1d(embed_dim, num_filters, k) for k in kernel_sizes ]) self.dropout = nn.Dropout(0.5) self.fc = nn.Linear(num_filters * len(kernel_sizes), num_classes) def forward(self, x): # x: [batch, seq_len] emb = self.embedding(x) # [B, L, E] emb = emb.permute(0, 2, 1) # [B, E, L] feats = [] for conv in self.convs: c = torch.relu(conv(emb)) # [B, F, L-k+1] p = torch.max_pool1d(c, c.size(2)).squeeze(2) # [B, F] feats.append(p) out = torch.cat(feats, dim=1) out = self.dropout(out) return self.fc(out)

逻辑说明：kernel_sizes=(2,3,4)覆盖二元到四元短语，num_filters=128是常见起点，数据量小可以降到 64。dropout=0.5是防过拟合的关键，如果训练集准确率远高于验证集，先加 dropout 再考虑减层。嵌入层可以加载预训练词向量，也可以从头训，数据少于 5000 条时建议加载。

3.2 数据量过万再考虑 BERT 微调，学习率是生死线

当标注数据超过 1 万条，且类别平衡尚可时，BERT 类模型的优势才显现出来。微调时最重要的参数是学习率，常见范围是 2e-5 到 5e-5，超过 1e-4 很容易灾难性遗忘。批次大小在 16 到 32 之间，序列长度截断到 128 通常够用，长文本可以到 256，但显存会翻倍。

from transformers import BertTokenizer, BertForSequenceClassification, Trainer, TrainingArguments tokenizer = BertTokenizer.from_pretrained('bert-base-chinese') model = BertForSequenceClassification.from_pretrained('bert-base-chinese', num_labels=2) def tokenize(batch): return tokenizer(batch['text'], padding='max_length', truncation=True, max_length=128) train_enc = train_dataset.map(tokenize, batched=True) test_enc = test_dataset.map(tokenize, batched=True) args = TrainingArguments( output_dir='./ckpt', learning_rate=2e-5, per_device_train_batch_size=16, num_train_epochs=3, evaluation_strategy='epoch', save_strategy='epoch', load_best_model_at_end=True, metric_for_best_model='f1', )

参数说明：learning_rate=2e-5是中文 BERT 微调的稳妥起点，num_train_epochs=3通常足够，超过 5 轮几乎一定过拟合。metric_for_best_model='f1'是因为类别不平衡时准确率没有参考价值。如果显存不够，把max_length降到 64，或者用梯度累积模拟大 batch。

3.3 类别不平衡：重采样、加权损失、阈值移动怎么选

网络欺凌数据里正样本通常只占 5% 到 20%，直接训练会让模型倾向于全预测为负。三种常见做法：重采样（过采样正例或欠采样负例）、加权损失（给正类更高权重）、阈值移动（调低正类判定阈值）。我一般先用加权损失，因为它不改数据分布，实现最简单。

# 加权损失：正类权重 = 负类数量 / 正类数量 pos_weight = torch.tensor([neg_count / pos_count]) criterion = nn.BCEWithLogitsLoss(pos_weight=pos_weight)

如果加权损失后召回率还是上不去，再考虑过采样，但要注意过采样会放大噪声标注的影响。阈值移动放在最后，在验证集上扫一遍阈值，选 F1 最高的点，但上线前要用另一批数据确认阈值没有过拟合。

4. 训练与评估：指标怎么选、阈值怎么定、错误怎么归因

4.1 别只看准确率，F1 和召回率才是上线依据

在类别不平衡场景下，准确率是最容易骗人的指标。一个把所有样本判为“非欺凌”的模型，准确率可以到 85%，但召回率为 0。实际落地时，我更关注三个数：正类召回率（漏报多少）、正类精确率（误报多少）、以及 F1。如果业务上漏报代价高，就优先保召回，精确率可以靠人工复核兜底。

评估时还要看混淆矩阵的具体分布。如果假阳性集中在某些特定词上，比如“打死你”在游戏语境里是玩笑，在威胁语境里是欺凌，说明模型没有学到上下文，需要补充这类难例。

4.2 阈值扫描脚本：找到业务可接受的平衡点

import numpy as np from sklearn.metrics import f1_score, precision_score, recall_score def scan_threshold(y_true, y_prob, thresholds=np.arange(0.1, 0.9, 0.05)): results = [] for th in thresholds: y_pred = (y_prob >= th).astype(int) results.append({ 'threshold': round(th, 2), 'f1': f1_score(y_true, y_pred), 'precision': precision_score(y_true, y_pred), 'recall': recall_score(y_true, y_pred), }) return results

逻辑说明：y_prob是模型输出的正类概率，thresholds从 0.1 扫到 0.85，步长 0.05。拿到结果后不要直接选 F1 最高的阈值，要看业务能接受多少误报。如果误报会导致大量正常用户被拦截，就选精确率更高的阈值；如果漏报会导致严重舆情，就选召回率更高的阈值。选定后，在独立测试集上再验证一次。

4.3 错误归因：把翻车样本捞出来看

模型上线前，我一定会做一轮错误归因：把假阳性和假阴性各抽 50 条，人工看它们为什么错。常见原因有四类：反讽和引用被误判、脏话变体没覆盖、短文本信息不足、标注本身有错。前两类靠补充数据和变体表解决，第三类可以考虑引入上下文或用户历史，第四类要回去修标签。

5. 避坑与排查：网络欺凌检测落地时最容易翻车的 5 个点

5.1 现象：测试集 F1 0.95，上线后误报率飙升

原因：随机切分导致信息泄漏，同一线程或同一用户的样本同时出现在训练和测试集。解决：改用 GroupShuffleSplit，按 thread_id 或 user_id 分组切分，切分后检查标签分布。

5.2 现象：模型把“打死你”在游戏语境里判成威胁

原因：模型只学到了词本身，没有学到上下文。解决：补充游戏语境下的负样本，或者在特征里加入前后文窗口，让模型看到“这局打死你”和“我打死你”的区别。

5.3 现象：脏话变体绕过检测，比如用拼音首字母或间隔符号

原因：归一化表覆盖不全，或者归一化在分词之后才做。解决：归一化必须在分词之前做，变体表按语料统计高频模式逐步补充，不要一次写死。

5.4 现象：训练损失正常下降，但验证集 F1 一直不涨

原因：学习率太大导致模型在最优解附近震荡，或者类别权重设得过高导致模型偏向正类。解决：把学习率降一个数量级，检查 pos_weight 是否超过 10，如果超过，先做数据层面的重采样。

5.5 现象：模型对短文本（少于 5 个字）几乎全判错

原因：短文本信息量不足，嵌入层学不到有效表示。解决：对短文本单独设一个规则兜底，或者把用户历史发言拼接进来，但要注意隐私合规。

6. 进阶技巧：用对抗验证和持续学习把模型养住

6.1 对抗验证：提前发现训练集和线上分布的偏移

对抗验证的做法是：把训练集和线上采样数据混在一起，训练一个分类器去区分“这条来自训练集还是线上”。如果分类器 AUC 明显高于 0.5，说明两者分布有差异，模型上线后大概率会掉点。这时候要找出差异最大的特征，针对性补充数据。

from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import cross_val_score # X_combined: 训练集和线上数据的特征拼接 # y_combined: 0 表示训练集，1 表示线上 clf = RandomForestClassifier(n_estimators=100, random_state=42) auc = cross_val_score(clf, X_combined, y_combined, cv=5, scoring='roc_auc').mean() print(f'Adversarial validation AUC: {auc:.4f}')

参数说明：n_estimators=100够用，cv=5看稳定性。AUC 超过 0.7 就要警惕，超过 0.8 说明分布差异很大，必须先解决再上线。

6.2 持续学习：用线上反馈数据做增量训练

模型上线后，人工复核的结果就是新的标注数据。我一般每周把复核过的数据加入训练集，做一次增量微调，学习率设为初始值的十分之一，只训 1 到 2 轮。这样模型能跟上新的脏话变体和表达方式，但不会因为新数据太少而遗忘旧知识。

策略	学习率	训练轮数	适用场景
全量重训	2e-5	3	数据量翻倍或标签体系调整
增量微调	2e-6	1-2	每周新增复核数据
只调分类头	1e-4	3-5	嵌入层冻结，数据量很少