情感分析工程化：情感词典 + BERT 的混合方案比纯模型稳定-开发者社区

情感分析工程化：情感词典 + BERT 的混合方案比纯模型稳定

一、BERT 在 100 条测试中准确率 94%，上线一周掉到 78%

情感分析是 NLP 中看起来最简单的任务——正/负/中性三分类，有什么难的？但真实业务中的情感分析面对的文本，和 ACL 论文里的评测集完全是两个世界。

用户评论不会用标准的新闻体写。错别字、口语化表达、方言用词、反讽、阴阳怪气——这些是真实数据的特点。BERT 在 IMDB 影评数据集上可以轻松拿到 95%+，但真实电商评论区里，那个写"客服态度'真好'让我多等了两个小时"的用户，BERT 坚定地判为了正向。

纯模型方案在分布内数据上很强，但域外泛化是软肋。情感词典方案泛化能力强，但精度低。这篇文章谈怎么把两者结合。

二、为什么纯模型不被信任：OOD 场景下 BERT 的脆弱性

BERT 类模型对情感的理解基于训练数据的分布。当测试数据与训练数据的分布一致时，准确率非常高。但一旦分布偏移（域外数据，OOD），模型的置信度可能完全不反映真实情况。

情感词典的优势在于：它基于人工标注的确定性规则，不受分布漂移影响。"失望"永远是负向的，"满意"永远是正向的。这种确定性在 OOD 场景下弥足珍贵。

graph TD A[输入文本] --> B[预处理] B --> C{路由策略} C --> D[规则路由: 情感词 ≥ 3?] C --> E[模型路由: 情感词 < 3 或 矛盾?] D -->|是| F[情感词典: 确定性打分] D -->|否| E E --> G[BERT: 上下文语义分析] F --> H{投票策略} G --> H H --> I[支持率 100%] H --> J[支持率 50%] H --> K[支持率 0%] I --> L[高置信度输出] J --> M[路由到规则（保守策略）] K --> N[标记为不确定] L --> O[最终标签] M --> O N --> O

见证奇迹的时刻：规则判断"失望...但...还行"为负向，BERT 也判断为负向——全票通过；但当规则说正向、BERT 说负向时，混合系统会走规则——因为在情感词明确的情况下，词典比模型更可靠。

三、混合情感分析框架的工程实现

以下是一个可插拔的情感分析混合框架：

from typing import Dict, List, Tuple, Optional from dataclasses import dataclass from transformers import pipeline, AutoTokenizer, AutoModelForSequenceClassification import torch import re @dataclass class SentimentResult: label: str # "positive", "negative", "neutral" confidence: float # 0~1 source: str # "lexicon", "model", "hybrid" details: Dict # 详细分析结果 class SentimentLexicon: """情感词典 —— 确定性规则引擎""" def __init__(self): # 设计原因：三层情感词典 —— 强负向、弱负向、中性、弱正向、强正向 # 使用五级而非三级可以更精细地表达情感强度 self.lexicon = { "strong_positive": {"完美", "超棒", "惊艳", "绝佳", "无与伦比"}, "weak_positive": {"不错", "可以", "还行", "一般", "凑合"}, "neutral": {"正常", "普通", "常规", "标准"}, "weak_negative": {"失望", "遗憾", "可惜", "麻烦", "不便"}, "strong_negative": {"垃圾", "太差", "极差", "糟糕", "无法忍受"}, } # 否则/但是/然而 —— 转折词 self.transition_words = {"但是", "但", "然而", "可是", "不过", "却"} # 否定词 —— 翻转情感值 self.negation_words = {"不", "没", "无", "非", "莫", "别", "未"} # 程度副词 —— 放大或缩小情感强度 self.intensifiers = { "very": {"非常", "特别", "极其", "十分", "格外"}, "slightly": {"有点", "稍微", "略微", "些许", "不太"}, } def analyze(self, text: str) -> Dict: """基于词典的情感分析 设计原因：词典分析分为三个步骤： 1. 情感词匹配 —— 统计各强度情感词的数量 2. 否定检测 —— 否定词翻转附近情感词的情感值 3. 转折检测 —— 转折词后的内容权重加倍 """ # 步骤 1：情感词匹配 pos_count = {"strong": 0, "weak": 0} neg_count = {"strong": 0, "weak": 0} for word in self.lexicon["strong_positive"]: if word in text: pos_count["strong"] += 1 for word in self.lexicon["weak_positive"]: if word in text: pos_count["weak"] += 1 for word in self.lexicon["strong_negative"]: if word in text: neg_count["strong"] += 1 for word in self.lexicon["weak_negative"]: if word in text: neg_count["weak"] += 1 # 步骤 2：否定检测 —— 在情感词前 3 个字内出现否定词 for word in self.lexicon["strong_positive"] | self.lexicon["weak_positive"]: idx = text.find(word) if idx >= 3 and any(n in text[idx-3:idx] for n in self.negation_words): pos_count["weak"] = max(0, pos_count["weak"] - 1) neg_count["weak"] += 1 # 步骤 3：转折检测 has_transition = any(t in text for t in self.transition_words) transition_weight = 2.0 if has_transition else 1.0 # 情感分计算 pos_score = pos_count["strong"] * 2 + pos_count["weak"] * 1 neg_score = neg_count["strong"] * 2 + neg_count["weak"] * 1 # 转折后内容权重提高 if has_transition: # 取转折词后的部分 for t in self.transition_words: if t in text: after_idx = text.index(t) + len(t) after_text = text[after_idx:] # 重新对转折后文本打分 for word in self.lexicon["strong_negative"] | self.lexicon["weak_negative"]: if word in after_text: neg_score += 1 break total_mentions = pos_count["strong"] + pos_count["weak"] + neg_count["strong"] + neg_count["weak"] return { "pos_score": pos_score, "neg_score": neg_score, "total_mentions": total_mentions, "has_transition": has_transition, } class HybridSentimentAnalyzer: """混合情感分析器 —— 词典 + BERT 双引擎""" def __init__( self, model_name: str = "uer/roberta-base-finetuned-jd-binary-chinese", lexicon_threshold: int = 3, confidence_threshold: float = 0.7, ): """ Args: model_name: BERT 模型名称 lexicon_threshold: 词典触发阈值 —— 情感词 ≥ 此值时使用词典 confidence_threshold: BERT 置信度阈值 —— 低于此值时回退到词典 """ self.lexicon = SentimentLexicon() self.lexicon_threshold = lexicon_threshold self.confidence_threshold = confidence_threshold # 设计原因：使用中国大陆中文情感分析专用模型 # 而非通用的 bert-base-chinese，因为领域模型在电商评论上更准确 self.tokenizer = AutoTokenizer.from_pretrained(model_name) self.model = AutoModelForSequenceClassification.from_pretrained(model_name) self.model.eval() def predict_model(self, text: str) -> Tuple[str, float]: """BERT 模型预测""" inputs = self.tokenizer( text, return_tensors="pt", truncation=True, max_length=128 ) with torch.no_grad(): outputs = self.model(**inputs) probs = torch.softmax(outputs.logits, dim=-1)[0] pred_idx = torch.argmax(probs).item() confidence = float(probs[pred_idx]) # 映射到三分类 labels = ["negative", "positive"] # 二分类模型 label = labels[pred_idx] if pred_idx < len(labels) else "neutral" return label, confidence def analyze(self, text: str) -> SentimentResult: """混合分析 —— 根据情况选择词典或模型""" lex_result = self.lexicon.analyze(text) # 策略 1：情感词足够多 → 直接用词典 if lex_result["total_mentions"] >= self.lexicon_threshold: lex_score = lex_result["pos_score"] - lex_result["neg_score"] if lex_score > 1: label, conf = "positive", min(abs(lex_score) / 10, 0.95) elif lex_score < -1: label, conf = "negative", min(abs(lex_score) / 10, 0.95) else: label, conf = "neutral", 0.6 return SentimentResult( label=label, confidence=conf, source="lexicon", details=lex_result, ) # 策略 2：情感词少 → 用 BERT model_label, model_conf = self.predict_model(text) # 策略 3：BERT 置信度低 → 回退到词典（保守策略） if model_conf < self.confidence_threshold and lex_result["total_mentions"] > 0: lex_score = lex_result["pos_score"] - lex_result["neg_score"] final_label = "positive" if lex_score > 0 else "negative" if lex_score < 0 else "neutral" return SentimentResult( label=final_label, confidence=0.5, source="hybrid", details={"model_result": model_label, "lexicon_result": final_label, **lex_result}, ) return SentimentResult( label=model_label, confidence=model_conf, source="model", details=lex_result, )