文章主要内容总结
本文针对大型语言模型(LLMs)在文本分类任务中可解释性不足的问题,提出了一种名为PLEX(Perturbation-free Local Explanations)的无扰动局部解释方法。
传统的可解释AI(XAI)方法(如LIME和SHAP)通过生成大量扰动样本(如修改或删除词语)来识别影响模型预测的关键特征,但这种方式计算成本极高,尤其不适用于参数规模庞大的LLMs。
PLEX的核心思路是:利用LLM输出的上下文嵌入(contextual embeddings),通过一个“孪生网络”(Siamese network)进行一次性训练,学习嵌入与特征重要性分数之间的直接映射。训练完成后,PLEX可直接为新句子生成解释,无需再生成扰动样本,大幅降低了计算开销。
实验在四个文本分类任务(情感分类、假新闻检测、新冠疫情假新闻检测、抑郁倾向分类)上验证了PLEX的有效性:
- 与LIME和SHAP的解释结果一致性超过92%;
- “压力测试”(移除关键词语后观察分类准确率下降)显示,PLEX识别的关键特征与LIME、SHAP同样有效,部分任务中表现更优;
- 计算效率显著提升,时间和计算开销分别降低2个和4个数量级。
创新点
- 无扰动解释机制:首次提出无需生成扰动样本的局部解释方法,避免了传统方法中大量扰动带来的高计算成本;
- 孪生网络映射:通过孪生网络学习LLM上下文嵌入与特征重要性分数的直接映射,实现“一次性训练、终身高效解