SARSteer: Safeguarding Large Audio Language Models via Safe-Ablated Refusal Steering

文章核心总结与翻译

一、主要内容

本文聚焦大型音频语言模型（LALMs）的安全对齐问题，针对现有LLM和LVLM安全防御方法直接迁移至LALMs时存在的两大缺陷（音频输入下基于LLM的引导失效、基于提示的防御导致良性查询过度拒绝），提出了首个推理时防御框架SARSteer（Safe-Ablated Refusal Steering）。

1. 问题背景：LALMs作为多模态骨干模型在语音助手、音频理解等场景广泛应用，但音频输入比文本更易引发有害响应，且其安全对齐研究严重不足。
2. 核心挑战：
   • 音频与文本的激活分布差异大，基于LLM的激活引导方法在音频输入下失效；
   • 源自LVLM的提示式防御会误拒与有害查询词汇相似的良性查询。
3. 解决方案：
   • 文本衍生拒绝引导：从文本拒绝提示中提取引导向量，无需修改音频输入，捕捉跨模态的安全对齐语义；
   • 分解式安全空间消融：通过PCA分析安全样本，剥离引导向量中与良性语义相关的成分，缓解过度拒绝。
4. 实验验证：在Qwen2-Audio、Kimi-Audio等模型及多个音频数据集（Figstep-audio、SORRY-Bench-audio等）上验证，SARSteer在显著提升有害查询拒绝率的同时，保持了良性查询的响应质量和模型整体效用。