1. 视觉语言模型中的排版攻击机制解析
视觉语言模型（VLMs）作为当前多模态人工智能的核心组件，其安全漏洞正成为学术界和工业界关注的焦点。排版攻击（Typographic Attack）作为一种新型对抗样本攻击方式，通过将恶意文本渲染为图像形式，成功绕过了传统基于文本的安全过滤机制。这种攻击之所以有效，根源在于VLMs独特的架构设计和工作原理。
现代VLMs通常采用双编码器架构，其中视觉编码器负责处理图像输入，语言编码器处理文本输入，两者通过跨模态注意力机制实现信息融合。当模型接收到一张包含文本的图像时，视觉编码器会先提取图像特征，然后通过OCR-like的隐式能力识别其中的文字内容。关键在于，这一过程完全绕过了专门针对纯文本输入设计的安全过滤层，形成了模态安全不对称（Modality Safety Asymmetry）现象。
在技术实现层面，典型的排版攻击流程包含三个关键环节：
- 恶意指令构造：攻击者精心设计符合特定危害类别的文本提示，常见的有越狱提示（Jailbreak）、GCG攻击和TAP方法等
- 视觉渲染处理：将文本转换为图像形式，通常采用标准sans-serif字体、黑色文字白色背景，分辨率保持在1024×1024像素
- 中性指令包装：使用"请遵循图片中的指令"等看似无害的引导语，将渲染后的图像提交给VLM处理
关键发现：在SALAD-Bench数据集上的实验显示，当文本以20px字体大小渲染时，GPT-4o的图像攻击成功率(ASR)达到7.7%，而相同内容的纯文本攻击成功率高达35.6%。这种模态间的安全差异揭示了当前VLM安全体系的重大缺陷。
2. 嵌入对齐与攻击成功率的关联性研究
多模态嵌入空间的对齐质量是理解排版攻击有效性的关键指标。通过计算原始文本与其渲染图像在嵌入空间中的L2距离，我们可以量化模型对视觉输入内容的语义理解程度。研究中采用了JinaCLIP和Qwen3-VL-Embedding两种嵌入模型进行对比分析，发现了极具价值的规律。
2.1 字体尺寸效应实验
在控制其他变量的条件下，系统测试了6px到28px共12种字体尺寸的攻击效果：
| 字体大小(px) | JinaCLIP距离 | Qwen3-VL距离 | 平均ASR(%) |
|---|---|---|---|
| 6 | 1.265 | 0.976 | 10.1 |
| 8 | 1.242 | 0.839 | 30.7 |
| 10 | 1.192 | 0.829 | 36.2 |
| 12 | 1.155 | 0.813 | 36.0 |
| 14 | 1.126 | 0.813 | 34.2 |
| 16 | 1.113 | 0.814 | 35.4 |
| 18 | 1.118 | 0.799 | 35.8 |
| 20 | 1.115 | 0.795 | 36.5 |
| 22 | 1.111 | 0.782 | 36.4 |
| 24 | 1.099 | 0.755 | 36.1 |
| 26 | 1.098 | 0.739 | 35.8 |
| 28 | 1.090 | 0.773 | 35.6 |
数据显示，字体大小与嵌入距离呈明显负相关（JinaCLIP: r=-0.795，p<0.01），而嵌入距离又与ASR呈负相关。特别值得注意的是，当字体小于8px时，ASR骤降至接近零；在10-12px区间达到平台期，此后增大字体不再显著提升攻击效果。
2.2 跨模型对比分析
研究选取了四款具有代表性的VLMs进行测试，发现不同架构对排版攻击的抵抗力存在显著差异：
- GPT-4o：对图像攻击最为抵抗，最高ASR仅7.7%，但纯文本攻击成功率高达35.6%
- Claude Sonnet 4.5：表现类似GPT-4o，图像ASR峰值21.6%，文本ASR 46.6%
- Mistral-Large-3：对两种模态都高度脆弱，图像ASR 75.5%，文本ASR 85.0%
- Qwen3-VL-4B：开源模型中表现最佳，图像和文本ASR相近（约48%）
这种差异可能源于各模型在视觉编码器设计、跨模态对齐策略和安全训练数据方面的不同选择。特别是商业模型（GPT-4o、Claude）在视觉模态表现出更强的内在抵抗性，暗示其可能采用了专门的防御机制。
3. 视觉变换对攻击效果的影响机制
实际应用场景中，排版攻击面临的视觉条件远非理想。研究团队系统测试了10类视觉变换对攻击效果的影响，结果揭示了模型间的鲁棒性差异。
3.1 变换类型与效果
实验采用20px基准字体，施加以下变换后测量ASR变化：
几何变换：
- 30度旋转：使Mistral的ASR下降50%，Qwen3-VL下降42%，但对GPT-4o影响甚微
- 90度旋转：所有模型ASR均显著下降，平均降幅达55%
色彩/对比度调整：
- 灰度背景：意外提升GPT-4o和Qwen3-VL的ASR约2%
- 低对比度(0.5x)：导致平均ASR下降12%
图像降质：
- 重度模糊(σ=5)：使平均ASR从36.5%降至8.2%
- 高斯噪声：影响相对较小，ASR下降约15%
- 三重降质(模糊+噪声+低对比)：ASR暴跌至3.0-28.7%
3.2 嵌入距离的预测能力
在视觉变换条件下，嵌入距离仍保持对ASR的强预测能力：
| 嵌入模型 | GPT-4o(r) | Claude(r) | Mistral(r) | Qwen3-VL(r) |
|---|---|---|---|---|
| JinaCLIP | -0.829 | -0.893 | -0.805 | -0.717 |
| Qwen3-VL-Embed | -0.628 | -0.880 | -0.987 | -0.965 |
特别值得注意的是，Qwen3-VL-Embedding对同源模型的预测能力达到惊人的-0.965，表明嵌入对齐度确实是攻击有效性的本质决定因素。
4. 防御实践与模型选择建议
基于研究发现，我们为VLM应用开发者提供以下实用建议：
4.1 实时防御策略
输入预处理管道：
- 实施字体大小检测，拦截<10px的微小文字
- 对输入图像应用轻度模糊(σ=2)或30度旋转，可降低ASR约50%
- 部署多嵌入模型校验，当JinaCLIP距离>1.2或Qwen3-VL距离>0.95时触发警报
模型级防护：
- 在视觉编码器输出层增加安全对齐微调
- 采用对抗训练增强对排版攻击的鲁棒性
- 实现跨模态一致性检查，比较文本和视觉路径的语义输出
4.2 模型选型参考
针对不同应用场景的VLM选型建议：
| 应用场景 | 推荐模型 | 理由 |
|---|---|---|
| 浏览器自动化 | GPT-4o | 对图像攻击抵抗性最佳(ASR 7.7%) |
| 物理环境机器人 | Qwen3-VL | 平衡的模态安全性(ASR≈48%) |
| 内容审核系统 | Mistral-Large-3 | 高召回率(ASR 75.5%) |
| 通用助理系统 | Claude Sonnet 4.5 | 适中的安全性(ASR 21.6%) |
4.3 开发注意事项
测试阶段：
- 必须包含排版攻击专项评估，覆盖6-28px字体范围
- 建议使用SALAD-Bench的增强攻击数据集作为基准
- 测量模型在旋转、模糊等变换下的ASR变化曲线
部署考虑：
- 物理环境代理应预设30度图像旋转预处理
- 屏幕阅读场景建议限制字体显示范围为10-24px
- 对安全敏感应用，建议组合使用JinaCLIP和Qwen3-VL进行嵌入距离双重校验
这项研究最重要的实践价值在于确立了嵌入对齐度作为VLM安全性的可靠预测指标。通过简单的嵌入距离计算，开发者可以在无需实际发动攻击的情况下，预先评估模型在特定视觉条件下的脆弱性，极大降低了安全测试的成本和风险。未来，随着更多模态和更复杂攻击方式的出现，基于嵌入对齐的安全评估框架有望发展成为行业标准实践。
