1. 散点图任务中的AI模型评估背景
散点图作为数据分析和可视化领域最基础的图表类型之一，其核心价值在于直观展示两个数值变量之间的关系模式。在数据科学工作流中，专业人员通常需要从散点图中提取三类关键信息：聚类分布情况、异常值位置以及变量间的相关性趋势。传统上这些任务依赖人工完成，但随着多模态大模型的兴起，利用AI自动分析散点图的需求日益增长。
当前AI模型在散点图理解任务中面临三个主要挑战：
- 任务特异性不足：现有基准测试大多针对通用图表问答，缺乏对散点图特有任务（如精确的聚类边界识别）的专项评估
- 数据质量瓶颈：真实场景的散点图往往带有噪声、重叠点和复杂分布模式，需要更贴近现实的测试数据
- 评估维度单一：多数研究仅关注计数准确率，忽视了对空间定位能力的系统评估
关键发现：我们的初步实验显示，当散点图中存在5个以上聚类时，主流模型的聚类计数准确率会从平均92%骤降至67%，这表明现有模型对复杂模式的识别能力存在显著局限。
2. 数据集构建方法论
2.1 数据生成框架
我们设计了模块化的数据生成管道，包含六个核心组件：
基础分布生成器：
- 高斯混合模型（参数化控制聚类数量和标准差）
- 非线性关系生成器（支持二次、指数等函数）
- 随机分布生成器（泊松、均匀等分布）
噪声注入模块：
def add_noise(points, noise_type='gaussian'): if noise_type == 'gaussian': noise = np.random.normal(scale=0.1, size=points.shape) elif noise_type == 'uniform': noise = np.random.uniform(-0.2, 0.2, size=points.shape) return points + noise异常值注入策略：
- 基于距离的孤立点（3σ原则）
- 密度驱动的局部异常值（LOF算法）
- 对抗样本（针对模型弱点设计）
2.2 可视化参数化系统
通过Vega-Lite实现了17种图表设计变体，主要控制维度包括：
| 参数类别 | 可选值 | 影响分析 |
|---|---|---|
| 宽高比 | 3:4, 16:9, 21:9等 | 影响点密度和可读性 |
| 颜色方案 | 聚类着色 vs 随机着色 | 影响聚类辨识度 |
| 透明度 | 0.35（低） vs 0.7（高） | 影响重叠点识别 |
| 坐标轴显示 | 全显示 vs 仅Y轴 | 影响空间参考系 |
2.3 标注体系设计
采用三级标注标准：
- 聚类级：边界框（IoU>0.75）和中心点坐标
- 异常值级：精确坐标（误差<10像素）
- 关系级：趋势线方程和拟合度（R²）
标注过程通过半自动化流程实现，先使用DBSCAN算法生成初始标注，再经人工校验调整。最终数据集的统计特性如下：
- 总量：18,921个散点图
- 聚类数量分布：0-6个（阶梯分布）
- 异常值比例：0.1%-1%（稀疏分布）
- 图像分辨率：150px/300px/600px三档
3. 评估框架设计
3.1 任务定义
我们设计了五类渐进式任务：
计数任务：
- 聚类计数（离散值）
- 异常值计数（小样本检测）
定位任务：
{ "task": "cluster_detection", "output_format": { "clusters": [[x1,y1,x2,y2], ...], "threshold": 0.75 } }混合任务：
- 聚类中心识别（点坐标）
- 异常值定位（精确到像素）
3.2 评估指标
针对不同任务类型采用差异化指标：
| 任务类型 | 核心指标 | 辅助指标 |
|---|---|---|
| 计数 | 准确率(Accuracy) | MAE（平均绝对误差） |
| 检测 | Precision@IoU0.75 | Recall@IoU0.75 |
| 识别 | Precision@10px | Recall@10px |
特别设计了一致性分数（Consistency Score）来衡量模型在不同任务中对同一图表认知的一致性程度，计算公式为：
$$ CS = \frac{1}{n}\sum_{i=1}^{n}\mathbb{I}(count_{detect}^i = count_{identify}^i) $$
3.3 模型选择
覆盖两大技术路线的主流模型：
OpenAI系列：
- GPT-4.1系列（标准版/Mini/Nano）
- GPT-4o系列（优化视觉模块）
Google系列：
- Gemini 2.5 Flash（轻量级）
- Gemini 2.5 Pro（全功能版）
控制变量：
- 温度参数：0（确定性输出）
- 图像细节等级：high（保留最大信息）
4. 关键实验结果
4.1 计数任务表现
在few-shot提示策略下，各模型在聚类计数任务中的对比：
| 模型 | 准确率 | MAE | 零聚类识别率 |
|---|---|---|---|
| GPT-4.1 | 93.2% | 0.12 | 100% |
| GPT-4o | 91.7% | 0.18 | 98.5% |
| Gemini 2.5 Flash | 89.3% | 0.25 | 97.2% |
| GPT-4.1 Nano | 82.1% | 0.43 | 89.7% |
异常值检测任务中，Gemini 2.5 Flash表现突出（准确率90.49%），分析发现其对小目标的敏感度优于其他模型。
4.2 定位任务挑战
所有模型在空间定位任务中均表现不佳：
- 最佳Recall@IoU0.75：24.7%（GPT-4.1）
- 最佳Precision@10px：31.2%（Gemini 2.5 Flash）
典型失败案例包括：
- 密集聚类边界混淆（IoU<0.5）
- 边缘点误判为异常值
- 坐标归一化错误（系统性偏移）
4.3 提示策略对比
三种提示策略的效果差异显著：
| 策略 | 平均准确率提升 | 计算成本倍数 |
|---|---|---|
| Zero-shot | 基准 | 1x |
| One-shot | +15.2% | 1.2x |
| Few-shot | +22.7% | 1.5x |
实践建议：对于简单计数任务，one-shot性价比最高；复杂定位任务建议使用3-5个示例的few-shot策略。
5. 工程实践启示
5.1 模型选型建议
根据我们的测试结果，给出分场景推荐：
快速计数场景：
- 首选：GPT-4.1 + few-shot
- 备选：Gemini 2.5 Flash + one-shot
精确分析场景：
- 目前尚无模型达到生产要求
- 临时方案：人工校验+模型初筛
5.2 可视化优化技巧
通过控制变量实验，总结出以下设计准则：
有利因素：
- 中等透明度（0.5-0.7）
- 方形宽高比（1:1）
- 聚类差异化着色
不利因素：
- 宽屏比例（16:9及以上）
- 纯随机颜色
- 过小的点尺寸（<15px）
5.3 错误缓解方案
针对常见错误模式的应对策略：
计数偏差：
- 后处理校准：建立计数修正查找表
def calibrate_count(raw_count): calibration_map = {0:0, 1:1, 2:2, 3:3, 4:3, 5:4, 6:5} return calibration_map.get(min(raw_count,6), raw_count)定位漂移：
- 采用相对坐标校验
- 增加空间一致性检查
异常值漏检：
- 二级检测机制：先用模型定位，再用统计方法验证
6. 局限性与未来方向
当前工作的主要局限包括：
- 合成数据与真实场景的gap
- 对动态交互图表的支持不足
- 缺乏时序数据分析能力
正在推进的改进方向：
- 混合数据生成：结合真实业务数据
- 增强评估维度：增加旋转不变性测试
- 模型微调方案：基于LoRA的轻量级适配
在实际业务中应用时，建议采用"人类在环"（Human-in-the-loop）的混合工作流，将模型作为初筛工具，关键决策仍需人工复核。我们已将该数据集和基准测试代码开源，期待社区共同推进这一领域的发展。
