2025ICLR-Honorable Mentions-DATA SHAPLEY IN ONE TRAINING RUN

文章核心总结与创新点

主要内容

本文针对传统Data Shapley在大规模模型中存在的计算效率低、无法评估特定训练过程数据贡献的问题，提出了In-Run Data Shapley方法。该方法无需重复训练模型，通过在单次训练过程中累加各梯度更新迭代的Shapley值，实现对数据贡献的高效评估。文章通过理论推导（泰勒展开近似）和技术优化（幽灵点积、幽灵梯度-海森-梯度积技术），使方法在基础模型预训练场景中具备可行性，并通过实验验证了其在数据筛选、训练阶段贡献分析、生成式AI版权相关研究中的应用价值。

创新点

1. 概念创新：提出In-Run Data Shapley，首次实现对特定训练过程的数据贡献评估，突破传统方法针对通用学习算法的局限，贴合实际部署需求。
2. 效率优化：基于泰勒展开将全局效用分解为单迭代局部效用，结合“幽灵”系列技术，在单次训练中完成计算，一阶近似与常规训练耗时接近，二阶近似仅增加一倍耗时，远超传统方法效率。
3. 应用拓展：首次将数据归因应用于基础模型预训练，揭示数据贡献的阶段依赖性、高质量数据集仍存在16%低价值数据等新洞察，为数据筛选和生成式AI版权分配提供理论支持。

翻译部分（Markdown格式）

Abstract

数据沙普利（Data Shapley）提供了一个原