Aquila-135M：中英双语小模型性能大突破
【免费下载链接】Aquila-135M-Intermediate项目地址: https://ai.gitcode.com/BAAI/Aquila-135M-Intermediate
导语：近日，由BAAI团队开发的Aquila-135M小参数语言模型正式发布，以1.35亿参数量实现中英双语能力的显著突破，尤其在中文任务上超越同级别模型，为边缘计算和嵌入式场景提供高效AI解决方案。
行业现状：小模型迎来发展黄金期
随着大语言模型技术的成熟，行业正从追求参数量的"军备竞赛"转向模型效率与场景适配的精细化发展。据Gartner预测，到2025年，75%的企业AI部署将采用轻量化模型。当前10亿参数以下的小模型在智能终端、物联网设备和低算力环境中需求激增，但多数模型存在中文支持不足、训练数据质量参差不齐等问题。Aquila-135M的推出恰逢其时，填补了中英双语小模型的性能空白。
模型亮点：双阶段训练与数据优化的完美结合
Aquila-135M采用创新的"预训练+退火"双阶段训练范式，在1.66TB中英双语预训练数据基础上，精选100B高质量双语数据进行退火训练，实现模型性能的精准提升。其核心优势体现在三个方面：
数据策略上，团队开源了完整的训练数据集，包含FineWeb-Edu、CCI3.0-HQ等多个优质数据源。通过科学配比构建的训练数据，为模型双语能力奠定坚实基础。
这张数据占比图清晰展示了Aquila-135M训练数据的构成比例，其中教育类数据FineWeb-Edu和中文高质量数据CCI3.0-HQ占比显著，反映了模型在教育场景和中文能力上的重点优化，帮助读者理解模型性能优势的来源。
性能表现上，在LightEval基准测试中，Aquila-135M在中文任务（CEval/CMMLU）上平均得分29.54，远超SmolLM2-135M的26.54，同时保持英文任务与同类模型相当的水平。特别在中文常识推理和知识问答任务上，展现出明显优势。
部署优势方面，1.35亿参数量级使其可在消费级GPU甚至高性能CPU上高效运行，配合FlagGems训练框架和FlagScale并行训练技术，为开发者提供从训练到部署的完整工具链支持。
行业影响：开启小模型应用新场景
Aquila-135M的发布将加速小语言模型在垂直领域的应用落地：在智能终端领域，可实现本地化语音助手和实时翻译；在工业场景中，轻量化模型适合边缘设备的实时数据分析；在教育领域，双语能力使其能支持多语言教学内容生成。
尤为重要的是，项目开源了全部中间训练 checkpoint 和数据集，为学术界研究小模型训练规律提供宝贵资源。这种开放态度将推动整个小模型技术生态的发展，促进数据高效利用和模型压缩技术的创新。
结论与前瞻：小而美成为AI新趋势
Aquila-135M的成功证明，通过精细化数据处理和训练策略优化，小参数模型完全可以在特定任务上达到甚至超越大模型的表现。随着边缘计算设备算力的提升和模型压缩技术的进步，"小而美"的模型将在AI普惠化进程中扮演关键角色。
BAAI团队表示，未来将继续优化数据集构成，并探索小模型在特定场景的应用深化。可以预见，中英双语小模型将在跨境电商、多语言客服、智能教育等领域释放巨大价值，为AI应用开辟更广阔的想象空间。
【免费下载链接】Aquila-135M-Intermediate项目地址: https://ai.gitcode.com/BAAI/Aquila-135M-Intermediate
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
