ERNIE 4.5-A3B开源：210亿参数文本生成新引擎！
【免费下载链接】ERNIE-4.5-21B-A3B-Base-Paddle项目地址: https://ai.gitcode.com/hf_mirrors/baidu/ERNIE-4.5-21B-A3B-Base-Paddle
百度ERNIE系列再添新成员，210亿参数的ERNIE-4.5-21B-A3B-Base-Paddle模型正式开源，为文本生成领域带来新的技术突破和应用可能。
近年来，大语言模型（LLM）在参数规模和能力边界上持续突破，其中混合专家模型（Mixture of Experts, MoE）凭借高效的计算资源利用成为主流方向。随着开源生态的成熟，越来越多的企业选择开放核心模型，推动技术普惠与行业创新。据行业观察，2024年以来参数规模超过200亿的开源大模型数量同比增长150%，MoE架构模型占比提升至40%，成为高性能与资源效率平衡的优选方案。
ERNIE-4.5-21B-A3B-Base-Paddle作为百度最新开源的文本生成模型，核心亮点体现在三大技术创新：
异构MoE架构设计：模型采用210亿总参数配置，其中激活参数仅30亿，通过64个文本专家+64个视觉专家（共享2个专家）的异构结构，实现计算资源的智能分配。每个token仅激活6个专家进行处理，在保持高性能的同时显著降低推理成本，特别适合长文本处理场景。
超长上下文理解能力：模型支持131072 tokens的上下文长度（约26万字），远超常规模型的4k-32k范围，可处理完整书籍、代码库或长文档分析，为法律合同解析、学术论文生成等专业场景提供技术支撑。
全流程开源生态支持：基于PaddlePaddle深度学习框架构建，提供ERNIEKit工具包支持指令微调（SFT）、LoRA低秩适应和DPO偏好优化等全流程训练能力。开发者可通过简单命令完成模型下载与部署，单卡80G GPU即可实现基础推理服务。
该模型的开源将加速企业级文本生成应用的落地进程。在内容创作领域，超长上下文能力可支持小说续写、报告自动生成等场景；在代码开发领域，模型能理解完整项目结构并生成连贯代码；在企业服务方面，法律文档分析、金融报告摘要等专业任务的处理效率将大幅提升。尤为值得注意的是，百度采用Apache 2.0开源协议，允许商业使用，这为中小企业和开发者提供了低成本接入先进AI能力的机会。
【免费下载链接】ERNIE-4.5-21B-A3B-Base-Paddle项目地址: https://ai.gitcode.com/hf_mirrors/baidu/ERNIE-4.5-21B-A3B-Base-Paddle
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
