模型下载加速:大模型拉取慢的 3 个镜像源实测方案
【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调(全参数/Lora)、部署国内外开源大模型(LLM)/多模态大模型(MLLM)教程项目地址: https://gitcode.com/GitHub_Trending/se/self-llm
拉一个 7B 的开源模型,进度条卡在 12% 半小时没动,本地带宽只剩 200KB/s 上下。直连境外源站受网络限制,是模型下载慢的主因。把请求切到国内镜像源做模型下载加速后,同样文件实测能稳定跑到 3~5MB/s,一次拉完不用再反复重连。
为什么慢
7B 到 70B 的权重文件普遍在 2GB 到上百 GB 之间。国内网络直连境外源站受运营商路由限制,可用带宽常常只有 200KB/s 上下,拉个中型模型就要按小时计。解决思路只有一个:把下载请求指向离得更近的源。
三个镜像源,按推荐度排
HF 镜像重定向(首选)
外网受限的普通宽带环境优先用它:改一行环境变量,把 Hugging Face 的下载流量转到国内镜像,命令本身不用动。
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com' os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir /root/models/internlm-chat-7b')内网环境实测稳定在 3~5MB/s,2GB 左右的 7B 权重两分钟内拉完,不再出现中途掉速。
ModelScope 拉取
如果目标模型在 ModelScope 有镜像,或者 HF 镜像偶发抽风,切到这里。它走国内节点,snapshot_download把整个仓库快照拉到指定缓存目录。
from modelscope import snapshot_download model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b', cache_dir='/root/models/internlm-chat-7b')国内宽带实测能吃到接近满带宽,比直连 HF 官方快一个量级,适合 HF 镜像限速时的备选。
OpenXLab 指定文件下载
前两个都失败、或只需要某一个权重文件时用它。先pip install -U openxlab,再用download函数指定model_repo和output路径,按文件直接拉。
它走国内存储,单文件下载稳定,适合只要 safetensors 权重、不想拉整仓的场景。
踩坑速查
- 下载中断:命令里带
--resume-download,断网重跑即续传,不用重拉整个文件。 - 路径报错:
--local-dir和cache_dir都写绝对路径(如/root/models/...),相对路径在换目录后会解析偏移。 - 版本漂移:ModelScope 端用
revision固定版本,HF 端确认 tag,确保拉到的是稳定权重而不是最新开发版。
命令细节和四个源的完整参数,见仓库里的 模型下载文档。
先跑通首选方案,速度不达标再切下一档。三条路里总有一条能跑满带宽,命令都很短,改下路径就能直接复用。
【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调(全参数/Lora)、部署国内外开源大模型(LLM)/多模态大模型(MLLM)教程项目地址: https://gitcode.com/GitHub_Trending/se/self-llm
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考