InternVL3_5-4B-HF本地运行实战：bf16、8bit量化、多卡推理3种方式一次讲透的完整指南

InternVL3_5-4B-HF本地运行实战：bf16、8bit量化、多卡推理3种方式一次讲透的完整指南

【免费下载链接】InternVL3_5-4B-HF项目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/InternVL3_5-4B-HF

InternVL3_5-4B-HF 是 InternVL3.5 系列中参数量 4.7B 的开源多模态大模型（HuggingFace 标准格式），支持图片理解、视频理解与视觉推理。本文带你本地运行这个多模态大模型，一次讲透bf16 原精度加载、8bit 量化加载、多卡推理3 种方式的完整指南，从下载文件到第一次看到推理结果，全程可复现 🚀

一、为什么选 InternVL3_5-4B-HF：4B 级多模态大模型有多能打

InternVL3_5-4B-HF 采用经典的ViT – MLP – LLM架构，由三个核心部分组成：

它的亮点在于：

• HF 标准格式：可直接用 transformers 的AutoModelForImageTextToText加载，不用写复杂的自定义代码；
• bf16 原生精度：config.json 中torch_dtype为bfloat16，训练即推理同精度；
• Apache-2.0 协议：个人与商用场景均可放心使用；
• 4B 体量：消费级显卡就能本地运行，是入门多模态大模型部署的首选。

💡 同系列还有 1B / 8B / 14B / 30B-A3B 等尺寸，本文的 3 种加载方式对全系列通用。

二、本地运行前的准备：环境与模型文件

2.1 一键安装运行依赖

环境要求不高，一条命令装好核心依赖：

pip install "transformers>=4.52.1" torch accelerate bitsandbytes

• transformers ≥ 4.52.1是官方硬性要求，推荐直接用 4.55+（本模型打包版本即 4.55.0）；
• bitsandbytes是 8bit 量化加载的关键；
• accelerate负责多卡场景的权重自动分配；
• 若用到了use_flash_attn=True，还需额外安装 FlashAttention-2。

2.2 下载模型文件

国内可直接克隆镜像仓库到本地：

git clone https://gitcode.com/hf_mirrors/OpenGVLab/InternVL3_5-4B-HF

克隆完成后，目录里的核心文件各有分工：

2.3 显卡显存需求预估（选型前先对号入座）

4.7B 参数的多模态大模型，三种方式的显存占用差异明显：

💡 显存 = 权重 + 视觉编码激活 + KV Cache，长对话和图片越多占得越多，表中已预留余量。

三、方式一：bf16 原精度加载（精度优先）

适合 16 GB 显存的单卡，保持模型出厂精度，多模态推理效果最好。核心就是在加载时指定torch_dtype=torch.bfloat16：

import torch from transformers import AutoTokenizer, AutoModelForImageTextToText path = "./InternVL3_5-4B-HF" # 本地克隆目录 model = AutoModelForImageTextToText.from_pretrained( path, torch_dtype=torch.bfloat16, low_cpu_mem_usage=True, use_flash_attn=True, trust_remote_code=True ).eval().cuda()

三个参数值得注意：

• low_cpu_mem_usage=True：先加载到 CPU 再上卡，避免峰值内存翻倍；
• use_flash_attn=True：大幅降低长序列注意力显存（没有 FlashAttention 环境可去掉此行）；
• .cuda()：显存充裕的单卡直接整模型上卡。

四、方式二：8bit 量化加载（显存紧张首选）

显存只有 10 GB 左右？开启bitsandbytes 8bit 量化，权重从 bf16 压到 8 位，显存占用直降一半以上，多模态理解能力损失很小：

import torch from transformers import AutoModelForImageTextToText path = "./InternVL3_5-4B-HF" model = AutoModelForImageTextToText.from_pretrained( path, torch_dtype=torch.bfloat16, load_in_8bit=True, # 开启 8bit 量化 low_cpu_mem_usage=True, use_flash_attn=True, trust_remote_code=True ).eval()

两个新手常见坑：

• 不要再手动调用.cuda()，量化模块会自动把权重放到 GPU 上；
• 8bit 依赖bitsandbytes，务必确认已安装且是 CUDA 版本。

五、方式三：多卡推理（单卡放不下时）

当模型权重超出单卡显存，用device_map="auto"让 accelerate 自动把视觉编码器、语言模型等模块切分到多张 GPU 上：

import torch from transformers import AutoModelForImageTextToText path = "./InternVL3_5-4B-HF" model = AutoModelForImageTextToText.from_pretrained( path, torch_dtype=torch.bfloat16, low_cpu_mem_usage=True, use_flash_attn=True, trust_remote_code=True, device_map="auto" # 权重自动分配到多张 GPU ).eval()

多卡推理的实用提示：

• 4B 模型双卡绰绰有余；官方同系列 38B 版本才需要 2 × A100，可见 4B 的本地友好度；
• 分配情况可在加载日志里看到每层落在哪张卡，也可用nvidia-smi实时验证；
• 多卡间需保证 PCIe/NVLink 带宽正常，跨节点场景延迟会明显增加。

六、第一次多模态推理：让模型"看图说话"

模型加载完成后，用项目自带的示例图片 examples/image1.jpg 跑通第一次推理：

from transformers import AutoProcessor from PIL import Image processor = AutoProcessor.from_pretrained(path, trust_remote_code=True) image = Image.open("examples/image1.jpg") messages = [{"role": "user", "content": [ {"type": "image", "image": image}, {"type": "text", "text": "请描述这张图片里的动物。"}]}] inputs = processor.apply_chat_template( messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt").to(model.device) out = model.generate(**inputs, max_new_tokens=256) print(processor.decode(out[0][inputs["input_ids"].shape[-1]:]))

运行后你会看到模型准确认出这是一只趴在木架上、望着镜头的小熊猫 🐼 恭喜，InternVL3.5-4B 多模态推理已跑通！

七、进阶小贴士（3 个高频用法）

1. 开启 Thinking 思考模式：在 system 消息中设置官方 R1 系统提示词，让模型先think再作答，推荐搭配do_sample=True、temperature=0.6，可显著减少重复输出，数学/图表推理题表现提升明显；
2. 视频理解：项目examples/下还提供red-panda.mp4示例视频，InternVL3.5 原生支持视频帧输入，加载方式与图片一致；
3. 高吞吐服务部署：本地验证通过后，生产环境可切换到 LMDeploy 或 vLLM 推理引擎，一条命令即可暴露 OpenAI 兼容的 API 服务，吞吐量远超纯 transformers。

八、本地运行常见问题 FAQ

Q1：显存不足直接 OOM 怎么办？依次尝试：① 改用 8bit 量化加载；②device_map="auto"多卡切分；③ 调小图片动态分辨率和max_new_tokens。

Q2：报trust_remote_code或模型加载相关报错？先升级 transformers 到 4.52.1 以上（推荐 4.55+），再确认用本地路径而非远程仓库名加载。

Q3：为什么加载后速度偏慢？检查是否装上了 FlashAttention-2 并开启了use_flash_attn=True，4090 等支持 FP16 的卡还可考虑改用torch.float16。

Q4：没有独立显卡能跑吗？纯 CPU 推理 4.7B 多模态模型耗时过长，仅建议用于流程验证，正式使用建议 8 GB 以上显存的独显。

九、总结：3 种方式怎么选

InternVL3_5-4B-HF 作为 4B 级的开源多模态大模型，把"本地跑通视觉推理"的门槛降到了消费级显卡。按本文的三步流程——装依赖、下文件、选加载方式——你最快 10 分钟就能拥有自己的多模态推理服务，快去试试吧 ✨

【免费下载链接】InternVL3_5-4B-HF项目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/InternVL3_5-4B-HF