North-Micro-Vision-Instruct-bf16 对话模板（Chat Template）深度解读：如何正确构造多模态提示词

North-Micro-Vision-Instruct-bf16 是运行在 Apple MLX 框架上的多模态视觉语言模型（VLM）BF16 版本。本文深入解读它的对话模板（Chat Template）工作机制，教你正确构造"图片 + 视频 + 文本"混合的多模态提示词，让模型真正"看懂"你输入的内容。

💡 一句话理解：对话模板是"人类自然语言"与"模型 token 序列"之间的翻译层。你写的每一句提示词，最终都会被模板加工成一串带角色标记和视觉占位符的特殊符号。翻译对了，模型才听得懂。

对话模板是什么：多模态提示词背后的翻译机制

打开 chat_template.jinja，这是一个 Jinja2 模板。它的工作流程可以概括为 3 步：

1. 以<BOS_TOKEN>开头（起始标记，见 tokenizer_config.json）
2. 逐条遍历消息，为每条消息套上"角色令牌"外壳
3. 在结尾追加助手起始令牌（当add_generation_prompt为真时），告诉模型"该你回答了"

<BOS_TOKEN> <|START_OF_TURN_TOKEN|><|SYSTEM_TOKEN|> 系统指令 <|END_OF_TURN_TOKEN|> <|START_OF_TURN_TOKEN|><|USER_TOKEN|> 图片+问题 <|END_OF_TURN_TOKEN|> <|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|> ← 从这里开始生成回答

这种"每句话都被 START/END 令牌包裹"的设计，让模型能精确知道：谁说的、说到哪结束了。

三大角色令牌：system / user / assistant 如何划分对话

模板为三种角色分配了专属令牌，规则如下表：

⚠️ 注意两个易踩的坑：

• 助手角色同时兼容assistant和chatbot两种写法
• 只有user 消息会处理图像和视觉占位符，其他角色里塞图片是无效的

模型如何"看见"图片：IMAGE_PAD 占位符工作原理

这是整个模板最精妙的设计。在 chat_template.jinja 中，user 消息的内容块会被这样处理：

关键机制：模板里只写入一个<|IMAGE_PAD|>占位符，随后由处理器（CohereCompassImageProcessor）把图片切分为16×16的像素块（patch_size: 16），再按2×2合并（merge_size: 2），最终把这个占位符展开成几十个图像 token。

这也解释了为什么 processor_config.json 里有像素上下限：

• min_pixels: 16384—— 图片太小会被放大，避免丢细节
• max_pixels: 3868706—— 图片太大会被压缩，控制视觉 token 数量

🎯 结论：你不需要手动数占位符，只要消息结构正确，processor 会自动完成"1 个占位符 → N 个图像 token"的展开。

正确构造多模态提示词：图文混排消息的标准写法

这些视觉令牌在 special_tokens_map.json 和 tokenizer_config.json 中有完整定义。按模板规则，一条"看图说话"的标准消息结构如下：

{ "messages": [ { "role": "user", "content": [ { "type": "image", "image": "/path/to/photo.jpg" }, { "text": "描述这张图片的内容" } ] } ] }

✅ 构造多模态提示词的 5 条军规：

1. content 用列表形式传图文混排；纯文本对话可以直接传字符串
2. 图像块字段必须是type: "image"，或键名里含image/image_url（模板用这三者判断，见 chat_template.jinja）
3. 图像块在前、文字块在后，顺序即模型"阅读"的顺序
4. 系统指令放在system消息里，用来设定回答风格（如"你是一位严谨的图像分析师"）
5. 生成时由模板自动追加<|CHATBOT_TOKEN|>起始标记，不要自己手写

📌 用 mlx-vlm 命令行跑通时，提示词通过--prompt传入即可，底层同样走这套模板：

mlx_vlm.generate \ --model mlx-community/North-Micro-Vision-Instruct-bf16 \ --image /path/to/image.jpg \ --prompt "Describe this image." \ --max-tokens 512 \ --temperature 0.0

完整命令见 README.md。

视频输入写法：VIDEO_PAD 与图片的区别

模板对视频的支持与图片完全对称，只需把内容块换成：

{ "type": "video", "video": "/path/to/video.mp4" }

生成序列变为<|VISION_START|><|VIDEO_PAD|><|VISION_END|>。视频处理由 video_preprocessor_config.json 控制，允许更大的像素预算（最长边上限 25165824），并带temporal_patch_size: 2的时间轴切帧参数——即相邻 2 帧共享一个时间块，让模型理解画面随时间的变化。

生成参数速查：让输出更稳定的配置

模板决定了"输入长什么样"，generation_config.json 则决定"输出长什么样"。本模型默认采样参数：

🎯实用建议：

• 图像描述、信息提取等追求准确的任务 → 用--temperature 0.0（贪心解码，结果可复现，README 推荐方式）
• 创意描述、开放式问答→ 保持默认0.7，回答更自然多样

关键文件路径速查表

总结：掌握 North-Micro-Vision-Instruct-bf16 的多模态提示词构造，核心就三点——角色令牌分好角色、内容块写对类型、生成参数按任务调。模板会自动完成视觉占位符的展开与助手标记的追加，你只需专注于把"问题"本身问清楚。