lift-oQ3 是什么？9B 视觉语言模型的极致量化版，一文读懂 PDF 结构化提取神器

lift-oQ3 是什么？9B 视觉语言模型的极致量化版，一文读懂 PDF 结构化提取神器

【免费下载链接】lift-oQ3项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ3

lift-oQ3是一款专为PDF 结构化提取打造的 9B 视觉语言模型量化版：它能"看懂"发票、合同、财报等文档，并直接输出规范、可用的 JSON 数据。相比原始模型 18GB 的体积，oQ3 量化版仅 4.6GB，却保留了接近原版的提取能力，是本地部署 PDF 转 JSON 方案中性价比极高的选择。

一句话总结：文档图片输入 → lift-oQ3 理解版面 → 输出符合规则的 JSON，全程本地完成。

lift-oQ3 是什么？认识这位 PDF 结构化提取"小钢炮"

lift-oQ3 是 Datalab 团队开源的 lift 模型的 MLX 社区量化版本。它基于 qwen3_5 架构，参数规模 9B，核心任务非常聚焦——从 PDF 或图片中提取结构化数据，典型场景包括：

• 📄发票信息提取：发票号、金额、税额、商品明细一键抽取
• 📑合同关键字段：甲方乙方、金额、签署日期自动归纳
• 🧾票据证件整理：收据、银行回单、证件照 OCR 化归档
• 🗂任意文档版面理解：表格、多栏、复杂版式也能读懂

它属于多模态模型（image-text-to-text），既能识别文字，也能理解版面布局。这正是它比传统 OCR 更强的地方——OCR 只负责"认出文字"，而 lift-oQ3 理解"这个数字是总金额"。

lift-oQ3 的 4 个关键标签

什么是 oQ3 量化？3.5 bit 如何把 18GB 压到 4.6GB

"量化"是把模型权重从高精度（如 16bit）压缩到低精度（如 3~8bit）的过程，牺牲少量精度换取体积与速度的大幅优化。lift-oQ3 采用的 oQ（optimized Quantization）方法更进一步：

• 数据驱动：根据真实数据分布决定哪些层值得保留更高精度；
• 逐层混合精度：敏感层用 5bit、普通层用 3bit，好钢用在刀刃上；
• 极致压缩：整模型平均约 3.5 bit/权重，是 lift 全系量化中最激进的一档。

效果有多明显？原始 bf16 版体积 18GB、峰值内存约 19.9GB；oQ3 版只有 4.6GB、峰值内存约 6.2GB，16GB 内存的 MacBook 也能轻松带得动。

一张表看懂 lift 全系量化版本怎么选

以上数据来自 MacBook Pro M5 Max 128GB 单张发票提取的实测，仅供参考，并非严格基准。追求最小体积与最快速度选 oQ3；处理复杂文档、对精度要求高，可回退到 oQ5 或 oQ6。

新手最快上手方法：两条命令完成 PDF 结构化提取

无需手动下载模型、无需繁琐配置，用uvx一行命令即可让模型自动拉取并运行：

uvx --from mlx-vlm mlx_vlm.generate \ --model mlx-community/lift-oQ3 \ --image invoice.png \ --prompt "Extract the invoice as JSON." \ --max-tokens 800

把invoice.png换成你的 PDF 截图或文档图片，模型就会输出规范 JSON。整个流程自动完成「模型下载 → 加载 → 提取」，新手也能 5 分钟跑通全流程。

进阶玩法：搭建本地 API，让程序自动批量提取

要把 lift-oQ3 接入自己的业务系统，可以把它启动为一个 OpenAI 兼容的本地服务：

uvx --from mlx-vlm mlx_vlm.server --model mlx-community/lift-oQ3 --port 8080

启动后，任何支持 OpenAI API 的程序（Python、Node.js，甚至低代码平台）都能通过http://127.0.0.1:8080/v1调用它。更强大的是，lift 原生支持Schema 约束输出：你可以预先定义 JSON 结构（比如发票必须包含发票号、总金额、明细列表），服务器会在解码过程中通过 llguidance 强制模型按此结构生成，保证输出永远合法、字段齐全，不会出现缺字段或格式错乱——这对自动化流水线至关重要。

Schema 约束输出的典型应用场景

• 📊 财务系统自动录入发票，告别人工敲键盘
• 📁 档案管理系统批量归档合同、证件
• 🤖 RAG 应用中的文档结构化预处理，喂给知识库更干净的语料

量化会影响提取效果吗？常见问题解答

Q1：量化后精度损失大吗？上游 FP 版 lift 在 Datalab 的 225 份文档基准上字段提取准确率达 90.2%。全系量化版本均能正确提取简单测试发票；但低 bit 版本在更复杂、对抗性更强的文档上可能略有下降，极端场景建议选用 oQ6 或 oQ8。

Q2：我的电脑能跑吗？需要 Apple Silicon 芯片（M 系列 Mac），建议内存 8GB 起步。oQ3 峰值内存约 6.2GB，16GB 内存的入门款 MacBook 即可流畅运行。

Q3：和传统 OCR 有什么区别？OCR 只负责"认出文字"，而 lift-oQ3 负责"理解文档"——它同时看到文字与版面结构，直接输出符合业务规则的 JSON 字段，一步到位，还支持表格、多栏等复杂版式。

Q4：中文发票支持吗？支持。模型原生支持多语言，中文版式同样适用，只需在提示词中说明语言与期望字段即可。

写在最后

lift-oQ3 把 9B 视觉语言模型做到了"极致量化"，用 4.6GB 的体积和 119 t/s 的生成速度，让 PDF 结构化提取真正走进普通开发者的本地电脑。无论你是想自动化发票录入、批量整理合同，还是给 AI 应用喂干净的结构化数据，它都是一款值得收藏的 PDF 结构化提取神器。配合 mlx-vlm 的 Schema 约束能力，本地即可搭建一套免费、可靠、不依赖云端的文档数据流水线。

【免费下载链接】lift-oQ3项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ3