lift-oQ3 是什么？9B 视觉语言模型的极致量化版，一文读懂 PDF 结构化提取神器

lift-oQ3 是什么9B 视觉语言模型的极致量化版一文读懂 PDF 结构化提取神器【免费下载链接】lift-oQ3项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ3lift-oQ3是一款专为PDF 结构化提取打造的 9B 视觉语言模型量化版它能看懂发票、合同、财报等文档并直接输出规范、可用的 JSON 数据。相比原始模型 18GB 的体积oQ3 量化版仅 4.6GB却保留了接近原版的提取能力是本地部署 PDF 转 JSON 方案中性价比极高的选择。一句话总结文档图片输入 → lift-oQ3 理解版面 → 输出符合规则的 JSON全程本地完成。lift-oQ3 是什么认识这位 PDF 结构化提取小钢炮lift-oQ3 是 Datalab 团队开源的 lift 模型的 MLX 社区量化版本。它基于 qwen3_5 架构参数规模 9B核心任务非常聚焦——从 PDF 或图片中提取结构化数据典型场景包括发票信息提取发票号、金额、税额、商品明细一键抽取合同关键字段甲方乙方、金额、签署日期自动归纳票据证件整理收据、银行回单、证件照 OCR 化归档任意文档版面理解表格、多栏、复杂版式也能读懂它属于多模态模型image-text-to-text既能识别文字也能理解版面布局。这正是它比传统 OCR 更强的地方——OCR 只负责认出文字而 lift-oQ3 理解这个数字是总金额。lift-oQ3 的 4 个关键标签标签说明基座架构Qwen3_59B 参数视觉语言模型量化方式oQ 数据驱动逐层混合精度约 3.5 bit/权重模型体积约 4.6 GB运行平台Apple Silicon Mac通过 mlx-vlm 框架什么是 oQ3 量化3.5 bit 如何把 18GB 压到 4.6GB量化是把模型权重从高精度如 16bit压缩到低精度如 3~8bit的过程牺牲少量精度换取体积与速度的大幅优化。lift-oQ3 采用的 oQoptimized Quantization方法更进一步数据驱动根据真实数据分布决定哪些层值得保留更高精度逐层混合精度敏感层用 5bit、普通层用 3bit好钢用在刀刃上极致压缩整模型平均约 3.5 bit/权重是 lift 全系量化中最激进的一档。效果有多明显原始 bf16 版体积 18GB、峰值内存约 19.9GBoQ3 版只有 4.6GB、峰值内存约 6.2GB16GB 内存的 MacBook 也能轻松带得动。一张表看懂 lift 全系量化版本怎么选版本方法约 bit/权重体积峰值内存生成速度lift-bf16完整精度1618 GB19.9 GB31 t/slift-oQ8oQ≈8.69.7 GB12.3 GB58 t/slift-oQ6oQ≈67.7 GB9.4 GB73 t/slift-oQ5oQ≈56.7 GB8.4 GB83 t/slift-oQ4oQ≈4.65.6 GB7.2 GB100 t/slift-oQ3.5oQ≈4.04.9 GB6.5 GB109 t/slift-oQ3本文主角oQ≈3.54.6 GB6.2 GB119 t/s以上数据来自 MacBook Pro M5 Max 128GB 单张发票提取的实测仅供参考并非严格基准。追求最小体积与最快速度选 oQ3处理复杂文档、对精度要求高可回退到 oQ5 或 oQ6。新手最快上手方法两条命令完成 PDF 结构化提取无需手动下载模型、无需繁琐配置用uvx一行命令即可让模型自动拉取并运行uvx --from mlx-vlm mlx_vlm.generate \ --model mlx-community/lift-oQ3 \ --image invoice.png \ --prompt Extract the invoice as JSON. \ --max-tokens 800把invoice.png换成你的 PDF 截图或文档图片模型就会输出规范 JSON。整个流程自动完成「模型下载 → 加载 → 提取」新手也能 5 分钟跑通全流程。进阶玩法搭建本地 API让程序自动批量提取要把 lift-oQ3 接入自己的业务系统可以把它启动为一个 OpenAI 兼容的本地服务uvx --from mlx-vlm mlx_vlm.server --model mlx-community/lift-oQ3 --port 8080启动后任何支持 OpenAI API 的程序Python、Node.js甚至低代码平台都能通过http://127.0.0.1:8080/v1调用它。更强大的是lift 原生支持Schema 约束输出你可以预先定义 JSON 结构比如发票必须包含发票号、总金额、明细列表服务器会在解码过程中通过 llguidance 强制模型按此结构生成保证输出永远合法、字段齐全不会出现缺字段或格式错乱——这对自动化流水线至关重要。Schema 约束输出的典型应用场景 财务系统自动录入发票告别人工敲键盘 档案管理系统批量归档合同、证件 RAG 应用中的文档结构化预处理喂给知识库更干净的语料量化会影响提取效果吗常见问题解答Q1量化后精度损失大吗上游 FP 版 lift 在 Datalab 的 225 份文档基准上字段提取准确率达 90.2%。全系量化版本均能正确提取简单测试发票但低 bit 版本在更复杂、对抗性更强的文档上可能略有下降极端场景建议选用 oQ6 或 oQ8。Q2我的电脑能跑吗需要 Apple Silicon 芯片M 系列 Mac建议内存 8GB 起步。oQ3 峰值内存约 6.2GB16GB 内存的入门款 MacBook 即可流畅运行。Q3和传统 OCR 有什么区别OCR 只负责认出文字而 lift-oQ3 负责理解文档——它同时看到文字与版面结构直接输出符合业务规则的 JSON 字段一步到位还支持表格、多栏等复杂版式。Q4中文发票支持吗支持。模型原生支持多语言中文版式同样适用只需在提示词中说明语言与期望字段即可。写在最后lift-oQ3 把 9B 视觉语言模型做到了极致量化用 4.6GB 的体积和 119 t/s 的生成速度让 PDF 结构化提取真正走进普通开发者的本地电脑。无论你是想自动化发票录入、批量整理合同还是给 AI 应用喂干净的结构化数据它都是一款值得收藏的 PDF 结构化提取神器。配合 mlx-vlm 的 Schema 约束能力本地即可搭建一套免费、可靠、不依赖云端的文档数据流水线。【免费下载链接】lift-oQ3项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考