如何5分钟在本地跑起gemma-4-31B-it-GGUF：从零开始的新手部署教程

【免费下载链接】gemma-4-31B-it-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/gemma-4-31B-it-GGUF点击查看免费下载想在自己的电脑上私有化部署 Google 最新开源多模态大模型吗gemma-4-31B-it-GGUF 仓库由 Unsloth 提供收录了Gemma 4 31B指令微调版的全部 GGUF 量化版本Q2 到 Q8、BF16开箱即用支持文本与图像输入、最长 256K 上下文Apache 2.0 协议可自由商用。本教程带你从零开始5 分钟在本地跑起它。一、这个仓库里有什么先花 1 分钟了解仓库结构下载时心里有数目录/文件说明根目录各*.gguf不同量化精度的主模型从约 10GB 的UD-IQ2_XXS到约 33GB 的Q8_0BF16/16 位原始精度模型分 2 个文件效果最好但显存要求最高MTP/MTP 多 token 预测草稿模型用于推测解码加速生成速度mmproj-*.gguf视觉编码器投影文件看懂图片必须搭配使用mtp-gemma-4-31B-it.gguf仓库根目录的 Q8_0 版 MTP 草稿模型供自动发现config.json模型架构配置可见 60 层、262K 词表、256K 上下文等参数imatrix_unsloth.gguf_fileUnsloth 量化时使用的 imatrix 校准数据如何选量化版本按显存对号入座即可 显存推荐版本体积约16GBUD-Q2_K_XL/UD-IQ3_XXS10~13GB24GBQ4_K_M最均衡官方 MTP 验证用此版本约 19GB40GBQ8_0或UD-Q8_K_XL30GB80GB / 双卡BF16/ 原始精度约 61GB 带UD前缀的是 Unsloth Dynamic 动态量化按层重要性分配比特数同体积下质量更好-XL后缀为更大文件内的高精度变体。二、部署前准备安装 llama.cppGemma 4 需要较新的 llama.cppMTP 功能于 2026-06-07 合并进主干。以 NVIDIA 显卡为例克隆源码并编译git clone https://github.com/ggml-org/llama.cpp cd llama.cpp # -DCMAKE_CUDA_ARCHITECTURES 按你的显卡填写89(RTX 4090)、90(H100)、100(B200) cmake -B build -DGGML_CUDAON -DCMAKE_CUDA_ARCHITECTURES90 cmake --build build --config Release -j --target llama-server更多构建细节可参考 MTP/README.md。三、5分钟快速启动 llama-server本仓库是一个镜像仓库可以直接克隆到本地然后指向本地文件启动git clone https://gitcode.com/hf_mirrors/unsloth/gemma-4-31B-it-GGUF cd gemma-4-31B-it-GGUF ./path/to/llama-server \ -m gemma-4-31B-it-Q4_K_M.gguf \ --mmproj mmproj-BF16.gguf \ -ngl 999 -fa on参数小白注释 -m主模型文件换成你选定的量化版本即可--mmproj视觉投影文件加上它模型才能看图-ngl 999把所有层卸载到 GPU-fa on开启 Flash Attention省显存提速启动后浏览器打开http://localhost:8080即可在 Web 界面与模型对话、上传图片。⚠️ 注意仓库内文件较大若只是下载单个文件建议用hf download之类的工具按需拉取不必 clone 整个仓库。四、进阶用 MTP 推测解码再提速 40% MTP/README.md 中给出了实测数据在单卡 B200 上跑Q4_K_M开启 MTP 后从70 tok/s 提升到 101 tok/s草稿接受率 0.78。新版 llama.cpp 能自动发现仓库根目录的 mtp-gemma-4-31B-it.gguf直接加两个参数即可./path/to/llama-server \ -m gemma-4-31B-it-Q4_K_M.gguf \ --spec-type draft-mtp --spec-draft-n-max 4 \ -ngl 999 -fa on想要指定精度或多卡部署可改用显式写法--model-draft MTP/mtp-gemma-4-31B-it-Q8_0.gguf详见 MTP/README.md。五、最佳采样参数官方推荐按照 README.md 的 Best Practices无论何种任务都建议使用统一采样配置参数推荐值temperature1.0top_p0.95top_k64其他小贴士多模态输入图片/音频放在提示词前面效果最佳图像分辨率支持 70~1120 的视觉 token 预算OCR 读小字用高值分类/看图说话用低值多轮对话历史消息中只保留最终回答不要保留中间思考内容六、常见问题Q内存/显存不够模型卡住怎么办换更低的量化版本如UD-IQ2_XXS或减少-ngl让部分层留在内存。Q加载 MTP 文件报错gemma4-assistant架构不认识你的 llama.cpp 太旧了请编译 2026-06-07 之后的版本。Q只想要文字能力能省掉 mmproj 吗可以不传--mmproj参数即可还能省一点显存。至此一台 24GB 显卡的机器上Gemma 4 31B 已经可以流畅本地运行了。它支持 140 语言、256K 长上下文和图像理解配合 MTP 加速日常问答、文档解析、代码任务都值得一试。赞分享【免费下载链接】gemma-4-31B-it-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/gemma-4-31B-it-GGUF点击查看免费下载相关推荐5分钟跑通gemma-1.1-2b-it本地部署大语言模型新手完全教程5分钟跑通gemma 1.1 2b it本地部署大语言模型新手完全教程 gemma 1.1 2b it 是 Google 推出的轻量级开源大语言模型约 20大模型基础模型10分钟本地跑通Gemma 4 12B多模态大模型gemma-4-12B-it-GGUF新手完全入门指南10分钟本地跑通Gemma 4 12B多模态大模型gemma 4 12B it GGUF新手完全入门指南 gemma 4 12B it GGUF 是 Goog如何用llama.cpp 5分钟跑通DeepSeek-V4-Flash-GGUF面向新手的本地部署快速上手教程如何用llama.cpp 5分钟跑通DeepSeek V4 Flash GGUF面向新手的本地部署快速上手教程 本教程面向新手讲解如何用 llama.cpp上一篇IDM激活脚本终极指南Windows下载工具永久免费解决方案下一篇dagster-postgres 实战指南用 PostgreSQL 为 Dagster OSS 提供持久化实例存储创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考