oMLX 部署本地大模型

云端 Token 太贵用 oMLX 本地部署大模型构建你的私有 AI 推理服务在 AI 应用开发中越来越多工程师开始接入大模型能力如 Copilot、AI 搜索、Agent 等。但随着使用频率提升一个现实问题逐渐暴露云端 AI Token 成本不可控且存在网络依赖与数据隐私问题。因此本地化部署大模型On-device LLM Inference成为一个值得认真考虑的工程方向。一、什么是 oMLXoMLX 是一个专为 Apple SiliconM 系列芯片设计的本地大模型推理服务器。从工程角度来看它的本质是 一个运行在本地的 LLM Inference Server模型推理服务层它提供三层能力1️⃣ 本地模型运行替代云端推理模型运行在你的 Mac 上CPU / GPU / Neural Engine不依赖远程 API无网络延迟、无调用费用2️⃣ OpenAI 兼容 APIoMLX 会启动一个本地服务例如http://localhost:8000/v1可以直接用现有代码调用// 前端 / Node.js 直接复用 OpenAI SDK const client new OpenAI({ baseURL: http://localhost:8000/v1, apiKey: none });3️⃣ 针对 Mac 的深度优化oMLX 并不是简单封装而是专门针对 Apple 芯片做了优化MLX 推理加速Apple 官方 ML 框架内存/显存调度优化KV Cache 管理性能关键注意使用 oMLXhttps://github.com/jundot/omlx/blob/main/README.zh.md部署仅支持M 系列芯片的Mac。Windows 用户请改为 Ollamahttps://github.com/ollama/ollama或 LM Studiohttps://github.com/lmstudio-ai/lms。二、安装与启动 oMLX直接在下载页https://github.com/jundot/omlx/releases找到最新正式版本。为了稳定起见请不要找标注 dev 的版本。点击 Assets根据操作系统版本下载然后直接安装下载完成后安装并直接运行端口和其他配置保持默认自定义 API Key点击启动服务Start Sever再点击打开管理面板Open admin Panel Close。三、安装模型管理面板打开后接着安装模型。在顶部菜单点击「模型」-「下载器」。页面打开后点击魔塔社区。点击「模型下载器」旁边的设置按钮修改镜像为 https://hf-mirror.com点击「保存」按钮。切换回HuggingFace搜索Qwen3.5-9B-MLX-4bit模型这个模型的性能对于一些常规需求已经非常足够了。运行起来占用大概 6G 左右内存。找到后点击「下载」按钮。等待下载完成后会自动安装在「设置」-「模型设置」中可以看到已安装的模型点击最右边设置按钮图标这里推荐设置「聊天模版参数」点击「添加」设置enable_thinking为false。不然每次聊天都会思考很久。其他设置根据自己的电脑配置来调整完成后点「保存」。点击「就绪」按钮会变成「已加载」状态四、使用模型模型已经运行起来了继续点击导航栏的「聊天」按钮会跳转到聊天页面确认下顶部选择了正确的模型。现在可以直接发消息给它AI 马上就会进行回复。回到「仪表盘」里可以看到Token统计信息