本地安装部署AI推理框架和模型(Ollama + Qwen2.5-Coder)

1. 安装 Ollama (推理框架)Ollama官网安装 Ollama 这个工具然后用它来下载和运行模型curl -fsSL https://ollama.com/install.sh | shWindows访问 Ollama官网 https://ollama.com/download 下载安装包运行并按照指引完成安装2. 下载并运行模型ollama run qwen2.5-coder:14b3. 验证安装 (可选)打开另一个终端窗口输入ollama list来查看已安装的模型列表确认qwen2.5-coder:14b已在其中备选模型与进阶建议如果你不知道选哪个模型可以把你的配置告诉Deepseek让它办理选一款适合你的你要告诉他是写代码还是做视频…。追求更高代码生成精度如果代码生成的准确性是你的首要目标可以尝试 DeepSeek-Coder-V2-Lite (16B)。根据评测它在代码生成任务上表现非常出色。但它的模型稍大运行时的内存占用会更高。ollama run deepseek-coder-v2:16b追求极致轻量与速度如果觉得14B模型仍有些吃力可以降级到 CodeLlama-7B它对硬件的要求更低ollama run codellama:7b与编辑器深度集成Ollama本身只是一个对话环境。为了实现“AI编程助手”你需要将其与代码编辑器如VS Code集成。可以通过安装 Continue 或 OpenCode 等插件来实现。这些插件通常只需在设置里将模型提供商选为 Ollama并填入正确的模型名称如 qwen2.5-coder:14b即可。Qwen2.5-Coder-14B 在性能、内存占用和易用性上取得了很好的平衡非常适合我本人笔记本电脑的本地编程助手。4. 将已下载的qwen2.5-coder:14b接入DeepSeek Harness (DSH)先决条件确保你的系统已安装Node.js版本需为 ^22.19.0 或 24.0.0。你可以在终端输入node -v来检查版本。DeepSeek Harness (DSH) README.zhnpm config set registry https://registry.npmmirror.com换清华源npm config set registry https://mirrors.tuna.tsinghua.edu.cn/npm install -g deepseek-ai/dsh全局安装后直接使用更便捷dsh web启动1:ollama list确认 Ollama 服务正在运行应该能看到qwen2.5-coder:14b如果 Ollama 没有在后台运行先启动它ollama serve2:dsh web启动 DeepSeek Harness如果你执行了这行命令从此后面不用再执行配置了dsh plugin --profile web add dsh-local-ai3: 在 DSH 中添加配置 Ollama 模型步骤操作关键内容1进入设置 → 模型点击右上角齿轮图标左侧选择模型2添加自定义提供方点击添加自定义提供方按钮3Provider IDlocal-ollama小写字母开头4显示名称任意如我的 Ollama5API 地址http://127.0.0.1:11434/v16API 协议openai-completions7API 密钥任意非空字符串如ollama8获取模型点击获取可用模型自动列出或手动输入模型名称添加9保存点击创建提供方可选通过配置文件固定模型配置文件Ollama 会将其管理 DSH 的设置保存在~/.ollama/launch/dsh/settings.yaml文件中如果你想在启动时自动加载特定模型可以修改~/.ollama/launch/dsh/settings.yaml如果存在或在 DSH 的cordis.yml配置文件中添加defaults:model:qwen2.5-coder:14b完成以上步骤后即可在 DSH 中使用本地 Ollama 模型。