Ubuntu24.04 在线部署 Deepseek-r1:70b 本地模型

1、Ubuntu24.04 安装完驱动并且配置好了cuda压测显卡都正常运行2、更新系统包sudo apt update sudo apt upgrade -y3、安装基础依赖sudo apt install -y build-essential python3 python3-pip python3-venv git wget curl4、创建虚拟出虚拟环境目的是为了隔离依赖4.1、在根目录下创建项目目录位置sudo mkdir -p /deepseek-local cd /deepseek-local4.2、创建python并且激活sudo python3 -m venv venv source venv/bin/activate激活后窗口会显示为此4.3、升级pip注意从此处开始后续我都是使用的 root 用户进行部署的目的是为了支持新的 Python 特性和包格式比如处理较新的 wheel 包、PEP 规范相关功能。修复旧版本的 bug比如下载中断后重试、依赖解析错误等问题。兼容新发布的 Python 库很多新版库会要求 pip 达到一定版本才能正常安装。提升安装速度和稳定性新版 pip 通常会优化下载策略、依赖处理逻辑。pip install --upgrade pip4.4、安装模型运行依赖DeepSeek 模型通常基于 PyTorch 或 Transformers 框架需安装以下核心库注意注意!!!此过程需要具备良好的外网带宽下载速度要求十分高最小需要500M带宽环境否则时间会很长pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121pip install transformers datasets accelerate sentencepiece tokenizerspip install gradiopip install --upgrade protobuf验证安装python -c import torch; print(CUDA 可用, torch.cuda.is_available())5、下载 Deepseek 模型下载是关键关乎到 Deepseek 是否能离线使用网上有很多下载方式我为了使用方便以及后续优化使用了 ollama 方式进行部署安装5.1、下载并安装 ollama 工具后续的操作可以不用 python 隔离环境curl -fsSL https://ollama.com/install.sh | sh用命令方式也可以用下载加速工具直接去下载也可以我这里是直接用下载工具下载然后上传到服务器的上传后 sh 运行下载后的安装脚本# 解压上传的ollama 安装脚本 tar -C /usr -xzf ollama-linux-amd64.tgz#运行 ollama 服务 ollama serve 至此ollama 服务已经正式运行5.2、使用 ollama 下载 Deepseek 模型新开一个窗口我这里要部署 70b 版本直接运行这个命令是先从本地搜索模型如果搜索不到则在 ollama 库内进行下载ollama run deepseek-r1:70b可以看到70b 的模型大小在42GB 如果需要部署更高的模型 需要下载的数据量更大所以部署大模型必须具有稳定且高速的外网带宽5.3、下载完之后测试对话直接输入问题回车6、关机开机后重新进入 root 用户界面运行ollama服务启动命令ollama serve 之后查看 ollama 列表查看本地模型是否存在ollama list确定列表存在后运行大模型就可以重新开始离线对话了ollama run deepseek-r1:70b至此ollama 搭建 deepseek 70b 模型已经完成能力有限只能做到部署具体资源调度使用、GPU 负载均衡以及 Web界面对话需要配合开发人员进行脚本编写。