火山引擎云上实战：采用 CPU 云服务器低成本部署 DeepSeek 蒸馏版

在前两周的推文中，我们介绍了基于火山引擎 GPU 云服务器部署 DeepSeek 蒸馏版、满血版大模型的方案。为了进一步实现极致性价比，我们也对如何在纯 CPU 上部署 DeepSeek-R1-Distill 模型服务进行了探索，这种部署模式适合一些预算有限、低负载或需要灵活扩展的场景，如：

• 个人用户尝鲜：对 AI 性能要求较低，CPU 成本更低且性能可以满足一般体验需求；

• 企业接口调试：选择 CPU 部署开发调试，无需管理 GPU 驱动、CUDA 版本兼容性等问题，可降低开发和管理成本；

• 轻量级模型需求：对于任务规模较小（如低频调用、小批量数据处理）的业务，多核 CPU 足以满足性能要求，如中小企业在内部知识库中部署问答系统。

接下来，我们将具体介绍企业和个人用户如何基于 CPU 云服务器，以低成本、高兼容性和极简运维部署和体验 DeepSeek 蒸馏版。

我们推荐使用不同的火山引擎 CPU ECS 来部署不同模型，从而实现更高的性价比。下面是典型的 DeepSeek 蒸馏版大模型部署的机型配置推荐，只需确保内存容量大于模型大小即可进行模型推理：

火山引擎已经为用户准备好了推理引擎和模型文件，信息如下：

• 推理引擎镜像：ai-containers-cn-shanghai.cr.volces.com/deeplearning/xft-vllm:1.8.2.iaas

• 模型文件：docker run 时会自动下载对应模型文件，如有手动下载需求，推荐使用 tosutil 工具内网环境下载，可参考文档：https://www.volcengine.com/docs/6349/148775

  

1. 登录火山引擎云服务器 ECS 工作台：https://console.volcengine.com/ecs，选择合适的 region/az 以及相应的机型，配置合适大小的云盘，下面以上海部署为例。

2. 选择 Ubuntu 22.04 版本镜像：

3. 为 ECS 配置公网访问方式，选择绑定公网 IP 或者使用 NAT 网关均可。

1. 安装 docker：

sudo apt updatesudo apt install docker.io

2. 启动 docker 和模型服务：

docker run -d --network host --privileged --shm-size 15g -v /data00/models:/data00/models  -e MODEL_PATH=/data00/models -e PORT=8000 -e MODEL_NAME=DeepSeek-R1-Distill-Qwen-7B -e DTYPE=bf16 -e KV_CACHE_DTYPE=fp16 ai-containers-cn-shanghai.cr.volces.com/deeplearning/xft-vllm:1.8.2.iaas bash /llama2/entrypoint.sh

用户也可以根据实际情况修改其中的环境变量，下表是一些详细说明：

3. 观察 docker logs，我们可以看到模型端口成功启动日志，稍等一会儿我们就可以通过 netstat -lntp 查看端口启动情况，待 8000 端口处于监听状态，证明服务启动完成。

执行以下 curl prompt 测试验证：

curl http://127.0.0.1:8000/v1/chat/completions -H "Content-Type: application/json" -d '{    "model": "xft",    "messages":[{"role":"user","content":"你好!请问你是谁?"}],    "max_tokens": 256,    "temperature": 0.6}'

以上就是基于火山引擎 CPU 云服务器等产品快速拉起 DeepSeek-R1-Distill 模型服务的全过程，欢迎感兴趣的用户开通相关产品服务进行体验！

如需咨询，请扫码提交表单：

[2] ECS：www.volcengine.com/product/ecs