基于vLLM、Ollama的DeepSeek R1全系列模型部署教程,支持免费体验!
国产AI黑马DeepSeek在2025开年霸榜全球,无论是日常聊天、数据分析,还是创意写作,DeepSeek样样精通。新春开工之际,我们给大家带来一份年礼。今天云朵君就为大家带来最全的DeepSeek系列模型一键部署及使用攻略。
优云智算是UCloud优刻得旗下的GPU算力租赁平台,提供高性价比、多卡型的海量GPU算力。在优云智算镜像社区,已经上线了DeepSeek系列镜像免费使用!
DeepSeek-R1 Distill系列基于vLLM部署
基于DeepSeek-R1的推理能力,通过蒸馏技术将推理能力迁移到较小的模型上,在保持高效性能的同时,成功降低了计算成本,实现了“小身材、大智慧”的完美平衡!该镜像使用vLLM部署提供支持,适用于高性能大语言模型的推理和微调任务。
第一步:
登录「优云智算」算力共享平台并进入「镜像社区」
快速使用地址:
https://www.compshare.cn/?ytag=datastudio
第二步:
选择「vLLM-DeepSeek-R1-Distill」镜像,点击「使用该镜像创建实例」
快速体验地址:
https://www.compshare.cn/images-detail?ImageID=compshareImage-17ym815cbokz&ytag=datastudio
根据镜像说明中的引导,选择所用模型需要的GPU算力规格,并点击「立即部署」即可拥有一个自带模型的算力资源
第三步:
启动vLLM api 服务,镜像已配置好所需依赖环境,无需额外安装,即可通过以下命令启动vLLM服务
打开jupyterlab
进入Terminal并执行服务启动命令
单卡4090
# DeepSeek-R1-Distill-Qwen-1.5B
vllm serve /model/HuggingFace/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --port 8000
# DeepSeek-R1-Distill-Qwen-7B
vllm serve /model/HuggingFace/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --port8000 --max-model-len 65536
# DeepSeek-R1-Distill-Llama-8B
vllm serve /model/HuggingFace/deepseek-ai/DeepSeek-R1-Distill-Llama-8B --port8000 --max-model-len 17984
2卡4090
# DeepSeek-R1-Distill-Qwen-14B
vllm serve /model/HuggingFace/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B --port8000-tp2 --max-model-len 59968
4卡4090
# DeepSeek-R1-Distill-Qwen-32B
vllm serve /model/HuggingFace/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --port 8000 -tp 4 --max-model-len 65168
8卡4090
# DeepSeek-R1-Distill-Llama-70B
vllm serve /model/HuggingFace/deepseek-ai/DeepSeek-R1-Distill-Llama-70B --port 8000
对应大模型服务启动后,执行下面命令验证即可
python workspace/test.py
DeepSeek-R1-32B-WebUI 基于Ollama部署
DeepSeek-R1采用强化学习进行后训练,旨在提升推理能力,尤其擅长数学、代码和自然语言推理等复杂任务,该镜像安装和使用 Ollama 和 Open WebUI,以便更好地利用深度学习模型进行推理和交互。
第一步:
登录「优云智算」算力共享平台并进入「镜像社区」
地址:https://www.compshare.cn/?ytag=datastudio
第二步:
选择「DeepSeek-R1-32B」镜像,点击「使用该镜像创建实例」
镜像地址:
https://www.compshare.cn/images-detail?ImageID=compshareImage-17j1nrwtdmid&ytag=datastudio
根据镜像说明中的引导,选择所用模型需要的GPU算力规格,并点击「立即部署」即可拥有一个自带模型的算力资源。
第三步:
进入JupyterLab启动服务
运行 Ollama
在终端中执行以下命令以启动 Ollama 服务:
ollama serve
运行模型(可选)
接下来,您可以安装并运行指定的深度学习模型。以下是安装和运行 deepseek-r1:32b 模型的命令:
ollama run deepseek-r1:32b
启动 Open WebUI
启动 Open WebUI 服务,指定端口和主机:
open-webui serve --port 6080 --host 0.0.0.0
用户名和密码设置
访问机器外网IP:6080,在启动Open WebUI 后,您需要设置用户名和密码。请按以下步骤进行设置:
创建用户名和密码,均设置为 123。邮箱为:[email protected][4]
DeepSeek Janus-Pro开源模型
DeepSeek团队于1月28日凌晨发布了开源多模态大语言模型Janus-Pro,这是一款基于DeepSeek-LLM-1.5b-base和DeepSeek-LLM-7b-base构建的模型。
第一步:
登录「优云智算」算力共享平台并进入「镜像社区」
地址:https://www.compshare.cn/?ytag=datastudio
第二步:
选择「Janus-Pro-7B」镜像,点击「使用该镜像创建实例」
镜像地址:https://www.compshare.cn/images-detail?ImageID=compshareImage-17qj8y5ox49o&ytag=datastudio
根据镜像说明中的引导,选择所用模型需要的GPU算力规格,并点击「立即部署」即可拥有一个自带模型的算力资源
第三步:
进入JupyterLab启动服务
环境进入:
conda activate januscd /root/Janus-Pro-7B/Janus
多模态理解:
python inference.py --model-path /root/Janus-Pro-7B/models/Janus-Pro-7B
Gradio demo:
python demo/app_januspro.py --model-path /root/Janus-Pro-7B/models/Janus-Pro-7B
运行完成后通过图示链接即可使用web服务
以上是优云智算平台支持的DeepSeek系列模型,优云智算镜像社区仍在不断更新DeepSeek系列镜像,更有海量AI行业镜像等你来体验,点击下方“阅读原文”注册可得20算力金,免费体验10小时4090!
DeepSeek-R1 Distill: https://zhida.zhihu.com/search?content_id=253350589&content_type=Article&match_order=1&q=DeepSeek-R1+Distill&zhida_source=entity
[2]vLLM: https://zhida.zhihu.com/search?content_id=253350589&content_type=Article&match_order=1&q=vLLM&zhida_source=entity
[3]Ollama: https://zhida.zhihu.com/search?content_id=253350589&content_type=Article&match_order=1&q=Ollama&zhida_source=entity
[4][email protected]: mailto:[email protected]