在本地计算机上离线部署DeepSeek大模型
安装系统:要求Windows10 及以上
磁盘空间:要求不少于5GB
下载安装所需文件
百度网盘地址:https://pan.baidu.com/s/1kOcyzb3QGMnJOoIVXka4NA?pwd=ziyu ,提取码是ziyu
可以从该地址下载本篇文章所需要的Ollama安装包和DeepSeek模型,这两部分文件都在压缩包“离线部署deepseek.rar”中
安装Ollama
打开Ollama安装包(OllamaSetup.exe),点击“Install”开始安装。
安装完成后,按下 Win + R 键,输入 cmd 并回车,打开命令行窗口。
在命令行中输入 ollama,如果看到以下输出,说明Ollama已成功安装。
安装Deepseek R1 1.5b模型
1.下载并解压模型
从百度网盘下载Deepseek R1 1.5b模型的压缩包(deepseek-r1-1.5b.rar),解压后进入解压后的文件夹,并在解压后的文件夹键入cmd
2.通过命令行安装模型
在命令行中输入以下命令,Ollama将根据Modelfile中的配置自动安装 deepseek-r1-1.5b.gguf 文件:
ollama create deepseek-r1-1.5b -f Modelfile安装成功后,命令行会显示“success”提示。
3.运行Deepseek模型
安装完成后,输入以下命令即可运行Deepseek模型:
ollama run deepseek-r1-1.5b安装其他大小的DeepSeek大模型
本文以DeepSeek-r1 1.5b作为示例,如果需要下载其他大小的模型,需要得到该模型的gguf文件,目前DeepSeek发布在Hugging Face上的模型并没有直接提供gguf文件,如果是采取量化模型的方式得到gguf文件略显复杂。
因此推荐有安装其他大小DeepSeek模型的用户,在其他可联网的机子中运行Ollama,直接下载对应大小的DeepSeek大模型,如7B,下载之后至模型文件夹中(C:\Users\你的用户名文件夹.ollama\models\blobs),里面存放的是你下载的模型,我们在这里获取到下载的7B文件(文件名通常是一个很长的ID,可以通过下载时间最近和文件大小最大进行判断),将其改名为deepseek-r1-7b.gguf,之后还需要修改Modelfile中的FROM字段内容,修改完成拷贝至离线环境便可按照前文所述进行离线安装。
最后想要直接获取 DeepSeek 相关教程文档的同学,可以直接在我公众号后台回复一下数字:
905,获取 DeepSeek 生态工具下载安装文档。
904,获取可公共访问的 Ollama 服务地址。
903,获取 chatbox 安装包网盘地址。
902,获取大模型相关教程 pdf 文件地址。
👨💻欢迎关注我的公众号「程序员wayn」,AI 技术成长社群正招募热爱coding的你,加入我们,一起深入探讨技术、分享经验、共同成长!
作者原创技术好文推荐: