大学生数据库实践课：ollama 本地模型部署

本期播客

大学生数据库实践课：ollama 本地模型部署

同学们好，在上一节课中，我们聊了模型的分类逻辑。很多同学私信问我：“德哥，理论我懂了，但我手头只有一台普通的笔记本电脑，能不能跑起这些动辄几十 GB 的大模型？”

答案是：完全可以！ 今天我们要讲的 Ollama，就是为了解决“大模型平民化”而生的神器。它能让你像安装软件一样，在本地一键部署、运行和管理 7B（70亿参数）以内的模型。

核心思路：把大模型装进兜里

Ollama 的伟大之处在于它屏蔽了复杂的环境配置。你不需要写 CUDA 代码，不需要折腾 Python 虚拟环境，只要一个命令，模型就跑起来了。

1. 极简安装：全平台制霸

无论你是用 macOS、Windows 还是 Linux，Ollama 都提供了“一键安装”包。安装完后，它会作为一个守护进程（Serve） 运行在后台，默认监听 11434 端口。这就意味着，你的本地电脑瞬间变成了一台 AI 服务器。

2. 选型建议：7B 是“黄金分割点”

对于大学生常用的 8GB 或 16GB 内存的笔记本，我建议大家重点关注 7B 以内 的模型：

• 日常聊天/逻辑推理：首选 Gemma 3 (4B) 或 Llama 3.2 (3B)，响应飞快。
• 图片理解（多模态） ：试试 LLaVA 或超轻量级的 Moondream。
• 语义搜索（Embedding） ：这是做 RAG（检索增强生成）的核心，推荐部署 embeddinggemma。

3. 高级玩法：从 Hugging Face 搬运

如果 Ollama 官方集市里的模型不够玩，你还可以去 Hugging Face 下载最新的 .gguf 格式模型。

• 只需要写一个简单的 Modelfile（类似于 Dockerfile），写上 FROM ./your_model.gguf。
• 运行 ollama create，这个模型就变成你私有的了。

实操秘籍：几个必须记住的命令

作为数据库开发者，你不能只会“聊天”，更要学会用 API 调用：

• 对话命令：ollama run qwen3:1.7b"帮我写个 SQL 调优建议"
• 向量化接口：这是将文本存入 PostgreSQL 向量索引的关键步骤。

curl http://localhost:11434/api/embed -d '{"model": "qwen3:1.7b", "input": "德哥带你学数据库"}'

• 资源监控：跑起来后，记得用 ollama ps 看看模型占了多少显存。

💡 德哥的课后小贴士

1. 显存不足怎么办？ 如果运行 7B 模型很卡，尝试切换到 1B 或 3B 的版本。在本地实验中，响应速度比模型智商更影响体验。
2. 断点续传：下载模型时如果网络不好，直接 Ctrl+C 关掉，下次再 run 它是支持断点续传的，非常人性化。
3. 结合数据库：这节课是为下一节准备的。部署好 Ollama 后，我们要尝试把它的 Embedding 能力接到 PostgreSQL 里，实现真正的“本地知识库”。

同学们，赶紧在自己的电脑上把 Ollama 跑起来，感受一下本地 AI 的魅力！

详细教程, 点击「阅读原文」