服了，昨天跑大模型，我绕了个大弯路

昨天真是绕了个大弯路，浪费了我半天时间。怎么回事呢？我来写写。

上周，墨问正式上线了 AI 语音笔记，用户反馈很不错，我们也很开心。在我的构想中，墨问的 AI 功能应该润物细无声般地融入到原有的场景，给用户提供全新的体验。从这个角度出发，我们会研发一系列的 AI 特性。

最新的 AI 功能已经在讨论中，考虑到数据隐私，我们计划自己部署一个开源模型。

近半个来月，Llama 3.1 和 Mistral Large 2 等开源模型声势浩荡，媒体报道说它们在某些方面的能力可以匹敌最强闭源模型。昨天下午不忙，这事又足够重要，所以我决定自己上手测试一把，看看效果，也借机调研下模型微调的具体流程以及成本，这样后面和团队讨论的时候能够更聚焦。

但想部署 Llama 3.1 70B，我的 MacBook 带不起来，它对显存的要求太高了。于是，很自然的，我又开始折腾购买算力、选 GPU 型号，以及部署驱动、CUDA、Python 等环境依赖，这一通操作下来，还挺费劲，整得我一头雾水。之前这些事都是我们 CTO 田海在折腾，但他请假没在公司......

反正最后花了三个多小时，我都没完全搞定 Llama 3.1 70B 的部署。毕竟之前我之前更多的工作经验偏工程层面，而 AI 大模型完全是一个新的领域。技术这行当日新月异，有几年没写代码，没跟新技术，我一下子生疏了不少。

但不急，我的心态是咱不会，可以学，现在互联网这么方便怕啥。很快，我又想起墨问有专门的 AI 技术社群，于是，赶紧去群里问了下。

有同学说你直接去云平台上一键部署，多方便，他顺手给我发了个链接。我打开一看，是腾讯云推出的一款叫高性能应用服务 HAI 的产品。简单扫了下介绍——HAI 主打快速部署 AI 应用，它预置了主流的 LLM 大语言模型。

看起来不错。

我麻溜地注册好，在控制台中选择“Llama3.1 70B”应用，再选择北京两卡 GPU 进阶型的算力方案，然后等了三分钟左右，HAI 很快就把环境给启动起来了。下面我放了张图，你感受下，全部都是图形界面操作。

紧接着通过 Cloud Studio 连接算力，在终端中输入“ollama run llama3.1: 70b”后，我就能立即使用 Llama 3.1 了。完成这一步时，我长舒一口气，原来腾讯云已经把私有模型的部署门槛降到这么低了。

算下来包括学习和理解的时间，使用 HAI，我只用了 5 分钟，并且中间没有再打开其他的应用，这一切都可以在浏览器中完成，方便至极。更关键的是，它还便宜，一个小时只花了不到十块钱。所以，今天我忍不住，一定要写篇文章推荐下这个产品。

如果你和我一样，懒得买卡，懒得配置复杂的环境，那 HAI 应该是一个趁手利器，它预装了热门模型，还能自动适配最佳的算力资源，这对于轻量的应用开发场景足够了。像我一样，你不需要对 AI 领域的那些名词手拿把攥，也不需要花很多钱，就能部署一个自己的私有模型了。

前段时间我们在做技术选型时，本想自己部署文本转语音的模型，但又觉得私有部署太复杂，没办法，最后只能选择了云上的现成 API。而现在通过 HAI，这事就变得简单了很多，我估算了下，这也能直接帮我们节省成本。

从体验上看，HAI 像是一个 C 端产品，我们不需要找销售拿折扣，也不需要填企业信息了，只要注册个账号，充 20 块钱（小模型更便宜），一下午基本就够用了。

并且，HAI 还提供了 Web UI 的方式来访问对应的实例，后来，我还用 Cloud Studio 打开终端，根据网上的教程，迅速部署了一个 LangChain-Chatchat 本地知识库问答应用。

Cloud Studio 提供了一套 Web IDE 和云端的开发环境，这可以代替本地的 IDE，比如我要修改模型配置文件，之前通用的做法是 SSH 登录服务器，找到对应的文件，打开 VI 编辑，或者在本地 IDE 里配置个 SSH 远程连接。现在呢，通过 Cloud Studio 的图形界面修改，随时随地，非常方便。不得不感慨，现在的工程师好幸福，能有这么多便利的开发者工具。