自家产品，怎么集成 GPT 大模型？

大模型技术的发展，越来越明朗了。不过，相比于各种各样的比喻，当下，我更倾向于把它比作“内燃机”。内燃机的出现，是第二次工业革命的一个重要标志。因为它意味着很多新的可能。 有了内燃机，人们可以发明汽车，创造新的未来；也可以用它来替换自家工厂里的蒸汽机，提高生产效率。大模型有异曲同工之处。 如果你是 IT 从业者，特别是工程师、产品经理，那我觉得现阶段，千万不能把眼光停留在怎么用好 ChatGPT 上，而是应该继续纵深一步，思考公司的产品有哪些地方可以集成大模型的能力，琢磨自己还有哪些新机会。 “AI 时代，所有产品都值得用大模型重新做一遍。”就像阿里巴巴集团 CEO 张勇说的那样。 周三晚上，我们团队和圈内大模型创业者徐文浩老师做了连麦直播，我全程听完了。有启发，今天来聊聊某个产品具体怎么接入大模型，可能会偏技术一些。 大体来说，有三种方式。 第一种，也是最简单、门槛最低的。直接把数据喂给大模型，调用它成熟的 API，然后拿到结果。但很多时候，从企业的角度考虑，我们并不想暴露数据，于是有了第二种较为复杂的方法——仅利用大模型的推理能力，尽量不暴露数据。 比如我们想做个智能客服，智能客服要基于订单、商品、物流信息回答用户问题。那用户的问题过来之后，我们先要判断下他的问题到底是什么类型的，这时候就要使用微软的 Semantic Kernel 或者开源的 LangChain。 通过 Embedding 接口（得到文本的 Feature）和 LangChain 的配合来判断用户的问题到底应该怎么回答：是一步就能解决，还是要制定一个计划，通过好多步才能解决。 接下来，具体回答问题的时候，用户的姓名、电话号码又要做数据脱敏。不能直接扔过去调用 API，比如，我们可以把姓名和电话号码替换为张三、1866666666，然后结合提示词调用 Completion 接口。 相比直接调用 API，第二种方式需要了解领域知识，知道怎么做数据标注、怎么提高模型的泛化能力。但部分场景中，第二种方式也并不能满足需求。 有的企业会觉得 OpenAI 的成本比较高，响应速度还慢，同时自己也有一些专有数据，那能不能训练一个属于自己的私有模型？ 这就过渡到了第三种方式。训练一个模型，对于大部分企业来讲，最好的方式是基于某个开源模型，用自己的数据微调，而不是从零开始训练一个大模型。现在，微调一个模型的成本大致是万把块钱，并且未来这个成本会越来越低。 那选哪个开源模型比较好？目前综合看，Vicuna 是效果最好的开源模型，它拿了很多 ChatGPT 生成的数据，然后在 LLaMA 上用这些数据做的微调。训练的数据集在网络上也都能找到。 想微调 Vicuna，那只要找到 LLaMa 的权重文件，然后 Vicuna 的代码又是开源的，再租一些算力，就可以开始了。对于大部分企业来讲，垂直领域的应用并不需要一个 650 亿的参数，70 亿或者 130 亿的参数就足够了。 比如你是医疗行业的，那可以基于 Vicuna，混合自己专门的领域数据，微调模型。微调完之后，拿到一份新的模型权重，然后再部署，基本上就能运转了。 对中文的支持方面，网上也有人开源中文的语料。基于中文的语料微调后，其实 Vicuna 对中文的支持还是不错的。我觉得未来越来越多的企业，应该会采用这种方式来集成大模型的能力。 需要注意的是，LLaMa 及其衍生的模型，都不能商用。 前段时间比较火的 ChatPDF，其实是用的第二种方式接入的大模型。先介绍下，ChatPDF，顾名思义就是你可以和 PDF 聊天，上传一个几十万字的 PDF 文件到系统，然后就可以通过对话的方式问问题了。 具体怎么实现的？最简单的方式是直接把 PDF 中的文本当成输入喂给大模型。但大模型目前的输入字数是有限制的，那样做肯定不行。所以，比较可行的方法是： 第一步，先从 PDF 文本中搜索到和问题相关联的内容。第二步，将问题和相关内容提交到 ChatGPT，然后请 ChatGPT 回答对应的内容。 第一步中，搜索关联内容时，需要对 PDF 以及相关文档做分片和索引，常用的方式是语义 Embedding，调用大模型，然后得到 PDF 文本和问题的向量，然后再根据向量相似度匹配到对应的 PDF 文本块。当然也可以额外添加关键词等等传统的文本搜索技术，以提高准确率。如果考虑性能的话，还可以引入向量数据库和缓存。 大体逻辑就是这样。 AI 大模型技术还是个新事物。我也还在学习。用 ChatGPT 问问题的新鲜劲早就过去了，坦白讲，那些对于我来说，价值不大。我估计很多人玩 GPT，也都是凑热闹。 每个时代都有每个时代的产品。 作为创业者，我更多要思考的是怎么跟上时代的浪潮，怎么利用新的技术来提高产品体验。 这是工程师和产品经理们的新机会。4 月底，我们团队和徐文浩老师也合作了 AI 大模型集训班，希望能帮大家从技术和产品层面理解大模型的来龙去脉。 如果你正在思考 怎么在自己的产品中集成大模型的能力 ，你正在研究 LLaMa、Vicuna、ChatGLM，以及 OpenAI 的接口，你正在思考到底哪些场景适合用大模型的技术解决 ， 哪些场景适合用传统的机器学习方法解决，那这个集训班可以帮到你。 今天购买，只需要 329 元。明天涨价到 399 元。 直播授课，有共学社群，有助教答疑，有班主任。 一顿饭的价格，我们一起学习，跟上大模型的浪潮吧。进去下方小程序报名即可。 （戳👇小程序查看详细课程大纲）