百度智能云千帆大模型平台引领企业创新增长

百

百度Geek说2024年12月02日约 5 分钟

点击蓝字，关注我们

首先，跟大家分享一张图，这个是我们目前大模型应用落地的场景分布。可以看到，大模型广泛渗透到各行各业，场景越来越丰富。

24 年 9 月份，我们发布了百度智能云千帆大模型平台 3.0。包括：模型开发层、模型服务层、应用开发层。提供了最专业的应用开发工具、最丰富的大模型、最全面的工具链。

在企业大模型落地的过程中，要解决很多的问题。最常见的有如何选择模型、如何构建 AI 原生应用、如何优化模型使用效果。我们给大家总结出了 3 大应用落地路径：

模型推理；
模型应用效果优化（包括提示词优化、模型精调、模型能力增强）；
大模型应用开发。

首先，讲模型推理。在模型选择的过程中，我们发现 3 个趋势：

越来越追求效价比，效果更好兼顾成本更低；
根据不同需求，进行大小模型协同；
多模态模式协同工作；

百度智能云千帆大模型平台提供丰富的模型选择，有不同尺寸的大模型、精专垂类模型、以及传统多模态能力等。

第二个路径，模型应用效果优化，分为 3 个手段。最常见的就是提示词优化，包含 Prompt 和 Few-shot 两种方式。

举个例子，法律咨询场景，我给大模型一个指令「你是一个律师，请问经济合同纠纷案的解决流程是什么？」。可以看到大模型给出了一个基础的解决流程的答案。要上生产环境用大模型代替律师工作，最简单就是通过提示词调优。可以明显看到，右边增加了人设、风格、指令约束。输出结果更像真人律师，这就是提示词优化的作用。

提示词优化看似容易，其实没有那么简单，有很多的原则来适应模型和应用的需求。为了进一步降低客户使用门槛，我们今天发布 Prompt 模板。用户可以一键复制，只要稍作改写，大模型的输出效果就会更好。

提示词优化有效果天花板。如果想进一步提升应用场景下模型能力，第二招对模型进行模型训练，也就是我们经常说的模型精调。精调可以使模型风格、行为和应用需求对齐，有效提升模型效果。

千帆 ModelBuilder 提供的就是全流程的、模型训练和模型精调的工具链，包含：数据管理、训练模式、开发工具、评估优化、推理部署、大模型周边系统。

举个例子，宁波传媒使用千帆 ModelBuilder 模型精调工具，打造了一个小记者作文 AI 点评助手。通过视频来看下开发过程和应用效果。

今天，基于我们平台越来越多的场景实践，沉淀了一系列的模型精调样板间，进一步降低模型调优门槛。企业只需要跟随样板间的步骤，一步一步设置模型训练的参数，就可以训练出符合企业需求的场景化模型。

我们在千帆 ModelBuilder 工具链不断迭代的过程中，又给大家提供了一个新的方法——模型蒸馏。通过调用旗舰大模型产生的问答对，经过筛选得到有效的训练数据。在降低数据标注成本的同时，通过精调得到成本更低、耗时更优、效果趋近旗舰模型的轻量级大模型。举个例子，百度电商数字人直播，通过模型蒸馏后，相比旗舰级模型效果能达到 90%，同时达到旗舰级 6 倍的速度，10% 的成本；更好的适应我们场景应用在效果、性能和成本之间的平衡。

客户在使用面临一个问题：模型刚上线符合预期，过了一段时间模型应用效果下降。为什么下降？——用户请求 query 结构会发生改变。怎么办？——持续调优。通过千帆 ModelBuilder 提供的工具链，帮企业建立自己的数据飞轮，根据用户反馈，持续迭代模型，让模型越用越聪明。

大模型应用效果优化第三招：模型能力增强。即给模型增加外部能力，比如检索增强能力和工具能力。

这个例子，是北京大学通过千帆 AppBuilder 的企业级 RAG 能力，打造了一个智能 AI 校园助手「小北学长」。可以看到，这个校园助手的创建，就是外挂了北京大学独有的 30 万+ 知识文件，满足校园内特定场景的知识问答，回答准确率高达 95% 以上。

今天，千帆 AppBuilder 除了提供企业级 RAG 能力，还有企业级 Agent、企业级部署、企业级集成，共 4 大企业级能力。

大家知道 Agent 具备自主思考、自主编排、记忆、反思等能力，能够自主的做任务规划，一定程度上为企业降本增效。但也有一些场景，需要严格按照企业的 SOP，也就是设定好的工作流来进行任务执行，就是我们今天全新发布的工作流 Agent 能力。下面我们来看个例子：通过工作流 Agent，模拟航空公司客服人员，做机票退改签。通过工作流 Agent，可实现流程高可控、低代码灵活编排、全局知识兜底、丝滑话题切换。