百度智能云千帆，产业创新新引擎
XGJ约 10 分钟本文整理自 3 月 21 日百度副总裁谢广军的主题演讲《百度智能云千帆，产业创新新引擎》。
各位领导、来宾、媒体朋友们，大家上午好。很高兴今天在石景山首钢园，和大家一起沟通和探讨大模型的发展趋势，以及百度最近一段时间的思考和实践。
自去年 3 月 27 日发布千帆大模型平台到今天，刚好过去了一年的时间。过去这一年，国内外的大模型都在迅速发展，相关应用的爆发趋势也更加明显。
从发展趋势来看，有如下几个特点：
第一， 大模型的技术在不断进步。通过模型架构改进、训练算法调优等方式，大模型的效率和性能都得到了显著提升；
第二，行业应用场景的成熟。大模型在各种行业已经开始落地，这些实践经验激发了行业更多的兴趣和投入；
第三，政府、投资机构对人工智能技术的支持不断增加。这也为大模型的研发、部署和应用提供了更多资源和机会；
第四，社会对人工智能技术的理解和接受度不断提高。用户对于智能化、个性化服务的需求， 也推动了大模型在各种场景中的应用。
但在过去一年与企业的实际接触过程中，我们发现企业落地大模型时，也面临着在落地场景的探索、应用开发的门槛、推理和训练的成本和落地应用的效果等四个方面的挑战。
为了解决这些挑战，帮助企业用户落地，千帆提供了包括算力、模型开发、应用开发在内的一整套的大模型开发工具，为企业打造了大模型服务的超级工厂，帮助企业降低成本、提高效率与模型应用的效果。
千帆 AppBuilder，是一个产业级的 AI 原生应用开发平台。它可以帮助广大的客户和开发者不断降低应用开发门槛。
AppBuilder 底层由基础组件和高级组件构成。在基础组件中，包含大模型组件、AI 能力组件等。这些组件都是基于百度多年的技术和实践经验沉淀的。
除了基础组件，AppBuilder 还面向典型的应用场景，深入调优建设了一系列高级组件，比如知识问答类的 RAG、具备运算能力的代码解释器，以及生成式数据分析 GBI 等。
基础组件和高级组件共同支撑 Agent。一方面可以通过工作流编排实现更为复杂的业务逻辑，另一方面 Agent 也具备强大的自主任务规划能力。所有这些底层能力，通过代码态和零代码态两种形态提供服务。同时，多渠道对外集成分发。
千帆 AppBuilder 具备三大核心优势特点：
第一，应用效果领先，具备高精度知识问答效果及精准的自主任务规划能力；
第二，组件多元化且支持自定义接入；
第三，产品开放易用。
接下来我来为大家详细介绍。
讲应用效果就离不开场景。知识问答(也就是 RAG )是大模型最典型的应用场景之一。AppBuilder 在这个场景建设了企业级全链路检索增强的应用框架及周边工具，并做了很多深入细致的优化工作，包括底层基座模型的 SFT 调优、文档解析、语义匹配、问题拆解等环节的策略优化，使得知识问答的效果达到更好的水平。
通过这些优化，AppBuilder 的 RAG 在多场景问答准确率、友好回复、准确拒答等方面可接受度达 95% 以上。大家可以看到下图中的对比数据， AppBuilder 在效果上超越了其他同类产品。
另一个非常典型的应用场景是 Agent。AppBuilder 构建了具备精准自主任务规划能力的 Agent 框架，可实现多工具自动编排， 准确率达到 90% 以上。官方提供了近 30 种编排工具，覆盖电商/互娱/办公/专业服务等主流场景。
同时，AppBuilder 支持开发者接入自定义工具， 通过自动编排与手动编排的结合，实现复杂场景需求的定制。此外，代码解释器的效率与效果持续提升，相比 升级前性能提升 40%、数据分析场景可接受度提升到 95%。
下面，我们来看一个视频，这个视频核心呈现的就是 Agent 的精准自主任务规划能力。我们可以看到，面对不同的任务，Agent 可以通过自主调度不同的工具组件来精准回答用户的各类问题。
AppBuilder 具备丰富的组件工具，目前已扩充到 55 个。这些组件包括基于百度技术积累和自有业务沉淀的大模型能力组件，如多轮改写、复杂 Query 分解等；也包括 AI 能力组件，比如 TTS、OCR、图像识别等。通过大小模型联合及业务场景化工具组件，共同支撑 AI 原生应用的开发。
此外，AppBuilder 还提供了百度独家开放的业务组件，如在搜索领域有深厚积累的百度搜索，以及一些业界主流场景的第三方 API，比如航班查询、论文查询等。
同时，AppBuilder 支持用户接入自定义组件。我们还提供百度基础云的一些组件，比如 BES 等，这里特别提下专用向量数据库 VDB，它也迎来了一次全新的升级。
向量数据库是企业不可或缺的知识库核心组件，它针对传统知识库问答系统所遇到的性能瓶颈、 维护挑战及规模限制等问题提供了有力解决方案。
VDB 1.0 这一革命性的数据库内核，不仅集成了全面的运维控制和安全防护能力，还兼容了千帆、LangChain 等主流生态系统，使企业能够轻松管理数以千万计的文档知识。
在性能表现上，VDB 与同类型开源产品相比，其在不同应用场景下的性能有不同程度的提升，最高可达 10 倍，真正实现了毫秒级的向量检索速度。
同时，在扩展性方面，支持最大百亿级别的向量数据存储，以及秒级的弹性伸缩响应。这些突出优势确保了 VDB 能够伴随企业业务的不断发展而升级，持续满足日益增长的业务需求。
再回到 AppBuilder。它的第三大优势是开放易用。
首先是主流场景的工具组件开放可灵活编排， 提供丰富的应用示例，用户一次鉴权全部接入。
其次， 提供开源的 RAG 和 Agent SDK ，支持二次开发。本次升级后，最快只需要三步即可完成应用的创建于开发，还可一键对接百度灵境矩阵、微信公众号、微信客服、Web 端/ H5 等渠道。
这里也特别说一下百度灵境矩阵，此次与灵境矩阵的打通，应用将有机会在百度强大的搜索场景中轻松实现分发和挂载，同时也能融入百度的信息流场景，吸引更多潜在用户的目光。
下面，我们就来看一个从 0 到 1 快速搭建应用的示例。
现在很多家长辅导孩子写英语作业就很痛苦， 那么我们现在用 Appbuilder 这样一个平台，就可以创建一个「英语作文批改小助手」来辅助家长。
大家看到，像上面这样一个应用的搭建，不到一分钟即可完成。
目前，已经有上万开发者和伙伴，通过 Appbuilder 创建出各种场景的 AI 原生应用。
刚刚我分享的是如何帮助企业快速去搭建应用。除了降低企业的应用开发门槛，企业还会有另外一个需求，就是开发出的应用效果怎么能够做好。这背后是通过我们的各种基座模型的能力去实现的。
今天，在千帆大模型平台上的模型迎来了关键升级和全新模型发布，首先让我们来一起看下文心大模型 3.5 和 4.0 的重磅升级。
首先，我来为大家介绍文心大模型 ERNIE 3.5 的重磅升级。
升级后的 ERNIE 3.5，在指令遵循、上下文学习和逻辑推理能力都有显著的效果提升， 同时我们可以看到企业核心的文案创作、信息抽取、工具调用场景都有不同程度的效果优化。
除了普遍应用的 ERNIE 3.5，另一个受到行业广泛关注的是大模型 ERNIE 4.0。它在理解、生成、逻辑、记忆能力等方面均达到业界顶尖水平。
经权威机构测评，ERNIE 4.0 在专项学科能力、安全与责任、以及综合得分均排名第一。作为目前行业领先、以及中文领域最强模型，ERNIE 4.0 已经成为企业在复杂场景应用的最佳选择。
以上就是我们文心大模型 3.5 和 4.0 的升级内容。
随着接触客户及场景越来越多，我们发现一个趋势：很多的公司在使用大模型的时候，成本是他们考虑的关键因素。我们总结了一下这类需求，归纳为【效价比】
结合百度持续的技术升级及领域深耕，我们发现，在特定场景下，参数较小的大模型经过精调可以达到甚至超越大模型的效果，而且能为企业大幅降低成本及响应速度。
今天，我们将为大家带来三款轻量级大模型的发布，便于企业通过推理、精调的方式去实现最优效价比。
首先是全新发布 ERNIE Speed，这是一个最适合微调的基座模型，同时上下文最高支持 128K。
大家可以看到右边的这组数据对比：以小说角色扮演和英语口语练习的场景为例，可以明显看到微调后的 ERNIE Speed 效果超越了大参数量级模型 ERNIE 4.0。
推荐阅读