ReaderMX.
Sota AI World

甲方企业如何衡量大模型的投入产出比？｜SOTA.AI的朋友们

SSota AI World约 9 分钟
Image

SOTA AI Devs Park 是专注于生成式 AI 领域的公益开发者社区，由生成式 AI 产业加速营 SOTA AI 支持建设，正在策划举办系列 Meetup 与闭门会，聚焦于同频交流生成式 AI 的前沿趋势与一线技术实践。

冰火两重天，是如今大模型的产业现状。

火热自不必多说——在技术热点平平的2023年，大模型是最受瞩目的革命性亮点。但落在产业深处，当创业者和场景方想真正用起来大模型时，却很容易被现实浇一盆冷水。
挑战涌现于方方面面。首先，当ChatGPT一鸣惊人近一年后，下一个Killer App到底是什么，依旧令人困惑。

在产品形态之外，企业级客户在这一年中遇到的最关键问题，是如何为大模型找到合适的落地场景。而就算找到场景，想要投入大模型，企业也要应对算力的匮乏、模型部署/调用费用的高昂，和自身产研能力的不匹配性。

恰好，解决技术创新和产业需求之间的重重Gap，是EPIC创新连接孵化器的初衷——作为一个从产业需求出发，推动科技创新落地的孵化器，EPIC从Day 1就致力于帮助技术/产品在真实场景中体现出价值。

大模型的落地进程自然是我们关注的方向。于是在9月中旬，EPIC于北京中关村微软大厦专门组织了一场线下闭门讨论会。

这次闭门会的圆桌讨论环节中，EPIC邀请到：

  • 已在企业级场景中落地大模型的「头部新能源车企负责人」

  • 研发金融Agent的「况客科技」

  • 降低大模型落地成本的「清昴智能」

  • 帮助企业搭建AI应用的「灵奥科技」

在讨论中，不同背景的嘉宾们提到，目前企业落地大模型的难点不仅在于场景匮乏，还在于缺乏拓展场景所需的想象力。而这一问题的解决，不能只靠需求方闭门造车，产品提供方也要给客户提供更多灵感。

关于让CIO、CTO难以回答的灵魂拷问——"如何衡量大模型的投入产出比"，来自新能源车企的场景方却表示，自己所在的企业现在并不讨论ROI的问题，首先是因为现在没法量化衡量，第二是因为，AI是企业一定会加大投资的方向。这家企业预计，自己每三年花在AI上的金钱投入将增加10倍。

这次活动后，EPIC还将策划一系列围绕产业需求和产品落地的活动、内容，欢迎关注并联系我们。

以下是EPIC Talks的内容实录（经部分删减）
[email protected]：金融和车企都在积极尝试大模型落地。请问两位所在的企业里，具体有哪些场景会落地大模型，又踩过哪些坑？
某头部新能源车企：在大模型和汽车的结合上，我们进行两个方向的探索。第一是为内部员工提供服务，第二是汽车本身的智能化。
目前，我们在两个具有大量数据和实际应用的场景中进行了落地。首先在品牌市场部门，我们进行了情感分析，利用各种模型捕捉市场上的信息，希望得到更好的结果。其次，在商业分析领域，我们也在尝试利用大模型提高效率和获取更直接的反馈。
不过在自研大模型和应用层面，让模型和产品合规或许是当前最重要的事情。在解决这些问题之后，我们还希望在L4场景中引入Agent这样的新元素。
安嘉晨（况客科技合伙人）：我们的Agent目前主要服务于金融机构客户。我们开发这类产品的目的是提高效率和收入，同时降低成本。但在推广产品时，我们主要针对的是业务和专业投研部门。但是一个困境在于，人们担心这种技术会取代人力。
因此，我们一直在努力避免产品替代人的这一概念，并尝试拓展服务边界来增加价值。我们注意到金融机构的前线员工，包括客户经理和客服，他们在中国的数量已达到100万人。但他们在处理客户问题时，往往缺乏专业的研究支持。所以，如果客户经理能够学会使用专业的系统来处理问题，将会是一个解决方案。
Agent提供了一个机会：就是先问问题，再提供结论。我们认为这至少可以帮助客户经理提升能力。如果未来Agent要发展得更好，或许还是需要直接和C端用户对接。
另一方面，我们认为本地模型是有价值的，因为它可以解决金融机构用户信息的敏感性问题。
[email protected]：听了场景方的回答。也想请问清昴和灵奥作为中间层产品，目前观察到企业落地大模型的难点集中于？
姚航（清昴智能COO）：首先，我们注意到大模型需要庞大的参数量，比如百亿或千亿级别。要在当前最高性能的A100硬件上部署这样的模型，需要具备相应的规模和迁移模型。这样的系统有很高的资源占用和成本。
如果用GPT-4这样的模型，单个问题的配置成本会非常高。全球范围内，目前的硬件环境因其高价格和有限的货源而存在一个较高的溢价空间。全球的底层硬件设施和上层模型需求呈现出明显的供不应求。
还有，大模型的开发和部署门槛相比小模型要高。以前小模型可以简单地部署在硬件上，但现在大模型需要统一的接口来连接各个开发和部署人员。
目前，许多公司正在努力降低这个门槛，从中间层来看，很多人都在尝试解决这个问题。
卢冠男（灵奥科技产品总监）：我们是一个主要面向海外业务的SaaS公司。近两三个月我们接触了很多客户案例，也看到一些问题。
第一个问题是我们注意到客户没有充分利用大模型的能力。虽然大家通常将它局限于聊天机器人的场景，但实际上像ChatGPT和CPV这样的解决方案应该可以覆盖更多场景。我们推测这可能与各方没有实现真正的互动有关。
客户很难想象到除了对话之外还有其他应用场景。但灵奥不仅提供帮助构建对话机器人的工具，还提供了许多用于构建数据管道的工具。例如，我们有一个方案是从GitHub获取问题，然后通过特定模型将其与GitHub项目的wiki连接，从而实现自动回复。这打破了传统的对话式教育模式，但很多客户还没有意识到这一点。
[email protected]：场景匮乏外的另一个关键性问题，是企业级客户现在要使用或者自己做大模型，如何计算投入产出比？
安嘉晨（况客科技合伙人）：目前我们接触的金融机构客户，往往面临着非常严格的预算控制，这导致项目周期延长，并伴随着各种额外的经济成本。
对于这种情境，我们首先要做的是消除局限性，明确向客户展示模型应用的实际效果。虽然聊天功能可以快速落地，但我们也考虑到了其他可能创造更多场景的利益点。这样的探索会产生很多有趣的问题，比如讨论架构类型、API选择和模型选择等。
我们还注意到两个重要现象：首先，通过API SaaS的方式，客户可以更便宜地使用我们的服务，而且客户对这方面的成本已经在下降；其次，在进行本地模型开发时，许多客户对成本和预算感到困惑，不清楚实现特定功能需要花费多少。
因此，我们提供给客户的解决方案首先是确保他们能够获得准确的回答，而不需要过多关注背后的模型数量。其次，如果基于特定的个人信息，我们鼓励客户进行自主部分的开发。最后，在客户决定自主控制大模型时，他们应该有一个清晰的成本认识，知道各个方面的费用，并根据用户体验和活跃用户数据来做决定，确保投资有良好的回报。
综合来看，供应商应该帮助客户理解和控制成本，以实现最佳的投资回报率（ROI）。
某头部新能源车企：我们没有具体讨论ROI的问题，因为这实际上是一个很难量化的问题。如果一定要谈ROI，我们可以从三个层面来看待它。
首先是企业层面，任何有AI愿景的公司都会倾向于投入更多资金来实现这一愿景。我们自己预计，每三年花在AI上的钱将增加10倍。
第二是投资维度，我们预见会有越来越多的投资流向这一领域，涉及到尝试各种模型，策划数据和开发新的技术等等。
第三层面是从技术效率的角度看ROI。我们需要关注如何通过使用更好的编译器和优化生产方式来提高模型的效率。在这方面，已有一些创业团队正在进行相关工作，并取得了进展。优化这一环节，可以显著降低我们底层的算力成本，这是一个非常明显的回报。另一个维度是debug和通用资源的管理。虽然我们可以通过云资源来进行一些量化，但是当使用量增加时，成本也会随之增加。目前我们还无法准确衡量一个特定的查询为我们带来了多少价值。
总体来看，如果当我们看到某个投资超出预期，实现了我们没有预见到的结果时，就可以确认这个投资是有价值的。
[email protected]：说到落地，可能人才还是一个重要因素。但是AI时代，有种说法是之前的产品经理和研发的不少能力失效了。现在我们到底需要怎样的AI产研同学？有一些画像吗？
姚航（清昴智能COO）：大模型时代和以前小模型时代不一样，小模型时代人才分布偏向于一个模型设计团队和模型部署团队。现在大模式从某种角度来看统一了模型设计接口，所以产业人才更注重后续的一个模型工程化和优化部署实现上。这样的情况下，产业人才的话，我个人更倾向于大模型实际落地的人才。
刚刚我们说了一系列例子，其实我们公司也主要做推理部署解决方案，比如推理侧，更好地去实现高并发，高可用保证或者私有化部署等方面。随着大模型设计的完成，我们预见在需求落地，产品开发和工程化实现方面的人才需求会增加。
卢冠男（灵奥科技产品总监）：人才这一块是一个庞大主题。首先我们需要明确是为买方市场服务还是为卖方市场服务。
至于我们这样的工具层公司，我们更注重人才是否能够快速理解AI技术的各种解决方案，以及是否能与研发团队及其他后端、前端团队高效沟通。这是我们目前最为关注的人才要求。
# 往期嘉宾

陈平｜四维创智、杨礼显｜SmartBI、王文广｜达观数据、何成杰｜英伟达、张周｜彬复资本、任博冰｜创新工场ED&前沿科技基金总经理、高振宇｜埃睿迪

#AI大模型开发系列：

  • 何成杰（英伟达 资深解决方案架构师） ：ChatGPT背后的模型详解

  • 丁峰（前阿里大计算团队/华为/英伟达）：GPU结构分析

  • 肖城（前Intel 英特尔深度学习模型优化专家）：模型优化之量化

  • 丁峰（前阿里大计算团队/华为/英伟达）：Deepspeed详解

#AI新场景系列沙龙：

  • 宁宁（衔远科技 合伙人）《大模型在消费品领域的探索》 

  • 任一（奥创光年 VP）《AI如何帮助市场营销带来更确定的增长》 

  • 马春原（左手医生 合伙人）《医疗大语言模型的构建与应用》 

  • 陈林（行者AI VP）《AIGC赋能游戏产业链》 

  • Ada（Share Creators）《AI赋能游戏资产的管理效率与版权保护》 

  • 蒋老师（某国有银行数据分析中心负责人）《银行实施LLM应用项目面对的五个问题》 

  • 刘志强（国金证券科技研发部RPA负责人）《LLM赋能证券行业的智能客服、研报、编码》 

  • 贾超（面壁智能VP）《面壁智能CPM大模型技术及生态》

* 部分新场景沙龙是SOTA AI与AI实践派联合发起。受行业话题敏感性、嘉宾所在企业PR管理诉求等因素影响，SOTA AI未能将所有活动内容整理发布。

Image

Image

Image

Image

—end—

作者 | EPIC Talks

排版｜Dora｜Sota.AI

主持人｜Joyce（联系微信：chengqinyuan619）

审核｜瑞恒Ryan（联系微信：Drheng_silver)

* 点击阅读原文，亦可完成本次活动报名

Image

KEEP THE THREAD GOING

更多来源文章