ReaderMX.
远川研究所

大模型竞赛，赛点在哪？

远陈彬约 8 分钟

Image

AI浪潮的席卷速度，超过了以往任何一场技术革命。
OpenAI刚刚成立的时候，AGI（通用人工智能）仍是一个不切实际的理想。不少学者认为，与其花精力去研究一个如人类般通用的人工智能，不如去琢磨琢磨永动机，后者可能更现实点。
当时，连OpenAI的首席科学家伊利亚，都不敢和人聊这个话题，因为会在圈子里低人一等[1]。
仅仅过去了不到10年，AGI已经成为了一种共识。前些天，奥特曼与黄仁勋都不约而同地表达了同一个观点：AGI很有可能在5年内成为现实。
而在眼下的2024年，AI将进一步加快重塑社会的脚步。

最后一道障碍

在中国的科技叙事中，AI并不是一个新词。
2016年，谷歌AlphaGO战胜李世石，登上了全球新闻媒体的头条，国内的创业者开始蠢蠢欲动。第二年，谷歌又跑来乌镇与柯洁下了场棋。
在这短短一年时间内，国内涌现了528家AI企业、371起AI投融资、9000多项AI专利[2]。
当年的互联网大会上，官方发表了一份题为“乌镇指数”的报告，方方面面介绍了人工智能创业的盛况。然而，人工智能热潮只持续了三四年，便偃旗息鼓。
Image
因为在当时，AI多为参数量较小的小模型，只能处理定制化任务。
面对某个具体任务，科技公司需要先收集并标注对应的数据，再用这些数据去训练，从而让AI获得特定的能力。
举个例子，许多中式快餐店，都有自动识别菜品并计算金额的AI。为了打造这一系统，科技公司需要先收集小炒肉、番茄炒蛋等菜品的图像，并给每张图标注好菜名与价格，再用这些数据去训练AI。
尽管小模型的技术含量不低，落地方式却和施工队无异，这让AI失去了光环。
而打破这一瓶颈的，正是诞生于2017年的Transformer算法。
它最大的变革，是解决了过往的RNN等算法，难以处理大规模参数的问题，从而打造出具备通用能力的AI。至此，大模型一词开始登上历史舞台。
随着底层技术取得突破，科技公司的大模型迭代，呈现出了一条非常陡峭的曲线。
外界对于大模型的认知，多始于2022年底发布的ChatGPT。但在水面之下，相关研究早已如火如荼。
例如2019年，一批清华知识工程实验室的技术人员，走出象牙塔创办了智谱AI。
从第二年开始，智谱AI开始专注于研究国产全自研、自主可控基座大模型，是国内第一批研究大模型算法的公司。
2021年，智谱AI的7位研究员，共同发表了论文《GLM: General Language Model Pretraining with Autoregressive Blank Infilling》，提出了一种不同于谷歌BERT、OpenAI的GPT的预训练架构GLM。
在自然语言理解、无条件生成、条件生成这三个主要任务上，GLM表现优异。
Image
以GLM架构为基础，智谱AI于2021年发布了第一款模型GLM-10B。此后三年间，GLM又历经多次技术迭代。
2024年1月，智谱AI推出了新一代基座大模型GLM-4，在基础能力、指令跟随能力、中文对齐能力等方面全面看齐GPT-4，模型能力实现质的飞跃。
不仅如此，GLM-4还拥有强大的上下文能力，可以在128k文本长度内做到百分之百精准召回，并具备多模态的能力。
当然，智谱AI只是国内大模型研究的一个切面。
这些年，几乎全世界的科技公司都撸起了袖子大搞创新，OpenAI的研究员甚至自发高强度内卷，每天研究到凌晨到1点多。
2024年初，北京市人工智能产业投资基金参与智谱AI的新一轮融资，进一步加速大模型发展。
AGI改变社会，不再是将来时，而是进行时。

造铁路更重要

纵观历史可以发现，波澜壮阔的技术革命，往往有这样一条规律：
技术革命的最大受益者，通常不是率先做出突破的开拓者，而是那些率先将技术扩散出去的一方。
当年的工业革命尤为明显：
许多创新都始于欧洲，然而美国却一跃成为工业强国；最重要的原因，莫过于美国率先建立起了庞大的铁路网络，将工业成果落地。
在1870年到1900年的短短三十年间，美国新造了17万英里的铁路，将原本的铁路系统延长了近3倍。
这一规律，在AGI时代同样适用。
去年，著名计算机科学家吴恩达曾在斯坦福做过一场题演讲。他同样认为，AI其实和电力、互联网一样，是一项通用技术；更多的机会，在于大规模应用落地[4]。
Image
然而，当下整个行业对于“造铁路”的探索，其实仍处于较浅层的阶段。
主流的聊天机器人产品，更多只是简单给通用大模型套了个壳儿，并没有与市场需求深度贴合。
这就导致大模型已经火了近一年半，但对普通人生活的影响，并没有想象中那么翻天覆地。
因此，以智谱为代表的AI公司，开始在商业化落地上做出更多尝试。
过去一年时间，智谱AI的GLM大模型，已经在智能汽车、金融、咨询等领域取得了一定成果。目前，智谱对于大模型落地的探索，大致可以拆分成三个方向：
一是革新传统的交互方式。
在消费电子、汽车等行业，对话交互并不是一个新物种，被广泛应用于智能音响、新能源汽车等产品上。
然而，传统的对话交互并不好用，其回复内容多根据给定的模板生成，较为生硬，且对于语音指令的理解率也较低。
因此，智己汽车尝试在车机系统中，部署了智谱AI的GLM大模型。
新版的对话交互功能，不仅大大提升了指令识别的能力，同时还能实现更多趣味性对话，例如切换聊天人设等等。
二是降低知识流动的边际成本。
众所周知，营养师、律师等专业人才的培养，需要耗费非常多时间成本，导致知识流动的边际成本较高。
相比之下，拥有大量知识储备的通用大模型，可以加速知识的流动。
例如蒙牛与智谱AI合作，打造了一个AI营养师助手，实现了健康测评、营养计划制定、运动计划制定等功能，仿佛一个贴身营养师。
三是减少重复性脑力劳作。
事实上，脑力劳动中有大量重复性劳作，例如整理会议纪要、PPT排版等。
因此，WPS与智谱AI合作，推出了智能办公助⼿产WPS AI。
针对文字编辑、PPT演示文档等场景，提供一系列辅助功能，例如生成会议纪要、公文等等，从而让更多人专注于创造性工作中。
智谱AI在“造铁路”上的探索，给业界提供了一个可供参考的模板。
过去几个月，不论是中国还是美国的AI公司，都加快了“造铁路”的脚步。
目前，业界已取得了一些阶段性成果。然而，商业落地只是技术革命的A面；水面之下，创新生态的建设同样重要。

谁来造铁路？

2016年，谷歌大脑团队率先将深度学习技术应用于翻译软件中，在中英文翻译上取得了巨大突破。
彼时，谷歌能够在“造铁路”上先行一步，背后其实是一整套创新生态在发挥作用。
当时谷歌翻译的理论基础，来自于人工智能泰斗辛顿的学生、现OpenAI首席科学家伊利亚的研究成果。
彼时，他在论文中介绍了改良版的RNN算法，并展示出了它在翻译等NLP任务上的潜力。
而这篇论文，发布于2014年的NIPS大会——它是全球最顶级的AI学术会议，许多创新都诞生于此。
在美国，高校、顶级学术会议、产业等环节，彼此高度相关，构成了一个活跃的创新生态。而在工业革命期间，美国能够更快建设起铁路，也是因为当时的创新氛围，培养了大批活跃的工程师。
事实证明，想要把“铁路”造好，光靠个人努力显然不够，需要发动更多人一起参与创新。
当下，智谱等科技公司也深知不能闭门造车，在大模型产业生态圈建设上付出了不少努力。从2022年开始，智谱开始着手于开源生态的建设。
这一年，智谱首次开源了具有1300亿参数的双语双向稠密模型GLM-130B，深受开源社区欢迎。

自8月发布以来，GLM-130B模型已经收到了来自70余个国家、1000余个研究机构的使用需求。
Image
开源的意义，在于“众人拾柴火焰高”，是推动技术创新的一种重要方式。
因此，智谱继续延续了这一做法，开源了单卡版模型ChatGLM-6B，对学术研究完全开放，企业在登记获得授权后，也可免费商业使用。
如今，在AI研究者圈子中，智谱可谓颇有名气，开源模型的全球下载已超过1300万次。
在这基础上，智谱AI也在努力构建学术生态，不仅赞助了包括NIPS在内的全球顶级学术会议，并且与CCF（中国计算机学会），以及国内各大高校展开了合作，设立首届CCF-智谱大模型基金等赞助计划。
除此之外，智谱AI也鼓励更多创业者加入到大模型浪潮之中。
智谱AI推出了ChatGLM金融大模型挑战赛、大模型开源基金等扶持项目，共同建设繁荣的国产大模型生态圈。
建设创新生态，是一个打地基的过程，其实相当重要——毕竟，这直接关乎了“造铁路”的速度。

尾声

“造铁路”这件事，其实并没有看上去那么简单。
去年9月，红杉资本曾发表过一篇文章，认为AI浪潮正转向“第二幕”，即利用新技术端到端地解决现实社会中的问题。
但当时的红杉认为，进展效果并不理想，大模型仍需要证明价值[5]。
智谱AI在商业化落地的初期中，还遇到了不少现实问题。例如，国内的SaaS产业本就没有海外发达、不同公司对模型部署以及数据合规有不同的要求等等。
幸运的是，智谱AI很早就开始了商业化的探索，并找到了一条行之有效的解法。
3月14日的智谱AI发布会上，公司CEO张鹏介绍了过去一年的商业化成果：2000+生态合作伙伴、1000+大模型规模化应用、与200多家企业深度共创。
Image
智谱AI CEO张鹏
真正意义上的“AI第二幕”，如今正以超乎预期的速度铺开。
某种意义上，眼下的盛况，其实与19世纪末的美国其实颇为相似，越来越多地人都开始投身于“造铁路”的事业当中。
如何将“铁路”造得又快又好，已是当下AI行业最重要的议题。因为将关系到未来中国的科技公司，能够在人工智能的产业分工中，掌握多少话语权。

Image

参考资料

[1] 深度学习革命，凯德·梅茨
[2] 乌镇指数：全球人工智能发展报告（2017）
[3] The Key To Winning The Global AI Race，NOEMA
[4] Andrew Ng: Opportunities in AI - 2023，Stanford Online
[5] Generative AI’s Act Two，Sequoia
作者：陈彬
编辑：张泽一
视觉设计：疏睿
责任编辑：张泽一
Image

Image

KEEP THE THREAD GOING

更多来源文章