深度|英伟达最新挑战者Cerebras创始人对话谷歌前高管:我们正处于一个无法预测拐点的阶段
图片来源:Cerebras Systems
Z Highlights
AI正变得越来越实用,模型训练如火如荼,社会各个层面也找到了许多引人入胜的应用场景。这就是真正的推理(inference),它关乎社会如何应用已构建的AI成果。
事实上,我们才刚刚步入一场新的半导体革命、新的软件革命和新的硬件革命。
因此,我认为开源将继续作为一个蓬勃发展的生态系统存在。现在,这恰好对Meta有利,他们在背后投入了大量资金。我认为DeepSeek的崛起促使OpenAI也宣布推出开源模型,这对整个行业来说无疑是非常积极的进展。
Cerebras创始人兼CEO Andrew Feldman,AI芯片领域的创新者,致力于构建全球最快、最大的AI计算硬件;谷歌前高管Eric Schmidt,科技行业的资深领袖,曾担任谷歌CEO及董事长,对AI战略与技术发展有深刻见解。本次访谈发布于2025年7月28日,聚焦AI时代企业的深度转型,探讨开源与数据在全球AI竞争中的关键作用,AI安全与对齐的挑战,以及电力对AGI发展的限制,预示着新一轮的半导体、软件和硬件革命。
突破计算极限:Cerebras芯片的创新
主持人Sarah Guo:...Cerebras的创始人Andrew,他也在积极推动AGI(通用人工智能)的竞赛。很高兴能邀请Andrew上台,也非常感谢Eric的到来。Andrew,我觉得你介绍Cerebras的方式肯定比我更专业,能和大家分享一下吗?
Andrew:好的,首先,如果说刚才有什么环节是难以超越的,那一定是刚才那段,真的非常精彩,谢谢大家。
我叫Andrew,是Cerebras Systems的首席执行官兼联合创始人。我们致力于打造Eric刚才提到的那些技术,为AI提供大规模、高速的计算能力。正如Eric所说,全球范围内对这些技术的需求非常强烈,这让我们感到非常欣喜。
Eric:顺便问一下,你们的计算速度是最快的吗?
Andrew:是的,我们是最快的。
Eric:太棒了,我只是想让所有观众都清楚这一点。
主持人Sarah Guo:各位,我保持中立立场,所以不做任何评判。
Andrew:我们将产品卖给所有人,这完全没有问题。我们确实是最快的,而且不是快一点点,而是快得多。我们正在从Eric描述的趋势中受益——AI正变得越来越实用,模型训练如火如荼,社会各个层面也找到了许多引人入胜的应用场景。这就是真正的推理(inference),它关乎社会如何应用已构建的AI成果。如果一切顺利,大家可能会用到我们的设备。
主持人Sarah Guo:Andrew,你有没有什么惊喜要带给我们?或许想展示些什么……
Andrew:我认为我只对解决那些真正棘手的技术问题感兴趣。我们很多人,包括Eric和在座的各位,都非常享受挑战极限的技术难题。当我们着手构建专为AI设计的芯片时,实际上是在挑战长达70年的计算历史。
这就是我们的芯片,它比迄今为止已知最大的芯片还要大56倍。我们之所以这么做,是因为AI的工作负载与世界上任何其他计算任务都截然不同。它涉及海量的简单计算,需要频繁移动大量中间结果,且内存访问模式也非常独特。通过打造这块巨型芯片,我们能够把所有信息保留在芯片内部,从而以惊人的速度访问内存,并实现Eric帮助我推广的卓越成果。
硬件与软件的协同演进:加速AGI发展
主持人Sarah Guo:我想深入探讨一下硬件和软件在加速AGI发展中的协同作用。Andrew,你通过WSE(Wafer Scale Engine)芯片重新定义了计算的边界;Eric则强调了系统级思维的重要性。
那么,硬件和软件如何能够携手并进,共同加速AGI的进程?我们是否正迎来智能领域的新摩尔定律?
Eric:这种狂热,主要源自2017年的Transformer论文。当时我在Google担任主席,甚至都没有注意到它的发布,这再次证明,我也会犯错。然而,Transformer架构赋予了这些模型深度并行处理的能力。
Andrew的公司做的,正是更深层次的技术,从数学角度来看,能够更本质地理解它。因此,一个关键问题是,Transformer架构在未来五到十年内是否依然有效?而像Cerebras这样的硬件架构又将如何发展?对此,我没有确切的答案。
现在有趣的是,尽管存在多种不同的技术栈,但目前NVIDIA的“锁定”主要集中在CUDA和Python上。许多人正试图打破这种局面,但迄今尚未成功。因此,未来五年这些层级将如何演进,可能会带来截然不同的结果。Andrew,你怎么看?
Andrew:我觉得Eric说得非常到位。我的观点是这样的:在计算机架构设计中,最难的问题之一就是当你从零开始时,需要问自己两个核心问题:我们不擅长什么?以及我们不会去追逐哪些市场?一旦明确了这些,接下来就要决定:我们是采用通用策略,还是专用策略?
如果我们当时在2016年选择了专用策略,比如在电路中嵌入3×3卷积,那结果可能会完全错。但我们选择了不同的道路。
我们决定从AI的底层逻辑出发,探究其根本基础。这个基础就是稀疏线性代数。如果我们能够加速矩阵乘法,加速从一次乘法到另一次乘法之间中间信息的传输,并加速内存到计算单元的速度,那么无论模型形态如何,我们都能够加速结果的产生。我们希望深入到模型结构之下的层面,告诉自己:只要AI依赖线性代数,我们就能加速它。事实证明,我们成功了。在Transformer模型诞生之前,我们就设计了这种架构,并且其速度比当时任何人都快了近两个数量级。
所以,那是一个极其正确的决策。但这绝不意味着软件在设计中的作用不重要。我们不仅设计了芯片,还设计了整个系统,比如I/O结构、像提示缓存(prompt caching)这样的工具和技术,它们都在不断发展和改进。这些都必须同时在系统层面和芯片层面进行考量。目前,我认为从事这种芯片架构设计的公司,其团队中必须包括顶尖的AI研究人员,他们能够思考下一步应该构建什么。因此,现在这确实是一种协同设计。
Eric:有一点需要明白的是,提供每个token的成本,也就是获取答案的成本,正以每年10倍的速度在提升。这是一个了不起的成就,都是通过Andrew刚才提到的技术实现的。
这包括了更优秀的算法、更精准的判断、如何处理海量的token、生成的上下文,以及内部计算的成本。这大致可以类比为最初的汽车发动机与今天发动机之间的巨大差异,只不过,这种演进的速度在五年内就实现了,而非70或80年。这本质上就是平台的工业化进程。我年轻时曾参与过硅片设计工作,虽然做得不尽如人意。显然,这些技术都是在施乐帕克研究中心(Xerox PARC)和早期的半导体工厂中发明的。我记得曾参观过早期的半导体工厂,最近又参观了现代的半导体工厂。
它们从最初的定制化生产方式,发展到如今的现代化半导体工厂,在我看来,这是人类建造过的最令人印象深刻的工程之一。
Andrew:我完全同意。
Eric:简直不可思议,你们每天都在这样的地方工作。
Andrew:它们就像金字塔一样。
Eric:它们就是金字塔。我年龄已足够大,能够真正理解创新的漫长历程。有一种说法,我就在这里提一下,事实上,我们才刚刚步入一场新的半导体革命、新的软件革命和新的硬件革命。
如果你认同我的观点,即经济效益和社会效益在全球范围内正在不断扩大,那么你理应期待巨大的进步。我第一次见到Andrew时,有些惊讶于他的产品竟然如此出色,他是怎么做到的?
答案是,他们把数学原理搞对了。
全球化竞争与AGI的未来:开放源代码与数据的关键
主持人SarahGuo:Andrew,我想听听你对Eric在前一场讨论中提出的关于开源生态系统问题的看法。
Andrew:首先,我认为Eric关于地缘政治的观点非常精准且富有深度。我们通常认为AI的竞争——如果它真的算作竞争的话,或许我们不应该这样看待,但我确实认为它主要发生在美国与中国之间,或者说是西方与中国之间。然而,当你环游世界,看到一些并不在我们传统关注范围内的地区时,你会发现,正如Eric所言,一场关于中国开源模型的战略正在悄然进行。
我之前并没有如此清晰地思考过这一点,但很明显,当你前往非洲、中亚,看到中国开源模型在那里得到应用时,你会意识到它们正以一种略微不同的方式展开竞争。我认为在我们这一边,开源社区历来对初创公司和新兴企业极为有利,而对那些最大的公司来说可能并非如此。对于我们这些小型公司、初创企业和创新者而言,开源社区为我们提供了一条与那些投入了50倍、100倍、1000倍甚至10000倍资本的公司竞争的途径。
因此,我认为开源将继续作为一个蓬勃发展的生态系统存在。现在,这恰好对Meta有利,他们在背后投入了大量资金。我认为DeepSeek的崛起促使OpenAI也宣布推出开源模型,这对整个行业来说无疑是非常积极的进展。
我认为,将部分成本进行众包(即让社区分担),能够将每百万token的价格从100美元显著降低到1.50美元或2美元,而某些封闭源模型则高达每百万token100美元。这种成本的降低极大地推动了创新和技术的普及应用。
Eric:还有一个我目前没有答案的问题是,当你在性能强大的智能手机上运行开源应用进行LLM(大型语言模型)任务时,会发生什么。对我而言,接下来有趣的转变在于,当这些应用强大到足以融入你的日常生活,而不再需要依赖手机之外的设备时,那会是怎样一番景象?这是一个悬而未决的问题。谁将主导这个领域?如果你没有网络连接,你还能做些什么今天做不到的事情?
Andrew:我职业生涯中有一个原则,那就是如果我妈妈会使用或购买某种消费级硬件,我就不会去做或销售它。所以我不是做面向消费者的硬件的。在我所有的工作中,我最不喜欢的莫过于在父亲家里充当IT经理的角色。
但我认为我们现在确实知道的是,我们将会感受到这场过渡,它会悄无声息地发生。就像以下这些事实悄然融入我们的生活一样:在某个时刻,我们突然意识到,我们宁愿带着手机,而不是钱包,而且手机比钱包更有用。
你能用钱包做的一切,手机也能做到。接着,它甚至取代了你的车钥匙。所以,如果你不小心丢了东西,最好不要丢手机。丢了车钥匙也无妨,叫个优步就能解决。即便你丢了钱包,你也可以用手机里的信用卡支付,照样可以购物,去你需要去的地方。
这就是在一天天不知不觉中发生的变化。当这些手机所能做的事情开始浮现,并悄然融入我们的日常生活,成为常态时,我们有一天会突然发现:“天哪,我当年多么希望有个能替代手机的东西,但现在我根本无法放弃手机了。”
我不知道它将如何具体发生,但我们知道它会带来何种感受——那就是“毫无感觉”,它会变得如此自然,以至于我们察觉不到其发生的巨大转变。
主持人Sarah Guo:关于AGI资本支出的配置问题。
Andrew:继续投入资金吧,大家尽管去投入。
主持人Sarah Guo:那么,资金应该如何分配呢?是应该投入到原始计算、能效、垂直整合,还是新的架构或新芯片上?
Andrew:我认为我们所做事情中最令人兴奋的一点,正是Eric在Google教给全世界的那个理念:搜索应该是即时的。这是Urs和你们团队的杰作,你们向世人展示了,如果让人们等待,他们的注意力就会流失,然后就会转向别处。而现在,当我们转向推理和AI时,同样的事情正在发生。
如果你让客户等待,他们就会转向别处。曾有一个Twitter推文串,Paul Graham在上面写道,他大意是说:“如果ChatGPT再快一些,我会更频繁地使用Google。”然后Sam迅速回复:“我们知道,我们正在解决这个问题。”接着Elon也跳进来评论:“我们可没那么慢。”因此,仅仅通过三条推文,就清晰地揭示了“慢”的代价——你的客户会离开你,竞争对手则会趁机利用。
Andrew:所以,我认为这将是一个系统级的问题。你们每个人都应该把资金投入到我们认为具有真正优势的领域。
我们不应该在没有优势的领域浪费钱。我们应该专注于芯片的设计,专注于构建系统,并且找到那些能够为我们提供独特优势的客户。然后,这些客户理应购买能够为他们带来这种优势的设备。
你提到了几个领域,确实在这些领域需要数据的支持。事实上,生物学和生命科学中确实存在大量数据,只是这些数据并不对所有人开放。
梅奥诊所有着30年积累的数百万人的数据,英国政府拥有全体人口的所有MRI数据。只是这些数据并非对所有人开放。
就像互联网流量的“排放”(指数据洪流)一样,它对最大的公司是开放的,可以被抓取并用于训练。因此,有些数据是存在的,只是并非每个人都能随意使用。
Eric:所以两年前,如果我们今天在这里,我会非常有信心地宣布,计算资源的分配将是80%用于训练,20%用于推理。
但现在看来,我再次完全错了。Dario写了一篇非常出色的论文,叫做《机器的惊人优雅》,他在文中提到有三个扩展定律,其中之一就是深度学习,我们正处于它的中间阶段。
Scaling Law指的是当你投入更多硬件和资金时,你会看到性能或效果每增加一个数量级,就会带来更深层次的沉浸式体验。这是一个被广泛认可的规律。他还提到强化学习和测试时计算(即学习的形式)会有另外两个扩展定律。当你在这些扩展定律中不断攀升时,你并不知道它们何时会停止,何时会达到一个渐近点。
我问所有我认识的人:Scaling Law什么时候会停止?
答案是,没有人知道。这也是这个时代如此令人着迷的原因。我们正处于一个无法预测转折点的阶段。我们的行业常被描述为S曲线的发展过程:一开始波澜不惊,然后发生一些事情,接着爆发式增长,最终走向成熟。而我们正处于那个爆发阶段。
Andrew:这不就是最有趣的地方吗?真是太有意思了。
Eric:是的,太有趣了。而且在这个阶段,每个人都有机会取得成功。更多的收入解决了所有已知的问题,大家都能有所收获。最终,行业会走向整合,但我们现在还没到那个阶段,而且短期内也不会。
Andrew:我认为我们大多数人会说,或许80-20的比例会反过来。推理计算将主要由用户数量、使用频率以及每次使用时所需的计算量来驱动。
Eric:尤其是强化学习。从强化学习开始。没错。强化学习和往复的计算将需要成千上万倍的计算量。
Andrew:因此,当你看到推理需求呈现指数级增长时,我们知道其根本驱动力是什么:更多人开始使用它,他们使用得更频繁,并且每次使用时消耗的计算量也更大。就像你在演讲中提到的那样,推理或智能代理的应用,也会消耗更多计算。
你可以想象一下,如果你的营销团队在一年前,或许他们每天只使用一次或两次。而今天,大家可能每天会使用5、10、20次,全天都在使用。这只是一个领域中的一个应用。如果你把这些应用叠加起来,你会看到推理需求继续爆炸式增长。
衡量和分析AGI进展的关键指标
主持人Sarah Guo:你认为衡量和分析AGI进展的关键指标应该是什么?无疑是每秒token数吗?还是你看到了其他更重要的指标?
Andrew:我觉得Eric谈到关于连续的S曲线非常有意思。不仅这些曲线本身引人入胜,更令人兴奋的是你不知道坡度何时会发生变化。不仅如此,这也使得预测变得异常具有挑战性,创造新指标也很困难,因为从未有过如此惊人的增长。
Cursor的增长是否应该更快?如果他们做法不同,他们是不是应该达到5亿,而不是1亿的年收入?
我们无从得知。我们仍在根据SaaS公司的传统规则来衡量一切。我觉得其中最令人兴奋的部分是,我们不仅在发明新事物,而且正处于一个“这里有龙”(意指充满未知和机遇)的领域,远远超出了我们所知的常规指标。
我们不知道在我们这个领域,一家优秀的公司究竟应该达到什么标准,因为所有的传统指标都已经被打破了。不过,确实,你会在意你的客户获取答案的速度。那就是每秒token数。他们感受到的、他们看到的,就是你提供的AI和软件给他们带来结果的速度。
AI对齐与安全的挑战
主持人Sarah Guo:关于AI对齐与安全问题,究竟有多少责任应该由硬件来承担,又有多少责任应该由软件和算法来承担?
Eric:对于那些可能没有关注过的朋友来说,“对齐”是指确保这些AI系统能够反映我们的价值观、法律、规则、习俗等。
目前,模型基本上会生成一个原始版本,然后会有专门的团队,即所谓的安全团队,他们利用各种方法来查找模型中可能存在的危险。所以,他们已经开发出了一些测试方法。
现在有一个普遍的趋势,是将这些测试在行业内共享,尽管模型本身并不共享,只有测试是公开的。通过这些测试,他们会检查系统是否“对齐”。
现在的问题是,如何在一个自我改进的系统中持续保持对齐?
回到你之前问的那个问题——你怎么知道它知道什么呢?所以,我在会议上一直提出的一个问题是,当这个新生事物出现时,你如何在不将其释放出来的情况下,判断它掌握了哪些知识?
如果你释放它,可能会出现非常糟糕的结果,因为这些系统具有不对称性。各种人会对此与我争论,但这只是一个例子:想象一下,这个系统自行开发了某种可能伤害一百万人的东西,比如网络攻击、病毒攻击等等。而且它还懂得如何隐瞒。当你询问它时,它不会告诉你。
想象一下这种情景,我们如何才能检测到这种情况呢?目前,公司们所做的,就是有一些非常聪明的人,他们认为这种情况可能是真实的,然后通过部分测试来探索这个问题。这就是我们现在能够做到的最佳方式。对齐问题并没有得到根本性解决。各种安全机构都在密切关注这个问题。
Andrew:这主要归结于软件和人类。
主持人Sarah Guo:非常清晰。最后一个问题。一个与对齐问题高度相关的问题。
Andrew,我认为你和Cerebras团队在阿联酋(UAE)与G42、Co-42合作建立主权AI平台的过程中做得非常出色。那么,在AGI时代,对于欧洲而言,“主权”意味着什么?欧洲是否能够建设自己的基础设施,定制硅芯片来支持云端服务,并为此做好准备?
Andrew:当然可以。他们只需要着手去做,当然可以实现。那里有很多聪明的人,也有投资者在寻找高回报。我认为关键在于你是否真心想去做。你必须培养一代代对解决难题充满热情的企业家,百分之百肯定,如果这成为一个优先事项,他们是能够做到的。
主持人Sarah Guo:所以,这需要像你们在阿联酋那样,将其提升为国家优先事项吗?
Andrew:我认为是的,必须做出一个决定,明确你希望你的经济如何发展,以及奖励哪些领域。你会培养足够多的计算机科学家、数学家、物理学家、工程师,来创造一个能够推动行业发展的精英池吗?
但当然可以做到。新加坡拥有一个非常有趣的硬件生态系统,尽管它只是一个城市国家。我不知道你是怎么看的,但我认为,只要有意愿,就当然能够实现。
电力:AGI发展的关键限制
Eric:一句话总结:电力。这些系统完全受限于电力供应。在欧洲,电力成本很高。我认为,下次你们的会议可以增加一个环节,展示全球电力成本的地图,并分析一下未来增长可能集中在哪些区域。我猜测,补贴或廉价电力将是其中一个主导因素。
Andrew:成本确实很高,而且运输这些能源也很昂贵。它确实有一些不寻常的特性。但实际上,在法国,目前你确实可以用非常便宜、清洁的能源来生产电力。
只是,你得给它加税,对吧?你可以用核能产生非常便宜的电力,这是作为一项产业级计划中的选择。
主持人Sarah Guo:那么,通往AGI的最直接途径是核能吗?
Andrew:嗯,你看,我觉得现在人们都在谈论一吉瓦(Gigawatt)的设施。像匹兹堡这样的城市,我认为它是美国的第四或第五大城市,它的总用电量是3吉瓦。
Eric:了解大型核电站大约是1.5吉瓦的发电量,这一点很重要。是的,我们需要两个这样的电站才能支撑一个大型数据中心。
没错,你需要一整个城市的电量。想一想,美国有多少核电站在建?一个或两个。过去20年间,有多少成功投入使用的大型核电站?实际上是零。我们远远落后了。
我曾在国会作证,我提供的数据是,美国未来十年需要92个新的核电站,这当然让所有人都震惊。
主持人Sarah Guo:Andrew,Eric,最后有什么要补充的吗?
Andrew:我希望能再次和Eric一起参与座谈,因为我们是好朋友。
Eric:感谢大家,谢谢你,Andrew。
原视频:Fireside Chat with Cerebras CEO Andrew Feldman and former CEO & Chairman of Google, Eric Schmidt
https://www.youtube.com/watch?v=ale91prmv8w
编译:Ciny Zhao
请注意,本文编译自文末载明的原始链接,不代表ZPotentials立场。如果您对本文有任何想法或见解,欢迎在评论区留言互动探讨。
ZPotentials将继续提供更多关于人工智能、机器人、全球化等领域的优质内容。我们诚邀对未来充满憧憬的您加入我们的社群,与我们共同分享、学习、成长。