ReaderMX.
品玩GenAI

WAIC实录 ｜图灵奖得主 David Patterson：大模型将会减少2-4倍的能源消耗。

品大模型机动组约 4 分钟
Image
在今天的 2023 上海世界人工智能大会开幕式上，图灵奖得主 David Patterson发表主题演讲。
Patterson 在演讲中透露了谷歌近年来在人工智能研究方面吸取的一些教训。并重点讲述了大模型与碳排放之间的关系。据David Patterson 表示，良好发展的大模型将会减少2-4倍的能源消耗。
以下为演讲实录翻译：
大家好，我是来自谷歌、加州大学伯克利分校的Dave Patterson。我即将发表的演讲基于三篇论文，如果感兴趣的话可以自己去学习。谷歌在过去十年左右的时间里，宣布了五种不同的TPU产品，它们的性能相差达到三倍，甚至最近还用新的技术建立了超级计算机。
在这十年里，我们总结了十个经验教训，我今天将会对其中的几个进行说明。首先要强调的是内存系统，重点在于内存而不是 FLOPs。增加 FLOPs 并不是一件难事，但问题更多的在于内存系统本身能否承受那么大的能量消耗。你可以看到多年来，谷歌从一个的矩阵乘法单元到最近的芯片中的四个，因为他们跟踪技术相当好。
接下来让我们来谈谈碳排放问题。IEEE协会曾经在2021年刊登过这样一篇论文，论文预测，如果将错误率减少一半，将使模型的质量增加一倍。而在到2024年的三年里，模型训练将花费1000亿美元，排放量也一样多。
这篇论文在几个月后就被一份白皮书顶上了，该白皮书声称在五年内，模型训练将花费20万亿美元。你可以想象这将造成多少碳排放。
而在碳排放方面，我们也学到了许多经验教训。首先我们要做的是计算能源消耗。一旦我们知道了能源的使用，我们就可以计算出碳排放的数值。能源消耗之需要一个简单的公式，其中我们需要四个因素，一个是模型训练所花费的时间，还有处理器的数量以及处理器平均功率，这样我们就能获得一个大致的能源消耗数据。
当然，还要考虑最后一个因素，就是数据中心的电力方面。有多少电力被用于计算机本身，而不是被用于配电和冷却等事情。种开销是电力使用效率或pue的计算内容。如果开销是50％的电力用于计算机，另外50％用于冷却和配电，那么PUE是1.5。把这四个因素相乘，就可以得到以千瓦时为单位的能量。
那他转换为碳排放呢？你只需取一个系数，那就是每千瓦时的碳排放量。你可以从数据中心运营商那里得到这个数据，谷歌和脸书都公布了这个系数，也可以询问其他的数据中心运营商。我们研究了大模型的碳排放现状，发现它并不真的那么糟糕。我们有需多方式来尝试和减少碳排放。
首先就是提高技术。此前，一些谷歌工程师想出了一个办法，如果可以在更好的硬件上更有效地运行模型，那么碳排放会发生什么变化？我们改变了模型的质量和硬件参数，让能源消耗和碳排放减少了57倍。
下一个因素则和数据中心有关。在全世界范围内，数据中心的平均用电量影响系数大约是1 .1，此外一些数据中心影响系数达到1.4。同时数据中心的位置在能源供应的清洁度方面也起到关键作用，它可以有数值存在五到十倍的差异。
用2017年谷歌在美国中部的俄克拉荷马州数据中心来举例，这里有大量的风来帮助降温。当你把所有系数乘在一起时，我们得到的能源减少约一百倍。4年后排放则减少了750倍。
再说一个流行的产品 GPT-3。GPT-3有很好的准确性，那是因为他的训练数据更多，包含的参数更大。但其实这并不意味着计算量上升。它使用的是一个被称为专家模型的想法，专家模型不是所有的参数都被激活，它只有38%的参数被激活，这使计算成本降低了3倍，而且使消耗的能量降低了3倍。
我们记录了19、20、21年三个不同年份的同一个月的记录，并计算出我们花费了多少能源，以及能源是如何分配的。结果发现，这三年的能源消耗大致都在10%到15%之间，其中只有大约2/5的能源是用于训练，剩下3/5是用于推理。
硬件的进步真的很重，谷歌现在采用TPU进行训练。原本硬件是机器学习的浮点运算的70％到80％。但由于使用了专门的硬件，它只占能量的10％或15％。据推测，如果我们还在使用之前的硬件，它也将是70或80％的排放和能源。
最后让我来总结一下我对从事这一领域工作的人的建议，如果你是一个从业者或研究人员，请继续对大模型的改良和研究，这将可以减少2到4倍的能源和排放。  统计出训练模型的能耗和碳足迹，是为了让我们更好的竞争，以便于每个人能够建立更有效的模型，得到正确的数字。帮助世界继续推出高效的硬件，让收益达到2到4倍。
我们可以共同优化训练时间、处理器数量等四个属性来实现机器学习的惊人潜力，用可持续的方式给许多领域带来积极的影响。最后感谢本次大会，再见。
（根据原文记录进行修改）
Image
Image
Image

KEEP THE THREAD GOING

更多来源文章