作为今年 AI 圈的顶流，大型语言模型（LLM）擅长的是组合概念，并且可以通过阅读、理解、写作和编码来帮助人们解决问题。但它们能发现全新的知识吗？由于 LLM 已被证明存在「幻觉」问题，即生成与事实不符的信息，因此利用 LLM 来做可验证的正确发现是一项挑战。现在，来自 Google DeepMind 的研究团队提出了一种为数学和计算机科学问题搜索解决方案的新方法 ——FunSearch。FunSearch 的工作原理是将预训练的 LLM（以计算机代码的形式提供创造性解决方案）与自动「评估器」配对，以防止产生幻觉和错误思路。通过在这两个组件之间来回迭代，最初的解决方案演变成了「新的知识」。相关论文发表在《自然》杂志上。
论文地址：https://www.nature.com/articles/s41586-023-06924-6这项工作是首次利用 LLM 在科学或数学的挑战性开放问题方面取得新发现。FunSearch 发现了 cap set 问题的全新解决方案，这是数学中一个长期存在的开放问题。此外，为了展示 FunSearch 的实际用途，DeepMind 还用它来发现更有效的算法来解决「装箱」问题，该问题应用广泛，比如可以用于提高数据中心的效率。研究团队认为 FunSearch 将成为一个特别强大的科学工具，因为它输出的程序揭示了其解决方案是如何构建的，而不仅仅是解决方案是什么。这将会激发科学家的进一步见解，从而形成科学改进与发现的良性循环。通过语言模型的进化推动发现FunSearch 采用由 LLM 支持的进化方法，鼓励并推动得分最高的思路想法。这些想法被表达成计算机程序，以便它们可以自动运行和评估。首先，用户需要以代码的形式编写问题的描述。该描述包括评估程序的过程和用于初始化程序池的种子程序。FunSearch 是一个迭代过程，在每次迭代中，系统都会从当前的程序池中选择一些程序，并将其馈送到 LLM。LLM 创造性地在此基础上进行构建，生成新的程序，并自动进行评估。最好的程序将被添加回现有程序库中，从而创建一个自我改进的循环。FunSearch 使用 Google 的 PaLM 2，但对其他接受过代码训练的方法兼容。
LLM 会从程序数据库中检索出生成的最佳程序，并被要求生成一个更好的程序。众所周知，在不同领域发现新的数学知识和算法是一项艰巨的任务，很大程度上超出了当前最先进人工智能系统的能力。为了让 FunSearch 做到这一点，该研究引入了多个关键组件。FunSearch 不是从头开始，而是从关于问题的常识开始一个进化过程，让 FunSearch 专注于寻找最关键的想法以获得新的发现。此外，FunSearch 的进化过程使用一种策略来提高想法的多样性，以避免出现停滞情况。最后，为了提高系统效率，进化过程是并行运行的。在数学领域开辟新天地DeepMind 表示，他们首先要解决的是 Cap set 问题，这是一个开放性难题，几十年来一直困扰着多个研究领域的数学家。知名数学家陶哲轩曾把它描述为自己最喜欢的开放性问题。DeepMind 选择与威斯康星大学麦迪逊分校的数学教授 Jordan Ellenberg 合作，他是 Cap set 问题的重要突破者。这个问题包括在一个高维网格中找到最大的点集（称为 cap set），其中没有三个点位于一条直线上。这个问题之所以重要，是因为它可以作为极值组合学中其他问题的模型。极值组合学研究的是数字、图或其他对象的集合可能有多大或多小。暴力破解方法无法解决这个问题 —— 要考虑的可能性数量很快就会超过宇宙中原子的数量。FunSearch 以程序形式生成的解决方案在某些情况下发现了有史以来最大的 cap set。这代表了过去 20 年中 cap set 规模的最大增长。此外，FunSearch 的性能超过了最先进的计算求解器，因为这个问题的规模远远超出了它们目前的能力。
机器之心约 6 分钟