LLM 被证明是图灵完备的！

发布时间：2024年10月24日

大型语言模型（LLMs）近年来取得了突破性进展，并在各个领域展现出惊人的能力。从文本生成到机器翻译，从代码补全到问答系统。然而，尽管 LLMs 在应用层面取得了巨大成功，但LLMs 作为一种新兴的计算范式，其计算能力是否能够与经典计算模型（图灵机）相媲美仍然是一个悬而未决的问题。谷歌DeepMind团队通过引入扩展自回归解码的方式证明LLM是图灵完备的。

如何证明？

以往的研究工作主要集中在 LLMs 的表达能力上，一些研究还通过引入外部内存和提示机制，实现了 LLMs 对通用图灵机的模拟 。然而，这些研究都依赖于外部控制机制，并不能证明LLM本身是图灵完备的。

那么谷歌团队是如何证明的呢？走进《Autoregressive Large Language Models Are Computationally Universal》，一探究竟。

来源：https://www.aminer.cn/pub/6703494301d2a3fbfcb67f3e?fr=all


自回归解码的泛化

首先对传统的自回归解码进行了泛化，使其能够处理任意长度的输入字符串。传统的自回归解码假设输入字符串长度不超过上下文窗口大小，而泛化后的自回归解码则允许输入字符串长度超过上下文窗口大小，并逐步将生成的标记附加到序列末尾作为新的上下文。

语言模型与Lag系统的对应关系


首先，介绍一种类图灵机的系统——Lag系统。

泛化后的自回归解码过程与 Lag 系统的计算过程具有惊人的相似性，这主要体现在以下几个方面：

    • 规则驱动的计算都依赖于规则来指导计算过程。在泛化自回归解码中，语言模型根据输入的上下文和当前的模型状态生成下一个标记，而 Lag 系统则根据规则和当前的状态来更新字符串。
    • 上下文依赖性都依赖于上下文信息进行计算。在泛化自回归解码中，语言模型需要根据之前的输入标记和模型状态来生成下一个标记，而 Lag 系统则需要根据当前字符串的状态和规则来更新字符串。
    • 状态更新都会根据计算过程更新状态信息。在泛化自回归解码中，语言模型会根据输入的标记和模型参数更新其隐藏层状态，而 Lag 系统则会根据规则和当前字符串的状态更新其状态机状态。

大语言模型可以被视为一种特殊的 Lag 系统，其计算能力与 Lag 系统相当。


Lag系统的通用计算能力


任何图灵机都可以通过一个具有有限规则数量的 Lag 系统来模拟。具体来说，我们可以将图灵机的每个状态映射到 Lag 系统的一个状态，并将图灵机的每个转移函数映射到 Lag 系统的一条规则。图灵机的带上的符号则直接对应于 Lag 系统的符号。通过这种方式，我们可以将图灵机的计算过程转换为 Lag 系统的计算过程，从而实现图灵机的模拟。


LLM模拟通用Lag系统

模拟过程可以分为以下步骤：


    • 初始化：将输入字符串和系统提示输入到 gemini-1.5-pro-001 中。
    • 自回归解码：gemini-1.5-pro-001 根据扩展自回归解码的方式，逐步生成下一个标记并将其附加到输入字符串末尾，形成新的上下文。
    • 规则匹配：gemini-1.5-pro-001 将新的上下文与系统提示中的规则进行匹配，并选择合适的规则进行应用。
    • 状态更新：gemini-1.5-pro-001 根据匹配的规则更新其内部状态和输出标记。
    • 重复步骤 2-4：gemini-1.5-pro-001 重复步骤 2-4，直到模拟过程结束。

通过这种方式，gemini-1.5-pro-001 能够正确模拟 U15,2 图灵机生成的 Lag 系统的计算过程，并最终实现通用计算。

关于作者

Dale Schuurmans

Dale Schuurmans于1996年在多伦多大学取得博士学位，并在宾夕法尼亚大学进行博士后研究。Schuurmans在学术界和工业界都有着卓越的贡献，尤其在优化算法、强化学习理论和实际应用方面表现突出。目前他担任加拿大阿尔伯塔大学计算机科学教授、CIFAR AI 主席、Amii 研究员和人工智能促进协会会员，并在谷歌DeepMind团队担任首席科学家。Dale Schuurmans截至目前论文引用值共23177，H指标高达59。

来源：https://www.aminer.cn/profile/53f4694ddabfaeb1a7c989d2?fr=dc


戴涵俊

戴涵俊本科毕业于复旦大学，美国佐治亚理工学院获得计算机科学博士学位。并在Google Brain、DeepMind、OpenAI、Microsoft和亚马逊等作为高级研究员进行学习研究。获得由诺贝尔奖得主 Tsung-Dao Lee 设立的Chun-Tsung Scholar。并在NeurIPS、KDD、ICLR、ICML等期刊会议中发表多篇论文，获得2022年Google Research 技术影响奖。

来源：https://www.aminer.cn/profile/54332d03dabfaeb370bdaaf2?fr=hd


LLMs的图灵完备性证明，标志着计算范式的一次重大突破。LLMs不再是简单的语言模型，而是能够模拟图灵机等经典计算模型，完成各种复杂计算任务的强大工具。