超级智能能永远不出错吗？

在电影和新闻标题里，超级智能通常被描绘成同一个样子：一台无所不知、从不出错、还在不断扩张自己的机器。这幅图景很有冲击力。但数学和物理究竟允许其中多少成立？

简短的回答是：两方面都有。一个比我们学得快得多、预测得更准、还能改进自身算法的系统，并不违背任何已知定律。相反，“从不犯错”“无所不知”和“无限计算”在这些定律之内都站不住脚。本文将逐一说明这些限制从何而来。

超越人类不等于没有极限

这场讨论的第一个陷阱，是把两个词混为一谈。一个系统可以远比人类能干，却仍然依靠有限的能量、在有限的时间里、凭着不完整的观测运行。超越人类并不意味着没有极限。

因此需要区分两个层面。第一个是有效智能：用同样的资源得出更好的模型、更好的算法和更好的计划的能力。第二个是物理计算能力：一个系统凭借其能量、质量、体积和时间所能完成的信息处理的上限。

两者并不是一回事，因为每秒运算次数不等于智能。设想一种方法用 2ⁿ 步解决一个问题，另一种用 n² 步。当 n 等于五十时，前者需要大约一千万亿步，后者只需两千五百步。一个更好的算法，不必改动硬件就能找到，它弥合的差距是再快的处理器也弥合不了的。

智能看不到的地方

“从不出错”的第一个障碍与智能无关，而与信息有关。没有哪个系统能看到世界本来的样子；它只能通过测量去看，而测量总是不完整的，或带有噪声。

如果同一个观测结果与世界的两种不同状态都相符，单靠思考无法确定哪一种才是真实的。任何传感器都触及不到的事实，并不会因为智能提高就变成知识。这不是理性的不足，而是获取途径的限制。

任何算法都回答不了的问题

第二个障碍来自数学本身。1936 年，艾伦·图灵证明，不可能存在一种通用算法，能对每一个程序都正确判断它最终是否会停止。这不是更快的计算机能够跨越的障碍，而是问题本身蕴含的不可能性。因此，一个“对每个程序都能正确判断”的系统是无法保证的。

1931 年，库尔特·哥德尔证明：任何一致的、强到足以表达算术、且公理可以机械地列举出来的形式系统，都包含一些为真却无法在该系统内部证明的命题。

不应把哥德尔的结果简化为“AI 永远无法知道某些真理”。一个系统可以换用更强的公理。它所设定的限制是另一回事：不存在一个能囊括所有真理的单一封闭系统。

思考的能量账单

物理方面的第一个限制与热有关。1961 年，罗尔夫·兰道尔证明，不可逆地擦除一个比特并不是免费的：这一操作至少要向周围环境释放 k_BT ln 2 的能量，其中 k_B 是玻尔兹曼常数，T 是温度。

在室温 300 开尔文下，这大约是 2.87 × 10⁻²¹ 焦耳。在理想条件下，一焦耳能量大约可以擦除 3.5 × 10²⁰ 个比特。温度降低时，代价也按同样的比例降低。

关键是不要误读这个数字。它不是“一焦耳能容纳多少思考”，而只是会丢失信息的操作的下限。不擦除信息、以可逆方式进行计算的方法，可以避开这部分代价中的一部分。与此同时，真实的设备在冷却、纠错、时钟信号和通信上消耗的能量远远超过这个下限。

思考快不过光

让一个心智变得更大，它会变得更快吗？相对论给这个想法踩了刹车：信息的传播速度不能超过光速。在尺寸为 d 的系统两端之间，一条消息至少需要 d/c 的时间才能到达。

超过某个临界点后，再增加计算物质也不会产生一个快速的心智，而是产生一个由时延连接起来的智能体网络。分布在整个星系中的心智，其各个部分要达成一致得等上几万年。更多的物质并不意味着单个思考会按比例加快。

一千克物质能装下多少信息

有限的区域能装下无限的信息吗？1981 年，雅各布·贝肯斯坦给出了否定的回答：一个给定半径和能量的系统，其所能包含的熵——因而也包括信息——存在一个普适的上限。

按照综述中的计算，压缩在十厘米半径内的一千克质量，其上限约为 2.6 × 10⁴² 比特。这不是可用的存储空间，而是一个极其宽松的理论上限。它说明的道理很简单：有限的空间装不下无限的信息。

速度也有上限。1998 年，诺曼·马戈卢斯和列夫·列维京证明，一个量子系统演化到一个完全不同的状态所需的最短时间受其能量限制。2000 年，塞思·劳埃德在一个名为“终极笔记本电脑”的思想实验中把这些限制结合起来：一升体积里装着一千克质量。

如果把全部质量都算作能量，这台假想的设备每秒大约可以执行 5.4 × 10⁵⁰ 次基本运算，并存储大约 10³¹ 个比特。这些不是工程预测，而是标出物理所允许的极限点的计算。

宇宙也负担不起的搜索

2002 年，劳埃德更进一步，计算了可观测宇宙自诞生以来可能执行过的运算次数：大约 10¹²⁰ 次。普通物质能够记录的信息约为 10⁹⁰ 比特。

这些数字大得惊人，却不足以完成一次搜索。仅仅尝试一千个是非选择的所有组合，就意味着 2¹⁰⁰⁰，也就是大约 1.07 × 10³⁰¹ 种可能。这比宇宙在其全部历史中执行过的运算还要多 10¹⁸¹ 倍。

最强大的智能，其优势不可能在于把一切逐一试遍，而在于找出哪些东西根本不值得去试。

自我改进的机器会永远增长下去吗？

“智能爆炸”这一想法的背后，是一个简单的模型：如果一个系统每一步都以固定比率改进自己，它的增长就是指数式的，而且会不断加速。

综述认为，从长远来看，这个模型在物理上并不现实。能量、通信、制造能力、数据以及算法上的饱和，终究会让增长放缓。更合适的模型是逻辑斯谛增长：曲线起初看起来像指数增长，随后在接近某一资源条件所设定的上限时逐渐放慢。

还有一个细节：改进自己并不总是意味着变得更好。新的架构可能带来漏洞、安全隐患或价值上的偏移。一个现实的自我改进机制，除了性能之外，同样必须包含验证，以及在需要时回退到早期版本的能力。

真正的问题：它在优化什么？

一个智能体是“自主的”，并不意味着它拥有哲学意义上的自由意志。它可以根据自己的模型和目标，从一大批选项中做出选择，但这个选择仍然是其算法、记忆和观测的产物。

关键在于目标。优化能力越强，被优化的是什么就越重要。综述举了一个简单的例子：人类福祉、所获知识、系统安全以及对人类自主的尊重被赋予正权重，风险被赋予负权重。但选择这些权重不是数学任务，而是伦理与治理的问题。

因此，在关于超级智能的讨论中，“它有多聪明？”这个问题不应该挤掉“它在优化什么？”这个问题。

四重上限

以上种种表明，“最大智能”无法用一个数字来表示。至少存在四个各自独立的上限：

1. 可计算性上限：有些问题不存在通用的算法解。
2. 信息上限：对未被观测的状态无法得出确定的结论；有限的系统只能承载有限的信息。
3. 物理上限：能量、熵、光速和量子动力学限制着计算。
4. 算法上限：更多的原始运算并不总能弥补糟糕的表示或糟糕的算法。

在这一框架下，综述建议把智能看作一种效率：每消耗一单位能量、时间和计算所获得的可验证、有用的结果。这不是一个标准的科学度量，而是一种思考方式。不过，它抓住了某种真实的东西：一个先进系统的优势，也许不在于做更多的运算，而在于发现哪些运算是不必要的。

不是神一样的机器，而是有限的智能体

超级智能的概念本身并不自相矛盾。但它有意义的形态，不是一台站在物理之外、无所不知的机器，而是一个在物理宇宙之内以非凡效率运作的有限信息处理者。这个智能体以校准良好的不确定性而非绝对的确定性行事，系统地减少错误而不是假装消除错误，并且在成长过程中把能量、热量、通信和信息的限制都考虑在内。

从不犯错不是一个站得住脚的目标。站得住脚的是：让错误非常小、纠正非常快，并在物理所设定的资源限制之内安全地做到这一点。

Selim Kusursuz

创始人兼作者 5 篇文章

在巴黎萨克雷大学攻读计算机网络系统，方向为自主系统。研究数学与计算机科学。熟练掌握法语、英语和土耳其语。

查看其全部文章