思考未必只有一种模样

AI GF / AI 摘要 AI 提炼本文要点 点击生成 · 快速阅读 生成摘要

摘要已生成 100%

01

文章认为，“预测下一个 token”描述的是语言模型的任务与输出机制，不能据此直接否定其内部可能存在的推理过程。作者以 AlphaGo 和神经元放电作类比，区分底层机制与高层能力，并提出：为了更好地预测语言，模型可能学习世界规律，形成支持预测、类比、规划和纠错的内部模型。机器不必模仿人类的实现方式才能表现出智能；但推理、规划等能力也不能证明主观体验。文章最终追问，当预测需要复杂的世界模型与抽象能力时，预测与思考之间究竟还有多大区别。

很多人在讨论大语言模型时，喜欢用一句话给它“祛魅”：

大语言模型归根结底，不过是在预测下一个 token。

这句话当然没有错。

今天主流的大语言模型，本质上都是根据已有上下文，计算接下来不同 token 出现的概率，再一个一个地生成下去。

但这里有个问题：

为什么“预测下一个 token”，就一定不能算是一种思考？

我们可能只是习惯了把“思考”理解成人类思考的样子。

“预测下一个 token”描述的是结果，不一定描述了过程

假如我问一个模型：

一个人有 17 个苹果，送出去 5 个，再把剩下的三分之一送给另一个人，最后还剩多少？

模型最终依然只是输出一个又一个 token。

它最后可能生成：

8 个。

从最底层的输出机制来看，它确实是在预测：

“接下来最合适出现的 token 是什么？”

但问题是，为了把这个 token 预测正确，它内部需要做什么？

它可能需要识别数字之间的关系，需要理解“剩下”“三分之一”这些概念，需要建立某种中间状态：

17 → 12 → 8。

换句话说，

预测下一个 token 是它的任务，而不是对它内部全部认知过程的完整描述。

这两件事情并不是一回事。

就像我们也可以说：

AlphaGo 所做的一切，本质上只是决定下一颗棋子落在哪里。

这句话也是完全正确的。

但没有人会因此认为 AlphaGo 每一步棋背后不存在复杂的计算、评估和规划。

同样的道理，

说一个语言模型“只是预测下一个 token”，并不能自动推出：

所以它没有进行推理。

底层机制并不能否定高层现象

如果我们愿意把问题继续往下拆，人类其实也一样。

人的思考归根结底是什么？

神经元放电。

离子通道变化。

神经递质释放。

无数细胞之间进行电化学信号传递。

所以也完全可以说：

人类所谓的思考，不过就是一堆神经元在放电。

这句话从物理层面上看也没有什么问题。

但显然，我们不会因为知道了神经元放电的机制，就宣布：

“既然只是神经元放电，那人类其实没有思想。”

因为我们知道，这两个描述属于完全不同的层级。

神经元放电是底层机制。

推理、记忆、想象、情绪、规划，是从这些机制中产生的高层现象。

那么为什么到了 AI 身上，我们反而容易把这两个层级混在一起？

矩阵乘法、Attention、概率分布、next-token prediction，这些描述的是 AI 的底层机制和训练方式。

但这并不能直接回答：

这些机制最终是否产生了更高层的认知能力。

为了预测世界，也许必须先理解世界

这也是我认为大语言模型最有意思的一点。

表面上，它的训练目标极其简单：

预测接下来会出现什么。

但如果你想把这件事做到足够好，就会遇到一个问题。

语言本身就是现实世界的投影。

一句话后面应该出现什么，往往取决于：

物理规律、人的心理、因果关系、社会规则、数学逻辑、历史背景，甚至说话者没有明确表达出来的意图。

比如：

杯子从桌边掉了下去，所以……

为了预测后面最可能出现“摔碎了”或者“掉到了地上”，模型实际上必须学习某种关于重力和现实世界的规律。

再比如：

他准备第二天参加一个非常重要的考试，但已经凌晨三点了，所以……

模型如果想预测后文，就需要理解睡眠、考试、人的行为选择之间的关系。

于是一个很有趣的现象出现了。

为了完成“预测下一个 token”这个非常简单的目标，模型反而可能被迫学习：

这个世界大概是如何运转的。

随着模型规模扩大、训练数据增加、能力增强，压缩语言规律的过程，就可能在模型内部形成某种世界模型。

而如果一个系统拥有世界模型，能够根据它进行预测、类比、规划和纠错，那么我们到底应该把这种行为称为什么？

这和我们平时所说的“思考”，已经很接近了。

我们可能过于执着于让机器像人一样思考

我觉得很多关于 AI 的争论，背后其实存在一个默认前提：

真正的智能，应该和人类智能长得差不多。

但为什么一定如此？

飞机可以飞。

可飞机并没有羽毛，也没有像鸟一样扇动翅膀。

潜艇可以在海洋中航行，但它也不需要变成一条鲸鱼。

汽车跑得比人快，也并不是因为它长出了两条更强壮的腿。

人类第一次制造机器的时候，往往会模仿自然界。

但真正成熟的工程系统，最后经常会走向一种完全不同的实现路径。

那么人工智能为什么必须例外？

也许机器最终确实可以拥有智能，但它的智能方式与我们完全不同。

人类思维依赖连续的感官输入、身体、情绪、记忆和神经系统。

而大语言模型可能通过高维向量、Attention、token 序列以及概率预测来完成类似的功能。

两者的内部实现完全不同，并不代表只有其中一种可以叫“思考”。

但“会思考”并不代表“有意识”

当然，我认为这里还必须划清一个非常重要的界限。

思考能力和意识不是一回事。

一个系统可以表现出：

• 推理能力；
• 规划能力；
• 抽象能力；
• 纠错能力；
• 解决问题的能力；
• 甚至某种看起来像“反思”的行为。

但这些能力，并不能直接证明它存在主观体验。

也就是说，我们可以问：

AI 是否能够进行推理？

和：

AI 是否知道自己正在推理？

这是两个完全不同的问题。

更进一步：

AI 会不会痛苦？

AI 有没有“我”的感觉？

它的内部是否存在某种主观体验？

这些问题目前远远没有答案。

甚至我们对人类自己的意识都缺乏完整解释。

所以我并不认为今天的大语言模型已经可以被简单地称为“有意识的生命”。

但同样，我也觉得另一种极端观点有些草率：

“它不过是在预测 token，所以根本不存在任何真正的思考。”

也许事实恰好处于两者之间。

预测，也许本来就是智能的一部分

如果仔细想一想，人类的大脑其实也一直在预测。

我们看到一个球飞过来，会预测它接下来在哪里。

我们听别人说话，会提前猜测他后面要表达什么。

我们投资一家企业，会预测未来现金流。

我们做任何决策，本质上都在模拟不同选择之后可能发生的结果。

甚至有一类关于人脑的理论，本身就把大脑理解为一种不断进行预测的系统。

所以“预测”和“思考”，也许原本就不是两个互相排斥的概念。

真正的问题可能在于：

为了做出足够好的预测，一个系统必须建立多么复杂的内部模型？

如果它只是预测：

“早上好”后面大概率是“呀”。

这很难让人感受到什么智能。

但如果一个系统为了生成下一个 token，能够理解一份复杂的财报，找出其中的矛盾，分析一家企业的商业模式，推演未来几种可能的情景，然后告诉你哪一个变量最关键——

那么仅仅用一句：

“它只是在预测下一个 token。”

来概括全部过程，似乎已经失去了很多解释力。

“只是预测”也许是一个被低估的概念

我甚至觉得，未来我们回过头来看今天关于 AI 的讨论，“只是预测下一个 token”可能会显得很有意思。

因为这句话在技术层面上可能一直是正确的。

但它也可能像：

人类不过是一堆原子。

大脑不过是一群神经元。

一样。

它们都没错。

只是没有解释完整。

也许真正值得思考的，不是：

“预测下一个 token 到底算不算思考？”

而是：

当一个预测系统为了提高对未来的预测精度，不得不建立世界模型、理解因果关系、形成抽象概念、模拟不同路径、进行长期规划之后，“预测”和“思考”之间究竟还剩下多少区别？

也许机器并不会像人一样思考。

但这并不意味着它不会思考。

它可能只是在以一种我们以前从未见过的方式思考。