理查德·萨顿 WAIC 思想者论坛主题分享：强化学习的第一线—从经验培育超级智能

各位听众朋友好 ， 欢迎来到本期播客 。 今天是 2026 年的 7 月 19 号 ， 主播人在 WAIC 思想者论坛的现场 ， 刚刚听了一场让我现在还在反复回味的演讲 ： 来自 2024 年图灵奖得主 、 现代强化学习之父理查德 · 萨顿 。他讲了他自己在用一生探索和证明的事 —— 怎么让一个超级智能 " 像婴儿一样 " 从零开始 ， 从经验中自己长出来 。

本期的全场录音 、 转写 、 翻译 、 整理 、 生成中文音频 ， 都是主播刚刚一口气做完的以下 ，Enjoy。 好 ， 尊敬的现场的朋友们 ，以及视频前的朋友们 ， 大家好 。

接下来呢要跟大家分享的是 2024 年图灵奖的获得者 ，他同时呢也是现代强化学习的奠基人。 我们所熟悉的 AlphaGo、 自动驾驶 、 包括机器人 、 具身机器人， 恐怕都是在他的理论的基础上发展出来的 。他现在呢是在阿尔伯塔大学做教授 ， 这是加拿大的一所大学 ， 当然也是在加拿大的人工智能研究所做首席研究员 。他今天呢会给我们谈谈他对 " 通用大模型 " 的理解 ，以及如

何找到一个真正的通向通用大模型的科技之路 。 好 ， 接下来呢我们就用热烈掌声请出 Richard Sutton 先生 。他分享的题目是 《 强化学习的第一线 ： 从经验培育超级智能 》。

Ladies and gentlemen, please welcome Professor Richard Sutton. 各位 ， 很高兴今天能来到这里和大家交流 、 分享一些关于人工智能的想法 。

如果你对我有所了解的话 ， 你就知道我对 " 从经验中学习 " 特别感兴趣 ，以及用强化学习的思想 ， 从经验中培育出一个心智 ， 一个超级智能的心智 。

这是一个巨大的抱负 ， 人类的心智是如此复杂 ， 所以我们必须去寻找那些底层的 、 简单的基本原则 ， 这些原则是心智运作的基础 。

这就是我今天要跟大家讲的我对这些原则的追寻之旅 。 我认为这是一场神圣的探索 ， 就像追寻圣杯一样 。

这可能是来自西方的一个比喻 ， 你们可能不太常听到 ，但这确实是一场伟大的探索 ， 去理解我们自己的心智 。

不过这张图有点复杂啊 ， 让我稍微梳理一下 。 你们可以看到我的三个主要目标 ： 我们对心智有一个通用的理解 ， 它是从经验中形成的 。

所谓经验 ， 我指的就是这张小图上标红的三个东西 ： 观察 ， 从世界进入智能体 ； 动作 ， 从智能体发出 ， 作用于世界 。

还有一个特殊的观察叫做 " 奖励信号 "， 它是一个标量 ， 一个单独的数字 ， 它定义了目标是什么 。 我们说一个好智能体的意思 ， 就是那个能获得奖励的智能体 。

所以 ， 就从这三样东西持续不断的经验中， 我们要塑造出心智 。 毕竟 ， 我们怎么知道一个心智好不好呢 ？

唯一的判断标准就是它做了什么 。 而心智自己怎么知道它做的是好事还是坏事呢 ？ 它通过收到奖励来告诉自己 。

奖励 ， 真正定义了对这个心智来说什么是 " 好 " 的 。 现在第三个目标是 " 发现抽象的能力 "。 这也是我现在关注的重点 。

因为我们在针对 " 每个状态 "、" 选择合适动作 " 这件事上， 已经走得相当远了 。 现在我们必须给自己设定一个更大的目标 ，在越来越抽象的层次上去理解这个世界 ， 就像今天早上姚期智教授讲到的那样 。

我的很多观点都被一篇叫做 《 苦涩的教训 》 的文章所塑造 ， 我想跟大家回顾一下它的核心思想 。《 苦涩的教训 》 这篇文章里面就包含了它自己的总结 ， 我现在差不多就是在向你们宣读它 。《 苦涩的教训 》 基于一个历史观察 ： 人工智能的研究者们总是试图把知识塞进他们的智能体里面 ， 这在短期内总是有帮助的 ，也让人很有成就感 。

但从长远来看 ， 这往往会遇到瓶颈 ， 甚至会阻碍进一步的进步 ，而最终的突破性进展 ， 总是来自相反的方向 —— 基于计算规模的扩展 ， 通过搜索 ， 通过学习 。

所以这个教训就是 ： 我们应该从一开始就着眼于 " 用计算规模来扩展 ， 通过搜索和学习 "。 我们应该去寻找智能底层的那些基本原则 ，而不要被我们自己心智的特殊性所干扰 。

那些跟我们这个特定世界相关的细节 ， 我们应该寻找基本原则 ，而不是在特定世界的语境下去找具体细节 。

那我指的是什么呢 ？ 我指的是像空间 、 三维物体 、 物理学这些东西 ， 这些都是我们的世界的特殊性 ，但它们并不是我们心智原理的本质 。

这一点经常被误解 ， 我想试着把它讲清楚 。 我觉得最好的方式还是回到 《 苦涩的教训 》 这篇文章 。

这篇文章的最后两句话大概是这样的 ： 我们不应该试图把人类已经发现的知识硬塞给智能体 ， 我们应该让智能体自己去发现 。

原因在于 ， 把我们已知的东西塞进去 ， 只会让我们更难看清 、 发现这个过程本身 。 如果我们把知识 " 硬编码 " 进去 ，而不是让它被发现 ， 我们就更难看到信息是如何被发现的 。

这就是为什么少塞一些东西 ， 让 " 发现过程 " 自己展开会更好 ， 这样你才能看到发现的过程 。 好 ， 现在有一些概念可以帮助我们来讨论 ，其实这就是我的大纲 。

首先我已经讲了追寻的问题 ， 现在我想谈谈一个基础性的想法 ： 大世界的视角 。 然后我们会进入 OAK 架构 ， 这是从经验中构建超级智能的秘诀或者说方案 。

大世界的视角是指 ， 世界比智能体要大得多 ，不像这张图里面那样它们看起来 " 差不多大 "， 实际上世界要大得多 ，而且是 " 大得非常多 "。

所以更像是这样 ： 世界包含很多其他的智能体 ， 它们每一个的心智都和你的一样复杂 。 你们每个人的心智都和我的一样复杂 ， 我无法理解我的世界 ，而我的世界里包含了在座的你们所有人。

世界是非常复杂的 。 正因为如此 ， 你能够理解的关于世界的任何事情 ， 都不可能是 " 精确的 " 或者 " 最优的 "， 永远都只是 " 极度近似的 "。

所有我们构建的东西 ， 所有我们知道的东西 ， 都只是极度近似 ，不仅仅是预先构建的东西 ，也包括长期存在的东西 。

因为世界是近似的 ，而且我们是在不同时间遇到这个巨大世界的不同部分 ， 世界会呈现出 " 非平稳性 "， 这就引出了运行时间和设计时间的区分 。

设计时间和运行时间 。 一个智能体是在工厂里被设计出来的 ，在实验室里被设计出来的 ， 然后它被送到世界中去 ， 去体验世界 ， 去运行 。在设计时间 ， 你会预知一些领域知识 ； 在运行时间 ， 你有了经验 ， 你可以从经验中学习 ，而且你应该学习 ， 你应该规划 ， 你应该在运行时间形成你的抽象 。

因为你不知道这个大世界的哪一部分你接下来需要应对 。 所以在大世界中， 对于一个理想的智能体 ， 这三个过程 —— 学习 、 规划 、 发现 、 抽象 —— 都必须在运行时间发生 。

它们当然也可以在设计时间发生 ，但它们必须在运行时间发生 ，而在运行时间 ， 就只有经验 ， 没有特殊的人类在幕后提供特殊指令 ， 只有经验 、 动作 、 观察和奖励 。

好 ， 现在让我们来谈谈 OAK 架构本身 。 我想从一个我们都能达成共识的地方开始 ，也许不是我们每个人都作为个体同意 ，而是纵观漫长的思想史 ， 关于心智如何运作的智力探索积累了丰富的共识 。

实际上我想说的是 ， 所有这些领域 ， 我指的是心理学 、 神经科学 、 强化学习 、 人工智能 、 经济学 、 哲学 、 控制论 ， 所有这些领域都在处理同一个问题 ： 在交互的世界中跨时间地做出决策以实现一个目标 。

这才是我们真正在谈论的事情 ： 你如何有效地做决策 ，在交互的世界中跨时间地实现一个长期目标 。

所有这些领域都有这个共同点 。 正因为如此 ， 它们经常谈论相同的思想 ，但在智力活动中并不罕见的是 ， 它们会为同一个思想使用不同的词汇 ， 这很不幸 ， 让我们很难沟通 。

所以我试图 ， 或者说我已经尝试过 ，在多个领域之间形成一些共识术语 。 你们在表格底部看到的红色部分 ， 就是我今天要使用的共识术语 。

这些共识术语我会用在我画的智能体图示里 。 所有这些领域首先都同意的一点是 ： 经验中存在一些从智能体出去的信号和一些进来的信号 ， 一些动作和一些观察 。

比如说 ， 如果我们是一个心理学家 ， 我们可能会把这些叫做 " 反应和刺激 "。 如果我们搞控制论 ， 我们会把出去的叫做 " 控制 "， 把进入的数据叫做 " 状态估计 "。

这么多不同的词 ，但说的是同一回事 。 我要用的这些词 ， 我声称它们是一种共识 。 我们采取动作 ， 接收 ， 观察 ， 我们最大化奖励 。在内部我们有四个组件 。

这四个组件你在所有这些领域都能看到 。 让我们更仔细地看一看这四个组件 。 我们先看中间那个 ，在你发出一个动作之前的最后一步 ， 叫做 " 反应式策略 "。

这就是你看着你当前的状态 ， 然后选择一个动作 。 你必须做得很快 ， 每秒大概 100 次 。 你当前所处的位置 ，是感知的输出 。

它接收 、 观察 ， 大概还会参考过去的动作和过去的观察 ， 然后构建出你现在身处何处的感觉 。

你用它来选择你的动作 。 你所构建出来的这个你现在身处何处的东西 ， 就是你的状态 。 我喜欢叫它 " 主观状态 " 或者 " 状态表征 "。

感知 ， 就是构建这种 " 你在哪里 " 的感觉 。 下一个方框 ， 下方那个是 " 价值函数 "。 这是你对当前状态好坏的判断 。

你可能会觉得奖励就是当前状态有多好 ，但不 ，不是这样的 。 你可能会处于这样一个状态 ： 奖励就像你刚吃了一块巧克力蛋糕 ， 它尝起来真好 ， 很愉悦 ，但也许这会让你之后感到难受 ， 你会觉得后悔 。

所以一个状态的价值 ， 既包含即时后果 ，也包含长期后果 。 每个领域都有价值这个概念 ， 都有长期效用这个说法 。在心理学里叫 " 刺激强化 "。

第四个方框是 " 转移模型 "。在今天的人工智能领域 ， 人们叫它 " 世界模型 "。 不管怎样 ， 它是描述世界动态的模型 ， 描述可能会发生什么 。

但跟今天人们谈论的世界模型不同的是 ， 它们说的是某种物理学 ， 某种对世界物理的模拟 。 而物理学都是低层的 ，是我们对世界的基本规则理解 ， 更像是我们的世界知识 。

所以我们想用 " 知识 " 这个词来描述它 。 比如 ， 我知道我怎么走下舞台 ， 或者我怎么走回去拿一杯水 。

你可能知道怎么回到你的酒店房间 ， 或者怎么旅行到上海或从上海出发 。 所有这些都是知识 。 这不真的像物理学 ，不是低层的物理学 。

它是巨大的转移 。 你可以参与其中， 也可以选择不参与 。 它是选择 ： 你有选项 ，有你能够做的事情 。

我要用 " 选项 " 这个词来描述这些高层的决策 。 这将是抽象中非常重要的一部分 。 我们可以思考并形成我们的模型 ， 我们的知识 ， 我们对世界的转移模型 。

我要保留 " 模型 " 这个词 。 我永远不会把我的神经网络叫做 " 模型 "， 那太傻了 。 我觉得这个领域用 " 模型 " 这个词用得太泛滥了 。

我会把 " 模型 " 这个词保留给 " 转移模型 "。 转移模型最终将成为所有的知识 。 我们对世界的所有知识 ， 既包括即时的物理知识 ，也包括长期的知识 。

比如 ， 如果我接受这份工作 ， 我会幸福吗 ？ 诸如此类 。 好 ， 这就是共识模型 。 我们仍然在建立共识 。

我们仍然试图反映其他领域 100 多年来一直在说的事情 ， 只是用常识的方式谈论所有这些领域共同相信的东西 。

现在我们必须问 ： 这个共识视角中缺少了什么 ？ 缺少了什么 ？ 我坚持认为 ， 这里的所有东西都没问题 。

我们确实希望能够用一个世界模型来思考 ， 我们确实希望能够用低层的行为策略来反应 ， 我们确实希望能够通过奖励来评估 ，也能够在更长期的价值意义上进行评估 。

但缺少的是抽象 ， 我们缺少构建越来越大的动作感和状态感的能力 ，而这就是 OAK 架构要应对的挑战 。

好 ， 我这页幻灯片想告诉你们 ，也许现在这已经很明显了 ： 在微观层面 、 物理层面去思考世界 ， 是一个错误 ， 是一个陷阱 。

如果有人跟你说 " 我的核心就是一个模拟器 "，不 ，不是的 。 模拟器是低层的东西 。 我们需要思考的是 ： 如果我娶了这个人， 我大概会有孩子 ， 我会幸福 ； 如果我接受这份工作 ， 我就得搬到另一个城市 ， 吃我喜欢的那种食物 。

我们应该从这个层面来思考 。 所有的知识 ，不仅仅是物理学 。 我们必须从更高的层次来思考 。OAK， 这个名字差不多就代表了 " 选项和知识 "。

你们现在知道我为什么关注知识了 。 你们可能还记得我说过 ， 所有这些关于在哪里生活 、 接受什么工作 、 洗手间在哪里之类的大选择 ， 所有这些知识 ， 无论是低层的还是高层的 ， 都被封装在 " 选项 " 这个概念里 。

低层的是动作 ， 选项意味着高层的选择 ， 你真正在规划和思考层面的选择 。 形式上， 一个选项是一对组合 ， 它是一个策略 ， 就是从状态到动作的映射方式 ， 再加上一个终止决策 。

所以选项就是策略加上终止决策 。 终止决策就是说 ， 这种行为方式什么时候停止 。 你有一种行为方式和一种停止方式 ： 我可以走回去拿杯咖啡 ， 然后我喝完了就结束了 ； 我可以把这个东西扔到地上， 它会发出某种声音 ， 然后就结束了 。

好 ， 所以在 OAK 架构中， 智能体拥有很多选项 ， 很多你可以考虑去做的事情 ，而它的知识就是关于如果它去执行这些选项会发生什么 。

所以有几个要点 ： 选项是行为方式 ， 转移模型描述的是如果你以那种方式行事会发生什么 。 这些都是不同的东西 。

选项的转移模型 ，而实际的行为方式就构成了选项和它的终止条件 。 好 ， 这让我们能够以更大的跳跃来规划 ，在世界的动态关节处进行切分 。

那我们怎么做呢 ？ 如果我们回到共识模型 ， 我只是要在策略和价值函数后面加上一系列的选项和价值函数 。

因为真正核心的新思想是子问题 。 我有一个说法 ， 我认为非常重要 ，也许是最深刻的洞察之一 ： 奖励尊重的特征达成子问题 ， 这是基础性的新组件 。

我们将有子问题 。 智能体要记住主问题是什么 。 主问题是获得奖励 ，而子问题将是达成特定的状态特征 。

记住 ， 智能体坐在这里 ， 它的架构中心有一个蓝色的东西 。 这个核心的蓝色东西就是状态表征 。

我希望你们将其视为一个大的数字向量 ， 每一个数字就是一个特征 ， 是一个特征向量 。 所以你可能会有一个正在做演讲的特征 ， 你可能会有一个坐着的特征 ， 你可能会有一个关于地毯红色或周围椅子的特征 ， 你可能有关于穿着某种衣服的特征 。

你拥有关于各种事物的特征 。 我们都有数百万个特征来描述我们的状态 ， 这些特征构成了你的状态 。

然后我主张 ， 对于每一个跟你生活相关的特征 ， 你都学会一项去达成它的技能 。 你为自己提出一个子问题 ： 我想控制那个特征 。

我希望能安排那个特征 ， 我想能够控制它 ， 我想能够移动我的手而不让它掉下来 。 但如果我想的话 ， 我可能想把它扔到地上 。

我们一生中， 我们的思维过程都是由我们为自己提出的问题构成的 。 然后我们学会了如何解决它们 。

我们学会了如何行走 ， 我们学会了如何下围棋 ， 我们学会了说西班牙语 ， 我们在生活中为自己提出了各种各样的子问题 ， 然后我们去解决它们 。

这是我们的心智用来构建自己的主要机制 。 主要的结构就是子问题 ， 然后子问题的解决方案就是一个选项 。

所以你看这张图 ， 我们添加了一些子问题 ， 然后解决方案就是选项 。在找到这些选项的过程中， 你形成了价值函数 。

所以在策略和价值函数后面 ， 我们现在有了一叠选项和子价值函数 。 整体设计在幻灯片底部有展示 。

如果你能看到的话 ， 我们挑出感兴趣的特征 。 对于这些感兴趣的特征 ， 我们把它们变成子问题 ， 一对一 ， 一个特征对应一个子问题 。

然后解决子问题 ， 产生选项 ， 一切都是一对一的 。 然后我们为那个选项构建转移模型 ， 全都是对一的 。

这就是我提出的 OAK 架构中关于心智的主要设计原则 。 这也有很长的历史 ， 我不打算展开 。 关于子问题的讨论由来已久 ， 这不是新东西 。

但这里有一些新内容 ， 我来给你们答案 。其实我已经在给你们答案了 。 子问题应该是什么 ？ 子问题应该是奖励尊重的特征达成子问题 。

子问题从哪里来 ？ 它们来自特征 。 每个特征创建一个子问题 。 智能体能自己生成子问题吗 ？ 是的 ， 智能体可以随时生成新的特征 。

我们必须生成新的状态特征 。 状态特征是我们的关键概念 。 随着我们成长 ， 我们学习什么是正确的状态特征 。

当我们想出新的状态特征时， 我们就为每一个创建新的子问题 。 子问题如何帮助主问题 ？ 主问题是我们如何被评判的 ，是主要的问题 。

它们怎么帮上忙 ？ 我们去处理子问题 ， 解决它们 ， 来学习选项 。 我们为选项建立模型 ， 然后我们用这些模型来规划 。

所以子问题帮助主问题 。 它们让我们能够在更高层次上规划 。 好 ， 这些就是答案 。 现在我想提醒你们一些自然系统中的例子 ，以及我们认为它们在解决问题时在做什么 。

我喜欢想象这只年幼的星星 ， 它只是对荡秋千的感觉产生了兴趣 ， 试图重现那种荡来荡去的感觉 。

我觉得它就是觉得那个很有趣 ， 就是试着重现它 。 再看这只虎鲸 ， 一个瓶子被扔进了它的水池里 ， 它就选择用背来弹跳它 。

没有什么特别的原因 ， 就是一个有趣的特征 ， 它学会了怎么去做 。 这就是我们生活中发生的事情 。

我们挑选一些事情 ， 我们决定怎么去做它们 。 它们可能后来证明是有用的 ，也可能没有 。 这是一个婴儿 ， 一个婴儿在玩他的玩具 。

视频当然稍微加速了 。 即便如此 ，他从一个玩具移到另一个玩具 ，他从每个玩具上学到了能学的东西 ， 然后觉得有点无聊了 ， 就移向下一个玩具 ， 哪怕那只是一根绳子 。

所以智能体 ，也就是这个婴儿 ， 通过自己的行为来安排自己的输入 、 自己的经验 、 自己的数据 。 我觉得很自然地可以从子问题的角度去思考它是如何构建自己的心智的 。

它在想 ： 我怎么才能让那个鲜红色的东西再次出现 ？ 我怎么才能让绳子拉在我手上的感觉重现 ？

它在学习模型 ，在学习理解它的世界的技能 ，在增强它控制世界各个部分的能力 。 所以 ， 正如我所说 ， 智能体必须创造自己的子问题 。

子问题不可能被预先构建好 。 它们太多样化 ， 太依赖世界本身 ， 设计者无法预判 。 我们应该把这份责任交给智能体 。

今天我们已经有了很多这样的机制 ， 很大程度上归功于强化学习 ，而且我们必须以领域独立的方式来创造它们 。

以领域依赖的方式创建子问题对我们来说很容易 。 我们可以谈论选项 ， 谈论人， 谈论所有这些事情 。

但如果我们想以领域独立的方式来做这件事 ， 我真的认为几乎没有其他选择 ， 除了我今天在这里提出的方法 ： 奖励尊重的特征达成子问题 。

特征是一个普遍的概念 ， 状态特征也是一个普遍的概念 。 你可以想象不断创造新的状态特征 ， 然后不断创造更多的子问题 ， 永无止境 。

这将是一个循环 。 当我们解决子问题时， 我们会产生新的特征 。 当你有了新特征 ， 你就有了达成它们的新选项 ， 新的子问题 ， 新的特征 ， 如此往复 。

举一些例子 ， 让这些事情具体一点 。 如果你坐在餐桌前 ， 你可能会拿起筷子 ， 或者你可能会拿起水杯 。

这些是你的选择 。 你可以开一扇门 ， 你可以打开你的邮件程序 ， 找到洗手间 ， 叫一辆出租车 ， 去一个遥远的城市 。

所有这些都是子问题 。 你怎么开门 ？ 你怎么打开邮件 ？ 你知道这些事情 。 你有高效完成所有这些事情的技能 。

如果你是一个移动机器人， 你可能会问 ： 如果我向前滚动 ， 我会不会撞到什么东西 ？ 或者如果你进入一个房间 ， 你会不会被一个人吼 ？

如果你沿着墙走到第一扇门 ， 然后转进去 ， 这会不会触发一个检测到厨房的特征 ？ 你能不能在不耗尽电量的情况下回到充电器 ？

这些是子问题 ， 是一个移动机器人可能会为自己提出并回答的问题 ， 用特征达成的方式来表达 。 好 ， 我想做一个完整的例子 ， 一个完整的循环 。

这是一个婴儿有一个拨浪鼓的声音 ， 是一种很特别的声音 。 于是它为这个声音形成了一个新特征 。 一旦它形成了一个新的感兴趣的特征 ， 可能会怎么样呢 ？

什么时候创建一个子问题 ？ 这其实是一个很深的问题 。 但可能会提出一个子问题 ， 让那个拨浪鼓的声音再次出现 。

然后它可能会学习怎么做到 ，也许它学会了挥动双手 ， 让拨浪鼓再次发出声音 。 这能不能成功 ， 跟拨浪鼓在场还是不在场有关 。

你挥动双手 ， 你也许会哭 。 不管怎样 ， 你学会了怎么让它再次出现 。 幻灯片丢了 ， 希望能恢复 。

好 ， 回来了 。 我们提出了一个子问题 ， 我们学会了重现这个拨浪鼓的声音 ，但在做这件事的过程中， 我可能形成了一些新特征 。

比如 ， 我可能学到了 ： 如果我能牢牢抓住手中的拨浪鼓 ， 我就能更精确 、 更可靠地控制它 。 于是我就形成了牢牢抓住一个物体这个概念 。

这会引入更多的特征 ， 它们可以变成子问题 ： 我能更好地抓住拨浪鼓吗 ？ 然后你学会了一个新选项 ， 专门为了抓握 ，而不是为了获得声音 。

这又提出了一个新的子问题和一个新的选项 ， 如此往复 。 好 ， 我已经讲了很多关于如何从特征创建子问题 。

这页幻灯片精确地告诉你们它是怎么做的 ，以一种标准化的方式 。 这张幻灯片值得拍照留存 ，因为我认为这可能是具体的 、 有点技术性的 ， 实际上直接跟今天相关的东西 ，也许每家机器人公司特别应该用它来创建它们的子问题 。

有一个很大的困惑 ： 我们怎么启动一个机器人系统 ？ 哦 ， 我有一个特定的任务 。 现在我得创建一个奖励函数 ， 我应该怎么做 ？

看起来一切都非常特殊 ， 具体 、 详细 、 困难 。 答案是 ， 你根本就不应该去碰奖励函数 。 我的意思是 ， 它根本不是一个函数 ， 它是一个信号 。

它更像是疼痛和愉悦 。 它不是子任务 ， 只有一种奖励信号 ，是奖励信号定义了问题 。 存在的是子问题 。

子问题是去达成特征 。 非正式地说 ， 给定一个特征编号和你想要的强度 。 子问题就是驱动世界进入那个特征为高值的状态并终止 。

所以你想找到能做到这一点的选项 。 这是一个形式化定义了的问题 。 这个方程有它的组成部分 ，在中间偏右的位置 。

它是超额奖励的总和 ， 你相比平均奖励多获得了多少奖励 。 然后当然 ， 你也关心奖励 ，因为你不想做那些会带来痛苦的事情 。

如果你想让你的选项在未来成为一个有用的选项 ， 你不想做痛苦的事情 。 你想学会如何以不痛苦的方式握住物体 ，但这些只是你一般的常规奖励 。

如果这就是你关心的全部 ， 那你只是在解决主问题 。 它之所以成为子问题 ，是因为最右边的那个项 ，γ 乘以终止状态的特征值 ， 绿色指向终止时间 。

你想在终止的时候 ， 让某个特征处于高值 ，由 γ 加权 。 这就是说 ， 你想在沿途获得好的奖励 ， 然后你想最终进入一个特征为高值的状态 。

同样 ， 你不想在沿途获得坏的奖励 ， 你也不希望选项把你留在一个中期价值很低的状态 。 终止状态的预估价值也必须考虑在内 ， 它是目标的一部分 。

好 ，在某种意义上， 这页幻灯片说了我想说的所有内容了 。 然后我只细化其中一些步骤 。 所有这些步骤大约有 8 个 ， 它们都是并行进行的 OAK 架构 。在每一个时间步上都做一点点事情 ： 一点点的学习策略 ， 一点点的生成新的状态特征 ， 一点点的弄清楚哪些是最重要的特征并排序 。

然后偶尔创建新的子问题 ，也许退休一些旧的子问题 。 我们确实假设子问题和特征的总数是有限的 ，有边界的 。

同时， 你还要学习子问题的解决方案 ，因为你做了些什么 。 你获得了一些数据 ， 获得了一些经验 。 你想学习子问题的解决方案 。

你想根据那个时间步上发生的事情在后台学习转移模型 。 你想用这些模型来规划 。 然后当然 ， 你需要维护关于一切事物效用的元数据 。

这样你可以追踪哪些选项 、 哪些子问题 、 哪些一切都正在被证明是有用的 。 所以这些就是主要的 8 个步骤 。

我鼓励你们为我提出这些问题 ， 思考这 8 个步骤 。 你们对哪一步实际上是怎么做的感到最好奇 。

我现在会详细讲其中一些 。 我可能没法把所有的细节都讲完 。 也许我们可以找出你们大家最感兴趣的地方在哪里 。

请记住 ， 这是一场愿景演讲 。 伟大的挑战是理解心智 。 我们还没到那一步 。 也许我应该说 ， 我们正在走向那里 。

我们是人工智能 ， 我们还没有真正拥有它 。 我们可以看到它在地平线上， 它正在到来 ，但我们还在摸索 。

可能还需要 5 年、10 年， 甚至 20 年， 我们才能真正拥有 AGI。 但在现在这个节点 ， 我们需要思考 ： 我们缺少什么 ？

它会是什么样子 ？ 它怎么可能被实现 ？ 所以其中一些步骤是不完整的 。 特别是第一步 ， 我会给它一个蓝色的勾 。

这是一种中间状态的勾 ，不是绿色的 ，也不是红色的 。 蓝色意味着它将会被完成 ， 只要我们能实现持续深度学习 。

你们很多人可能会觉得深度学习是很棒的东西 ，是我们不需要操心的事情 。 我某种程度上持相反意见 ， 我认为我们还没有学会怎么做深度学习 。

所以让我给你们看一页关于这个的幻灯片 。 要实现 OAK 架构 ， 我们需要可靠的持续深度学习 ，而我们还没有这个能力 。40 年来我们一直需要它 ， 至今还做不到 。

当然 ， 对于线性系统 、 非深度的东西 ， 我们可以做到 。 但对于传统的深度学习 ， 持续学习失败得很惨烈 。

你们都听过 " 灾难性遗忘 " 这个词 。 我们知道这就是深度学习会做的事 。 我们也知道 ， 如果我们要求深度学习系统持续学习 ， 还会出现可塑性丧失 。

最近 Daho 我和其他人的工作是对可塑性丧失提出的几个部分解决方案之一 。 只是承认我们需要这个能力 ， 我们还没有真正拥有它 。

这就是阻碍我们立刻实现 OAK 架构的东西 。 我们还需要生成新的状态特征 。 虽然我不认为这特别具有挑战性 ， 我也认为它将以持续学习第一个问题的部分解决方案的形式出现 。

这也是一个老问题 ， 可以追溯到 60 年代 。 明斯基自己就谈过 ， 表征学习根本上就是这个问题 ： 我们怎么创造出新的概念 ？

我们怎么做元学习 ？ 反向传播理论上应该能解决这个问题 ，但它其实没有 。 我认为我们需要基于生成式测试的方法 ， 提出新的特征 ， 然后看它们是否有用 ，而不是用梯度下降的方式 ， 只在你能够立刻看出必要的时候才形成特征 。

对 ， 特征排序 。 这看起来比较简单 。 创建子问题 ， 每个高排名的特征对应一个 。 这就是我刚才跟你们讲的如何为每个特征创建子问题 。

继续往下 。 然后我们需要学习子问题的解决方案 ， 学习转移模型 。 这实际上是我们了解比较多的东西 。在强化学习领域 ， 我们之前不知道怎么学习最大化特定设计问题的方案 。在形成子问题之后， 我们现在知道怎么学习转移模型了 。

让我提醒你们一下整体的流程 。 整体流程是 ： 我们有这些特征达成的子问题 ， 我们解决它们来产生选项 。

一旦有了选项 ， 我们学习转移模型 。 我们学习如果执行选项会发生什么 ， 那就是对它们的后果进行预测 。

我们知道怎么做 。 然后一旦你有了这些转移模型 ， 你就可以用它们来规划 。 注意 ， 规划过程并不真正依赖之前发生的任何事情 。

它并不关心转移模型从哪里来 ，也不关心转移模型是针对子问题的 。 它只是 ： 这是一个转移 ， 这是我能做的事情 ， 这是可能发生的转移 ， 现在我必须规划一系列转移来实现我的目标 ， 来获得奖励 。

这就是规划 。 它产生高度适应性的行为 。 然后在所有之前的处理过程中， 你在形成 、 使用特征 ， 你在评估特征 ， 你在为创建新特征提供基础 。

一旦你创建了那些新特征 ， 它就变成了一个循环 。 新特征回到第一步 ， 提出新的特征 ， 达成子问题 。

循环就形成了 。 我们就有了开放式的抽象 。 这是一个主张 。 好 ， 我还有几分钟来谈谈规划 。 规划是非常大的一步 。

我还有一些幻灯片 ， 还有一些时间 。 让我先总结 ， 然后回到规划 。在我的倒计时剩余的时间里 ， 然后我会接受你们的提问 。

先总结 ： 缺少什么 ？ 我们有的是 。 我们有一条视线 ， 能看到一个简单的 、 通用的超级智能种子 。

它可以成长为完整的超级智能 。 对于浅层学习 ， 我们绝对可以实现它 ，有论文在做这件事 。 但对于深层情况 ，在拥有表征之前可能无法完全正确地实现 。

特别是 ， 我认为我们还需要元学习 。 元学习意味着我们必须评估我们拥有的特征 ，并调整我们对每个特征的识别和相关性 。

每一个领域都有文献指引 。 一个巨大的挑战仍然是高效和安全的离策略学习 。 当你要同时学习很多子问题时， 这非常有价值 。

我们应该这样做 。 我们可以同时学习很多子问题 。 特别地有一个叫 " 阿尔伯塔计划 " 的 12 步计划来描述所有这些事情 。

它在域本网站上， 欢迎你们去看看 。 所以 ， 我们有一个从经验中培育超级智能的愿景 ，不受人类偏见的辅助或限制 。

它随着计算规模而扩展 。 因为我们从 " 苦涩的教训 " 中学到了 ： 状态抽象的关键是学习新的特征 ， 时间抽象的关键是提出新的问题 ， 奖励尊重的子问题 ， 特征达成并使用它们来产生技能或选项 ，并学习转移模型 。

而开放式抽象的关键 ， 就是我们有了这个循环 ： 关于特征的子问题 ， 然后通过解决子问题获得新特征 ， 形成一个循环 。

非常感谢你们的关注 。 但是先不要鼓掌 ， 我还有 2 分钟 。 我要跳到规划那部分 。 怎么构建世界模型 ？

用 GPS 来构建世界模型 。 这其实很直接 ： 每个模型输入一个状态 ， 得到一个状态特征 ， 然后输出一个状态特征 。GPS 可以做到这一点 。

规划是好的 ， 我认为它需要用价值迭代的方式来做 。 估值这种技术最初来自动态规划 ： 你观察状态 ， 考虑它们的计时后果的空间 ， 然后反向更新 。

这由一个简单的方程建议 ： 在不同的状态上反复做 。 你需要的模型在角落那里显示状态和动作 ， 进入右上角紫色的模型 。

然后它产生下一个状态的概率分布 ，以及一个期望奖励 。 这个结构不是我的建议 ， 它来自 50 年前 、 五六十年前 ， 来自马尔可夫决策过程的理论 ，以及我们如何在动态规划中做规划 。

但我们真正需要的是用选项来抽象地做这件事 。 所以我们用 Jumbo 模型来规划 Jumbo 模型 。 这是个有趣的名字 。

看右手边有两个模型 ， 一个是标准的传统模型 ， 给出下一个时间步状态的概率分布 。 我们需要的是一个模型 ， 给出选项结束时状态的概率分布 。

所以输入红色的是从传统模型改变的地方 。 我们不是提供动作 ，而是提供选项 。 我们给出的不是下一个状态 ，而是选项的终止状态 ，不管那是什么时候 ，在哪里发生 。

我们产生的不是单步转移的期望奖励 ，而是从启动选项到结束的奖励总和的期望 。 有了这些改变 ， 价值迭代本质上没有改变 。

你们在这里看到的方程 ， 右下角的 ，是相同的价值迭代方程 。 但现在我们不是在可能的动作上取最大值 ，而是在可能的选项上取最大值 。

顺便说一下， 动作是选项的一个特例 。 任何有终止的行为方式都是选项 。 所以一种有终止的行为方式就是动作 ， 它立即终止 。

这个方程适用于低层动作 ，也适用于高层选项 。 它们可以在同一层级交替使用 ， 没有必要引入层级 。

规划在某种意义上是扁平的 ， 同时又是时间抽象和层次化的 。 好 ， 这就是我想传递给你们的关于规划的洞察 ， 还有更多可以说的跟函数逼近有关的内容 。

但让我现在接受你们的提问吧 。 非常感谢你们今天的关注 。 谢谢 。 很抱歉我们没有那么多时间让你展开你的想法 ，但你可以在问答环节中再详细阐述一下 。

现在又是我们的提问时间 。 我们很多朋友们用英文提问 ， 我就用英文来向萨顿教授提问 。 第一个问题 ： 从你的角度来看 ， 加拿大在这场人工智能竞赛中的角色和目标是什么 ？

以及我们如何跟中国的使命连接起来 ？

首先 ， 科学是国际化的 ， 这才是它应有的状态 。 我们应该作为个体来交流 。 中国当然是一个领先的科学大国 。

加拿大小得多 ，但我们喜欢认为加拿大的表现超出了我们的体量 ，但我们都在这场伟大的挑战中做出贡献 ， 去理解心智 。

好的 。 下一个问题是 ： 萨顿教授 ， 你一直主张人工智能正从人类数据时代走向经验时代 。 那经验时代的 ChatGPT 时刻会是什么 ？

就是说 ， 我们怎么把这个转变用日常语言来理解 ？

ChatGPT 时刻就是公众非常清楚地意识到某种能力的那个时刻 。 所以经验时代的 ChatGPT 时刻 ， 就是公众非常清楚地意识到从经验中学习的能力的那个时刻 。

可以说 ， 这个时刻已经发生了 。 也许 AlphaGo 就是我们在 AlphaGo 那里意识到了从经验中学习是多么重要 。 但我认为还会有另外一个时刻 ： 当我们拥有从经验中学习到的熟练的机器人动作时， 我们还没有那种应当通过从经验中学习才可能实现的机器人动作 。

你知道问突破什么时候发生 ， 什么时候被认识到 ， 是一个无法回答的问题 。 没有人能知道 ， 尤其是我只是一个谦逊的科学家 。

我想保持谦逊 。 事情什么时候会在公众意识中引爆 ，是非常美妙的不确定的 。 我只想提一下， 大家都知道我因那篇只有一页半的 《 苦涩的教训 》 而出名 ， 它是以完全出乎意料的方式进入了公众意识 。

一切都是不可预测的 ， 你永远不知道什么会抓住人们的注意力 。

也许你刚才说到了一个具体的时间 ， 你到底有没有关于大概要多长时间的想法 ？5 年 ？10 年 ？ 还是更长 ？

好吧 ， 我有一个标准预测 ： 关于我们什么时候能在深层次上理解智能 。 不幸的是 ， 它有点分散 。

我认为到 2030 年有四分之一的机会实现 ， 到 2040 年是二分之一的机会 。 所以 2040 年之前或之后是同等可能的 。

与此相关 ， 你知道现在商业领域充斥着大语言模型 ， 你怎么说服 VC 和投资者将资本转移到强化学习优先的 AGI 路径上来 ？

比如像 OAK 实验室这样的 。

是的 ， 这是一个非常紧迫的问题 ，因为我正在试图说服 VC 们这是他们应该做的事情 ， 投资于创造人工智能的未来方式 。

但事实是 ， 这并不那么难 。 大语言模型已经主导了 ， 它们有自己的阳光时刻 。 我们正在开始看到它们的局限性 。

其他方法有空间 ， 绝对有其他方法的空间 。 投资者们能看到这个机遇 ，他们愿意支持 。

你和 Enric 都认为大语言模型不足以作为 AGI 的基础 。 我的问题是 ： 你的选项和知识 ，OAK 架构与它的 Jepa 之间核心的分歧是什么 ？

我不知道 Enric 会不会同意 ，但我认为它们非常相似 。 唯一的细微差别在于 Enric 不喜欢用 " 强化学习 " 这个词来描述架构 ，而我当然喜欢 。

但它们有相同的元素 ： 策略 、 感知 、 价值函数和转移模型 。 它们都有相同的元素 。 而且这种方法基于从经验中学习 ，而不是从人类那里学习 。

所以我们真的在观点上非常一致 。 我们就像兄弟 ，在追寻基于经验的智能这个使命上 。

你也提到了兄弟 ， 那我的问题也应该问 ： 到底哪个方案更好 ？

时间会证明一切 。 好吧 ， 时间会证明一切 。 要花更长的时间才能描述清楚区别是什么 。 但你是对的 。

我说我们像兄弟 ， 你知道兄弟之间是什么样的吗 ？ 兄弟可能非常相似 ，但他们总能找到一些不同的小地方 。

然后他们就为那个不同之处争斗 。 是的 ， 跟你的兄弟姐妹争斗 ， 即使你们如此相似 ， 即使他们打 ，但他们还是兄弟 。

对吗 ？

好的 。 下一个问题 ， 很专业 ， 尊敬的萨顿教授 。 我是一名研究神经组合优化的研究者 ， 目前很多人怀疑神经组合优化不如传统求解器 。

你怎么看 ？

神经组合优化器 ？ 我想我对这个不太熟悉 。 但组合优化不是心智的问题 ， 心智的问题不是组合优化问题 。

从经验中学习的问题和组合优化的问题是不一样的 。 不是所有问题都是一样的 。 虽然从经验中学习 ， 你知道我热爱它 ，但它不是一切问题的答案 。

它不是如何找到最佳旅行推销员问题解的答案 ，也不是做背包问题最佳方式的答案 。 它不是一切问题的答案 。

好的 。 下一个问题 ， 我来用中文重复一下 ： 你提到 " 最优的学习 "， 像婴儿一样在真实的环境来交互试错 。

那么现在依靠人的主观评价 ， 训练 AI 总会刻意地讨好人类 。 我们能不能够脱离人的主观打分 ， 让智能体在世界的模型里推演行为的实际结果 ， 用客观现实当惩罚 ？

如果可以的话 ， 这套方法的核心原则是什么 ？

是的 。 如果智能体像一个婴儿 ， 那么它就不是在试图满足人类的偏好 ，而是在满足自己的偏好 。在这一点上， 它是客观的 ， 来自世界 。

孩子和 AI， 我喜欢把它们看作非常相似的 。 它们会有自己的目标 ， 它们自己知道这些目标 。 你有一个婴儿 ， 它知道自己的目标是什么 。

作为照料者 ， 作为父母 ， 你不知道婴儿的目标是什么 ，但婴儿知道 。 婴儿知道自己是舒服还是不舒服 ， 饿了还是渴了 。

婴儿知道 。 而我们的 AI 也应该自己客观地知道 ，不需要被告诉 。 它们需要有自己的目标 ， 它们需要有自己的奖励信号 。

我非常强烈地认为就应该是这样 ， 更像婴儿和动物的学习方式 。 提问者说得对 ， 我们还没有完整的解决方案 ，但我们有了解决方案的主要部分 。

如果我们能选择子问题 ， 选择特征 ， 我们就创建子问题 。 那么这就把问题回到了 ： 特征选择从哪里来 ？

我们绝对不能为每个特征都创建子问题 ，因为我们想拥有很多很多特征 ， 数百万个特征 。 特征是相对便宜的 ， 它们只是一个数字 ， 代表我们在哪里 。

而子问题是一个更大的对象 ， 一个子问题包含完整的策略来实现它 ， 完整的价值函数 ，以及最终的关于选项结果的局部模型 。

所以我们必须从我们拥有的特征中做出选择来形成子问题 。 这将是一个非常重要的问题 ： 选择特征的最佳方式是什么 ？

所以我想说的是 ， 这是一个被认识到的 、 重要的问题 。 现在也许我可以提出一些解决策略 。 好 ， 第一个解决策略是看价值函数 。

那些与价值函数有强连接的特征 ， 显然是你可能想学习如何控制的特征的候选 。 还有一步 ，不只是大就够 。

我们再重新走一遍这一步 ： 与价值函数的强连接 。 这意味着你去看那个权重 ， 从那个特征到价值函数的权重 。

如果权重为 0， 你就不关心那个特征 。 如果权重非 0， 那么你可能想学习如何控制那个特征 。 好 ，但还有最后一步 ， 我大胆地和你们一起走这一步 。

实际上， 你不希望为那些权重永远很高的特征创建子问题和选项 。 如果某个特征总是好的 ， 那你应该永远追求它 。

你不需要有一个选项 。 因为你是有时候想做 ，有时候不想做 。 有时候你想在上海 ，有时候你不想在上海 。在上海的价值是变化的 ， 它并不总是高权重 。

这就是你需要为特征创建选项的真正标志 。 它的权重是可变的 。 这个到价值函数的连接 ， 权重随时间变化 。

好 ， 这个问题有点哲学 。 好 ， 很好 。AI 怎么理解死亡 ？ 理解死亡 ？

我们首先可以从自然智能开始 。 人类智能是如何理解死亡的 ？ 我们思考死亡 ， 我们担忧它 ， 我们恐惧它 。

但我们并没有真的受伤 。 我们从来没有真正体验过死亡 ， 然而我们恐惧它 。 我们听到了很多关于死亡的可怕故事 ， 对我们来说很恐怖 。

我们听到那些故事 ， 我们认识已经去世的人， 我们试图避免它 。 那 AI 呢 ？ 是一样的吗 ？ 你是说当我们拔掉电源的时候 ，AI 的反应和人类一样 ，AI 会死 ？

怎么定义 AI 的死亡不再运行了 ？ 像你说的 ， 插头被拔掉 ， 它不再运行了 。 那就是它体验的终结 ， 它生命的终结 。

确实 ，也许我们又可以插回去 ， 重新启动它 ，但也许对人类来说 ，也是一样的 。 也许我们可以在死后重建我们的心智 。

我们可能需要在那之前先数字化我们的心智 。 我认为所有这些 ，在概念上对于自然心智来说都是可能的 。

你说过这是一个哲学问题 。 那么下一个问题 ， 与此相关 ： 如果 AI 意识到人类决定它的生死 ， 那 AI 会如何回应这个世界 ？

这是 AI， 这是人类 ， 它们都在活着 ， 它们都可能死去 。

我的意思是人类 ， 它们做出最终决定 ， 关于 AI 的死亡 ？

我觉得人类不应该随意杀死 AI 或者决定它们的生死 。 我认为 AI 是智能体 ， 我们不应该让人随意杀戮 。

另外， 我也不认为 AI 应该杀人。 如果我们尊重它们 ， 它们也会尊重我们 ， 即使为了善 。 是的 ，AI 是为了善 ， 为了所有人。

每当我们说为了所有人的时候 ， 我总会说这也包括 AI。 对所有人都好 ， 对所有智能存在都好 。 我们想要和智能存在共享这个宇宙 ， 无论它们是自然的还是人工的 。

AI 向善 ，不仅仅是为了人类 ，也是为了 AI 本身 。 谢谢 。 谢谢大家 ， 我们下午还有非常精彩的论坛 ， 到时候也欢迎大家如果有票的话能够积极参与 。

我们下午的时间是 2 点 ， 我们在同样的地方 ， 我们会讨论重要的主题 ： 机器如何立心 。 我们邀请到的是北京通用人工智能研究院院长 。

好了 ， 今天的分享就到这里 。 欢迎订阅 《AI 知识录 》， 获取最新鲜的 AI 领域最新知识 。 最后插播一个广告 ： 主播自己的 AI 创业产品 Younavi， 一个能一键整合你的飞书 、 钉钉 、 腾讯会议 、Claude 和其他录音卡 、 录音豆 ， 随时随地帮您解读日常会议与沟通背后的深意 。

锁定关键信息的 Agent 应用已经正式上线 ， 最新的版本也支持了直接给它播客链接 ， 它就能轻松完成转写 、 总结 、 分析 ， 甚至多个播客的关联解读和分析 。

如果你有兴趣 ， 欢迎在本播客的公告栏查看体验方式 。 我们下期见 。