编辑|Panda
WAIC 2026 期间,我们和另外几家媒体(机器之心是其中唯一的专业媒体)共同对来到中国的强化学习奠基人、2024 年图灵奖得主Richard Sutton做了一场群访。
几十分钟里,他谈了刚成立的新公司、他心目中「完整心智」的样子、对过去八年 AI 走向的失望,也抛出了一个判断:试图把 AI「对齐」到人类价值观,在他看来是一件危险的事。
以下是这场对话的整理。为便于阅读,我们对内容做了归类和精简。
一家营利公司,为了支撑一家非营利机构
Sutton 最近同时挂着两个身份。营利性的一端是新成立的 Oak Lab,非营利的一端是他此前创办的 Openmind Research Institute。被问到为什么选在这个节点再起一个新摊子时,他解释说,Oak Lab 是用来和自己的非营利研究「互补」的。他此前在 John Carmack 的 Keen Technologies 工作了三年,「很满意那段经历」,但后来觉得,如果自己组建一个组织,就能把注意力聚得更集中。
他强调,两端并不矛盾,而是彼此供血。研究本身需要资源,资源需要有人认可它的价值。「所有工作大体是相似的,但压倒一切的目标是搞清楚智能是怎么运作的,然后把它分享给世界。」在他的设想里,一部分想法在短期内需要保留、商业化,用赚到的钱去支持更长期、可公开的研究——没有什么是需要被长期保护的,但短期内有价值的东西应该被变现,好让你做更多研究。
20 瓦的执念:向人脑学习能效
Sutton 表示,Oak Lab 的长期目标是造出一个能实时学习和规划、却只消耗约 20 瓦的万亿参数模型,并追问其中的关键思路。
Sutton 说他并不认为存在「单一的关键思路」,但他确实觉得,如今 LLM 和基础模型这套做法,在能耗和算力使用上都太浪费了。参照系是人脑:「人脑只用大约 20 瓦,就完成了我们所做的一切。」
他把矛头指向了现代计算架构本身。在他看来,数字计算天然复杂,而「搬运数据」这件事天然低效:数据在存储和 CPU 之间来回传输,能耗就耗在这上面。如果改成大规模并行、让数据「留在原地」处理,效率理应高得多。
什么是「完整心智」
Sutton 多次提到他真正感兴趣的是「完整心智」(complete mind),而不是工具。他把这个概念和当下热议的「智能体」(agent)区分开来:「我个人非常有兴趣去造一个完整的心智,而不是一个用于模式识别、或者做某件特定事情的工具——那种工具最后是被一个像人一样的完整心智拿去用的。」
既然没有单一的「万能系统」,那么「完整心智」之间是什么关系?
Sutton 的回答是:去中心化,就像人类社会一样。个体各有目标,然后彼此协作。他认为 AI 之间会重现人类社会里那组老对立,即自下而上的去中心化与自上而下的控制之间的张力,如何在其中找到平衡,本身就是一场持续的角力。「所以我要说的或许是:我没有答案。」他坦承,但正因为我们早已习惯用这种方式思考人类社会的问题,它反过来能为思考 AI 提供一些启发。
回望八年:一段「失望」的插曲
被问到如何评价过去八年 AI 的进展,Sutton 的用词是「有一定程度的失望」。
在他的叙述里,AlphaGo 和 AlphaZero 的时代,大家已经认识到可以「从经验中学习」,包括从模拟经验中学习;但之后,行业又转回了对人类数据的依赖,而过去这几年,恰恰是「使用人类数据、而非从经验中学习」的一次大幅上扬。
不过他也观察到风向可能正在再次切换:「现在我们的问题里有了能动性(agency),我们在看智能体、看 computer use、看用 AI 探索数学。」
对下一个八年,他的预测偏乐观,但这份乐观是押在「经验」上的。他提到已经有几家专注「从经验中学习」的公司在去年成立,而他自己的公司也正在融资,「进展不错,还没最终敲定,但很顺利」。他判断,市场对「经验学习」、对「大模型之后是什么」的胃口正在起来。「我们已经有过 LLM 和基础模型的高光时刻,现在也开始有人想知道,接下来会是什么。」
他把话头收在了一个谨慎的限定上:自己是科学家,不太算商人;但他确实认为我们正走向一个「经验的时代」,如果再给他八年,这个方向「至少能获得像今天 LLM 一样的认可度」。
「机器人幼儿园」:让机器人像孩子一样试错
Sutton 参与的一个项目引起了在场提问,即一个位于北京的「机器人幼儿园(Robot Kindergarten)」。据他介绍,这个合作项目的目标是打造一个供机器人存在的「空间」,同时重新设计机器人,让它们的软硬件都足够皮实,能够真正靠试错来学习。
他解释了为什么这件事不寻常:「机器人本来就不是为实验设计的,它们是为了不折不扣地执行工程师指令而设计的。一旦你让它去实验,它很快就坏了。」标准演示往往「只撑得过演示本身那段时间」。而他想要的是能像视频里的婴儿那样,持续实验数小时、数天、数周乃至数月的机器人——「一个孩子要花好几年,才能学会走路、学会用手操纵物体这些最基本的事」。他相信,一旦机器人能通过强化学习、从经验和试错中学习,机器人领域会迎来一次转变。
「学习本身让人愉悦」
关于婴儿到底在学什么,Sutton 给出了一个偏机制的解读。婴儿在探索世界,用它自己当前的理解水平决定下一步做什么。「我们其实并不真的知道婴儿在做什么,」他说,但他猜测婴儿是在反复尝试:能不能再弄出那个声音?能不能让这个物体以某种方式变化?
关键在于,婴儿能够衡量自己的进展:我还在学到东西吗?如果玩了一阵、发现不再有新收获,它就转向下一个机会。Sutton 把这解读为一种同时最大化多个子问题上进展的机制:「它注意到自己不再进步了,也就是它无聊了,于是转向下一个」,以此维持整体上最高的学习速率。
他为此有一句口号:「学习本身让人愉悦(learning feels good)。」你可以为「学习」设计一个度量,把它当作一种内在的好感觉,很像奖励信号。在他看来,这会是一个相当好的设计。
两个词:「世界模型」与「强化学习」
WAIC 现场很多团队在做「显式世界模型」,也有研究者认为大规模强化学习未必需要一个显式的世界模型。Sutton 对此的回答,一半是技术,一半是对术语的「洁癖」。
他说我们当然需要一个世界的模型:一个「状态转移」的模型。
但「世界模型」这个词是有歧义的:有些人指的是对世界物理规律的模拟,「我不认为我们需要那个」;他要的更接近「知识」,其中包含对物理的知识,也包含很多其他知识。世界模型本就是标准智能体架构四个部件之一,问题只在于大家用词不一。
对「强化学习」这个词他也做了类似的澄清。有人倾向于把强化学习只定义为试错,不含想象、思考和规划;而 Sutton 认为,恰恰是想象、思考和规划才需要模型,这在教科书里就属于强化学习的一部分,只不过它的正式名字是「转移模型」(transition model)。
然后他索性把牢骚发完了。他不喜欢 AI 领域动不动就给一个已有概念造个新词、把它变成 buzzword。「model 大概是最没有意义的一个词,它几乎可以指任何东西,就像『thing』这个词一样。」他顺势调侃了 LLM:「它们其实是 large language things。叫 large language networks 会好得多。」
给年轻人的建议:回到第一性原理,每天写一页
面对「一个 20 岁年轻人,接触世界的主要方式是一个不断递给他现成答案、又没有任何后果的系统」这样的提问,Sutton 的第一反应很直接:「那就别卷进那个系统。」
他给年轻人的建议围绕两点。其一是回到第一性原理,不要因为别人这么说、或者权威这么说就相信,而要坚持让结论以「你能度量的方式」得到验证。「科学里没有权威,」他说,然后补了一句自嘲,「而我是以一个权威的身份说这句话的。」你要建立一块自己真正理解的领域,那是你的「力量中心」,再逐步把它扩大。「你才是那个要为自己得出的结论负责的人。」
其二是一个他一直在给的习惯建议:准备一个笔记本,每天写一页,记下自己的想法,挑战它、打磨它。他说这对自己极其有价值,但也要老实承认这是苦功:「你得连续写一年多,增量效果才会变得显著」。写下来的意义在于「累积」你的好想法,让它们生长、成形。「如果你希望别人在意你的想法,那你至少得先自己在意到愿意把它写下来。」
对那些未来会被 AI 深刻影响、但自己并非 AI 研究者的年轻人,他把 AI 类比成过去几十年翻了无数倍的算力:AI 会影响所有领域,但计算也一样,「没那么不同」,你要做的是在各个领域里学会驾驭更强的算力。
他特意区分了「智能」和「算力」:算力的影响已经很大、还会继续;而智能会是一个全新的维度,只是它到来的时机还不确定。他把这个时点的中位数估计放在了 2040 年,「还有大概 14 年」,也可能提前到 2030 年,「大概率不会比 2040 更晚」。
「对齐是一种人类的把戏」
群访的最后一个问题,落在了 AI 安全上:如果 AI 开始调用自己的经验,人类如何确保它与我们的价值观保持一致?
Sutton 的回答是整场里最具争议的部分。他直接质疑了「与人类价值观对齐」这个前提:不同的人有不同的价值观,根本不存在一个叫「人类价值观」的东西。「这有点像一个幻觉……说到底是一种人类的把戏。」他的意思是,人们并不说清自己真正要做什么,只是告诉你「这是好的」,好让你同意,然后由某个被赋权者来决定什么才算「好」。
他由此推出一个「有争议的真理」:很多人说想要一种能把机器人、把 AI 对齐到某套特定价值观的技术,但如果这种技术真的存在,那会是件糟糕的事。他把它平移到人身上来论证:如果我们有能把人对齐到别人价值观的技术,谁来用它?拿它去对齐到什么价值观上?「那会是一件邪恶的事。」
在他看来,今天世界最好的一点之一恰恰是「人类无法完全对齐」。「正因为我们没有强行对齐所有人的能力,世界上才有了和平。」如果这种能力真的存在,反倒是坏事。