姚顺宇访谈:从物理转向大模型,在 Anthropic 与 Google DeepMind 训练模型

阅读说明

本文依据完整视频整理,视频时长约 3 小时 48 分。时间点对应各段话题的起点,便于回看。访谈录制于 2026 年 3 月,节目补充说明了录制后发生的行业变化。涉及公司机密的地方,姚顺宇多次停在公开信息和个人经验的范围内。

  • 主持人: 张小珺
  • 嘉宾: 姚顺宇,清华大学本科、斯坦福大学物理学博士,曾任 Anthropic 研究科学家,现任 Google DeepMind 研究科学家
  • 主要经历: 凝聚态理论与非厄米系统、高能物理与量子信息、Claude 3.7 与 Claude 4.5、Gemini 3 系列

这场访谈谈了什么

这场对话有三条线。

第一条是技术。姚顺宇谈预训练、后训练、Coding Agent、长程任务、多模态生成、机器人和世界模型。他的基本判断很明确:模型进步仍然很快,预训练和后训练都还有空间;目前更难的环节,是把目标、数据、环境和回馈信号定义清楚。Coding 率先跑出来,关键条件包括数据充足、结果容易检查、模型能够和工具及环境持续交互。

第二条是组织。他比较了 Anthropic 与 Google DeepMind 的工作方式。Anthropic 规模较小时决策集中、反应快,看到 Coding 的信号后能迅速投入;Google 的技术储备更广,适合把已经逐渐确定的路线做成大型工程。模型训练牵涉许多人和庞大的基础设施,局部技巧只有放回整套系统里才有意义。

第三条是个人经历。他从宁夏、上海一路到清华和斯坦福,先研究凝聚态理论,随后转向高能物理,博士毕业后离开做了九年的物理。他喜欢进入陌生方向,愿意承担转换成本。进入 AI 两年后,他越来越强调可靠、细致、对结果负责,也越来越警惕把大型模型的进展归到少数个人身上。

访谈中的关键判断

  • [00:05:47] 前沿实验室已经很少担心“能否追上”,新的难题是决定下一步教模型做什么。
  • [00:23:42] 2026 年值得关注的一条路线,是让模型用有限上下文训练,却能在实际任务中持续工作很久。
  • [00:25:22] 他没有感到模型进步放缓,也没有看到未来几个月预训练到顶的迹象。
  • [00:35:08] Coding 的回馈信号清晰、数据多、产品价值直接,因此率先形成了强 Agent 场景。
  • [00:54:30] 他区分直接复制其他模型输出的“硬蒸馏”和把模型用进数据流程的“软蒸馏”,对两者评价差别很大。
  • [01:04:07] 机器人硬件进展快,软件泛化仍弱,行业还在等待类似语言模型规模化转折点的突破。
  • [01:43:09] 物理训练带给他的主要影响是做事方式:刨根问底、系统检查、重视实验与理论的对应。
  • [01:52:32] Claude 3.7 是 Anthropic 后训练规模化的重要节点,基础设施、环境、数据和稳定训练共同决定结果。
  • [02:35:03] 他称 AI“本质上简单”,意思是多数想法可以通过实验检查,眼下待验证的想法多于实验能力。
  • [02:41:10] 他在 Google DeepMind 主要关注 ML Coding 和 long horizon,希望补齐 AI 研究的完整闭环。
  • [03:14:46] 大型 AI 系统最看重可靠:研究员要检查指标有没有被钻空子,也要理解局部改动对全局的影响。
  • [03:23:33] 语言模型的个人英雄阶段已经淡去;多模态生成、机器人、AI for Science 仍有很大的探索空间。

一、两个 Shunyu Yao,以及行业进入的新阶段

两位姚顺宇、姚顺雨 [00:01:26]

硅谷 AI 圈有两位同音名的 Shunyu Yao。姚顺雨一直走计算机路线,读过清华姚班,后来从 OpenAI 回国加入腾讯;本期嘉宾姚顺宇本科在清华基科班,长期研究理论物理,后来转入 AI。两人是清华同届学生,大学时就认识,赴美后一个去了普林斯顿,一个去了斯坦福。姚顺宇说,两人的经历容易被混淆,研究兴趣和性格其实差别很大。

他对姚顺雨的评价很高,尤其欣赏对方对人机交互和产品的思考。两人在湾区时常见面,更多是散步、吃饭、打牌和聊近况。姚顺雨回国后,他们仍会隔一段时间通话。主持人问他为何没有一起回国,他说当时换工作的首要动机是学习,希望接触更广的方向,也没有把领导一个项目放在最前面。

模型能力逐渐接近,题目定义变得更难 [00:05:47]

对于“AI 是否进入下半场”,姚顺宇没有采用这个说法。他观察到,Gemini、OpenAI、Anthropic 三家对追赶能力都有信心。纸面评测的差距越来越小,许多榜单接近上限,一两个百分点里混着大量噪声。实际使用仍能感到风格差别:他认为 Claude 的通用工具调用与 Agent 表现较强,Codex 在纯 Coding 上缩小了差距,Gemini 在推理和日常使用上有优势。

早期差异很大程度来自主动选择。团队把精力、基础设施和数据投向哪里,模型就会在哪类任务上表现突出。随着公开评测逐渐打满,真正困难的工作转向题目定义:希望模型表现出什么行为,怎样构造环境,怎样给出可信的回馈。某些能力也会从数据分布中意外长出来。早期网页数据里的 GitHub 内容质量较高,这可能帮助代码能力比其他能力更早显现。

二、竞争、产品壳与“逃逸速度” [00:11:13]

OpenClaw 为什么引起关注

姚顺宇说,OpenClaw 在业外引发的讨论更热烈。类似原型在大公司内部早有人做过,技术能力也在 Claude Opus 4.5 前后基本具备。它的重要性在展示:模型可以调动许多工具,控制不同模型,把分散步骤串成很长的任务。公众由此直观看到长程 Agent 的产品可能。

他没有看出 Manus 和 OpenClaw 之间存在清楚的技术断层。两者的走红时间不同,也可能来自产品执行和传播。节目在画面中注明,录制时 Meta 收购 Manus 的交易还没有撤销。

模型公司与应用公司的关系 [00:15:03]

姚顺宇认为,当前多数壁垒仍集中在模型侧。产品壁垒将来可能形成,数据飞轮目前还缺少得到广泛验证的实例。Coding 是他眼下能看到的强 AI 原生场景。Chatbot 延续了搜索的核心需求,同时加入追问、综合与信息压缩。

应用公司要长期生存,他提出两条可能的路:

  1. 增长足够快。 在模型公司做出同类产品前占住用户心智,再逐步拥有自己的模型。Cursor 正在走这条路。它早期与 Anthropic 互补,Claude Code 做大后,双方开始直接竞争;Cursor 也在训练 Composer。
  2. 守住模型公司不愿投入的细分市场。 市场规模较小,专业需求清楚,模型公司缺少投入动力。Midjourney 是他举出的例子,Lovart 也可能有机会。

效率工具容易走向赢家集中。Cursor 已经增长得很快,仍需面对上游模型公司进入产品层的压力。创业者可以赌一个极大的通用市场,也可以先拿下有扩展空间的小市场。姚顺宇个人更愿意从后一条路起步。

为什么产品常从小团队里先跑出来 [00:20:33]

他把 Meta 收购 Manus 的价值理解为获得一支亚洲产品团队,以及在新加坡建立吸引东亚人才的落点。他对产品本身为何必须通过收购获得存疑,也没有看懂 Google 收购 Windsurf 人员的全部逻辑。

大公司发布面向公众的 Agent,要处理权限、安全、法律、品牌、服务资源和长期维护。个人开源项目可以先把粗糙版本放出去,再吸引社区一起改。这组责任差异,使外部小团队常常更早把新形态推到公众面前。

三、2026 年的模型进展与预训练 [00:23:42]

有限训练上下文,支撑很长的实际任务

姚顺宇反复提到一句工作口号:train with finite context, use as infinite context。他的设想是,模型训练时仍用有限上下文,运行时能持续处理接近无限长度的任务。模型可以按当前目标丢掉低价值信息,把重要内容存到外部,需要时再取回。个人助手、持续协作和长期项目都会由此受益。

他预计这条路线在 2026 年会取得实质进展。技术路线还没有收敛,预训练侧可以研究稀疏注意力,后训练和产品侧可以发展上下文管理、外部记忆和检索。最终还要在真实用户任务里比较效率和稳定性。

“Pre-train 没有到头” [00:25:22]

姚顺宇没有感到模型进步变慢。单一评测必然越接近 100% 越难上涨,榜单速度无法直接代表用户体验。模型从 50% 到 60% 和从 70% 到 75% 给人的改善感受也可能相反。对研究者来说,更明显的变化是模型越来越容易学会新任务。过去需要许多技巧的训练,现在常常只需把问题、数据和环境设计好。

他认为预训练仍在增强,至少未来四个月没有看到到顶迹象。团队声称碰到 Scaling Law 的墙,可能有三类原因:规律的适用范围确实结束;数据等条件无法继续满足;实验、实现或测量里藏着错误。他接触到的情况中,第三类很常见。一个普通 bug 的修复,有时比复杂的新技巧带来更大提升。

关键能力是系统排查。模型表现偏离预测时,团队要逐项检查训练数据、token horizon、模型大小、训练量和实验假设,用消融实验判断真正的因果因素。他认为 Gemini 与 Anthropic 在这类系统工作上都很强。

Scaling Law 仍是一种研究框架 [00:30:14]

他没有把 Scaling Law 理解成单纯“把模型越做越大”。它提供一个框架,用来判断模型规模、数据量和计算量怎样配合,哪些投入更有效。数据枯竭也不只看互联网文字总量。合成数据、多模态数据、环境交互和更好的筛选,都可能改变有效数据的边界。

他的判断范围很克制:未来几个月能看到的实验路线相对清楚,更长时间很难预测。前沿实验室内部的兴奋点也发生变化。很多研究者开始认真想,若 AI 很快能承担自己的研究工作,下一步该把注意力放在哪里。

四、Coding 为什么率先爆发 [00:35:08]

关键节点与使用变化

姚顺宇把明显转折放在 2024 年秋天的 Claude 3.5 New,也就是外界常说的 3.6。那一代模型让开发者第一次清楚感到 Agentic Coding 已经能提高工作效率。Cursor 把模型包进顺手的产品,扩大了这种感受;Claude Code 随后把能力继续向完整任务推进。

他自己如今绝大多数代码由模型生成,给出的口头估计超过 90%,甚至接近全部。人的工作转向说明目标、提供上下文、设计实验、检查结果和判断实现是否可靠。他所在的 Google 环境无法使用 Claude Code,但同类工具已经显著改变日常研究。

他估计,实验实现效率可能提高 20 到 50 倍。过去一个想法要花几天写代码,研究者会提前筛掉许多不确定尝试;现在很多想法当天就能跑起来。他把更多想法投入测试,工作时间仍很长,实验密度也随之上升。他描述自己的工作日通常从早上处理邮件和实验开始,白天到办公室,晚上常做到十点或十一点。

Coding 具备三项有利条件

  1. 结果容易验证。 代码能否编译、测试是否通过、任务是否完成,都能转成较清楚的回馈信号。
  2. 数据来源充足。 GitHub、代码库、issue、测试和工程文档提供了大量结构化材料。
  3. 好坏标准相对一致。 可读性、正确性、测试覆盖、性能和维护性虽有争议,仍比许多开放式工作容易评价。

Coding 也提供了一个很好的研究抽象:模型调用工具、读取环境状态、执行动作、观察结果,再继续调整。这里得到的方法,可能迁移到更广的 Agent 任务。

程序员、产品经理与工作分化 [00:43:00]

他认为程序员数量会逐步下降,技术能力和收入可能向少数人集中。访谈里用“千分之一的人拿百倍收入”作了夸张示意,重点是分化方向。仍然有价值的人包括技术判断很强的人、能够拆解复杂任务的人、理解组织目标的人,以及会与 AI 协作并承担结果的人。

数学和理论物理也已经从模型中受益,因为许多问题有可检验的答案。产品经理更难自动化,主要障碍是目标模糊、评价标准依赖情境。优秀产品经理还要发现新的交互方式。姚顺宇后来把 Claude Code 看成一次交互层面的变化,类似短视频产品改变内容消费方式。

五、多模态生成、Seedance 与中美模型差距 [00:50:10]

Seedance 的进展给 Google DeepMind 多模态团队带来压力。姚顺宇把它看成执行效果很强的产品,没有把它归为新的基础范式。字节跳动的优势包括数据、产品细节和面向消费者的长期积累。

他将多模态拆成理解与生成。多模态理解已经比较成熟,可以接入语言模型现有框架;图像、视频、声音生成仍有许多科学问题。这里还没有出现语言模型那种公认的规模化方法,因此仍可能产生重要的新方法和关键团队。

他特别提到吴永辉。吴永辉职位很高,仍保持很强的技术参与,能看代码和具体项目。姚顺宇把这种状态视为少见的技术领导力。

过去一年到一年半,中美模型差距明显缩小。中国团队算力条件受限,反而更早、更广地尝试蒸馏和数据效率方法。这里也引出他对“硬蒸”和“软蒸”的区分。

六、“硬蒸”与“软蒸” [00:54:30]

硬蒸馏

“硬蒸”指直接拿 Claude 等模型生成的 token 训练自己的模型。姚顺宇对此评价很负面。他认为这种做法在商业伦理上有问题,也会让团队依赖别人的目标和能力分布。模型或许能迅速接近,但团队没有建立自己的数据判断和研究方向。

软蒸馏

“软蒸”把其他模型当作数据流程的一部分,用于生成候选题、评价样本、清洗数据、辅助构造环境或形成多模型协作。姚顺宇承认商业边界仍有灰色地带,技术上却更值得研究。不同模型有不同分布,多模型互相提供信号,可能发展成新的训练方式。

他观察到,字节在中国大厂里表现得较有自身特色,直接蒸馏的痕迹相对少。豆包整体智能水平与 Gemini、Claude 仍有差距,语音生成却可能处于世界前列。美国模型产品长期围绕生产力,中国公司更重视语音、陪伴和复杂消费者场景。

豆包手机与产品取舍 [00:59:00]

豆包手机展示了端侧助手控制应用的方向,想法和完成度都值得重视。成本会决定它能否成为长期产品。若为用户订一张火车票所消耗的推理费用超过票价,这种服务很难大规模成立。

主持人问到 Apple。姚顺宇认为 Apple 当然在意 AI,公开姿态显得克制,也可能和执行进度有关。豆包回答快、语言短,更多体现产品优先级和训练取舍。Gemini 3.1 相比 Gemini 3 也更快、更简洁。

七、机器人:硬件很快,软件仍缺泛化 [01:04:07]

姚顺宇对中国人形机器人硬件的价格和制造速度印象很深。供应链、零部件与整机工程已经进展很快。软件仍像早期的特征工程阶段:团队能用强化学习把一个固定场景优化得很好,换到新环境后性能下降明显。

他把泛化看作分界线。语言模型在 Transformer 与大规模预训练之后跨过了这道线,机器人尚未找到相同量级的通用方法。VLA 等路线可能借助语言和多模态基础模型,也仍需解决动作、物理反馈和真实环境差异。

他参观过 Google DeepMind 的机器人实验室,也看过外部团队的展示:机器人从货架取物、叠衣服、倒水。这些系统很有趣,离大范围稳定使用还有距离。在他的技术坐标里,机器人和多模态生成都还没有到达语言模型从 GPT-1 走向规模化的那个时刻。

八、成长经历:总去选自己不熟的事 [01:08:45]

从宁夏到上海,再到清华

姚顺宇出生在宁夏大武口,一座和煤矿联系很深的城市。小学时全家搬到上海,后来去北京读清华,再到美国读博士。这些移动没有被他讲成一套精心规划,更像在每个节点选择一条有挑战、能带来新经验的路。

初中时他没有参加竞赛,高中报考格致中学的竞赛班,因为普通班的路径已经比较熟悉。他把这次选择形容为去一个处于弱势的位置赌一把。后来参加清华夏令营时,他发现北京学生有考试机会,上海学生的安排不同,于是直接给招生老师发消息争取。小范围考试最终给他带来降分资格,高考只需达到一本线便可进入清华。这个经历让他相信,规则里有疑问就可以直接问,机会也可以主动争取。

父母很少干预他的选择。他通常先形成决定,再把结果告诉家里。父母若不了解一个方向,也不会替他做判断。这种成长方式强化了他的自我驱动:目标主要和自己比较,胜负欲也更多指向能否完成自己设下的任务。

清华基科班的自由 [01:15:00]

清华基科班允许学生较早进实验室,课程和研究选择也比较自由。许多学生最后离开物理,班级并没有把留在本专业当成唯一成功标准。姚顺宇很早进入汪忠老师的理论凝聚态课题组,开始研究非厄米系统。

他喜欢在完成一个方向后换到陌生问题。继续深挖成熟主题更容易积累引用、论文和职位,他仍会在觉得学习增量变小时离开。主持人把这概括成“折磨自己”,他也承认挑战陌生领域会带来自我消耗。只要能换来信息、经验和能力,他仍觉得值得。

九、非厄米系统与量子物理 [01:19:44]

非厄米系统在研究什么

孤立量子系统的演化通常由厄米哈密顿量描述,演化保持幺正。真实系统会和环境交换能量、粒子与信息,写成有效理论时可能出现非厄米哈密顿量。姚顺宇本科阶段遇到一个明显矛盾:周期边界条件下的理论结果,与开放边界条件下的数值结果完全对不上。

继续排查后,他发现传统 Bloch 波框架在这类系统里会失效。大量本征态堆积在边界,后来被称为非厄米趋肤效应。围绕开放边界下的本征态与动力学,他们建立了一套新的描述框架。这项工作对他的重要意义,既有研究结果本身,也有方法上的教训:当理论和数值冲突时,先认真检查冲突,旧框架也可能有盲点。

他称导师汪忠思考敏锐、表达清楚,也给学生很大自由。这个环境让他能沿着异常结果持续追问。

量子、经典与不同尺度 [01:27:00]

姚顺宇用有效理论解释量子与经典的关系。不同尺度适合不同描述,重整化群帮助研究者理解微观自由度怎样汇总成宏观规律。量子纠缠和“薛定谔的猫”说明,量子态可以保留经典直觉难以容纳的关联;宏观实验很难维持这类状态,因为环境会迅速造成退相干。

谈到蝴蝶效应,他区分了经典和量子语境。经典系统里,微小扰动会随时间指数放大;量子系统可以通过局域观测量等方式研究相似的敏感性。主持人追问这些概念时,他多次提醒定义和尺度,避免用一个流行词覆盖不同物理现象。

十、高能物理博士:评价体系带来的转折 [01:36:27]

从凝聚态理论转到高能物理后,姚顺宇研究量子信息、黑洞及相关理论问题。高能理论的实验验证很少,许多工作依赖小领域内部的判断。论文可以达到同行认可的标准,真实影响仍可能很低。

他对自己的博士工作评价很严厉:外部履历看起来合格,自己很难确认它对世界产生了什么影响。博士最后两年,他逐渐确定要寻找评价更客观、实验反馈更快、能产生实际作用的方向,因此开始了解量子计算和 AI。

伯克利给了他一个自由度很高的博士后机会。他正式入职后只待了两周,入职前已经在当地跟组活动两三个月。伯克利的老师知道他在和 AI 公司谈,仍建议他先保留职位,等选择真正落定。姚顺宇特意提到,湾区两所学校的老师都很照顾年轻研究者。

十一、物理怎样影响他做 AI [01:43:09]

可迁移的是习惯和性格

姚顺宇直言,物理到 AI 的工具技能转移很少。真正留下的是刨根问底、系统做实验、系统做理论、检查假设的习惯。他也不把这些品质归为物理专业独有;计算机、化学、生物等背景的人同样可以形成。

Anthropic 有较多理论物理出身的研究者,一部分原因来自创始团队的人际网络。技术创始人中有人学物理,早期招聘沿着熟悉的圈子展开。公司成熟后,几乎不再招完全没有 AI 背景的人。这更像特定阶段形成的人才结构。

“黑盒”、Scaling Law 与经验规律 [01:44:22]

在姚顺宇看来,黑盒是相对概念。物理也常用某一尺度下有效的规律描述世界,研究者未必能从最微观机制一路推到宏观行为。大模型还没有达到逐个人工神经元解释实际行为的程度。Anthropic 的可解释性团队能在较小、较稀疏的网络里研究内部表示,实用前沿模型仍很难做到同样精细。

Scaling Law 提供了另一层理解:模型大小、数据和困惑度之间出现稳定的经验关系。热力学定律早期也先以经验形式出现,后来才逐步获得微观解释。语言模型的经验规律将来能否走到类似阶段,需要更多时间和稳定的技术对象。

他对“智能涌现”这个词很谨慎。不同人使用时指向不同现象,很难形成可检验定义。他更愿意谈一个清楚的变化:训练技术达到可规模化的点后,多种能力能够一起提升。这是可观察、可测量的技术转折。

为什么在量子计算和 AI 之间选了 AI [01:48:19]

量子计算看起来离量子物理更近,现实瓶颈却集中在实验实现。搭光学平台、控制器件与工程系统离他的兴趣和长处较远。AI 允许研究者提出想法、写代码、做数值实验、马上看结果,这和他喜欢的研究方式更接近。

他常把当下 AI 类比为十七、十八世纪的热力学研究:微观机制还不清楚,经验规律已经能指导实验;理论与实验也没有严格分工,一个人可以提出假设并亲自验证。这个类比解释了他离开理论物理后为何很快适应模型研究。

十二、加入 Anthropic,训练 Claude 3.7 与 4.5 [01:52:32]

转行、面试与第一个选择

2024 年八九月,姚顺宇决定转入 AI。他同时接触 Anthropic、OpenAI 和 Google DeepMind。Google 当时面试推进较慢,OpenAI 没有找到特别合适的团队和工作。Anthropic 的一位理论物理出身经理告诉他,公司正在探索大规模强化学习,有很多科学问题尚待理解。

那时 o1 还没有正式发布,外界只听过 Strawberry 的传闻。姚顺宇对工业级模型训练了解很少,便把能找到的课程和作业过了一遍,照 Andrej Karpathy 的项目手写了一个小型 GPT。拿到 offer 后,他在模型评测和强化学习两个方向之间选了后者,因为问题更不明朗。

他加入时公司约七八百人,所在的 Horizon 大组只有十到十一人,覆盖强化学习的数据、环境、基础设施和算法。他所在的小组偏研究与算法。

Anthropic 的执行方式 [01:58:18]

他对早期 Anthropic 的印象是执行力强、信息流动快、同事互相信任。公司看到 Claude 3 在代码上超过 GPT-4 的市场反馈后,很快把 Coding 提升为重要方向。最早的能力信号可能由底层团队偶然试出,随后转成公司层面的集中投入。

这套自上而下的方式能运转,前提是技术决策者既懂技术,也能对公司负责。姚顺宇提到 Jared Kaplan 和 Sam McCandlish:两人是联合创始人,也长期在技术一线。Dario Amodei、Jared、Sam、Tom Brown、Benjamin Mann 等人曾共同参与 Scaling Law、GPT-3 等工作,创始团队有一起做关键项目的经历。长期合作形成的信任,使技术负责人有足够公信力下大赌注。

他把创业公司与大公司看成两种打法。创业公司资源有限,需要快速选择一条路集中投入;大公司可以在多个方向保留技术储备,等路线成熟后系统推进。Anthropic 在 Coding 上展现了前一种优势。

Claude 3.7:后训练规模化的分水岭 [02:06:11]

外界把 2024 年 10 月的 Claude 3.5 New 叫作 3.6,因为 Anthropic 给两个不同版本用了同一个产品名。那一代已经显出 Agentic Coding 优势。姚顺宇加入后参与的是 Claude 3.7,团队已经确认方向重要,具体方法仍需研究。

3.7 将大规模强化学习用于提升 Coding。团队准备 Agentic Coding 环境与数据,研究怎样放大训练规模、保持算法稳定,也建设新的采样和训练基础设施。从启动研究到发布大约四五个月:前两三个月探索方法,随后两个月左右完成正式训练和工程处理。

他把 3.7 视为 Anthropic 后训练的分水岭。此前后训练规模较小,常用来修补模型行为。OpenAI、Anthropic、DeepSeek 在相近时期逐渐找到规模化方向:选择回馈清楚的环境,获得质量高、模型可学习的数据,再做稳定的强化学习。各家算法和数据用法不同,宏观条件相近。

“把简单的事做干净” [02:08:43]

姚顺宇没有透露受保密协议约束的细节。他给出的公开经验是:复杂搜索算法可能提高某个局部效率,也可能增加基础设施负担;简单的 Policy Gradient 若能稳定扩展,整体效果可能更好。真正的 know-how 藏在取舍、数值差异、采样器和训练器的配合、异步架构及稳定性里。

他特别提醒,训练技巧强烈依赖公司的基础设施。采样机器与训练器之间的数值偏差、异步程度、通信方式各不相同。一家公司最有效的算法,搬到另一套系统里可能失去意义。只问某个实验室用了哪条技巧,容易忽略决定结果的系统条件。

从 3.7 到 4.5 [02:21:14]

Claude 4.5 延续了预训练与后训练的共同放大:数据更多、算力更大、基础设施更成熟,范式层面没有同等级跳变。姚顺宇在 3.7 中主要参与 Agentic Coding 环境,以及让训练更稳定的算法工作。他依旧把成果归到团队,拒绝用一个人的贡献概括整个模型。

他离开前 Anthropic 已接近两千人。早期“小作坊”式文化受到扩张冲击,新成员带来不同工作习惯。他不喜欢把大量时间花在 Slack 上讲宏观道理,理由很直接:想法通常不稀缺,拆成可实现步骤并真正做完才难。

为什么离开 Anthropic [02:23:45]

离职大约酝酿了一个多月。主要动机包括接触多模态生成、底层工程和更宽的研究范围,也包括对公司扩张期文化的感受。他还明确反对 Dario Amodei 的反华立场,认为 CEO 把观点推到极端显得情绪化。主持人追问占比时,他用“公开场合说 40%”作了半开玩笑的回答,并补充这项因素排在学习与拓宽范围之后,分量也不小。

Google 对想把某个想法一路推到产品的人可能很慢,研究范围、学习机会和技术广度却很突出。姚顺宇当时更看重后者。他说,换工作前要先想清楚自己真正追求什么;目标若中途改变,进入任何组织都可能失望。

十三、个人贡献、AI 安全与“AI 本质是简单的” [02:27:27]

为什么持续淡化个人影响

姚顺宇认为,单个研究者对最终产品模型的影响很难量化。具体做了什么实验、算法提升多少,可以客观讨论;它在最终产品中占多大比重,很难给出可信数字。Claude 3.7 的 Agentic Coding 环境和稳定训练里有他的工作,模型仍是许多人共同完成的系统。

他把语言模型的个人英雄阶段放在规模化之前。找到 Transformer 或大规模训练方法的个人与小团队,可能改变技术路径。路线被验证后,推进依赖数据、基础设施、工程、训练和产品共同协作。某位研究者缺席,项目通常仍会发生。

公司层面仍可能出现关键判断。Anthropic 看到 Coding 信号后迅速下注,Claude Code 的 Boris Cherny 从内部效率工具做出重要产品,都带有强烈的个人或小团队作用。姚顺宇把这类贡献放在方向选择和交互创新上。

他对 AI 安全的看法 [02:32:14]

Anthropic 的安全叙事是:先拥有最前沿模型,才能推动安全规则。姚顺宇觉得这套设想过于幼稚。一家公司无法阻止其他组织继续训练,主动停下还会削弱自己的影响力。

他推测,长期安全机制可能更接近多方制衡。多个主体都拥有强模型,通过相互约束降低单方滥用风险。这个类比来自核武器的多方控制。他没有给出完整制度方案,重点是把问题放到多主体竞争的现实里考虑。

Anthropic 的可解释性研究能在简单、稀疏的网络中观察内部表示,也能修改表示后看输出变化。前沿实用模型还无法做到细颗粒度解释。

“AI 本质是简单的” [02:35:03]

这句话是姚顺宇的个人陈述。他所说的“简单”,指实验可做。物理在某些尺度上没有可用实验数据,理论便很难推进;AI 研究里的多数想法都可以训练模型、跑数值、观察结果。障碍通常是算力、基础设施和实验排队,眼下想法数量远多于团队验证能力。

他预计未来 6 到 12 个月,AI 研究闭环会逐步补齐:模型写代码、运行实验、读取结果、分析失败、提出新假设、修改代码,再次运行。AI 已经大幅加快其中几步,尚未稳定完成整条链。

离职时误判了 Anthropic [02:37:34]

离开时,他对 Anthropic 的前景偏悲观。当时主要收入来自 API 和 token 销售,这类业务容易打价格战,拥有芯片、云和完整供应链的 Google 更占优势。后来的 Claude Code、Claude Cowork 等产品做得比他预期好,Anthropic 形成了围绕工作和效率的产品组合。与此同时,Google 的模型进展给 OpenAI 带来压力。他承认自己当时低估了 Anthropic 的产品能力。

他没有因此后悔离职,因为个人目标是换环境、扩展能力。Claude Code 的起点显示产品仍可能留下个人英雄空间:Boris Cherny 从解决自身和同事的工作效率出发,逐步做成面向所有人的工具。

十四、在 Google DeepMind 训练 Gemini 3 [02:41:10]

ML Coding 与 long horizon

姚顺宇在 Google DeepMind 主要做两类工作:ML Coding 和 long horizon。ML Coding 想让模型完成 AI 研究的完整闭环,需要选择数据、回馈信号和基础设施。long horizon 研究模型怎样在有限上下文里做很长的任务。

他用人的记忆作解释:人不会记住全部日常细节,会丢掉无关信息,也会在需要时检索关键内容。模型也可以学习选择性遗忘、外部保存和重新取回。Agentic Coding 已经把工具调用与环境交互连起来;AI research 将场景横向扩到研究过程,也把任务纵向拉得更长。

预训练侧有 sparse attention 等路线,后训练侧有 context management、外部文件、摘要、检索和记忆管理。姚顺宇更关注后训练,因为它更符合“短上下文训练、长时间使用”的设想。Gemini 的长上下文能力同时来自预训练与后训练;预训练里有些技巧让他很惊讶,但他没有透露细节。

为什么选 Gemini [02:47:22]

他在 2025 年 9 月底加入,当时 Gemini 3 尚未发布。Gemini 2.5 已经让业内意识到 Google 追了上来。他个人选择 Google 的原因更偏内部:研究范围广、工程师强、能接触不同方向,也能从许多人身上学习。

OpenAI 和 xAI 当时也在选项中。他对 OpenAI 的文化有顾虑,直白地说,自己感觉踏实做事的人少于 Gemini,更少于 Anthropic。xAI 的组织长期动荡,他接触过的人后来也有人离开,因此没有形成清楚判断。

Gemini 的市场转折 [02:50:24]

他把 Gemini 进入主流市场归到两件连续发生的事:Nano Banana 带来大量下载和关注,Gemini 3 随后发布,把其中一部分用户留下。单有强模型,低市占率下传播会很慢;先有爆款产品拉新,再用模型能力承接,效果更明显。

他随口估计 Gemini 的市占率约 20%,也强调自己没有核对最新数据。这是访谈现场的个人感觉,不能当作精确统计。

Google 原本就有人才和技术储备,后来的变化在组织清晰度。预训练每个节点由谁负责、怎样评估、下一步做什么,都逐渐明确。强工程能力使下一代模型更可预测,团队甚至能提前估计大致表现。

Google、搜索与产品形态 [02:52:19]

姚顺宇说,OpenAI 在某种意义上“救了 Google 一命”:ChatGPT 及时提醒 Google 搜索会受冲击,又没有立刻把搜索彻底取代,Google 获得了追赶时间。Chatbot 擅长追问、总结和复杂信息压缩;许多简单搜索只需快速找到网页、商品或入口,聊天流程显得多余。

在模型能力上,Google 已经追上;产品和品牌层面仍有差距。Google 擅长把形态简单、评价清楚的产品做到技术极致。搜索引擎就是一个框和一个按钮,速度与准确度足以形成长期优势。Chatbot 仍然限制了模型能做的事情,未来可能出现新的交互方式,把现有应用收进更大的产品形态。

Google 的工程化方法 [02:58:50]

今天的 Google 比早期更集中,整体仍保留较多自下而上的研究空间。预训练路线已经相对确定,适合当作大型工程:设定阶段目标,拆成节点,安排负责人,用清楚框架判断研究结果。后训练包含更多未知,允许研究者广泛尝试。

他认为不同组织都能训练出好模型。Anthropic 适合快速下注,Google 适合系统放大成熟路线。决定成败的是组织能否把自身结构用好。

十五、预训练、后训练与下一批技术方向 [03:01:28]

两类训练的主要差别在数据

从纯技术角度看,预训练、SFT 和强化学习有连续性。预训练和 SFT 把已有数据当作专家输出,让模型靠近这个分布;强化学习让模型自己产生多种结果,再依据回馈提高好结果、压低坏结果。

姚顺宇更看重数据分布上的区别:预训练数据覆盖要广,单条质量可以相对一般;后训练数据范围较窄,每条质量和回馈准确度要求很高。Anthropic 与 Google 通常把预训练、后训练分成两个团队。OpenAI 早期还有 Strawberry 强化学习组和另一个 post-training 组,后者与产品联系更紧,组织后来多次调整。

他参与 Gemini 3 Deep Think、Gemini 3.1 Pro 等项目,主要涉及算法讨论和部分数据工作。他继续使用“有幸参与”来描述自己的位置。这几代模型有许多小改动,没有出现从摸索大规模强化学习到真正跑通那种级别的转折。

榜单逐渐失去区分度 [03:07:09]

许多公开 Benchmark 已接近上限。SWE-bench 大多到 80% 以上,继续上涨会碰到题目定义含糊的问题;数学和推理评测也被快速推高。大量模型密集发布,说明方法传播变快、共同能力在整体上升。单纯争公开榜单第一,能提供的信息越来越少。

他关注的下一步 [03:09:09]

  • ML Coding: 自动化 AI 研究全流程。Google 同时拥有芯片、基础设施和模型团队,若整条研发链能被加速,价值很大。
  • Long horizon: 让模型可靠地完成持续数小时、数天甚至更久的任务。它与上下文管理、记忆和持续学习紧密相连。
  • 多模态生成: 现有路线还未完全确定,仍可能出现范式级突破。
  • 持续学习: 改变模型权重与管理上下文,目标都指向长期保留和调用信息。上下文中的 KV cache 也可视为一类临时权重,两条路线的边界没有想象中那么硬。
  • 世界模型: 定义仍很分散。Gemini 的方向偏端到端生成可交互场景:先生成当前状态,接收动作条件,再生成由上一状态和动作决定的下一状态。李飞飞等团队所说的世界模型可能指向不同方案。

技术领导与系统化训练 [03:13:24]

Google 的重大决定背后,Sergey Brin 仍可能承担最终拍板角色。姚顺宇在一线更常看到 DeepMind CTO、Google SVP Koray Kavukcuoglu。Demis Hassabis 更多关注科学方向,例如药物设计和 Isomorphic Labs。他也提醒,管理层有许多工作超出个人视野。

做好大型 AI 系统需要两样东西:科学态度和可靠的人。科学态度要求讲清预设、控制变量、理解关联因素。可靠要求研究者主动检查结果是否真实,有没有靠指标漏洞得到漂亮数字,放到大规模训练后能否保持稳定。

例如一个强化学习算法看起来更好,研究者还要核对数据、训练 FLOPs、采样 FLOPs、规模稳定性和生产环境的真正瓶颈。只挑对自己有利的指标,局部项目会很好看,公司的整体系统却可能受损。研究员在公司里要理解全局,并对组织目标负责。

理想的技术负责人有两项能力:遇到困难时能下场带队解决;面对自己不熟的方向,也能理解价值、容纳不同研究。完全自上而下容易压住创新,完全自下而上容易失去方向,领导者要长期维持中间那段不稳定的平衡。

TPU 与 GPU [03:21:18]

大规模商用里,GPU 与 TPU 很难简单排优劣。GPU 的开源生态更好,小规模使用方便。Google 自己运营几十万卡级别集群,有能力围绕 TPU 建完整基础设施,生态差异对内部影响较小。

GPU 的典型设计让一个较小 pod 内的卡通过 NVLink 高速互联;TPU 倾向把更多芯片连成三维 Torus,每张卡连接几个近邻。编译器与分片策略做得好时,TPU 可以利用更大的整体存储和通信结构。它在小规模和通用性上更固定,对基础设施要求也更高。

十六、Neo Lab、集体主义与个人选择 [03:23:33]

新实验室与中美产品路径

姚顺宇判断,大多数新成立的 Neo Lab 会失败。有些团队拥有好研究者,也开始交付成果,他举了 Thinking Machines;另一些被节目消音的团队目标模糊,创始人离一线技术已经很久,他看不出竞争力。

中国市场在 2026 年更关心 C 端和 Super App,美国团队更愿意做企业软件与效率工具。美国 To B 市场大、付费直接、利润高,产品只需清楚证明节省了多少成本。中国互联网长期擅长复杂消费者产品:先免费获取用户,再通过广告、直播、电商等多条路径形成收入。

他认为中国 C 端产品人才和字节跳动被美国市场低估。美国公司重视字节,也会主动挖人,仍未充分理解其消费者产品能力。主持人由此提出 Meta 可以借鉴豆包;姚顺宇直言 Meta 的 C 端产品能力不及字节。

“AI 不太需要脑子” [03:28:34]

这句很容易脱离语境。姚顺宇想说的是,路线规模化以后,大量模型工作由本科生也能理解的实验组成。决定质量的特质是靠谱、细致、理解系统、对自己的结果负责。物理生涯中,他见过 Douglas Stanford 这类让自己明显感到智力差距的人;进入 AI 后,他较少产生同样感受。

AI 研究员价格很高,主要稀缺项是经历过前沿训练环境的人。工作内容可以学,获得真实大模型、算力和组织经验的机会有限。人才炒作又把稀缺进一步放大,媒体很容易把集体成果写成个人神话。

一道 24 小时面试题 [03:31:13]

姚顺宇曾设计过一项面试:候选人在 24 小时内从零完成一个强化学习项目,自选模型、数据和算法,随后用一小时讨论。AI 已能帮助写完大部分代码,因此题目不再重查手写代码速度。

考察点有两个:候选人能否有效使用 AI;候选人有没有真正理解 AI 做了什么。若把任务完全交给 AI,讨论时很快会暴露理解缺口。他还坦白,24 小时也在测试候选人对机会的投入程度,甚至包含能否熬夜的考虑。这部分带有他个人鲜明、也可能引起争议的用人观。

年轻人还可以做什么 [03:33:36]

他觉得纯语言模型的蓝海期已经过去,自己在 2024 年入行接近“末班车”:当时还能在很小的团队里直接参加关键模型项目,新人以后较难获得同样密度的机会。

AI 的范围远大于语言模型。多模态生成、机器人、AI for Science 仍有许多空白。年轻人若一味追当前最热方向,会进入拥挤赛道;去做尚未有人做成的题目,可能获得更大空间。

他预计自己不会一直留在 Google,希望以后再找一个值得投入、也足够挑战自己的方向。Anthropic 让他沿语言模型纵向学得很深,Google 让他横向接触硬件、基础设施、多模态和不同研究视角。目前最高优先级仍是和同事推进 ML Coding 与 long horizon。

英雄、直言与“老登” [03:37:34]

他很少在成年后“崇拜”个人,仍尊敬具有长期远见的研究者。物理学里,他提到 Haldane:在拓扑物态还未成为共识时坚持多年;AI 里提到 Geoffrey Hinton,以及 Transformer 论文的八位作者,把后者称作“英雄集体”。

他进入 AI 后说话越来越直接。这个行业没有他的导师和旧友关系网,评价又较客观,他觉得可以公开表达判断。观点只要自洽、定义清楚、能接受结果检验,长期仍会获得尊重。节目消音了一位被他批评的人。他借 Pauli 的 not even wrong 说明自己最反感的表达:定义模糊,任何结果发生后都能回头声称预测正确。

他把年长者分成两类:愿意少指手画脚、认真培养年轻人的人,会变得德高望重;脱离实际又喜欢干预的人,被他称为“老登”。这段带着玩笑和情绪,也延续了整场访谈对清楚定义、实际工作和客观检验的偏好。

书、生活与最后的回答 [03:42:58]

面对“人生之书”,他先说自己没有。最近读的是汤川秀树自传《旅人》,他喜欢书中年轻科学家真实的挣扎感。闲书里还推荐日本小说《来自新世界》。他最近几乎不看电影、电视剧,也不玩游戏;喜欢寿司和海,若必须选一个地点,会选夏威夷。

他列出的重要 AI 论文包括 sequence-to-sequence 和 Kaplan 等人的 Scaling Laws。前者代表语言模型特征工程时代的高峰,后者把体系化的规模研究带进领域。主持人请他给出当前最重要的一项 bet,他再次回答 long horizon。

最后,主持人问他对“语言即世界”这个工作室名字的感受。他先说名字如今有点平常,因为语言承载智能已经成为共识;若放在 2014、2015 年视觉占主流的年代,这个视角会更特别。主持人补充名字原意并不局限于 AI,他笑着改口说“那就值得深思了”。

结语

姚顺宇对技术进展很乐观,对个人叙事很克制。他相信预训练、后训练、长程任务和 AI 研究自动化仍会快速前进,也反复说明大型模型靠系统协作完成。对研究者,他看重的品质十分朴素:问题定义清楚,实验做细,结果经得起检查,对整个系统负责。

他的个人轨迹也和这套判断一致。凝聚态、高能物理、Anthropic、Google DeepMind,每次转换都舍弃了一部分既有积累,换取新的学习范围。下一次会去哪里,他没有给出答案;眼下要先把 ML Coding 和 long horizon 推到更稳定的状态。

PROMPT