姚顺宇访谈:从物理转向大模型,在 Anthropic 与 Google DeepMind 训练模型
阅读说明
本文依据完整视频整理,视频时长约 3 小时 48 分。时间点对应各段话题的起点,便于回看。访谈录制于 2026 年 3 月,节目补充说明了录制后发生的行业变化。涉及公司机密的地方,姚顺宇多次停在公开信息和个人经验的范围内。
- 主持人: 张小珺
- 嘉宾: 姚顺宇,清华大学本科、斯坦福大学物理学博士,曾任 Anthropic 研究科学家,现任 Google DeepMind 研究科学家
- 主要经历: 凝聚态理论与非厄米系统、高能物理与量子信息、Claude 3.7 与 Claude 4.5、Gemini 3 系列
这场访谈谈了什么
这场对话有三条线。
第一条是技术。姚顺宇谈预训练、后训练、Coding Agent、长程任务、多模态生成、机器人和世界模型。他的基本判断很明确:模型进步仍然很快,预训练和后训练都还有空间;目前更难的环节,是把目标、数据、环境和回馈信号定义清楚。Coding 率先跑出来,关键条件包括数据充足、结果容易检查、模型能够和工具及环境持续交互。
第二条是组织。他比较了 Anthropic 与 Google DeepMind 的工作方式。Anthropic 规模较小时决策集中、反应快,看到 Coding 的信号后能迅速投入;Google 的技术储备更广,适合把已经逐渐确定的路线做成大型工程。模型训练牵涉许多人和庞大的基础设施,局部技巧只有放回整套系统里才有意义。
第三条是个人经历。他从宁夏、上海一路到清华和斯坦福,先研究凝聚态理论,随后转向高能物理,博士毕业后离开做了九年的物理。他喜欢进入陌生方向,愿意承担转换成本。进入 AI 两年后,他越来越强调可靠、细致、对结果负责,也越来越警惕把大型模型的进展归到少数个人身上。
访谈中的关键判断
- [00:05:47] 前沿实验室已经很少担心“能否追上”,新的难题是决定下一步教模型做什么。
- [00:23:42] 2026 年值得关注的一条路线,是让模型用有限上下文训练,却能在实际任务中持续工作很久。
- [00:25:22] 他没有感到模型进步放缓,也没有看到未来几个月预训练到顶的迹象。
- [00:35:08] Coding 的回馈信号清晰、数据多、产品价值直接,因此率先形成了强 Agent 场景。
- [00:54:30] 他区分直接复制其他模型输出的“硬蒸馏”和把模型用进数据流程的“软蒸馏”,对两者评价差别很大。
- [01:04:07] 机器人硬件进展快,软件泛化仍弱,行业还在等待类似语言模型规模化转折点的突破。
- [01:43:09] 物理训练带给他的主要影响是做事方式:刨根问底、系统检查、重视实验与理论的对应。
- [01:52:32] Claude 3.7 是 Anthropic 后训练规模化的重要节点,基础设施、环境、数据和稳定训练共同决定结果。
- [02:35:03] 他称 AI“本质上简单”,意思是多数想法可以通过实验检查,眼下待验证的想法多于实验能力。
- [02:41:10] 他在 Google DeepMind 主要关注 ML Coding 和 long horizon,希望补齐 AI 研究的完整闭环。
- [03:14:46] 大型 AI 系统最看重可靠:研究员要检查指标有没有被钻空子,也要理解局部改动对全局的影响。
- [03:23:33] 语言模型的个人英雄阶段已经淡去;多模态生成、机器人、AI for Science 仍有很大的探索空间。
一、两个 Shunyu Yao,以及行业进入的新阶段
两位姚顺宇、姚顺雨 [00:01:26]
硅谷 AI 圈有两位同音名的 Shunyu Yao。姚顺雨一直走计算机路线,读过清华姚班,后来从 OpenAI 回国加入腾讯;本期嘉宾姚顺宇本科在清华基科班,长期研究理论物理,后来转入 AI。两人是清华同届学生,大学时就认识,赴美后一个去了普林斯顿,一个去了斯坦福。姚顺宇说,两人的经历容易被混淆,研究兴趣和性格其实差别很大。
他对姚顺雨的评价很高,尤其欣赏对方对人机交互和产品的思考。两人在湾区时常见面,更多是散步、吃饭、打牌和聊近况。姚顺雨回国后,他们仍会隔一段时间通话。主持人问他为何没有一起回国,他说当时换工作的首要动机是学习,希望接触更广的方向,也没有把领导一个项目放在最前面。
模型能力逐渐接近,题目定义变得更难 [00:05:47]
对于“AI 是否进入下半场”,姚顺宇没有采用这个说法。他观察到,Gemini、OpenAI、Anthropic 三家对追赶能力都有信心。纸面评测的差距越来越小,许多榜单接近上限,一两个百分点里混着大量噪声。实际使用仍能感到风格差别:他认为 Claude 的通用工具调用与 Agent 表现较强,Codex 在纯 Coding 上缩小了差距,Gemini 在推理和日常使用上有优势。
早期差异很大程度来自主动选择。团队把精力、基础设施和数据投向哪里,模型就会在哪类任务上表现突出。随着公开评测逐渐打满,真正困难的工作转向题目定义:希望模型表现出什么行为,怎样构造环境,怎样给出可信的回馈。某些能力也会从数据分布中意外长出来。早期网页数据里的 GitHub 内容质量较高,这可能帮助代码能力比其他能力更早显现。
二、竞争、产品壳与“逃逸速度” [00:11:13]
OpenClaw 为什么引起关注
姚顺宇说,OpenClaw 在业外引发的讨论更热烈。类似原型在大公司内部早有人做过,技术能力也在 Claude Opus 4.5 前后基本具备。它的重要性在展示:模型可以调动许多工具,控制不同模型,把分散步骤串成很长的任务。公众由此直观看到长程 Agent 的产品可能。
他没有看出 Manus 和 OpenClaw 之间存在清楚的技术断层。两者的走红时间不同,也可能来自产品执行和传播。节目在画面中注明,录制时 Meta 收购 Manus 的交易还没有撤销。
模型公司与应用公司的关系 [00:15:03]
姚顺宇认为,当前多数壁垒仍集中在模型侧。产品壁垒将来可能形成,数据飞轮目前还缺少得到广泛验证的实例。Coding 是他眼下能看到的强 AI 原生场景。Chatbot 延续了搜索的核心需求,同时加入追问、综合与信息压缩。
应用公司要长期生存,他提出两条可能的路:
- 增长足够快。 在模型公司做出同类产品前占住用户心智,再逐步拥有自己的模型。Cursor 正在走这条路。它早期与 Anthropic 互补,Claude Code 做大后,双方开始直接竞争;Cursor 也在训练 Composer。
- 守住模型公司不愿投入的细分市场。 市场规模较小,专业需求清楚,模型公司缺少投入动力。Midjourney 是他举出的例子,Lovart 也可能有机会。
效率工具容易走向赢家集中。Cursor 已经增长得很快,仍需面对上游模型公司进入产品层的压力。创业者可以赌一个极大的通用市场,也可以先拿下有扩展空间的小市场。姚顺宇个人更愿意从后一条路起步。
为什么产品常从小团队里先跑出来 [00:20:33]
他把 Meta 收购 Manus 的价值理解为获得一支亚洲产品团队,以及在新加坡建立吸引东亚人才的落点。他对产品本身为何必须通过收购获得存疑,也没有看懂 Google 收购 Windsurf 人员的全部逻辑。
大公司发布面向公众的 Agent,要处理权限、安全、法律、品牌、服务资源和长期维护。个人开源项目可以先把粗糙版本放出去,再吸引社区一起改。这组责任差异,使外部小团队常常更早把新形态推到公众面前。
三、2026 年的模型进展与预训练 [00:23:42]
有限训练上下文,支撑很长的实际任务
姚顺宇反复提到一句工作口号:train with finite context, use as infinite context。他的设想是,模型训练时仍用有限上下文,运行时能持续处理接近无限长度的任务。模型可以按当前目标丢掉低价值信息,把重要内容存到外部,需要时再取回。个人助手、持续协作和长期项目都会由此受益。
他预计这条路线在 2026 年会取得实质进展。技术路线还没有收敛,预训练侧可以研究稀疏注意力,后训练和产品侧可以发展上下文管理、外部记忆和检索。最终还要在真实用户任务里比较效率和稳定性。
“Pre-train 没有到头” [00:25:22]
姚顺宇没有感到模型进步变慢。单一评测必然越接近 100% 越难上涨,榜单速度无法直接代表用户体验。模型从 50% 到 60% 和从 70% 到 75% 给人的改善感受也可能相反。对研究者来说,更明显的变化是模型越来越容易学会新任务。过去需要许多技巧的训练,现在常常只需把问题、数据和环境设计好。
他认为预训练仍在增强,至少未来四个月没有看到到顶迹象。团队声称碰到 Scaling Law 的墙,可能有三类原因:规律的适用范围确实结束;数据等条件无法继续满足;实验、实现或测量里藏着错误。他接触到的情况中,第三类很常见。一个普通 bug 的修复,有时比复杂的新技巧带来更大提升。
关键能力是系统排查。模型表现偏离预测时,团队要逐项检查训练数据、token horizon、模型大小、训练量和实验假设,用消融实验判断真正的因果因素。他认为 Gemini 与 Anthropic 在这类系统工作上都很强。
Scaling Law 仍是一种研究框架 [00:30:14]
他没有把 Scaling Law 理解成单纯“把模型越做越大”。它提供一个框架,用来判断模型规模、数据量和计算量怎样配合,哪些投入更有效。数据枯竭也不只看互联网文字总量。合成数据、多模态数据、环境交互和更好的筛选,都可能改变有效数据的边界。
他的判断范围很克制:未来几个月能看到的实验路线相对清楚,更长时间很难预测。前沿实验室内部的兴奋点也发生变化。很多研究者开始认真想,若 AI 很快能承担自己的研究工作,下一步该把注意力放在哪里。
四、Coding 为什么率先爆发 [00:35:08]
关键节点与使用变化
姚顺宇把明显转折放在 2024 年秋天的 Claude 3.5 New,也就是外界常说的 3.6。那一代模型让开发者第一次清楚感到 Agentic Coding 已经能提高工作效率。Cursor 把模型包进顺手的产品,扩大了这种感受;Claude Code 随后把能力继续向完整任务推进。
他自己如今绝大多数代码由模型生成,给出的口头估计超过 90%,甚至接近全部。人的工作转向说明目标、提供上下文、设计实验、检查结果和判断实现是否可靠。他所在的 Google 环境无法使用 Claude Code,但同类工具已经显著改变日常研究。
他估计,实验实现效率可能提高 20 到 50 倍。过去一个想法要花几天写代码,研究者会提前筛掉许多不确定尝试;现在很多想法当天就能跑起来。他把更多想法投入测试,工作时间仍很长,实验密度也随之上升。他描述自己的工作日通常从早上处理邮件和实验开始,白天到办公室,晚上常做到十点或十一点。
Coding 具备三项有利条件
- 结果容易验证。 代码能否编译、测试是否通过、任务是否完成,都能转成较清楚的回馈信号。
- 数据来源充足。 GitHub、代码库、issue、测试和工程文档提供了大量结构化材料。
- 好坏标准相对一致。 可读性、正确性、测试覆盖、性能和维护性虽有争议,仍比许多开放式工作容易评价。
Coding 也提供了一个很好的研究抽象:模型调用工具、读取环境状态、执行动作、观察结果,再继续调整。这里得到的方法,可能迁移到更广的 Agent 任务。
程序员、产品经理与工作分化 [00:43:00]
他认为程序员数量会逐步下降,技术能力和收入可能向少数人集中。访谈里用“千分之一的人拿百倍收入”作了夸张示意,重点是分化方向。仍然有价值的人包括技术判断很强的人、能够拆解复杂任务的人、理解组织目标的人,以及会与 AI 协作并承担结果的人。
数学和理论物理也已经从模型中受益,因为许多问题有可检验的答案。产品经理更难自动化,主要障碍是目标模糊、评价标准依赖情境。优秀产品经理还要发现新的交互方式。姚顺宇后来把 Claude Code 看成一次交互层面的变化,类似短视频产品改变内容消费方式。
五、多模态生成、Seedance 与中美模型差距 [00:50:10]
Seedance 的进展给 Google DeepMind 多模态团队带来压力。姚顺宇把它看成执行效果很强的产品,没有把它归为新的基础范式。字节跳动的优势包括数据、产品细节和面向消费者的长期积累。
他将多模态拆成理解与生成。多模态理解已经比较成熟,可以接入语言模型现有框架;图像、视频、声音生成仍有许多科学问题。这里还没有出现语言模型那种公认的规模化方法,因此仍可能产生重要的新方法和关键团队。
他特别提到吴永辉。吴永辉职位很高,仍保持很强的技术参与,能看代码和具体项目。姚顺宇把这种状态视为少见的技术领导力。
过去一年到一年半,中美模型差距明显缩小。中国团队算力条件受限,反而更早、更广地尝试蒸馏和数据效率方法。这里也引出他对“硬蒸”和“软蒸”的区分。
六、“硬蒸”与“软蒸” [00:54:30]
硬蒸馏
“硬蒸”指直接拿 Claude 等模型生成的 token 训练自己的模型。姚顺宇对此评价很负面。他认为这种做法在商业伦理上有问题,也会让团队依赖别人的目标和能力分布。模型或许能迅速接近,但团队没有建立自己的数据判断和研究方向。
软蒸馏
“软蒸”把其他模型当作数据流程的一部分,用于生成候选题、评价样本、清洗数据、辅助构造环境或形成多模型协作。姚顺宇承认商业边界仍有灰色地带,技术上却更值得研究。不同模型有不同分布,多模型互相提供信号,可能发展成新的训练方式。
他观察到,字节在中国大厂里表现得较有自身特色,直接蒸馏的痕迹相对少。豆包整体智能水平与 Gemini、Claude 仍有差距,语音生成却可能处于世界前列。美国模型产品长期围绕生产力,中国公司更重视语音、陪伴和复杂消费者场景。
豆包手机与产品取舍 [00:59:00]
豆包手机展示了端侧助手控制应用的方向,想法和完成度都值得重视。成本会决定它能否成为长期产品。若为用户订一张火车票所消耗的推理费用超过票价,这种服务很难大规模成立。
主持人问到 Apple。姚顺宇认为 Apple 当然在意 AI,公开姿态显得克制,也可能和执行进度有关。豆包回答快、语言短,更多体现产品优先级和训练取舍。Gemini 3.1 相比 Gemini 3 也更快、更简洁。
七、机器人:硬件很快,软件仍缺泛化 [01:04:07]
姚顺宇对中国人形机器人硬件的价格和制造速度印象很深。供应链、零部件与整机工程已经进展很快。软件仍像早期的特征工程阶段:团队能用强化学习把一个固定场景优化得很好,换到新环境后性能下降明显。
他把泛化看作分界线。语言模型在 Transformer 与大规模预训练之后跨过了这道线,机器人尚未找到相同量级的通用方法。VLA 等路线可能借助语言和多模态基础模型,也仍需解决动作、物理反馈和真实环境差异。
他参观过 Google DeepMind 的机器人实验室,也看过外部团队的展示:机器人从货架取物、叠衣服、倒水。这些系统很有趣,离大范围稳定使用还有距离。在他的技术坐标里,机器人和多模态生成都还没有到达语言模型从 GPT-1 走向规模化的那个时刻。
八、成长经历:总去选自己不熟的事 [01:08:45]
从宁夏到上海,再到清华
姚顺宇出生在宁夏大武口,一座和煤矿联系很深的城市。小学时全家搬到上海,后来去北京读清华,再到美国读博士。这些移动没有被他讲成一套精心规划,更像在每个节点选择一条有挑战、能带来新经验的路。
初中时他没有参加竞赛,高中报考格致中学的竞赛班,因为普通班的路径已经比较熟悉。他把这次选择形容为去一个处于弱势的位置赌一把。后来参加清华夏令营时,他发现北京学生有考试机会,上海学生的安排不同,于是直接给招生老师发消息争取。小范围考试最终给他带来降分资格,高考只需达到一本线便可进入清华。这个经历让他相信,规则里有疑问就可以直接问,机会也可以主动争取。
父母很少干预他的选择。他通常先形成决定,再把结果告诉家里。父母若不了解一个方向,也不会替他做判断。这种成长方式强化了他的自我驱动:目标主要和自己比较,胜负欲也更多指向能否完成自己设下的任务。
清华基科班的自由 [01:15:00]
清华基科班允许学生较早进实验室,课程和研究选择也比较自由。许多学生最后离开物理,班级并没有把留在本专业当成唯一成功标准。姚顺宇很早进入汪忠老师的理论凝聚态课题组,开始研究非厄米系统。
他喜欢在完成一个方向后换到陌生问题。继续深挖成熟主题更容易积累引用、论文和职位,他仍会在觉得学习增量变小时离开。主持人把这概括成“折磨自己”,他也承认挑战陌生领域会带来自我消耗。只要能换来信息、经验和能力,他仍觉得值得。
九、非厄米系统与量子物理 [01:19:44]
非厄米系统在研究什么
孤立量子系统的演化通常由厄米哈密顿量描述,演化保持幺正。真实系统会和环境交换能量、粒子与信息,写成有效理论时可能出现非厄米哈密顿量。姚顺宇本科阶段遇到一个明显矛盾:周期边界条件下的理论结果,与开放边界条件下的数值结果完全对不上。
继续排查后,他发现传统 Bloch 波框架在这类系统里会失效。大量本征态堆积在边界,后来被称为非厄米趋肤效应。围绕开放边界下的本征态与动力学,他们建立了一套新的描述框架。这项工作对他的重要意义,既有研究结果本身,也有方法上的教训:当理论和数值冲突时,先认真检查冲突,旧框架也可能有盲点。
他称导师汪忠思考敏锐、表达清楚,也给学生很大自由。这个环境让他能沿着异常结果持续追问。
量子、经典与不同尺度 [01:27:00]
姚顺宇用有效理论解释量子与经典的关系。不同尺度适合不同描述,重整化群帮助研究者理解微观自由度怎样汇总成宏观规律。量子纠缠和“薛定谔的猫”说明,量子态可以保留经典直觉难以容纳的关联;宏观实验很难维持这类状态,因为环境会迅速造成退相干。
谈到蝴蝶效应,他区分了经典和量子语境。经典系统里,微小扰动会随时间指数放大;量子系统可以通过局域观测量等方式研究相似的敏感性。主持人追问这些概念时,他多次提醒定义和尺度,避免用一个流行词覆盖不同物理现象。
十、高能物理博士:评价体系带来的转折 [01:36:27]
从凝聚态理论转到高能物理后,姚顺宇研究量子信息、黑洞及相关理论问题。高能理论的实验验证很少,许多工作依赖小领域内部的判断。论文可以达到同行认可的标准,真实影响仍可能很低。
他对自己的博士工作评价很严厉:外部履历看起来合格,自己很难确认它对世界产生了什么影响。博士最后两年,他逐渐确定要寻找评价更客观、实验反馈更快、能产生实际作用的方向,因此开始了解量子计算和 AI。
伯克利给了他一个自由度很高的博士后机会。他正式入职后只待了两周,入职前已经在当地跟组活动两三个月。伯克利的老师知道他在和 AI 公司谈,仍建议他先保留职位,等选择真正落定。姚顺宇特意提到,湾区两所学校的老师都很照顾年轻研究者。
十一、物理怎样影响他做 AI [01:43:09]
可迁移的是习惯和性格
姚顺宇直言,物理到 AI 的工具技能转移很少。真正留下的是刨根问底、系统做实验、系统做理论、检查假设的习惯。他也不把这些品质归为物理专业独有;计算机、化学、生物等背景的人同样可以形成。
Anthropic 有较多理论物理出身的研究者,一部分原因来自创始团队的人际网络。技术创始人中有人学物理,早期招聘沿着熟悉的圈子展开。公司成熟后,几乎不再招完全没有 AI 背景的人。这更像特定阶段形成的人才结构。
“黑盒”、Scaling Law 与经验规律 [01:44:22]
在姚顺宇看来,黑盒是相对概念。物理也常用某一尺度下有效的规律描述世界,研究者未必能从最微观机制一路推到宏观行为。大模型还没有达到逐个人工神经元解释实际行为的程度。Anthropic 的可解释性团队能在较小、较稀疏的网络里研究内部表示,实用前沿模型仍很难做到同样精细。
Scaling Law 提供了另一层理解:模型大小、数据和困惑度之间出现稳定的经验关系。热力学定律早期也先以经验形式出现,后来才逐步获得微观解释。语言模型的经验规律将来能否走到类似阶段,需要更多时间和稳定的技术对象。
他对“智能涌现”这个词很谨慎。不同人使用时指向不同现象,很难形成可检验定义。他更愿意谈一个清楚的变化:训练技术达到可规模化的点后,多种能力能够一起提升。这是可观察、可测量的技术转折。
为什么在量子计算和 AI 之间选了 AI [01:48:19]
量子计算看起来离量子物理更近,现实瓶颈却集中在实验实现。搭光学平台、控制器件与工程系统离他的兴趣和长处较远。AI 允许研究者提出想法、写代码、做数值实验、马上看结果,这和他喜欢的研究方式更接近。
他常把当下 AI 类比为十七、十八世纪的热力学研究:微观机制还不清楚,经验规律已经能指导实验;理论与实验也没有严格分工,一个人可以提出假设并亲自验证。这个类比解释了他离开理论物理后为何很快适应模型研究。
十二、加入 Anthropic,训练 Claude 3.7 与 4.5 [01:52:32]
转行、面试与第一个选择
2024 年八九月,姚顺宇决定转入 AI。他同时接触 Anthropic、OpenAI 和 Google DeepMind。Google 当时面试推进较慢,OpenAI 没有找到特别合适的团队和工作。Anthropic 的一位理论物理出身经理告诉他,公司正在探索大规模强化学习,有很多科学问题尚待理解。
那时 o1 还没有正式发布,外界只听过 Strawberry 的传闻。姚顺宇对工业级模型训练了解很少,便把能找到的课程和作业过了一遍,照 Andrej Karpathy 的项目手写了一个小型 GPT。拿到 offer 后,他在模型评测和强化学习两个方向之间选了后者,因为问题更不明朗。
他加入时公司约七八百人,所在的 Horizon 大组只有十到十一人,覆盖强化学习的数据、环境、基础设施和算法。他所在的小组偏研究与算法。
Anthropic 的执行方式 [01:58:18]
他对早期 Anthropic 的印象是执行力强、信息流动快、同事互相信任。公司看到 Claude 3 在代码上超过 GPT-4 的市场反馈后,很快把 Coding 提升为重要方向。最早的能力信号可能由底层团队偶然试出,随后转成公司层面的集中投入。
这套自上而下的方式能运转,前提是技术决策者既懂技术,也能对公司负责。姚顺宇提到 Jared Kaplan 和 Sam McCandlish:两人是联合创始人,也长期在技术一线。Dario Amodei、Jared、Sam、Tom Brown、Benjamin Mann 等人曾共同参与 Scaling Law、GPT-3 等工作,创始团队有一起做关键项目的经历。长期合作形成的信任,使技术负责人有足够公信力下大赌注。
他把创业公司与大公司看成两种打法。创业公司资源有限,需要快速选择一条路集中投入;大公司可以在多个方向保留技术储备,等路线成熟后系统推进。Anthropic 在 Coding 上展现了前一种优势。
Claude 3.7:后训练规模化的分水岭 [02:06:11]
外界把 2024 年 10 月的 Claude 3.5 New 叫作 3.6,因为 Anthropic 给两个不同版本用了同一个产品名。那一代已经显出 Agentic Coding 优势。姚顺宇加入后参与的是 Claude 3.7,团队已经确认方向重要,具体方法仍需研究。
3.7 将大规模强化学习用于提升 Coding。团队准备 Agentic Coding 环境与数据,研究怎样放大训练规模、保持算法稳定,也建设新的采样和训练基础设施。从启动研究到发布大约四五个月:前两三个月探索方法,随后两个月左右完成正式训练和工程处理。
他把 3.7 视为 Anthropic 后训练的分水岭。此前后训练规模较小,常用来修补模型行为。OpenAI、Anthropic、DeepSeek 在相近时期逐渐找到规模化方向:选择回馈清楚的环境,获得质量高、模型可学习的数据,再做稳定的强化学习。各家算法和数据用法不同,宏观条件相近。
“把简单的事做干净”
[02:08:43]姚顺宇没有透露受保密协议约束的细节。他给出的公开经验是:复杂搜索算法可能提高某个局部效率,也可能增加基础设施负担;简单的 Policy Gradient 若能稳定扩展,整体效果可能更好。真正的 know-how 藏在取舍、数值差异、采样器和训练器的配合、异步架构及稳定性里。
他特别提醒,训练技巧强烈依赖公司的基础设施。采样机器与训练器之间的数值偏差、异步程度、通信方式各不相同。一家公司最有效的算法,搬到另一套系统里可能失去意义。只问某个实验室用了哪条技巧,容易忽略决定结果的系统条件。
从 3.7 到 4.5 [02:21:14]
Claude 4.5 延续了预训练与后训练的共同放大:数据更多、算力更大、基础设施更成熟,范式层面没有同等级跳变。姚顺宇在 3.7 中主要参与 Agentic Coding 环境,以及让训练更稳定的算法工作。他依旧把成果归到团队,拒绝用一个人的贡献概括整个模型。
他离开前 Anthropic 已接近两千人。早期“小作坊”式文化受到扩张冲击,新成员带来不同工作习惯。他不喜欢把大量时间花在 Slack 上讲宏观道理,理由很直接:想法通常不稀缺,拆成可实现步骤并真正做完才难。
为什么离开 Anthropic [02:23:45]
离职大约酝酿了一个多月。主要动机包括接触多模态生成、底层工程和更宽的研究范围,也包括对公司扩张期文化的感受。他还明确反对 Dario Amodei 的反华立场,认为 CEO 把观点推到极端显得情绪化。主持人追问占比时,他用“公开场合说 40%”作了半开玩笑的回答,并补充这项因素排在学习与拓宽范围之后,分量也不小。
Google 对想把某个想法一路推到产品的人可能很慢,研究范围、学习机会和技术广度却很突出。姚顺宇当时更看重后者。他说,换工作前要先想清楚自己真正追求什么;目标若中途改变,进入任何组织都可能失望。
十三、个人贡献、AI 安全与“AI 本质是简单的” [02:27:27]
为什么持续淡化个人影响
姚顺宇认为,单个研究者对最终产品模型的影响很难量化。具体做了什么实验、算法提升多少,可以客观讨论;它在最终产品中占多大比重,很难给出可信数字。Claude 3.7 的 Agentic Coding 环境和稳定训练里有他的工作,模型仍是许多人共同完成的系统。
他把语言模型的个人英雄阶段放在规模化之前。找到 Transformer 或大规模训练方法的个人与小团队,可能改变技术路径。路线被验证后,推进依赖数据、基础设施、工程、训练和产品共同协作。某位研究者缺席,项目通常仍会发生。
公司层面仍可能出现关键判断。Anthropic 看到 Coding 信号后迅速下注,Claude Code 的 Boris Cherny 从内部效率工具做出重要产品,都带有强烈的个人或小团队作用。姚顺宇把这类贡献放在方向选择和交互创新上。
他对 AI 安全的看法 [02:32:14]
Anthropic 的安全叙事是:先拥有最前沿模型,才能推动安全规则。姚顺宇觉得这套设想过于幼稚。一家公司无法阻止其他组织继续训练,主动停下还会削弱自己的影响力。
他推测,长期安全机制可能更接近多方制衡。多个主体都拥有强模型,通过相互约束降低单方滥用风险。这个类比来自核武器的多方控制。他没有给出完整制度方案,重点是把问题放到多主体竞争的现实里考虑。
Anthropic 的可解释性研究能在简单、稀疏的网络中观察内部表示,也能修改表示后看输出变化。前沿实用模型还无法做到细颗粒度解释。
“AI 本质是简单的” [02:35:03]
这句话是姚顺宇的个人陈述。他所说的“简单”,指实验可做。物理在某些尺度上没有可用实验数据,理论便很难推进;AI 研究里的多数想法都可以训练模型、跑数值、观察结果。障碍通常是算力、基础设施和实验排队,眼下想法数量远多于团队验证能力。
他预计未来 6 到 12 个月,AI 研究闭环会逐步补齐:模型写代码、运行实验、读取结果、分析失败、提出新假设、修改代码,再次运行。AI 已经大幅加快其中几步,尚未稳定完成整条链。
离职时误判了 Anthropic [02:37:34]
离开时,他对 Anthropic 的前景偏悲观。当时主要收入来自 API 和 token 销售,这类业务容易打价格战,拥有芯片、云和完整供应链的 Google 更占优势。后来的 Claude Code、Claude Cowork 等产品做得比他预期好,Anthropic 形成了围绕工作和效率的产品组合。与此同时,Google 的模型进展给 OpenAI 带来压力。他承认自己当时低估了 Anthropic 的产品能力。
他没有因此后悔离职,因为个人目标是换环境、扩展能力。Claude Code 的起点显示产品仍可能留下个人英雄空间:Boris Cherny 从解决自身和同事的工作效率出发,逐步做成面向所有人的工具。
十四、在 Google DeepMind 训练 Gemini 3 [02:41:10]
ML Coding 与 long horizon
姚顺宇在 Google DeepMind 主要做两类工作:ML Coding 和 long horizon。ML Coding 想让模型完成 AI 研究的完整闭环,需要选择数据、回馈信号和基础设施。long horizon 研究模型怎样在有限上下文里做很长的任务。
他用人的记忆作解释:人不会记住全部日常细节,会丢掉无关信息,也会在需要时检索关键内容。模型也可以学习选择性遗忘、外部保存和重新取回。Agentic Coding 已经把工具调用与环境交互连起来;AI research 将场景横向扩到研究过程,也把任务纵向拉得更长。
预训练侧有 sparse attention 等路线,后训练侧有 context management、外部文件、摘要、检索和记忆管理。姚顺宇更关注后训练,因为它更符合“短上下文训练、长时间使用”的设想。Gemini 的长上下文能力同时来自预训练与后训练;预训练里有些技巧让他很惊讶,但他没有透露细节。
为什么选 Gemini [02:47:22]
他在 2025 年 9 月底加入,当时 Gemini 3 尚未发布。Gemini 2.5 已经让业内意识到 Google 追了上来。他个人选择 Google 的原因更偏内部:研究范围广、工程师强、能接触不同方向,也能从许多人身上学习。
OpenAI 和 xAI 当时也在选项中。他对 OpenAI 的文化有顾虑,直白地说,自己感觉踏实做事的人少于 Gemini,更少于 Anthropic。xAI 的组织长期动荡,他接触过的人后来也有人离开,因此没有形成清楚判断。
Gemini 的市场转折 [02:50:24]
他把 Gemini 进入主流市场归到两件连续发生的事:Nano Banana 带来大量下载和关注,Gemini 3 随后发布,把其中一部分用户留下。单有强模型,低市占率下传播会很慢;先有爆款产品拉新,再用模型能力承接,效果更明显。
他随口估计 Gemini 的市占率约 20%,也强调自己没有核对最新数据。这是访谈现场的个人感觉,不能当作精确统计。
Google 原本就有人才和技术储备,后来的变化在组织清晰度。预训练每个节点由谁负责、怎样评估、下一步做什么,都逐渐明确。强工程能力使下一代模型更可预测,团队甚至能提前估计大致表现。
Google、搜索与产品形态 [02:52:19]
姚顺宇说,OpenAI 在某种意义上“救了 Google 一命”:ChatGPT 及时提醒 Google 搜索会受冲击,又没有立刻把搜索彻底取代,Google 获得了追赶时间。Chatbot 擅长追问、总结和复杂信息压缩;许多简单搜索只需快速找到网页、商品或入口,聊天流程显得多余。
在模型能力上,Google 已经追上;产品和品牌层面仍有差距。Google 擅长把形态简单、评价清楚的产品做到技术极致。搜索引擎就是一个框和一个按钮,速度与准确度足以形成长期优势。Chatbot 仍然限制了模型能做的事情,未来可能出现新的交互方式,把现有应用收进更大的产品形态。
Google 的工程化方法 [02:58:50]
今天的 Google 比早期更集中,整体仍保留较多自下而上的研究空间。预训练路线已经相对确定,适合当作大型工程:设定阶段目标,拆成节点,安排负责人,用清楚框架判断研究结果。后训练包含更多未知,允许研究者广泛尝试。
他认为不同组织都能训练出好模型。Anthropic 适合快速下注,Google 适合系统放大成熟路线。决定成败的是组织能否把自身结构用好。
十五、预训练、后训练与下一批技术方向 [03:01:28]
两类训练的主要差别在数据
从纯技术角度看,预训练、SFT 和强化学习有连续性。预训练和 SFT 把已有数据当作专家输出,让模型靠近这个分布;强化学习让模型自己产生多种结果,再依据回馈提高好结果、压低坏结果。
姚顺宇更看重数据分布上的区别:预训练数据覆盖要广,单条质量可以相对一般;后训练数据范围较窄,每条质量和回馈准确度要求很高。Anthropic 与 Google 通常把预训练、后训练分成两个团队。OpenAI 早期还有 Strawberry 强化学习组和另一个 post-training 组,后者与产品联系更紧,组织后来多次调整。
他参与 Gemini 3 Deep Think、Gemini 3.1 Pro 等项目,主要涉及算法讨论和部分数据工作。他继续使用“有幸参与”来描述自己的位置。这几代模型有许多小改动,没有出现从摸索大规模强化学习到真正跑通那种级别的转折。
榜单逐渐失去区分度 [03:07:09]
许多公开 Benchmark 已接近上限。SWE-bench 大多到 80% 以上,继续上涨会碰到题目定义含糊的问题;数学和推理评测也被快速推高。大量模型密集发布,说明方法传播变快、共同能力在整体上升。单纯争公开榜单第一,能提供的信息越来越少。
他关注的下一步 [03:09:09]
- ML Coding: 自动化 AI 研究全流程。Google 同时拥有芯片、基础设施和模型团队,若整条研发链能被加速,价值很大。
- Long horizon: 让模型可靠地完成持续数小时、数天甚至更久的任务。它与上下文管理、记忆和持续学习紧密相连。
- 多模态生成: 现有路线还未完全确定,仍可能出现范式级突破。
- 持续学习: 改变模型权重与管理上下文,目标都指向长期保留和调用信息。上下文中的 KV cache 也可视为一类临时权重,两条路线的边界没有想象中那么硬。
- 世界模型: 定义仍很分散。Gemini 的方向偏端到端生成可交互场景:先生成当前状态,接收动作条件,再生成由上一状态和动作决定的下一状态。李飞飞等团队所说的世界模型可能指向不同方案。
技术领导与系统化训练 [03:13:24]
Google 的重大决定背后,Sergey Brin 仍可能承担最终拍板角色。姚顺宇在一线更常看到 DeepMind CTO、Google SVP Koray Kavukcuoglu。Demis Hassabis 更多关注科学方向,例如药物设计和 Isomorphic Labs。他也提醒,管理层有许多工作超出个人视野。
做好大型 AI 系统需要两样东西:科学态度和可靠的人。科学态度要求讲清预设、控制变量、理解关联因素。可靠要求研究者主动检查结果是否真实,有没有靠指标漏洞得到漂亮数字,放到大规模训练后能否保持稳定。
例如一个强化学习算法看起来更好,研究者还要核对数据、训练 FLOPs、采样 FLOPs、规模稳定性和生产环境的真正瓶颈。只挑对自己有利的指标,局部项目会很好看,公司的整体系统却可能受损。研究员在公司里要理解全局,并对组织目标负责。
理想的技术负责人有两项能力:遇到困难时能下场带队解决;面对自己不熟的方向,也能理解价值、容纳不同研究。完全自上而下容易压住创新,完全自下而上容易失去方向,领导者要长期维持中间那段不稳定的平衡。
TPU 与 GPU [03:21:18]
大规模商用里,GPU 与 TPU 很难简单排优劣。GPU 的开源生态更好,小规模使用方便。Google 自己运营几十万卡级别集群,有能力围绕 TPU 建完整基础设施,生态差异对内部影响较小。
GPU 的典型设计让一个较小 pod 内的卡通过 NVLink 高速互联;TPU 倾向把更多芯片连成三维 Torus,每张卡连接几个近邻。编译器与分片策略做得好时,TPU 可以利用更大的整体存储和通信结构。它在小规模和通用性上更固定,对基础设施要求也更高。
十六、Neo Lab、集体主义与个人选择 [03:23:33]
新实验室与中美产品路径
姚顺宇判断,大多数新成立的 Neo Lab 会失败。有些团队拥有好研究者,也开始交付成果,他举了 Thinking Machines;另一些被节目消音的团队目标模糊,创始人离一线技术已经很久,他看不出竞争力。
中国市场在 2026 年更关心 C 端和 Super App,美国团队更愿意做企业软件与效率工具。美国 To B 市场大、付费直接、利润高,产品只需清楚证明节省了多少成本。中国互联网长期擅长复杂消费者产品:先免费获取用户,再通过广告、直播、电商等多条路径形成收入。
他认为中国 C 端产品人才和字节跳动被美国市场低估。美国公司重视字节,也会主动挖人,仍未充分理解其消费者产品能力。主持人由此提出 Meta 可以借鉴豆包;姚顺宇直言 Meta 的 C 端产品能力不及字节。
“AI 不太需要脑子” [03:28:34]
这句很容易脱离语境。姚顺宇想说的是,路线规模化以后,大量模型工作由本科生也能理解的实验组成。决定质量的特质是靠谱、细致、理解系统、对自己的结果负责。物理生涯中,他见过 Douglas Stanford 这类让自己明显感到智力差距的人;进入 AI 后,他较少产生同样感受。
AI 研究员价格很高,主要稀缺项是经历过前沿训练环境的人。工作内容可以学,获得真实大模型、算力和组织经验的机会有限。人才炒作又把稀缺进一步放大,媒体很容易把集体成果写成个人神话。
一道 24 小时面试题 [03:31:13]
姚顺宇曾设计过一项面试:候选人在 24 小时内从零完成一个强化学习项目,自选模型、数据和算法,随后用一小时讨论。AI 已能帮助写完大部分代码,因此题目不再重查手写代码速度。
考察点有两个:候选人能否有效使用 AI;候选人有没有真正理解 AI 做了什么。若把任务完全交给 AI,讨论时很快会暴露理解缺口。他还坦白,24 小时也在测试候选人对机会的投入程度,甚至包含能否熬夜的考虑。这部分带有他个人鲜明、也可能引起争议的用人观。
年轻人还可以做什么 [03:33:36]
他觉得纯语言模型的蓝海期已经过去,自己在 2024 年入行接近“末班车”:当时还能在很小的团队里直接参加关键模型项目,新人以后较难获得同样密度的机会。
AI 的范围远大于语言模型。多模态生成、机器人、AI for Science 仍有许多空白。年轻人若一味追当前最热方向,会进入拥挤赛道;去做尚未有人做成的题目,可能获得更大空间。
他预计自己不会一直留在 Google,希望以后再找一个值得投入、也足够挑战自己的方向。Anthropic 让他沿语言模型纵向学得很深,Google 让他横向接触硬件、基础设施、多模态和不同研究视角。目前最高优先级仍是和同事推进 ML Coding 与 long horizon。
英雄、直言与“老登” [03:37:34]
他很少在成年后“崇拜”个人,仍尊敬具有长期远见的研究者。物理学里,他提到 Haldane:在拓扑物态还未成为共识时坚持多年;AI 里提到 Geoffrey Hinton,以及 Transformer 论文的八位作者,把后者称作“英雄集体”。
他进入 AI 后说话越来越直接。这个行业没有他的导师和旧友关系网,评价又较客观,他觉得可以公开表达判断。观点只要自洽、定义清楚、能接受结果检验,长期仍会获得尊重。节目消音了一位被他批评的人。他借 Pauli 的 not even wrong 说明自己最反感的表达:定义模糊,任何结果发生后都能回头声称预测正确。
他把年长者分成两类:愿意少指手画脚、认真培养年轻人的人,会变得德高望重;脱离实际又喜欢干预的人,被他称为“老登”。这段带着玩笑和情绪,也延续了整场访谈对清楚定义、实际工作和客观检验的偏好。
书、生活与最后的回答 [03:42:58]
面对“人生之书”,他先说自己没有。最近读的是汤川秀树自传《旅人》,他喜欢书中年轻科学家真实的挣扎感。闲书里还推荐日本小说《来自新世界》。他最近几乎不看电影、电视剧,也不玩游戏;喜欢寿司和海,若必须选一个地点,会选夏威夷。
他列出的重要 AI 论文包括 sequence-to-sequence 和 Kaplan 等人的 Scaling Laws。前者代表语言模型特征工程时代的高峰,后者把体系化的规模研究带进领域。主持人请他给出当前最重要的一项 bet,他再次回答 long horizon。
最后,主持人问他对“语言即世界”这个工作室名字的感受。他先说名字如今有点平常,因为语言承载智能已经成为共识;若放在 2014、2015 年视觉占主流的年代,这个视角会更特别。主持人补充名字原意并不局限于 AI,他笑着改口说“那就值得深思了”。
结语
姚顺宇对技术进展很乐观,对个人叙事很克制。他相信预训练、后训练、长程任务和 AI 研究自动化仍会快速前进,也反复说明大型模型靠系统协作完成。对研究者,他看重的品质十分朴素:问题定义清楚,实验做细,结果经得起检查,对整个系统负责。
他的个人轨迹也和这套判断一致。凝聚态、高能物理、Anthropic、Google DeepMind,每次转换都舍弃了一部分既有积累,换取新的学习范围。下一次会去哪里,他没有给出答案;眼下要先把 ML Coding 和 long horizon 推到更稳定的状态。
PROMPT
prompt
【对姚顺宇的4小时访谈:请允许我小疯一下!在Anthropic和Gemini训模型、技术预测、英雄主义已过去】 https://www.bilibili.com/video/BV1YR5E6EE9o
姚顺宇戴了一副茶色眼镜走过来,这副眼镜会随光线变化而改变颜色。
硅谷AI业界有两位Yao Shunyu,他们曾是清华同一届毕业生,这让姚顺雨与姚顺宇时常成为话题人物。
前一位姚顺雨2025年从OpenAI跳槽到腾讯,他去年来过我们节目(第115集);后一位姚顺宇也于同年跳槽,从Anthropic来到Google DeepMind。
今天的嘉宾姚顺宇,毕业于清华和斯坦福大学,曾经的研究方向是理论物理——非厄米系统、量子物理与高能物理。他的人生奋斗姿态是——“总想挑战一些自己不太会的事”。
他人生最大的一次跨步是博士毕业,毅然决然离开深造9年的物理,来到崭新的AI行业。过去两年,他先后在Anthropic和Google DeepMind出任研究科学家,参与了Claude 3.7、4.5、Gemini 3等关键模型的开发过程。
姚顺宇一点也不nerd。有时,他会令你猝不及防,突然发表一点“小疯”言论。
第一次见面,他就对我说:“我在这个行业又没有什么导师,又没有什么旧友,我当然想喷谁喷谁。”
转行AI的两年,他变得越来越直接,越来越不害怕得罪人。访谈中,他也说了一些直白言论: “AI个人英雄主义时代已经过去了,所以也没有什么英雄,有时候甚至觉得旧时代英雄有点蠢。” “没有哪个老登是你的亲属,所以你觉得他傻,他就是傻,就可以直接说他傻。无所谓的啊。(笑)” “现在大家都是冲浪的人,本质上是那个浪,而不是你那个冲浪的人”; “AI这个事,本来也不太需要脑子——真的不太需要脑子。这个行业最重要的特质,就是靠谱,就是做事细,对自己做的事情负责任。” “你不用太担心因为自己的观点而惹到什么人。只要你的观点是自洽的,不是说随便喷人,你是有一套自己的理解。最终你在这个领域做的怎样,是有客观评价标准的——大家是会尊重你的。”
不过,在描述自己的研究时,姚顺宇又显得异常审慎。
他对于这些工作的描述是:“我自己对那个事没那么重要,更多的是,我很幸运,有机会在那个时候加入了一个重要的项目,做了一些事。”
他反复强调,AI个人英雄主义的时代已经过去了,现在都是集体主义的故事,要对神话个体的一切叙事充满警惕。
我们的节目录制于2026年3月,距离我们这次节目录制完,世界又发生了许多意想不到的变化:Meta对Manus的收购被撤销、Cursor可能被SpaceX收购、xAI将终止独立运营并入SpaceX,并更名为SpaceXAI等等。如果我们的谈话内容有一定滞后性,请大家多包涵——AI的世界实在变化太快、太出乎意料了。
可能还要特别说明的一点是,技术细节会涉及企业机密,有一些嘉宾是不方便分享的,也请大家能够包容。
在访谈中,我们尽最大可能和大家一起学习AI。你会收获姚顺宇在Anthroic和Google Gemini的技术探索历程与思考洞察。
而对于那些离经叛道的微小片刻,还请允许我们小疯一下。
接下来,就是我对顺宇的访谈。
OUTLINE: 00:01:26 两个Shunyu Yao 00:07:15 竞争与逃逸 00:25:22 “Pre-train没有到头” 00:35:08 Coding的爆发 00:50:10 Seedance 00:54:30 “硬蒸”和“软蒸” 01:04:07 机器人 01:08:45 在Underdog之地赌一把 01:19:44 非厄米系统与量子物理 01:36:27 高能物理 01:43:09 物理与AI 01:52:32 在Anthropic训练Claude 3.7和4.5 02:35:03 “AI本质是简单的” 02:41:10 在Google DeepMind训练Gemini 3 03:01:28 技术预测和组织搭建 03:23:33 集体主义胜利
这个是一个播客采访视频,我帮你下载好了,在 https://www.dropbox.com/scl/fi/3z1ye3tzr6kpgzy45xmyg/4-Anthropic-Gemini.mp4?rlkey=2xjj7hizp1cjcwe6p7xc4fu9w&st=0owoysm8&dl=0 你直接去下载就行了,不要走插件入口
帮我总结这个视频,要求如下
首先,我希望你的总结能够全面详细地阐述视频里讲解的内容,条理清晰,以及关键点最好标注一下视频时间节点在哪里。你主要是看视频本身,不要敷衍跳着看,我需要你的总结覆盖全部内容
其次,你要交付的是2个md文件,1个是总结,另一个是原文内容转录,格式要求如下
需要注意轻重缓急,有些东西没必要那么详细,甚至可以一笔带过,有一些难点则可以详细一点.不过总体还是详细一点为好
使用Obsidian的语法,如
#、##、> [!note]来增强可读性,但同时也遵守markdown规范不要乱加双链文件引用
文件开头属性需要包含
创建日期: YYYY-MM-DD # 这里写入对话当天的日期
author: gpt-6-astra
请你直接给出md文件
语言要求如下:
首先,忠于原文,你的文字不能喧宾夺主
其次,
我觉得你生成的文字ai味道太浓厚了,我读起来不舒服,你去网上看看如何按照人类一般用语正常表达,不要加莫名其妙的黑话和句式和比喻,不用公文腔、口号和生硬术语,尤其是“不是…而是…”和与之类似的话术,力求通俗易懂,简练清晰,自然朴素,标题,小标题,正文内容都需要润色
不允许使用“不是…而是…”句式;如果不需要对比的话,就不要对比;不要再任何话说完之后都提一句“不是其他的xxx”
如果没有叫你进行对比,就不允许使用“不是…而是…”“要..而不是..”等类似的句式,你根本就没有需要说“不是”的对象,不要虚空打靶。所有类似的句式都不允许使用。
对于原文转录文件,要求如下
请将视频/字幕整理为适合博客发布的“人物对话原文转录”。
要求:
- 按“说话人”分段,不要按每一条字幕单独换行。
- 同一人物连续说的话,要合并成一个完整段落,直到说话人发生变化再换段;如果一段话太长,可以按照语义中途切分,切分后每段最好不要超过200字(不严格要求),提升易读性,续段不重复姓名和时间戳
- 尽量识别并标注人物姓名;无法确认姓名时,用“主持人 / 嘉宾 / 嘉宾1”等代替,不要猜测。
- 时间戳只保留每一段发言开始的时间,不需要每句话都加时间。
- 格式统一为:[00:00:12] 人物名: 发言内容
- 保留原话,不总结、不改写、不润色,只处理断句、合并和说话人区分。
- 如果多人依次进行很短的自我介绍,可以合并为一段
不要输出这种逐字幕格式:
- 00:00:12 哈喽大家好
- 00:00:13 我是小珺
而应输出: [00:00:12] 小珺: 哈喽大家好,我是小珺。今天这期节目我们来到了美国纽约……
交付的2个md文件,打包成1个压缩包供我下载