姚顺宇访谈原文转录

整理说明

本文依据视频音轨和字幕逐段整理。时间戳取每段发言的起点;连续长段按语义拆分,续段不重复姓名和时间。语气词、重复和口语表达均予保留,仅补充标点、说话人及少量明显的识别错字。画面中已经标明的录制背景以“画面注”保留。

  • 主持人: 张小珺
  • 嘉宾: 姚顺宇
  • 视频时长: 03:48:00

开场 [00:00:00]

[00:00:09] 张小珺: Hello大家好,我是小珺。今天我们的嘉宾是Google DeepMind研究员姚顺宇,硅谷有两个很有名的姚顺宇、姚顺雨一个之前在OpenAI跳槽去了腾讯出任腾讯的首席AI科学家,他之前也来过我们节目。那今天我邀请的是另一位姚顺宇,他此前在Anthropic现在在Google DeepMind我们从近期一系列的模型巨变开始聊起。那接下来就是我对顺宇的访谈。

[00:00:37] 姚顺宇: Anthropic作为一个公司来说,它能够实行这种就是比较top down的机制,是一个很独特的事。

[00:00:43] 张小珺: 可是这对于其他模型公司很难吗?

[00:00:45] 姚顺宇: 很难,比如说OpenAI就干不了,就是Gemini也比较难。大公司和startup它打法本来就不一样。因为startup重要的是make bet,就是我得我得赌一件事。我觉得大家现在就是是每个人都是冲浪的人,本质上是一个浪,而不是你那个冲浪的人,但是反正就感觉AI这个事本来也不太需要脑子。

[00:01:09] 张小珺: 不太需要脑子。

[00:01:10] 姚顺宇: 真的不太需要脑子。

[00:01:11] 张小珺: 那需要什么?

[00:01:12] 姚顺宇: 我觉得这个这个行业就是最重要的特质,就是靠谱就是做事细,然后对自己做的事负责任,这是最重要的特质。

两个 Shunyu Yao [00:01:26]

[00:01:28] 张小珺: 硅谷不是有两个姚顺宇、姚顺雨吗?你要不要先给大家介绍一下你自己,然后给大家科普一下两个姚顺宇、姚顺雨的区别。

[00:01:35] 姚顺宇: 啊,可以对,就是我叫姚顺宇,然后显然也有一个跟我几乎同名的朋友(姚顺雨,腾讯首席AI科学家,前OpenAI研究员)然后我们俩主要履历也有一些overlap(重叠)。所以说可能看起来非常的难以区分。

对,然后我是我以前是做学物理的,然后我本科时候在清华那时候做凝聚态理论,然后后来去斯坦福做理论,高能物理,然后和量子信息啊,黑洞相关的一些方面,然后离开斯坦福之后,去伯克利短暂的待了两个星期的postdoc博后,然后就离职了,去了Anthropic然后在Anthropic待了一年,去年9月底10月初的时候加入了Gemini。

对,然后如果大家非要区分的话,我觉得最大的区分就是那个顺雨。他一开始就是一直都是做CS,就是计算机相关的。然后我其实从某种意义上来说是个半道出家。对,就是我之前是做理论物理为主的。

[00:02:37] 张小珺: 对,你们是不是好朋友?你们好像大学就认识,而且是一级的对吧?(对)他是一个什么样的人,你是一个什么样的人,评价一下他,你也评价一下自己(哈哈哈)。

[00:02:46] 姚顺宇: 对对对,我们本科就认识。因为我们本科是一级的,然后在清华。但他当然他一开始就是学计算机的嘛,所以他在那个姚班就是计算机科学实验班,然后我是学物理,所以我在基科班。对,然后后来他去了普林,我去斯坦福,这可能也是另一个有点令人费解的点。就是好像这个普世世界里觉得斯坦福应该是学计算机的人该去的地方。

然后觉得普林斯顿是学物理人该去的地方,但我俩正好反过来哈哈,所以说也可能产生了一些费解的事情。然后我俩其实也还真的挺不一样。我觉得他是一个比我有趣的多的人,我觉得我从他身上也是在过去,也是能学习到了一些和我很不一样的点。比如说他可能花了很多时间去思考。比如在AI方面,他花了很多时间去思考,就是人和AI的交互呀。

然后包括一些产品上的事情,然后我觉得其实对我来说是一个很不一样的朋友。然后我也从他那学到了很多东西。

[00:03:41] 张小珺: 你们之前在硅谷的时候多久见一次面啊,你们现在是不是还频繁打电话多频繁?

[00:03:47] 姚顺宇: 我们在硅谷的时候见面确实挺频繁的,可能每几个星期吧。但是好像见面主要是为了凑一块玩。

[00:03:56] 张小珺: 哈哈哈玩啥?

[00:03:58] 姚顺宇: 就是真的就是纯玩,就是可能出去散散步,然后扯扯有的没的。然后可能有时候吃个饭,打个牌啊之类的。对,哈哈。对,然后他回去之后,其实我们也是也还是经常会打电话。

[00:04:12] 张小珺: 最近一次电话聊啥了,好像就是前一两个星期。

[00:04:15] 姚顺宇: 啊,你怎么知道的?呃,可能就是会过几个月,然后就catch up一下大家过最近的近况吧。对。

[00:04:24] 张小珺: 他是不是多次想把你拉过去?

[00:04:27] 姚顺宇: 呃,嘶哈可能有这个意思吧,但是但是我觉得不关键。

[00:04:34] 张小珺: 不关键哈哈哈,你为什么不去啊?

[00:04:36] 姚顺宇: 我觉得对我自己来说,我没想清楚吧。嗯我觉得多半是我自己的原因,然后我也没有去任何中国的地方。然后我觉得主要原因是因为在去年的九月或者八九月,这个时候我觉得那时候我离开离开Anthropic,然后离开之后决定要去哪的时候,最大的动机是我想学一些不一样的东西。嗯,对我来说我可能就没有去考虑,没有没有更着重的去考虑,说能够去领导一个项目或者领导一个project之类的。我更多的是是那个时候更多的是优先去学习一些东西。所以那时候我选择去了Gemini对。

[00:05:19] 张小珺: 我发现你们两个老被放在一起,比较和讨论,对你来说是困扰更多,还是享受更多?

[00:05:24] 姚顺宇: 我没什么感觉,然后因为我这个人也不太关注社交媒体,所以我其实真的没什么感觉。

[00:05:34] 张小珺: 嗯,因为那个顺雨,他之前在去年的时候说AI进入了the second half,进入了下半场,这个成为了一个非常有名的观点。你觉得今天的AI在一个什么样的时期,你能给它一个定义吗?

[00:05:47] 姚顺宇: 对我觉得对我来说,我可能看得没有那么清楚。什么叫做上半场,什么叫做下半场,或者说这个定义一直以来对我并不是特别清楚。对我来说确实现在AI进入到了一个阶段,就是我觉得大家都已经开始不那么担心一件事AI是不是能够做得到,而是担心这件事是不是被良好定义?对我觉得这是一个很大的区别。

比如说我觉得一年之前就是可能去年年初的时候,那时候我在Anthropic,然后大家可能担心的事情还是说哎OpenAI这个reasoning(推理)做的这么强,我们有没有机会能够追上,然后有多大的机会能够超越它。大家还很担心这个事儿。我觉得现在就是在任何这至少在Gemini OpenAI和Anthropic这三家当中,我觉得没有哪一家会真的担心自己追不上。

嗯,然后我觉得可能现在对大家更难的事情是是想明白要去做什么。这个是一个我觉得是一个是一个bet(下赌注)。但是也是我觉得也是一个很需要人的insight(洞察)的事情。对。

[00:06:54] 张小珺: 那这也意味着模型的能力被拉平了,对不对?它变得同质化,变得商品化。所以模型没有很大的区别,就是在好坏上没有很大的区别,但是需要分化。

[00:07:08] 姚顺宇: 我觉得从用户的实际体验上来说,这三家的模型是能够感受到区别的。但是难的一点是过去这个区别在纸面上也能看出来,在纸面上是指什么?纸面上就是比如说像公开的有很多种Benchmark(评估基准)这种测量的规范。然后比如说大家以前能够去看SWE-bench,对对对,能看SWE-bench。然后可能数学大家那时候会比像简单一点的AIME,然后难一点的像IMO。

那个时候感觉就是你从纸面上就能看出来,哎,这个模型好像reasoning强一点,那个模型好像coding强一点,那个模型这个强一点,现在就是纸面上大家其实都比较相近。然后你去看那个纸面上的消息,比如看SWE-bench你会发现哎好像好的会比不好的,可能高一个百分点或者两个百分点。

但其实大家都在80%附近那个附近数字高一点、低一点,其实是主要是noise(噪音)就主要是噪声而不是信号。对,但是从另一方面来说,大家使用上确实还是能体现体验出区别的。我觉得嗯就我个人了解到的信息而言,Claude目前仍然是比较通用的这种工具使用类的Agent表现最好的。然后在纯粹coding的方面,可能最近Codex稍微追上了一点,把这个中间的gap变小了一点。

然后Gemini可能在纯的reasoning,然后和一些比较日常的使用环境下,可能目前还是比较好的。然后在在coding和Agent上还处于一个比较在在接近的这个状态。

竞争与逃逸 [00:07:15]

[00:08:45] 张小珺: 嗯,这些能力他们是有意选择,我优先发展哪个方向,还是说它就是好和坏的区别,就是它是能力问题还是意愿问题?

[00:08:55] 姚顺宇: 我觉得呢其实是有意愿的成分在的,尤其在过去的情况下,主要是意愿,就是当大家能从纸面上就看出区别的时候,那时候意愿肯定是占大多数的,因为可能像Claude就一直更看重这种使用工具的能力。嗯,然后包括coding那可能OpenAI还有一段时间非常看重reasoning。对,当然它现在也开始看重coding了。那那个时候肯定是意愿会占大多数。

因为你花你更有意愿的话,就意味着你能花更多的精力去构建合适的基础设施,合适的infra构建合适的数据,然后尤其数据它是一个从某种意义上来说,很花时间很花精力的事情。对,所以说那个时候肯定是意愿占主导。但是到现在这个时候呢,我觉得两方面其实都有。因为嗯其实因为纸面上大家都看起来差不多。然后其实甚至你就做一些更内部的测试来说,这个数字也都变得差别,没有那么大了。

然后这时候更难的事情就是你该怎么去定义你的问题,定义你想要的行为。嗯,然后在这个事情没有定义的那么清楚的时候,模型的很多差异其实来自于一些其实是你想象不到的事。

[00:10:15] 张小珺: 对想象不到的事,指的是。

[00:10:17] 姚顺宇: 我觉得当然想象不到的事,就是你现在去问,其实我很难给你一个特别清楚的答案,可能过一段时间之后,回过头来看,我才能给一个清楚的答案。但是我可以举一个想象不到的例子吧。就是比如说比如说退回往回退,可能一年两年甚至三年的时候。那时候如果你比如说去网上取这些预训练的数据的话,你看训练模型就会发现模型在写代码。

那时候当然没有这种Agentic的写代码,它都是写一段代码(嗯)那时候你会发现模型写代码会写得很好。但是可能那时候大家不知道为什么,但是这个里面意外的原因,可能就是你从网上随便的去,如果不做任何的数据的筛选的话,自然的这个这个code data的质量就会比别的高一点。因为你去看网页,你会发现GitHub的质量是显著比别的正常网页要高的。

[00:11:13] 张小珺: 在进入我们今天主题之前,我想先聊聊我们最近模型的一系列的近闻,就是你看最近大家都在讨论OpenClaw嗯,你作为一线的研究员,你对这个新的产品形态是怎么看的?你周围有哪些讨论?

[00:11:27] 姚顺宇: 我觉得有趣的是,我感觉这个事情在业外的讨论好像比业内的讨论更激烈。

[00:11:36] 张小珺: 哦,业内没有人讨论,业内有人讨论。

[00:11:39] 姚顺宇: 但是我觉得对业内人来说,它并不是一个嗯特别令人惊讶的事哦,怎么说?就是可能在公司内部也有人已经做了类似的这种实验,或者这种demo只是可能并没有作为一个产品去很认真的宣发,然后把它打磨,然后发出去。对,然后当然事实情况就是你去看这个OpenClaw最早版本的GitHub的那个code,其实那个code也就从某种意义上说,写的也不是特别的干净。

但是我觉得它很重要的事是它给大家展示了这种可能性。嗯,那可能展示这种可能性之后,OpenClaw的作者自己也加入OpenAI。然后那可能就是这些模型的实验室,或者说一些大一点,创业公司会很快跟上,然后把这个东西打磨成一个真正可用的产品。

[00:12:31] 张小珺: 嗯,(对)所以我理解。其实在OpenClaw发布之前,Google就已经有人在做这个事情了,只是还没有发布。因为大公司的流程比较长。

[00:12:39] 姚顺宇: 对我我我的至少我个人所得到的印象是这样的,所看到的是这样。对。

[00:12:46] 张小珺: 所以这种类OpenClaw的这种产品形态背后,本身说明了什么?在今年初的这个时间点上,我觉得其实。

[00:12:55] 姚顺宇: 我觉得技术上来说其实并不能说明什么。就是说OpenClaw这个产品。当然它依赖于模型能做的很多事情。

[00:13:05] 张小珺: 但是那些事情的能力。

[00:13:06] 姚顺宇: 其实并不是到今年年初才准备充足的。我觉得可能在去年就是像Opus发布4.5(Claude系列)。然后然后当然那时候Opus其实比OpenAI和Gemini 3在tool use(工具使用)的能力上都要强一些。所以我觉得在那个时间点,其实你做这个事这个事就已经是可以展示出来的。然后其实它一开始发布也没有立即就火,它就发布了之后过一段时间才火起来。嗯,所以说我觉得可能对我来说,技术上它并不是一个并不是一个就说那么令人惊讶的事。

[00:13:42] 张小珺: 它是模型能力的自然溢出。

[00:13:43] 姚顺宇: 对对对,我会这样觉得。但是我觉得它可能一个对于大家的惊喜是说,以前可能大家都没有意识到它让大家意识到了这件事可以做意识到什么。

[00:13:52] 张小珺: 就意识到了这个。

[00:13:53] 姚顺宇: 你可以哎让模型做很就是你可以控制很多不一样的模型,然后做很多不一样的事情。然后把这个事情汇总汇总之后做一个很长很长、很长long horizon(长程任务)的这种这种工作。我觉得可能以前大家并没有并没有广泛的对这个事产生共识呢?这个事情给大家展示了这样一种可能性。

[00:14:13] 张小珺: 你看从去年初火的是Manus,今年初火的是OpenClaw,就是从Manus到OpenClaw变化是什么?是模型能力的变化,还是产品的变化?

[00:14:20] 姚顺宇: 这也是个我其实一直没理解的事儿。嗯,就是Manus和OpenClaw之间的质的区别是什么?是一个我其实自己没太看明白的事情。

[00:14:34] 张小珺: 说实话哈哈哈OK。

[00:14:37] 姚顺宇: 嗯,就是或者换句话说,就是可能OpenClaw这个事儿火了。但是如果你要回头问我说为什么Manus做不了这个事儿,我不明白Manus为什么做不了,可能只是它没做对。

[00:14:54] 张小珺: 但是你看不管是Manus还是OpenClaw,它们都选择了Manus卖给了Meta(画面注:。该收购目前已被撤销,我们节目录制于撤销之前)OpenClaw卖给了OpenAI这个现象说明什么呢?为什么它们都卖了。

[00:15:03] 姚顺宇: 我觉得嗯我自己的感受是一个东西,如果要嗯长久的生存,还是需要考虑一些壁垒的壁垒是模型。我觉得至少目前来说很多壁垒都是在模型侧,但是未来会不会产生产品侧的壁垒?我觉得是说不定的。就因为大家市场上就是这都老生常谈的话题,就很多人就要谈论这个什么数据飞轮啊之类的事情。目前来说,我觉得没有哪一个场景,真正的形成了数据飞轮甚至AI纯粹原生的应用场景。

我觉得目前除了Agentic coding就写代码之外,没有哪个场景是AI真正原生的场景变得非常成功。因为从某种意义上来说,Chatbot的其实是搜索的一个延伸。

[00:15:57] 张小珺: Chatbot是搜索延伸,对它为什么不是独立于搜索的?它是因为。

[00:16:02] 姚顺宇: 因为你想大家其实和Chatbot最多的交互是我有一个问题啊,就问这个Chatbot然后这个其实是搜索本来干的事儿。但是它带来的比搜索要远强的一个事情是它变得非常interactive(交互的),就是它有交互性,你可以追问,然后它甚至可以帮你总结出一些通过它获取的一些信息,帮你把它压缩成浓缩成回答你的问题的那个信息。对,这个是以前搜索给不了你的嗯(对)但它当然就不是完全一样的需求。但是从需求从大的需求上来说,是比较类似于搜索之前的需求。

[00:16:42] 张小珺: Manus和OpenClaw我觉得都是现在最有名的壳,但是壳最后都卖给了模型(画面注:Meta收购Manus已被撤销,我们节目录制于撤销之前。)那是不是说明壳还是难以逃脱模型的掌心啊?这个逃逸速度不够不够快,是不是?

[00:16:55] 姚顺宇: 我觉得我觉得壳在目前这个情况下活下来有两种我大概能想象的方式,一种想象的方式,就是像你刚才说的逃得足够快,就是我增长速度足够快。以至于在模型公司反应过来的时候,我其实已经占领了大量的用户心智。然后在模型公司追你产品形态的时候,我又自己演化出了自己的模型。

我觉得Cursor就是试图在走这条路(嗯)那Cursor其实在这种AI原生场景下,几乎是我能想到的创业公司里增长的最快的啊,就算这样的公司,它现在也很有危机感,它有多有危机感,反正我的感觉是对Cursor来说,现在和Anthropic已经进入了一个非常微妙的关系。就是曾经他们是亲密无间的合作伙伴Anthropic提供模型Cursor提供产品。

后来Anthropic自己有了Claude CodeClaude Code现在变得非常成功。然后Cursor现在又自己试图做自己的模型。所以Cursor在努力的训它的Composer,所以说我觉得都不用说未来。其实现在就是它们已经处于一种比较竞争的关系了(嗯)那如果在竞争中输掉的话,我觉得是比较麻烦的。

因为代码这个事情,coding这个事情其实它本质上是一种服务于专业用户的专业需求,是一种效率工具。效率工具很容易出现的一个场景。就是赢家通吃。我觉得这个是不管对Cursor还是对Anthropic,还是对任何一些做做coding的公司来说,可能都是他们比较担心的事。

[00:18:40] 张小珺: 嗯,(对)。

[00:18:41] 姚顺宇: 然后这是刚才说的,就这一条路(要快)就是就是对你长得够快,你在你在别人还没想吃你的时候,就疯狂长,等它想吃你的时候,你足够大。另一种方式就是这市场足够的小小到模型公司根本懒得去管。我觉得Midjourney就是这个例子,就是这个这个市场小到可能。虽然你说Gemini努力一把能不能做Midjourney那个事,可能花一些精力,花一些钱,花一些data是能做到的,但是足够小,以至于可能Gemini就不是很会在那上面花时间了,看不上。对,哈哈哈我觉得那可能也是一种活下去的方式对。

[00:19:24] 张小珺: 所以哪怕是Cursor今天也没有逃逸出模型的手掌心有谁成功逃逸了吗?

[00:19:31] 姚顺宇: 我觉得大的就我目前还没看到小的可能Midjourney是个例子,当然肯定有别的例子,只是我还没看到对,小的,我觉得会有会有例子。

[00:19:41] 张小珺: Lovart算吗?

[00:19:43] 姚顺宇: 我觉得他们有机会。

[00:19:46] 张小珺: 他们有机会,反正就不能做那种通用的场景。

[00:19:55] 姚顺宇: 我觉得这是founder要自己要决定的一件事,就是你要不要抱着1/10000的生存几率去赌一票大的,嗯,还是抱着1%的生存几率去先吃定一个小的事情。

[00:20:11] 张小珺: 如果是你,你会怎么选?哈哈哈哈哈。如果是我。

[00:20:16] 姚顺宇: 我内心肯定是想吃一票大的,但是我真诚的想是我觉得第一步是不能一步登天的。所以如果是我我会选择去先吃一个小的,但是我会选择一个有想象空间的小的。

[00:20:33] 张小珺: 你说OpenAI为什么要收?OpenClawMeta为什么要收Manus(画面注:Meta收购Manus已被撤销?,我们节目录制于撤销之前)Google为什么谁也不收?

[00:20:39] 姚顺宇: 啊,Google也收了Google买了Windsurf的人。okay Windsurf嗯,我不理解。

[00:20:47] 张小珺: 哈哈哈,什么叫你不理解?

[00:20:50] 姚顺宇: 说实话就是我不理解,我觉得我觉得Meta买Manus这个事儿,我觉得对他们来说最大的用处就是如果抛掉花了多少钱之外,最大的用处是获得了一批很好的在亚洲的的产品团队在亚洲说明什么?因为我觉得一方面就是显然大家都知道中国的AI人才储备还是很丰富的。虽然可能目前从技术上纯技术上来说,中国的AI还没有真的追上美国。

但是显然AI中国是有很多好的人的,不管是从纯技术上还是从产品产品上,我觉得可能中国的本质上人才是比美国要更好。对,所以对它来说,我觉得Manus成为了它在新加坡的一个一个锚点,就它可以从那里吸引一些。比如说从中国的或者是新加坡或者东亚的人才。然后我其实没有特别看明白这个产品本身对Meta来说有多重要,或者换句话说,就是为什么Meta不能自己干这个产品。

[00:22:05] 张小珺: 但是不管是Manus和还是OpenClaw,它事实上就是诞生于外面的团队,为什么不是硅谷的这一帮研究员做出来的呢?你有没有反思过这个问题?

[00:22:14] 姚顺宇: 对对,我觉得嗯对我来说这个问题,其实我觉得一个公司一旦变大了之后,它的负担也变大了。就说我可能作为一个研究员,然后我们可以做一些很看起来很有趣、很有特点的产品。但是我一旦把这个产品去公开给公众,那要负责的事情是非常多的。第一,你这个产品不可能说一上线,然后告诉所有用户,你得再去买一台电脑干这个事,否则它就有可能会获得你电脑上所有的权限,然后把你系统搞崩。

嗯,这就作为一个大公司来说,你比如Google是不可能提供这样的产品出去的,对吧?嗯,然后所以你产品要花很多时间打磨,然后你要确认法律上它没有一些风险,然后用户上又不会损坏自己的品牌。然后你如果把它送出去了,你可能还要给它就是比较固定的一些资源去serve这个模型或者serve这条这条产品的线。所以对对对大公司来说,我觉得还是有挺多负担的。

但是对于个人来说无所谓啊,就是我反正是一个开源的项目,我代码垃圾又如何?你帮我来一起写吧,对吧?哈哈哈对。

[00:23:31] 张小珺: 我觉得不管是Manus还是OpenClaw,它其实指了一个方向,就是这也是2026年的某种叙事的可能性。你对2026年是什么,怎么样思考和预期的。

[00:23:42] 姚顺宇: 我觉得其实有太多的可能性,然后对我来说从模型能力上来说,我觉得模型就是我有时候特别爱说这个口号,就是我觉得模型做到train with finite context, use as infinite context(训练是有限的,但用起来像无限的)。就是换句话说,就是你用有限的这个这个context length(上下文长度)去训练它。

但是可以在使用的时候用非常非常长,甚至接近于无限的context length。我觉得这件事儿今年是是有机会能够做实现的。

然后这件事情实现之后,我觉得会解锁很多新的应用,也会因为因为举一个最简单的例子,就是你有可能可以让这个模型跟你持续的交互,然后持续的获得你的信息,然后它在运行的过程中会持续的根据当前的场景和你的会话,可能把那些它觉得不重要的信息扔掉,然后就成了就是大家梦想中的个人助手。对我觉得这个从技术上来说,我觉得这件事是会今年是无论如何是会实现。

但是当然当然我觉得现在大家没有达成共识的,是技术上怎么去实现这个事。嗯,显然是有很多技术路线。但是现在我觉得更多是属于在尝试哪条路线能够跑通的同时,可能有好几条路线都能跑通。那我们到时候就就要去实验上去测,在用户常用的使用场景下,哪条路线的的效率是最高的。对我觉得现在更多处于这个阶段,而不是说大家没有想法的阶段,就大家有想法,但是要确定哪个想法是最后的想法。

Pre-train 没有到头 [00:25:22]

[00:25:22] 张小珺: 站在这个2026年的Q1作为一个一线的研究员,你觉得模型的进步速度在放缓吗?我觉得完全没有(,完全没有),我觉得完全没有它的速度。曲线对比25年24年的变化是什么?

[00:25:38] 姚顺宇: 嗯,这个很难量化的说,因为就是你得给一个标准,我才能量化的告诉你。因为如果你给的标准是比如说我就看在某一个Benchmark上,比如说随便SWE-bench上,它每一个月涨多少个点儿,那这个事儿是肯定会变慢的。因为根据定义这个Benchmark最高就到100%。嗯,所以你越接近,那肯定是越跑越慢。但是这可能并不代表用户体验这个模型的能力增长变慢了。因为可能从50%到60%,它可能感觉哎好了一点。但很有可能比如说从70%到75%,它发现好的比50%到60%那个还多。

[00:26:13] 张小珺: 嗯,这是完全有可能。如果是80%到90%90%到100%,这个感受会更显著。

[00:26:19] 姚顺宇: 那也不一定,因为可能过了,可能到80%到90%用户就发现没有任何区别,甚至还变差了。

[00:26:25] 张小珺: 你说完全没有变慢,你是基于什么标准?

[00:26:27] 姚顺宇: 我觉得是基于我个人作为一个研究员的感觉,就是我个人得到的感受是这个模型学东西的能力越来越强了。以前可能让模型学会干一件事情,需要动很多脑筋,但现在可能不需要动那么多脑筋了。最重要的是你是要把这问题定义清楚,然后想清楚怎么去构建合适的数据(嗯)当然数据现在数据就更广泛,指向环境之类,也都在包括在内了。然后剩下的事情好像很多时候是顺其自然的了。

[00:27:03] 张小珺: 对学习能力变强是为什么呀?模型的学习能力变强了。

[00:27:07] 姚顺宇: 我觉得可能一方面原因可能有很多方面,但我觉得可能一方面是因为预训练,其实在过去的几个月里,我觉得还是越来越强了的。

[00:27:19] 张小珺: 预训练对对。

[00:27:20] 姚顺宇: 模型的预训练,其实在过去几个月里还是变强了(嗯)我觉得这个可能是一个从某种意义上来说比较有争议的事儿。因为几个月以前,我觉得就是很多人已经在讨论预训练的这个Scaling Law(缩放定律)是不是已经到头了?嗯,我的体验是没有,而且我的感觉是在未来的4个月也没有看到到头的迹象。

[00:27:46] 张小珺: 嗯,觉得到头是为什么呢?

[00:27:49] 姚顺宇: 我觉得嗯我我我显然不知道大家觉得到头的原因是什么?因为我自己没觉得到头。但是我觉得我的猜测是一个人觉得一个规律到头了,无非以下两种情况啊,一个情况是他觉得这个规律的适用范围到头了啊,就可能就可能从根本上讲Scaling Law就是没有办法无穷延展下去的,which有可能是对的啊。但是这是一种猜测,就是这个人可能觉得这个这个规律适用范围到头了。

另一种可能是这个人觉得这个规律其中的有一个条件不能满足了。比如说他觉得数据就已经撞上墙了,那我完全没有把它延展下去嘛。另外一种可能性,但其实还有第三种可能性。第三种可能性就是其实他这个工作哪里有一个bug,他自己没发现,所以他觉得到头了。哦,我觉得从我的观点,从我的观感上来说呢,我觉得可能绝大多数撞到墙的人是因为第三种。

[00:29:03] 张小珺: 是因为有bug是哪种bug?

[00:29:05] 姚顺宇: 我觉得bug是有很多种可能性的。比如说一种可能性是你Scaling Law做的时候一些科学的假设没有做。对,比如说你选什么样的token horizon,就是每一个大小模型选什么样的这个期待的训练的数据量,然后这个数据量这个数据是从哪里选?然后有可能这些比较科学的选择,没有选清楚是一种可能性。但我觉得还有一种可能性,就是纯粹就有个bug。这个其实在业界我觉得也不惊奇。

很多时候修好一个bug带来的进展是远大于一些很神奇的技巧的对,然后当然还有另外的情况,刚才给的这两种例子,反正是我见到过比较多的情况。

[00:29:57] 张小珺: 那你们的bug怎么办?你们怎么解决bug问题的,我觉得对我感觉这更像是一个信念的问题。因为当你遇到一个bug,你觉得它不能解除,你就会说这个到头了。当你遇到个bug,我觉得哦这个肯定可以解决,那你就觉得这还没有到头,因为肯定每个人都要遇到bug。

[00:30:14] 姚顺宇: 我觉得我觉得这可能就像你说的就是其中有一些比较信念性的东西。但对我来说更重要的一件事是做事系统,就是当你一个事情和你预测的不一样的时候,你能不能系统性的排除各种可能性,这个我觉得是一个很重要的事。嗯,这个是我觉得Gemini和Anthropic做的比较好的事,就是尤其在预训练上。就是说当某一个尺度上的行为,可能和你想象中不一样的时候,大家能够去去设计合理的。

我们所谓的ablation实验(消融实验)合理的这种实验,能够看出来测你的一些想象中的可能的因素是不是真的因素?我觉得这个做问题的系统性才是关键。

[00:31:07] 张小珺: 嗯,你觉得模型能力还能提高,那它的驱动力、数据算力、算法,你觉得它的驱动力主要来源于哪个?

[00:31:18] 姚顺宇: 我觉得其实都有,但是从某种意义上来说,数据和算力两个事其实是很强关联的一件事。

[00:31:28] 张小珺: 数据和算力嗯,对,因为。

[00:31:30] 姚顺宇: 你算力上去了,自然就会吸到更多的数据数据上去了,你就自然需要更多的算力。对,然后算法上来说,我觉得算法作用往往是有一个相变的。就是算法有一个阶段是你完全没有搞清楚该怎么做。那个阶段就算法会非常非常关键。因为你没有完全没有搞清楚怎么做的时候,你可能就完全没有办法scale up,然后可能就卡在那了。

但是在某一个点,你可能发现了算法当中最重要的一件事,那它可能一下就变成了从完全不能做,变成了能做。然后之后算法的提升,更多的是一种比较平滑的提升,就是它可能从某种上提高了你计算效率或者使用数据的效率。对,然后我觉得就举例吧。就比如说从语言模型的预训练来说,那可能这个算法上的这个跳的过程就是就是发展出Transformer这个事情。

但Transformer发现之后,更多的都是慢慢就是平滑的让它的效率或者你使用data或者使用算力的效率变得越来越高了。

[00:32:37] 张小珺: 对,所以现在的驱动力是算力和数据。

[00:32:41] 姚顺宇: 我觉得在现在比较清晰的框架里面,主要的驱动力是算力和数据清晰的框架,是指比如说预训练和后训练,不管是基于强化学习的后训练,还是基于supervised learning,就是监督学习的后训练。比如在这两个就是比较清晰的这种这种paradigm(范式)下,确实算力和数据是主要的驱动力,但是不可否认,可能有别的方向可能驱动力失算了。嗯,什么意思?举个简单例子,比如说多模态生成。嗯,那个我觉得可能就是一个算法上来说没有太想清楚的事。

[00:33:21] 张小珺: 所以那个还是个科学问题还没有解决。对,但是语言已经不是科学问题了。

[00:33:29] 姚顺宇: 自然语言的生成,我觉得目前这条技术方案撞到头之前,我觉得在科学上是比较清楚的,但是工程上也还有很多很多很多要做的事。

[00:33:41] 张小珺: 你觉得预训练还能提高多少?通过预训练提升模型能力,还有多少多长的路可以走,可以预期到。

[00:33:49] 姚顺宇: 人就是这样,就是当你没有撞到头的时候,你其实不知道这个路有多长,我能我能看到的,就是现在还没撞到头,但我也不知道哪天会撞到头。如果真的让我去估计一个时间线的话,就像刚才说我觉得4个月接下来4个月是还是会继续有进展。但是AI这个方向没有人能预测4个月之后的事。

[00:34:09] 张小珺: 嗯,所以过去几个月你在看预训练和模型能力的时候,你还是很兴奋的这是你周围的普遍的心态和状态吗?我觉得是的,这是在Google一个小环境里面,还是说在整个硅谷的环境里。

[00:34:24] 姚顺宇: 我觉得很难说在整个硅谷,因为硅谷是个太大的地方,可能做产品的人对产品很兴奋,对吧?做产品来说,对他们最兴奋的是可能有OpenClaw嗯,但是对做模型的人来说,可能就是我们会对这种模型进展更更兴奋一些。嗯,我觉得。

[00:34:39] 张小珺: 呃,对于做模型的人来说,兴奋是一个共识吗?

[00:34:44] 姚顺宇: 在过去4个月,我个人认为是的哦,我个人认为是的,至少在我能接触到的范围内,我觉得在Anthropic和Google大家或Gemini大家可能想的更多的是我们AI会不断地进展下去,很快我们就要被替代掉。替代掉之后,我们该干点啥?

[00:35:03] 张小珺: 呵呵,而不是模型撞到头了,该怎么办?呵呵呵,说到这个问题,为什么在过去几个月coding的发展速度是最快的,为什么是这个场景啊?

Coding 的爆发 [00:35:08]

[00:35:16] 姚顺宇: 我觉得coding这个场景首先coding这个事儿不只是在过去几个月发展最快。我觉得coding这个事儿其实从Claude 3.5 (new)或者外界有人管那个叫Claude 3.6(嗯)从那个之后一直都处于高速发展的状态。然后我觉得。

[00:35:36] 张小珺: 那个是去年初还是前年底?那个是前年的10月份,前年10月份。对对。

[00:35:44] 姚顺宇: 应该是有可能10月份或者11月份,但是差不多。那时候从那之后我就一直都处于高速发展状态。我觉得coding这个场景有两个最大的优势。第一个优势就是它的reward signal(回馈信号。)就是它的那个回馈的信号是很好定义的。

因为比如说你去,比如说像software engineer(软件工程师)这种task,有时候经常情况就是我需要写一个code实现一个feature一个特征(嗯)这个特征需要的是某些输入会得到某些输出,这就是一个很容易能够很容易能够测试的事情。所以它的回馈信号非常清晰。

你输入和这个输出能够对那就说明你的实现是成功的不对,那就说明不成功(嗯)但这只是一个例子,就是在这种和写code相关里面有很多很多很多这样良好定义的回馈信号。然后另一个比较大的优势是coding的数据,有一个非常天然的基础。这个基础就是GitHubGitHub上汇聚了过去几个大概的几十年,很多优质的程序员所写下的代码,然后从那些代码出发是可以构建出非常非常非常多环境。

我觉得这两件事从模型的角度上来说,是为什么coding可以做得很好。当然我觉得从产品上来说,还有另外一方面的原因就是coding这个产品的使用需求,其实是从某种意义上说是比较单一的。它不像你去做一个像社交软件或者游戏,可能每一个人都有不一样的品味。然后你可能很难就是能够满足每一个人的需求,那可能就是需要推荐算法。

但是coding这个事好的事情在于优秀的程序员写代码,其实风格是比较类似的。

[00:37:57] 张小珺: 什么风格简洁干净?

[00:37:59] 姚顺宇: 就是对就是好的代码是(不脏)是有一些共同的标准的。比如说像你说的就是这个代码简洁结构清楚,适于未来的开发,然后有合理的抽象。当然还有别的很多标准。但是我觉得好的程序员往往是有有比较共识标准的。对这件事。所以这件事从产品上来说,其实让coding这个产品变得更简单了。

[00:38:27] 张小珺: 你现在的工作百分之多少会用Claude Code写代码,它能帮你提高工作多少倍啊,你问了一个,我差点会被开除的问题Google不能用Claude Code哈哈哈哈哈哈啊对。

[00:38:44] 姚顺宇: 就是我觉得对我来说一个保守的估计可能90%的code是模型产生的。但是可能就是我需要花很多时间去去看这个code是不是写得合适,写得合理,是不是真的是我想让它写的。然后我觉得有了AI辅助工具之后,可能写code的这个事儿最重要的地方变成了你怎么去设计,你怎么去设计你这个code的逻辑,然后它需要和哪一个文件相关联,然后需要做某哪些事情。

然后你需要给这个模型可能给一些合理的context。就是说哎比如说这个code你可以做一个reference(参考)去看一眼,对,真正去输出code。我觉得模型比人的能力强太多了啊,所以说对我来说,你要实际去数有多少行code是我自己手写的有多少行code是模型写的。我觉得保守估计模型写的超过90%不保守的可能就是99%或者100%。

[00:39:48] 张小珺: 剩下10%是它不能写。

[00:39:50] 姚顺宇: 还是为什么你没有让它写保守,估计90%给我自己点面子。

[00:39:56] 张小珺: 哈哈哈哈哈,我觉得它不能写。

[00:39:58] 姚顺宇: 而我能写的部分已经越来越越来越少,越来越少,越来越少了。

[00:40:02] 张小珺: 过去可能是什么样的?是它不能写的。

[00:40:06] 姚顺宇: 我觉得很早的时候,就是可能在一年半以前,那个时候市面上其实说白了就是只有Claude一家能够能够真的写这种软件工程code那个时候模型还是能体会到很多很多缺陷的。比如说它有时候可能写code,就只关注这一个文件,它就不会很关注那种多个多个多个文件之间的关联。然后如果一个比如说一个class,它的定义,其实藏在很多层以后,或者说它其实没有直接被套在这个这个直接的树里面,可能这个模型就找不着。现在我觉得这个事已经越来越少了,呵呵真的越来越少了。

[00:40:51] 张小珺: 作为一个researcher,你的写程序的工作量能够是过去的多少倍。因为从写code的角度来说。

[00:40:59] 姚顺宇: 是比较能难量化这个事儿。但是如果说从比如说我做实验,然后实现一些idea的效率上来说,我觉得可能比起一年甚至一年半以前可能都是20甚至50倍的这种加速。对,因为现在模型真的变得就是可以很离谱,就是你可以同时开好几个。然后你好几个idea,然后同时的去试,甚至有些时候这个模型可以帮你监控一些实验啊,监控一些结果之类的,所以说还是真的是一个挺挺大的效率提升。对,但是如果从个人工作时间上来说,我觉得它好像让我工作时间变更长了。

[00:41:43] 张小珺: 这是为什么?就是。

[00:41:44] 姚顺宇: 因为开发的速度变快了,越试越想试,有越来越多的想法要去试。所以说感觉以前你可能存在说,哎,你有一个东西,比如这个文件以前没见过,你可能自己看你搞的不是很明白,那肯定你要去花时间去找那个人,然后你约那个人可能就几个小时之后,但现在就不是你就看到这个文件,你不懂拿去问一下Claude或者GeminiGemini可能5秒钟就告诉你,结果你就接着干了。

[00:42:13] 张小珺: 哈哈哈所以说从工作时间上来说,我觉得好像工作时间反而变长了,而且工作的密度也变高了。好Google已经不是那个Google了,是吗?不是那个可以养老的Google,不是那个work life balance的的Google。

[00:42:28] 姚顺宇: 我感觉在GenAI(生成式人工智能)这个领域没有谁可以养老。

[00:42:32] 张小珺: 哈哈哈,所以你现在早几晚几啊?

[00:42:34] 姚顺宇: 我一般可能早上9点钟开始到公司吗?9点早上9点可能先起来看一下邮件,然后看一看我前天晚上实验,然后到公司可能一般10点左右。然后啊晚上如果我一个人在美国的时候,我可能就会待到可能10点11点这样。当然如果我家人在我老婆在的话,我可能就会早一点回家。但是在家反正也是干,所以我觉得在GenAI这个领域没有谁是在躺着的,除非就是你已经完全对技术没有兴趣了,对自己没有追求了。那你躺着其实也没有人管你,但是我觉得大家还是比较self-driven(自驱)就是还是自己想干。对。

[00:43:20] 张小珺: 你觉得其他的领域会出现更多的这样的Claude Code的时刻吗?coding之后会在哪里爆发?

[00:43:27] 姚顺宇: 你问了一个好问题,我要是看清楚了,我可能已经出去创业了。

[00:43:32] 张小珺: 哈哈哈哈哈对,但是但是。

[00:43:36] 姚顺宇: 确实就是除了coding之外,我们已经能看到就是对很多别的方向已经产生大的影响。但只说那些方向可能并不是一个好的这种市场上的方向。比如说好多现在的做基础科学的研究,比如做数学啊,做理论物理好多人其实已经就大量的开始用AI工具。

因为过去你可能像我们做AI研究,其实很像就是说你可能想到一个想法,你想跑一个数值学物理的人又不是很会写code光学明白怎么打开这个编译器,把code跑起来可能半天已经过去了,现在就没有这个烦恼了。就是你现在想试5分钟之后,code写完了,你就可以开始试了。

然后甚至像Gemini Deep Think发布之后,有很多这个基础科学的研究人员,就把这种比如说数学推导啊、数学证明啊,然后甚至就是去看这些不同的这种文章,然后归纳这些事全都交给模型了。所以说已经我觉得对除了coding之外的方向产生了影响。当然就是那些基础研究,你可能很难就是变成一个万众瞩目的事情。

除非你就真的发现了一个以前人都没发现的很妙的理论,比如AI产生了爱因斯坦理论这样级别的东西,那可能会变成万众瞩目,但那个时刻可能还没到来,但是影响是已经在产生了。

[00:45:04] 张小珺: 哇,AI好神奇啊,它为什么首先上来做的都是人类觉得最难的那部分工作。

[00:45:11] 姚顺宇: 我觉得这是一个特别好的问题。就是我觉得过去的嗯在我人生的阶段里,大家往往会觉得最智力上有挑战的工作,反而是那些比较理性的事情,比较客观的事情。嗯,比如说数学,比如说写代码,比如说做AI研究。

[00:45:32] 张小珺: 还有科学研究,对,就是越是这些事,其实AI越容易做好。因为你一旦想清楚这个事,怎么去评价,你就知道怎么训练人为什么比较难呢?(我觉得)你看人都是智力分配最高的那部分人做这些工作。对,但是可能未来就不是这样了。

[00:45:51] 姚顺宇: 哈哈哈我觉得未来未来会怎么样?未来其实会发生了一个改变,就是那些AI就是有很多AI其实没有那么容易做,但是反而是人可能做比较好的。比如说做产品经理,我说实话,觉得做一个好的产品经理是一个我现在想不明白该怎么训练AI去做的事,这是为什么没有标准,没有标准(没有刻度)就是什么叫做一个好的产品。我其实想不太明白,没有一个很客观标准,你一定是做出来了之后给人用了,你才知道它好,那大家才会说它好,对,我觉得那个就是一个回馈信号,很不明确的事。那个我就不知道该怎么去训练AI做对。

[00:46:40] 张小珺: 程序员什么时候会被彻底取代吗?会有会有这一天吗?

[00:46:45] 姚顺宇: 嗯,我觉得这一天会来,但是它不会是一瞬间的来,就不会是程序员都还在过了一个晚上。第二天程序员全被开除了,不会是这样的,一定会是一个渐变的过程。但是大家现在已经看到这个渐变的过程了。因为有一些公司已经开始开始裁员了。对我觉得从某种意义上来说,AI是一个从某种意义上来说,它当然是一个很好的东西。

但是从某种意义上来说,它可能也是一个很不幸的事,就是AI是一个很centralized的technology(中心化技术)它会让少部分人变得更强,但会让大部分人失去他们的独特价值。对,所以说我觉得对于传统的软件工程来说,最后变成结果,可能就是现在1/1000的人干了过去所有人的工作,拿着现在100倍的工资。

[00:47:49] 张小珺: 那你对程序员有什么建议?

[00:47:54] 姚顺宇: 我觉得哈哈哈我觉得可能接受新事物吧,就是我觉得很重要。我觉得未来程序员可能很重要的一件事是怎么和AI去有效的协作。嗯,做比如说有很多事情是AI可能做的,不是那么好的事儿。比如说怎么去合理的设计一个事情的实现方案,然后怎么样设计让它可能跟这个公司未来的发展比较契合。那这些东西可能你很难去告诉一个模型,让它理解这些事儿。那这些事儿可能还需要人去做。

但是可能像具体的就是很具体的,就是像过去很多程序员做的工作,是你的经理告诉你实现这个方案。下周五之前给我,我觉得这样的工作未来可能就不会不会再存在了。

[00:48:42] 张小珺: 那1/1000的程序员会是什么样的程序员,他们的特质是什么?

[00:48:46] 姚顺宇: 1/1000是个虚数,我真的不知道是会是1/1000还是1/10000还是1/100000。

[00:48:50] 张小珺: 也可能是1%,你不要那么悲观。

[00:48:54] 姚顺宇: 我是一个著名的悲观主义者,所以说也不要太那什么。然后我觉得未来好的程序员,首先他肯定是从技术上来说,他一定是会是非常强。因为如果你技术上弱,那没有什么道理AI不能取代你。但技术强可能不会是唯一就不会是一个必要条件,它可能是个充分条件。另一个事情我觉得会很重要的。

就是你得能够理解你的这部分工作在一个大的组织或者一个大的公司里,该去怎么怎么适配进去这件事情(嗯)这件事情可能也是一个重要的。嗯,然后然后当然还有可能别的很多事情,比如说这个人的规划能力是不是足够强?他规划能力强的话,他肯定可以同时把这个大的一个很复杂的事情,拆解成很多相对较小的事情,然后交给不同的AI去做。

但是现在看这三种能力是重要的,可能AI还不能完全做,不代表6个月之后不能可能6个月之后你过来问我,我发现最后一个事AI已经能干了,那就只剩下两个事,再过6个月可能剩下两个也能干了。那可能我就我的回答就会变得更悲观。所以说没有人能预计6个月之后发生什么?我只能说从现在的观点来说。

Seedance 与多模态生成 [00:50:10]

[00:50:10] 张小珺: 刚过去的那个春节,很多人关注另外一件事情是SeedanceSeedance会让Google焦虑吗?

[00:50:15] 姚顺宇: 我觉得其实有可能有,但是这个焦虑的情绪目前还没有传导到我这儿,可能让Google DeepMind负责多模态生成的团队会有一些压力。但是如果你要问我的话,我觉得我可能不觉得他们有什么可焦虑的,就是我觉得并没有体现出什么范式上的改变,更多的是我觉得字节在不管是这个产品的效果,还是可能在数据上啊之类的这些细节会做的非常非常好。

我觉得确实是字节过去在多模态生成一直以来都有比较强的优势。但是我觉得至少我个人没有体会到它是一个范式上的变化,那可能就不足以说让大家非常的焦虑吧。对,但是肯定是有压力。

[00:51:14] 张小珺: 对Seedance它的产品能力来自于模型能力,还是产品能力啊。

[00:51:18] 姚顺宇: 我没在字节干过,所以我也不知道具体的细节,但是你要让我猜,我觉得可能模型还是占大头的。

[00:51:27] 张小珺: 嗯,模型能力的好,来自于什么?来自于数据,因为算法可能没有本质创新。

[00:51:34] 姚顺宇: 我觉得算法首先就是因为刚才多模态属于咱们说的,就是还属于那个科学问题。

[00:51:39] 张小珺: 多模态的生成属于科学问题。

[00:51:41] 姚顺宇: 对多模态生成还属于一个比较科学的问题(多模态理解解决了吗?)比生成肯定是要更系统有更系统的理解了。但是比起text token来说,肯定还是没有那么的范式,还没有那么固定。我觉得生成上可能就是因为它是一个还没有范式上还没有固定的事,可能每家用的技术都会有一些大的或者小的区别。然后嗯现在更多的只是能看到说效果上来说,可能字节和Google DeepMind属于在效果上来说做的比较好。两家。

[00:52:19] 张小珺: 嗯,所以它可能也是来自于细节做的更好。

[00:52:22] 姚顺宇: 对你如果要让我猜,我会猜数据数据,你要让我猜我会猜数据,但是就我也没在字节干过,所以也是我硬猜的。哈哈哈(嗯)。

[00:52:34] 张小珺: 你怎么看?从Google去字节的吴永辉(字节跳动大模型团队Seed负责人)啊,我何德何能?哈哈哈评价永辉,我觉得我觉得。

[00:52:43] 姚顺宇: 我当然过去没有和永辉一起工作过,所以我其实真的不是很能给什么很好的评价,很客观的评价吧。就说但是我觉得我去了Gemini之后,看到的更多的是永辉好的一面。就是我觉得他是我通过去看他偷偷去看他以前交过的代码,以及他带过的项目。我的感觉是他是我见到的少数层级非常高。然后人也很senior,但是还有很强的技术能力,我觉得是非常非常少见。所以我觉得我觉得我可能是还没到能够评价永辉的这个这个水平呢。但是要让问我说的话,我觉得永辉是非常非常强的。

[00:53:30] 张小珺: 你说站在2026年的这个Q1拍一张快照,你觉得中美的模型能力差距是在放大,还是缩小差多远?

[00:53:40] 姚顺宇: 我觉得嗯如果现在拍一张快照去看过去一年的发展趋势,或者过去一年半的发展趋势吧。显然这个中美之间的gap是越变越小了,但是最后这个gap会不会完全弥合,甚至中国超过去,那我觉得是一个不清楚的问题。我觉得对中国的AI的研究员来说,研究机构来说也是一个机会。然后我觉得一个很真实的事儿,就是中国确实在实际的算力资源上来说是占很大劣势的。但是这个很大的劣势可能反而逼出了一些有趣的事儿。比如说中国的模型公司其实对distillation(蒸馏)别人很在行。

硬蒸与软蒸 [00:54:30]

[00:54:34] 张小珺: 对,最近Dario(Anthropic联合创始人兼CEO)不是点名了3家公司蒸馏它。

[00:54:39] 姚顺宇: 我觉得其实可能是一个蒸馏这个事存在是一个心照不宣的事实。但是我觉得蒸馏它也有不同的方式,就是也有硬蒸和和聪明的蒸两种不一样的选择。

[00:54:58] 张小珺: 嗯,什么叫硬蒸?

[00:55:01] 姚顺宇: 硬蒸就是最举个最简单的例子,就是我从Claude里面取出一堆它生成的Token,然后强行在上面做训练。这个如果干这样的事,我就觉得首先商业上也不是很道德,然后智力上来说也比较愚蠢。因为干这个事儿的公司,其实本质上来说,它体现出来的一件事儿,就是它其实都不知道自己想干嘛,它能干的唯一一件事儿就是抄别人,然后让自己的模型数据上能看的好看一点。

对,但本质上就说明它自己都不知道该干嘛,这是硬蒸。但是其实蒸馏也有一些很有趣的科学问题。就是比如说我是不是有一种可能,就随便举个例子,就是有没有可能是我生成我自己生成数据的这个链条当中,用到了别的模型作为辅助,或者说我自己模型生成的答案,用别的模型作为它的评价者,这个其实是一个我觉得商业上来说比较灰色的地带。但是从技术上来说,其实很有意思。

因为你想其实从某种意义上来说,可能中国的实验室成为了做Multi Agent(多智能体)训练的先驱哦,而且是真正的Multi Agent因为它如果从不同家的模型里,用这种比较聪明的方案,把他们融汇到一个训练系统里的话,每家模型它可能是是分布很不一样的,它的语言的分布是很不一样的。

这个是真正的Multi Agent它可能比起比如说我用了好几个Gemini一块做是一个技术上更有趣的事。所以说我觉得对我来说聪明的蒸,我不知道这个商业上最后会不会变成一个很明确错或者很明确对的事儿,但技术上其实很有意思。

[00:57:05] 张小珺: 你这两种蒸分别说的是谁,能不能后期把名字哔掉?(可以)哈哈哈哈哈。

[00:57:12] 姚顺宇: 我首先没有在中国的lab(实验室)干过,所以我不知道确切的是谁,但是我的感觉就是XXX应该是硬蒸了啊。然后XXX可能曾经硬蒸过,但是后来可能慢慢也在努力向软蒸的方向转化,我觉得比较明显,可能蒸馏的比较少的是字节。我觉得字节是我感觉到这个模型还是比较有特点。

[00:57:39] 张小珺: 嗯,特点体现在哪里啊?

[00:57:41] 姚顺宇: 比如说这个模型,你说它有多聪明呢?我觉得豆包是肯定没有Gemini和Claude聪明的。但是豆包首先比如说豆包的语音生成非常非常强。

[00:57:55] 张小珺: 哎,这个很难吗?在技术上确实豆包是做的最好的。因为我发现我生活上的问题,我只想问豆包,因为它很快,但其他模型为什么不优化这个产品功能呢?我觉得还是跟它的用户群体有关系。

[00:58:09] 姚顺宇: 在美国,我觉得大家的这个想法更专注于怎么能够提高工作效率。

[00:58:19] 张小珺: 你生活没有一些困惑吗?

[00:58:22] 姚顺宇: 我生活中有,首先我个人确实是一个生活上比较无聊的人。所以我生活中没有很多有趣的困惑,可以去问豆包。我生活中更多的困惑都是技术上的困惑。问Gemini这种聪明的模型就是最好的。哈哈哈哈哈对,我没有什么半夜去打豆包情感电台的需求。

[00:58:41] 张小珺: 不只是情感,就是很多。比如说你做饭,嗯,你可能会遇到一个什么问题,你可能及时需要一个需要有人告诉你,但是你又没有这样的人。

[00:58:52] 姚顺宇: 嗯,那些我觉得可能更多是数据上的问题,然后可能更多的只说美国的公司现在主要的主要的优先级是在智能或者工作效率上,未来有天会不会变成这些日常的事情,我觉得是有可能的事实情况是你如果去问这种日常话题,其实你能发现Gemini每一代到另外一代会做的也越来越好。嗯,其实我身边很多朋友,包括我自己以前也是就是我以前在Anthropic的时候可能写code会去问Claude,但我可能日常查个什么东西,我就会去问Gemini。对,你用过豆包没有?我其实只用过一两次。

[00:59:32] 张小珺: 我发现你们都不怎么用。

[00:59:34] 姚顺宇: 嗯,首先。

[00:59:35] 张小珺: 是不是鄙视链(有智力的鄙视链)哈哈哈没有没有,不至于不至于。

[00:59:40] 姚顺宇: 就是我觉得首先就是就跟在中国的人试图用美国的模型会有一些复杂的事儿一样哦,我在美国用中国的模型其实也是挺复杂的。第二呢就是确实也没这个动机,尤其我觉得我可能生活中工作是工作休闲的时候,就是找不一样的工作。所以对我来说,我的最好伙伴就是Claude和Gemini。但是可能对别人来说并不是这样。所以可能也只是我个人的问题。我自己用豆包的那一两次,是因为有人给我展示豆包手机。

[01:00:21] 张小珺: 哈哈哈哈哈对,那你怎么看豆包手机?

[01:00:25] 姚顺宇: 我觉得是一个很好的想法,我个人觉得效果上来说其实做的也不错。当然我不知道的是,技术上来说它的优化做的有多好,就是说它我觉得它实现一些任务的实施,从效果上来说是没什么问题,但我不知道它会有多大的消耗。如果这个消耗非常非常大,那可能是一个技术上需要解决的问题。嗯,因为你并不希望什么让你的模型去给你订了一张高铁票,结果花的钱比高铁票还贵,这个肯定是一个不可以接受的事。

对,所以说可能技术上来说,我个人不清楚它有多成熟。然后我觉得产品上来说,对大家来说还是一个挺不能说惊讶吧,但是让大家觉得挺兴奋的事吧。然后我觉得可能苹果以前也想干这样的事,只是苹果可能自家的模型一直不太行。

[01:01:20] 张小珺: 苹果好像不是很在意它的AI战略。

[01:01:23] 姚顺宇: 现在我觉得呢苹果一定是在意AI战略的,因为曾经Siri手机助手是苹果发布会里一个非常非常重要的闪光点,但是自己的模型没赶上趟,现在可能要通过和Gemini合作来试图做这样事。至于现在它是不是重视,首先我也不知道,你要让我猜,我肯定觉得是重视。但你要让我解释它,为什么从外界来看没那么重视?我的唯一猜测就是如果你外界来看就显得很重视,还做不成,那就显得很蠢。

[01:02:00] 张小珺: 啊,挽尊啊,对,哈哈哈(我不在意)那我们说一下豆包的模型啊,你刚才说豆包模型比较有特色,你能具体一点,一个是它的语音做得很好。

[01:02:13] 姚顺宇: 这是第一点,我觉得语音做的很好,是我能感觉到最有特色的事。就是我觉得语音这个效果可能是客气地说,可能是全世界最好的之一。不客气地说,我觉得就是全世界最好的。嗯,这很难吗?

嗯,我自己没做到那个地步过,所以我也不知道是不是难,但是我觉得可能是一个很费功夫的事,不管从数据上还是各种优化上来说,它是个产品的事,还是模型上的事,它一定会是模型的事,它有可能也包含一些产品的部分,但一定是一个模型的事。啊。对,然后我觉得这是一方面。然后另一方面,另一方面我自己感受就不多了。因为我其实用的机会没那么多,那可能就是更多的是来自于就是亲朋好友的反馈。

也就是说哎这个豆包这个模型就是fun to talk,就是聊起来很有趣。哈哈。对,但我觉得那个更多的是一些主观的反馈。

[01:03:07] 张小珺: 我觉得它的那个一个是语音,然后一个是它生成的很快,也是一个很重要的。因为我很多模型它都在给你展示思维链。但是我就说你们生活上的琐事,我不想看它的思维链。

[01:03:20] 姚顺宇: 对,这个事我觉得技术上并不难,只是可能大家目前还没有花更多时间在这个上面。然后事实情况是,如果你去尝试Gemini 3.1和Gemini 3的话,你会发现Gemini 3.1在完成同样一个问题的时候,已经会比以前快很多,然后废话少很多了。所以说我觉得这个不是一个嗯在我看来不是一个技术上的难点,它更多只是什么时候去重视去做这个事。我觉得可能就是现在现在美国的这几家还都处于在努力把智能的上限往前不断推进。而字节呢,当然它也肯定是在推进上限的。但是我觉得它可能就是在用户的优化上。

[01:04:05] 张小珺: 也做的很不错。最近还有一个话题,就是中国的机器人很火。在春晚上我不知道你对这个有没有什么观察。

机器人 [01:04:07]

[01:04:17] 姚顺宇: 看过一些表演,也在亚马逊上搜过一些价格,确实很惊讶,它居然这么便宜。哈哈哈买了吗?没买哈哈哈,我买了也没什么用。但是确实我以前会我不知道我以前脑海里觉得这种人形机器人,然后当然就是软件层面其实没什么,但主要是硬件,我觉得硬件上做的这么成熟,可能怎么也得是个什么大几百万美金啊这样的。但是好像我去看了一下,价格比这要便宜很多。我觉得这还是体现出中国在硬件这个产业链上还是很有优势的。

但是我并不知道它作为一个它作为一个机器人,硬件来说,我觉得确实是非常非常强。然后从软件上来说没太看明白,我觉得机器人的模型也是一个目前非共识比较大的事情。对怎么说?就是说它我觉得机器人的模型可能更多的处于嗯feature engineering(特征工程)的时代,就是你让你有一个给定的环境,给定的场景,你去优化这个场景,大家是知道怎么做的。

嗯,但是做RL嘛做强化学习,构建合适的虚拟环境,还是虚拟的这种这种数据。然后你去做训练是可以提高的。但是它没有很强的泛化性。我觉得这个是就是有没有泛化性,其实是很多AI方向,它的一个分水岭,就是一个确定的场景,一个很单一的场景能不能做好这个事,不是最近这几年才解决的,十几年前就能干。就是像语言也是语言。

在这个基于Transformer这种类似架构之前的时代里,并不是说完全做不了,对吧?那时候你也可以训练很强的模型去做翻译。嗯,你可以训练一个很强的模型去做语义分析。但是你不能做的事儿是我可以水平的提高所有的能力。嗯,这个我觉得是一个分水岭。

然后我觉得language model(语言模型)在在Transformer和GPT之后跨入了那样一个阶段,跨过了一个就是可以水平的提高所有能力。然后你可能在一个点上的训练,它会把这样能力抽象的泛化到所有相关的事情上。但是机器人我觉得没到那个阶段,更多的还是在那个阶段之前,就是我有一个单一的场景,单一的的事情。然后我能够为这个事情去做优化。

[01:06:50] 张小珺: 所以你怎么看硅谷的这些机器人团队啊,还包括Gemini内部也有很多机器人的人。

[01:06:55] 姚顺宇: 嗯。

[01:06:56] 张小珺: 你会怎么看那个方向有点这这算什么?这是你们的子方向,还是你们的平行方向还是什么?我觉得。

[01:07:05] 姚顺宇: 过去是一个挺平行的方向。但是现在机器人我觉得大家也在尝试,就是能不能利用语言模型作为一个基底模型,然后在那个上面去训练这种类似,比如像VLA(视觉-语言-动作模型)啊,特别是多模态模型。对对对,然后嗯所以现在来说就是变成了和语言模型。这个这条线比较相关的一条线。嗯,然后我觉得我个人的感觉是他们未来会变得很重要,但是目前还没有找到自己的路,但是他们做的事真的很有意思。

我非常推荐大家去看看机器人的实验室,比做语言模型的实验室要有趣的多,做语言模型的实验室,感觉就是正常的办公室。但机器人他们是真的就是会有人去操控这个机器人采集各种数据,然后去看这个机器人在什么在货架里去取各种各样的货品之类,干这样的事情觉得是很有意思的一件事。你去的是哪家啊?

我去我在Gemini自己的实验室不是Gemini,就是那个Google DeepMind的自己的实验室去看过。然后还有那个Dyna,我也去看过,他们是个叠衣服的机器人,对他们就是可能场景更单一一点。就是我叠衣服是一个机器人,可能做一些别的事情。就比如说倒水啊之类的这样对。

[01:08:24] 张小珺: 你直观感觉机器人进展相当于大语言模型的哪一年还没有到GPT-1的时刻,对不对?

[01:08:30] 姚顺宇: 一定没到,我觉得一定是没到的。对,嗯,就是相当于大家还没有没有想明白怎么去scale up,我觉得对我来说,不管机器人还是多模态生,成都没到这个点。

在 Underdog 之地赌一把 [01:08:45]

[01:08:45] 张小珺: 那接下来进入今天的主题,我们还是对你非常的感兴趣,然后聊一聊你是怎么从一个学物理的人进入AI的世界的。嗯,你从小在哪儿长大,你是怎么长大的?

[01:08:59] 姚顺宇: 我我出生在宁夏,然后一个很小很小的城市叫那个大武口看,就是你这困惑的表情已经说明了这个城市有多小。嗯,这个城市过去的存在,是因为一个煤矿,也是因为石炭井一个煤矿。然后有了这样一个城市。对,所以我在那出生。但是我小学的时候跟我父母一块去了上海。然后所以我小学的后半段和初中,高中是在上海,然后我上本科就去了北京,就是刚才所说的那些就是上本科在北京,然后博士在美国。

[01:09:31] 张小珺: 对你从小就成绩很好是吗?你是物理竞赛保送,然后在清华和斯坦福读的是理论物理。

[01:09:38] 姚顺宇: 对,我不是物理竞赛保送的。哈哈哈哈我觉得我小时候挺菜的,哈哈哈哈啊。首先我读的初中和小学都是无名之辈。哈哈哈我觉得我我当时读的初中好像就是竞赛,不是一个你该考虑的事儿,就处于这样一种这么一个初中里那个叫上南中学东校又是一个大家听了很困惑,一脸一头雾水的学校。

[01:10:09] 张小珺: 好,既然都说到这,那小学是哪个小学啊?小学叫啥来着?

[01:10:11] 姚顺宇: 德州二村小学。

[01:10:13] 张小珺: 我的context management(上下文管理)能力太强了,我已经不记得叫什么了其实。哈哈哈。

[01:10:18] 姚顺宇: 嗯嗯,对。然后对,就是就是那个初中,就是嗯,一个班里面一个小的环境,还是有一些想要好好干事的同学的。但是总体来说,那个初中我觉得是比较躺平的状态。对,然后我觉得就是可能学习还可以。

[01:10:38] 张小珺: 还可以是什么?

[01:10:42] 姚顺宇: 还可以就是当时的状态就是,上海高中有所谓的,那时候有所谓的四校,有什么上海中学,然后华二、交大和复旦的附属中学。对,然后当时的状态就是能上这四个学校,但上不了这个四个学校里最好的班。但是我当时特别想搞竞赛,因为以前都没搞过竞赛。

[01:11:02] 张小珺: 你初中开始搞竞赛?

[01:11:03] 姚顺宇: 我初中没搞。

[01:11:04] 张小珺: 哦,你初中没搞过竞赛。没搞过竞赛,为什么想搞竞赛?

[01:11:07] 姚顺宇: 因为没搞过,所以想搞。

[01:11:08] 张小珺: 怎么植入的概念?

[01:11:08] 姚顺宇: 哈哈哈哈,我这个人。我这个人的个性就是总是爱干一些自己不太会的事。

[01:11:16] 张小珺: 哈哈哈哈哈对。

[01:11:19] 姚顺宇: 然后当时没搞过竞赛,但是知道有这么回事。所以觉得义务教育不是义务教育,就是上大学之前得干一把。所以但是呢那个成绩也没好到那个份上,所以去四校就是最好那四个学校是进不了搞竞赛。那个班的。我当时就发现有一个稍微差点的学校,那个学校就是格致中学啊,稍微差一点的学校,但是那个学校有一个竞赛班,然后我感觉这个竞赛班本来按照现在的话说就是underdog。

[01:11:55] 张小珺: 哈哈哈哈哈,厉害。

[01:11:59] 姚顺宇: 用当时的话说,我感觉就是光脚的不怕穿鞋的。哈哈哈哈哈。我觉得嗯可以一搞,所以就其实当时那个那时候就是那时候上海还有这个所谓的推优生的制度,就是你可以在考中考之前就去和某个学校签约,然后你就提前向预定那个学校的名额,然后就直接去他们,那然后就很自然去了,然后去搞了竞赛高中。

[01:12:25] 张小珺: 所以你其实是在上海四校的普通班里面和这个格致中学的竞赛班里面,义无反顾地选了格致中学的竞赛班。

[01:12:33] 姚顺宇: 当然我也不能,我不能说我做选择的时候,这个上最好的四个高中是那么板上钉钉的事,虽然后来的分确实够了,那时候还没中考呢。对对,但是当时就觉得就算能上,我也应该去一个underdog的地方赌一把。

[01:12:50] 张小珺: 为什么?

[01:12:52] 姚顺宇: 因为想干这个事啊。

[01:12:53] 张小珺: 你想干竞赛的目的是什么?

[01:12:55] 姚顺宇: 我觉得当时最主要的事是想体验,我觉得没干过,一定要找机会干一下。

[01:13:01] 张小珺: 为什么一定要干一下这个?

[01:13:05] 姚顺宇: 第一就是觉得确实难吧。啊,就是确实比,就有一种对难的兴奋感。对,就是确实,至少当时,没搞的时候,大家给我的印象就是感觉这个事比你不搞竞赛学的那些东西,要有挑战性的多了。嗯,感觉干这个事的人确实强不干,你也就只是这个平庸石头里最光滑的那一个。所以我当时觉得要干,所以就去干了。当然干了之后也实际上带来一些好处。就我后来回想起来,如果当时没去搞竞赛,可能就进不了清华了。

[01:13:39] 张小珺: 哦,你是有加分还是什么?

[01:13:42] 姚顺宇: 当时其实那个竞赛的保送生制度已经比较锐减了,就只有进国家集训队才能保送我那高中,反正我觉得我当时没进国家集训队这个水平的,所以就别说了。但是呢就是我在考高三竞赛之前,阴差阳错的去清华,参加了一个夏令营,然后阴差阳错的在夏令营的最后一天听说了,他们在搞自主招生,但是主要是面向北京的学生,我就疯狂给招生办的老师发短信,说我要跟他们一块儿考。

[01:14:19] 张小珺: 他答应啦。

[01:14:20] 姚顺宇: 然后他就答应了我们去考。

[01:14:22] 张小珺: 你们还是你?

[01:14:24] 姚顺宇: 就答应了我和我们这高中一块去的那几个人去考,就上海去那个夏令营的那几个高中同学去考。

[01:14:31] 张小珺: 哦,你有什么理由说服他?给他发短信。

[01:14:34] 姚顺宇: 我已经忘了这个短信具体怎么说了。但这个短信大概说的意思就是你给北京的同学考,为什么不给上海的考?

[01:14:41] 张小珺: 哦,理直气壮是吧?你当时觉得他们在开后门是吗?

[01:14:46] 姚顺宇: 我也不是觉得他们开后门,就是觉得人家有这个机会,凭什么不给我们?大家都在一条线上竞争嘛。

[01:14:52] 张小珺: 就你们当时是同学啊。

[01:14:54] 姚顺宇: 然后所以就发了这个信息,然后还人家就真让我们去考了。

[01:14:58] 张小珺: 几个人?

[01:14:59] 姚顺宇: 我记不太清了,可能有上海去那个考场里可能有七八个人的样子。

[01:15:06] 张小珺: 是你发那个短信?

[01:15:07] 姚顺宇: 可能别的高中也有别的同学发,但我们高中是我发的。

[01:15:12] 张小珺: 哦,就是都是上海高中去北京参加那个夏令营的同学,参加夏令营的同学,然后就让我们考,然后就签了这么好说话。

[01:15:25] 姚顺宇: 对,所以我从那件事得到的人生最重要的道理就是胆子要大。哈哈你不争取是永远得不到的,争取了也有可能得不到,但不争取就绝对得不到。

[01:15:39] 张小珺: 你当时发那短信的时候忐忑吗?你当时还高中,哎,我已经不记得了,当时觉得自己这是个很大胆的事儿吗?

[01:15:49] 姚顺宇: 没有,我当时满脑子想的都是现在就得争取,再不争取,明天就争取不到了。哈哈就是我在听说的那天就赶紧去疯狂发短信,疯狂发给谁发发给招生办的那清华招生办的老师。

[01:16:03] 张小珺: 就发给一个人,还是多个人不记得了,应该是一个老师。对,他很快回了吗?嗯嗯嗯,我觉得清华的就say yes了。

[01:16:12] 姚顺宇: 我不知道他们自己有没有讨论了,但是反正最后是说了是同意。

[01:16:18] 张小珺: 然后就一起考试了。

[01:16:19] 姚顺宇: 对,所以我所以我为什么我感觉我一直对清华还还是挺有感情的。就我感觉这个学校是是愿意给大家提供机会,给大家提供平等机会。

[01:16:31] 张小珺: 你那考试考得怎么样?

[01:16:33] 姚顺宇: 嗯,我当时出来的时候觉得考挺崩的,因为有半道题没做出来,但是我后来发现别人没做出来,更多,就果然就招了。

[01:16:43] 张小珺: 哈哈哈哈哈,对对,你那一波上海同学进了几个啊,好像两个自主招生是减分还是什么?是降到一本线,降到一本线哦,然后你高考考的好吗?

[01:16:59] 姚顺宇: 后来高考果然没考到清华的分,但是就是除了清北之外的学校都能上哦。

[01:17:08] 张小珺: 所以为什么网上都写你是保送的,我觉得就是大家。

[01:17:14] 姚顺宇: 没在那几年上过学的人很难很难理解清楚那几年到底发生了什么。因为在我的两届之前,还是拿了省一等奖就能保送的。

[01:17:24] 张小珺: 拿了省一等奖就能保送了。你们那时候呢?

[01:17:28] 姚顺宇: 我们那时候就是拿了省一等奖,进了省队,然后再代表省队去考国家的比赛,然后进了国家集训队才能保送。我是进了省队去考了国家比赛,但我没考进国家集训队。对,所以说我那届我是没有保送生名额。

[01:17:43] 张小珺: 哦,你搞竞赛搞得好吗?我觉得挺菜的,就是难道不是没有干到最好,就是很菜吗?然后我显然没有干到最好啊,所以就是很菜。你家里人对你搞竞赛这个事情是什么态度啊?

[01:18:03] 姚顺宇: 我觉得我爸妈最好的一点就是他们不太管我,他们可能曾经也试图管过我,后来发现管不住。

[01:18:10] 张小珺: 哦,怎么管不住?

[01:18:11] 姚顺宇: 就是我也不听他们的哦,我觉得可能大多数中国家庭都是孩子和父母商量已经算是很好的了。我一般都是通知哈哈通知了啥通知哦,我去自主招生了。嗯,然后包括中高考填志愿,也是我爸妈,甚至可能都没见过我志愿单。

[01:18:38] 张小珺: 哦,他们比较佛是吗?

[01:18:41] 姚顺宇: 他们我觉得就是当你没有办法理解别人在干什么的时候,别指手画脚就是最好的。我觉得我爸妈这个道理懂的很好。

[01:18:53] 张小珺: 嗯,哈哈哈哈哈,那你比较叛逆是吗?

[01:19:00] 姚顺宇: 我觉得我是比较,我个性是我很care我想做的事。如果这件事是我自己想明白了要去做,你就别拦我。然后我也一定会尽最大努力做到最好。但如果这个事我不想干,逼我干也没用,我也不会干。对。

[01:19:22] 张小珺: 你的胜负欲强吗?

[01:19:24] 姚顺宇: 挺强的。对,但我觉得我更多的是在跟自己较劲吧,不太愿意和别人较劲。哦,对,当然就是如果正好是我觉得这事儿很重要,你也觉得这事儿很重要,那我肯定是要干得比你好。呵呵呵。

非厄米系统与量子物理 [01:19:44]

[01:19:44] 张小珺: 好,那你到了清华就更神了,去学的量子物理为啥呀?

[01:19:49] 姚顺宇: 对我当时做那个凝聚态理论,然后为什么选这个专业阴差阳错?现在回过头来说,当然能能编造出一些听起来很合理的理由,但是摸着良心回到当初我觉得就是阴差阳错,就是当时我们在基科班,然后基科班有一个非常好的传统,就是首先基科班它虽然在物理系,但不限制学生干什么基科班?实际上2/3的学生都不会做物理啊。然后对于你为什么会进这个班?呃,当时清华的物理系全都是基科班。

现在可能不是了,反正当时是然后它另外一个好的传统是它鼓励学生在在实践中学习,所以它鼓励学生尽早的去进到科研的实验室里去,然后去在科研中学习。然后我当时想很想做理论,然后。

[01:20:46] 张小珺: 是因为觉得这个难吗?感觉就是你对难有一种着迷。

[01:20:52] 姚顺宇: 可能也是一种病,我之后可以再讲讲这个这个病带来的不良后果是什么?哈哈哈。对,然后然后那个对,然后我想搞理论,然后当然基科班或者我们叫学堂班,有一个更小一点班。然后那个老师就推荐说哎,高等研究院是个很好的地方。清华高等研究院就是杨振宁先生创立的那个研究院是个很好的地方,然后我就去那找老师,然后正好有一个那时候还很年轻的老师叫叫汪忠,是我本科的老师。

嗯,那时候他也没几个学生,然后我俩就聊我,当然啥也不懂,但他还挺耐心,还给我了,给了我一些这个paper让我去读,然后读我就跟他讨论,后来又发现凝聚态理论,尤其当时做的那个方案,就是跟拓扑绝缘体,然后这些比较相关的方向,其实是一个很适合本科生上手的方向,就是它需要的背景知识不太多,它只需要你可能懂,最最基本的就是你得会量子力学会统计力学会固体物理,也就是其实非常非常容易学的基础知识,但是它可能很考验你对这些知识理解的深度。

所以对于本科生来说,其实是一个特别好的方向,就是你能够很快的上手去做一些实际的项目。然后我们就一块做了一些工作,其中有可能在开放量子体系里面的那个工作,现在看来还是一个挺重要的工作。

对,然后从某种意义上来说,我觉得现在回头来看,做那个工作,做那段时间的科研,其实和现在做AI特别特别像就它更多的是你有一个想法,你有一个理解,然后你可以在那个阶段,就是你可以做一个数值的实验去验证你这个想法和理解是不是对的?你发现AI其实也这样。AI也是你有一个想法,你有一个理解,你去设计一些实验验证,你的理解是不是对的。

然后你设计一些模型上的训练的这个pipeline(流水线)来把你的想法实施出来。对,所以说其实这两个是很像对。

[01:23:00] 张小珺: 能不能讲讲你这个非厄米系统的研究?

[01:23:04] 姚顺宇: 啊,可以讲,我尽量说人话,但是也有可能实际上说了鬼话,所以要是不想听的人可以跳过。

[01:23:12] 张小珺: 哈哈哈哈哈滑一下进度条。

[01:23:16] 姚顺宇: 到时候可以在进度条上设置两个戳对,然后对非厄米系统是这样,就说量子力学一个最基本的假设是一个孤立系统,它的演化被幺正演化所描述。幺正演化是个鬼话,对不起,幺正演化的意思就是它是一个线性的过程。然后这个线性过程它可以被一个算子叫做哈密顿量来描述啊。哈密顿量从某种意义上来说,它有有点像这个体系的能量,但不完全是就是有点类似于,所以它决定了这个体系。

随着时间的演化,然后如果是一个孤立系统的话,这个哈密顿量会是一个厄米的矩阵。厄米的矩阵就是你转置一下,然后做一下共轭,它和原来是一样的。但是呢真实的系统绝大多数都不是孤立系统。比如说你我作为人肯定要和外界有信息交互,有物质的交互材料也是一样,就是你一块材料放在那,除非你抽特别特别真空的,你总得和衬底有交互,你得和外界环境有交换。

所以真实体系绝大多数时候都不是孤立系统,然后孤立系统,它就不会被一个幺正的过程去描述。然后它所对应的哈密顿量也不会是一个厄米的哈密顿量,就是这个非厄米这个词的来源,它本质上是为了研究开放量子系统,就和外界有交换的量子系统它的行为。然后当时发现一个很困惑的事,是,我们一开始是试图研究这个开放量子系统里的一些拓扑现象。然后就发现手算出来的这个理论的结果和数值死活也对不上啊。

然后更确切地说就是手算这个结果是假设了这个体系是一个周期的边界条件。比如它在一个环上或者在一个这个轮胎的表面上,然后数值的话就会因为就和实际的情况比较类似嘛,它就会算一个开放边界的。比如说一个方块这个材料上的行为,就发现这两个结果死活也对不上。然后就试图理解这个事。后来就发现大家过去用来描述厄米系统的一个一个基本的的范式。

就是所谓的这个布洛赫波,就假设物体的本征态都是一些波的线性组合。这个正弦余弦波啊这种这种波的线性组合。这个假设其实在非厄米系统里面会break down(发生故障)就是会变成错的事实情况。就是后来我们就发现在非厄米系统里,其实它的能量的本征态都会有可能会聚集到这个体系的一边边去。

对,然后我们就系统地建立了这套这套描述的方法,然后就是建立一套体系去描述一个开放边界的非厄米系统,它的本征态该怎么去描述,进而描述它的一些随时间演化和一些动力学。所以这个是当时这份这个工作,然后后来就有很多,因为因为它其实是一个一个范式上的更新嘛,所以后来就有很多很多follow up的工作。但是后来其实我换方向了,所以就没有太在这个方向继续做了。

[01:26:25] 张小珺: 你为什么不沿着它做,很难抓住一次范式的变化?是不是?

[01:26:31] 姚顺宇: 很难抓住一次范式的变化。是的是的,这就是人性的弱点。就是我感觉我总爱挑战一些自己不会的事。

[01:26:40] 张小珺: 哈哈哈尤其当时就。

[01:26:43] 姚顺宇: 我不知道我当时的感觉是在那个方向,可能那个工作从再过几年回头来看,就会是这个方向最重要的工作。后面你再去做一些工作,可能确实会让你更有名获得更多的引用,写更多好的期刊的文章,找到一个好的教职。但是感觉作为一个科学生涯来说,就没那么令人激动了。所以我当时就想换个东西做,换一个自己不太会的东西做对。然后所以就读博士的时候,就换了一个方向去做高能理论。

[01:27:14] 张小珺: 高能理论对。

[01:27:15] 姚顺宇: 高能理论物理对。

[01:27:16] 张小珺: 所以你本科和博士也是不一样,也是不一样的,还不是从物理跳到AI。其实你本科和博士看起来都是物理,其实方向也已经发生了很大变化。

[01:27:26] 姚顺宇: 对,是两个几乎没有任何联系的方向。

[01:27:28] 张小珺: 哦,你这个很神奇,还包括你选竞赛,去那个格致中学也很神奇,对,这是你的什么人性。

[01:27:38] 姚顺宇: 我觉得就是说难听了,就是爱折磨自己。

[01:27:43] 张小珺: 哈哈哈说好听了,是挑战自己,哈哈哈嗯被折磨开心吗?

[01:27:51] 姚顺宇: 我觉得如果为了被折磨而被折磨,那这个人就是有心理疾病。但是如果一个人是为了学习更多的东西,丰富自己的经历和能力而被折磨。我觉得是值得的。

[01:28:05] 张小珺: 你本科那个老师汪忠老师也是个underdog是吧?算吗?不算哈哈哈,人家做的挺好的,怎么可以这样说,他哈哈哈(在那个时候)刚说他很年轻嘛,没没没,他很年轻。

[01:28:16] 姚顺宇: 但是他我对他的印象一直都是他是一个很sharp的人,就是很能看问题,试图理解问题,理解很清楚的人,确实可能不像很多老师那样,是就是很有名气,在社会上或者很光彩夺目,至少那时候不是现在已经很有名气了,那时候还没有那么有名气。但是我觉得从能力上来说,我觉得他是很强的。对,然后其实他一开始是他读博士时候,是和那个守成老师张守成老师学习,所以说能被守成老师挑中的人,基本都不会太差。

[01:28:55] 张小珺: 嗯,他对于你博士换方向说过什么吗?

[01:29:04] 姚顺宇: 没说过什么,我觉得他是一个他是一个不爱干涉别人的人。哈哈哈哈哈我不知道他内心是怎么想的,但是我觉得他是一个不爱干涉别人的人。

[01:29:18] 张小珺: 诶,量子物理整个是一个什么样的世界观啊,它跟嗯。

[01:29:23] 姚顺宇: 我觉得我觉得最大的区别就是我觉得嗯有很多和经典物理有很多很多不一样的地方。但是我觉得它们两个是一个对应的概念是吧?经典物理和量子物理,他俩是一个在不同能量和时间或者空间尺度下的理论。就说本质上我们这个世界都是量子的。当然就我们现在也不知道比更小的尺度上会是什么,对吧?就更小的尺度上有很多不一样的想法。比如说弦论是一个想法,然后看看其他想法,量子引力也是个想法之类的。

对,但那些都没有办法验证被验证的小尺度上的有效理论就是量子物理最小最小的尺寸,被实验上能够验证的最小尺寸的有效理论就是量子。当然这里面包括量子力学和量子场论。然后经典物理是当你所看的这个空间尺度和比较较大的时候,这个量子物理会慢慢慢慢退化成经典物理。其实它更多的是在不同尺度下的,有不同的有效理论。

对这个这个事儿,其实在物理上是一个很深刻的想法,就是所谓的重整化群重整化群说的事,就是说在描述一个体系的理论,在不同的能量尺度下,可能看起来是完全不一样。对,然后哪怕他们可能从根源上来说都是一个大一统理论。当然在现在没有什么真正的大一统理论了。如果存在的话,他们哪怕在根源上是同一个根,但他们在不同尺度上可能看起来也是完全不一样。所以经典物理和量子物理更多是两个不同尺度下的描述。

[01:31:00] 张小珺: 讲到量子物理有几个词,好像是相关的。比如说蝴蝶效应,比如说量子纠缠,你能不能讲讲这些,我觉得这个可能是大家能听得懂的。然后我也不懂物理,大家不要骂我,我也不懂量子物理,对我觉得。

[01:31:15] 姚顺宇: 量子纠缠确实是一个大家比较耳熟能详的量子物理比较独特的事情。然后呢就是很简单啊,就是说我有两个粒子,比如它属于一个纠缠态,然后我可能它们实际上相隔很远。但实际上我可能对其中一个做一些测量或者微扰,它也会影响到另外一个的状态。

[01:31:34] 张小珺: 这个是真实存在的这是真实存在的。对什么样的会有量子纠缠什么样的两个物体有很多有很多就是有很多实际的情况,就是实际上。

[01:31:46] 姚顺宇: 当你足够看得足够足够细,足够足够微观的时候,绝大多数的粒子可能都处于纠缠态。但是实际上来说,你可以比如说制造一个自旋和另外一个自旋,你先把它俩靠在一块儿,然后把它俩坍缩到一个纠缠态上,然后你可以把其中一个拉得很远,后来就成了一个纠缠,就是一个距离很远的纠缠态,然后甚至好像我记得几年以前还有人专门去做,把一个细菌和一个什么什么东西,制备在一个量子纠缠态里。

[01:32:17] 张小珺: 什么叫制备在一个量子纠缠态里,这个是可以人为操作的,这是一个可以人为操作的事,为什么怎么操作?

[01:32:26] 姚顺宇: 一般来说就是通过一些一些测量和和演化算符的作用,能够把它制备到这个状态上。但是这里面难的其实是实验上怎么实现这个过程。就是你可以想象就是说你做一些量子测量和一些和一些所谓的量子门的操作,其实是比较难的。就又回到刚才那个问题,就是每一个体系它其实都不是孤立的。你可能这两个自旋,你觉得哎我这样子制备一下,不就到纠缠态了吗?那我再把它拉开不就完了。

但是实际的问题是,这两个粒子其实活在我们这个世界里,会不断有别的粒子撞它一下,或者外面的热量,还扰动它一下,它一下就状态就没了。所以难的是怎么具体实验上去,实施这个过程。对,然后纠缠的另外一个粒子可能更耳熟能详。我其实应该提那个例子,就是薛定谔的猫。

[01:33:16] 张小珺: 薛定谔的猫。

[01:33:17] 姚顺宇: 那就是一个更耳熟能详的例子,就说它的状态其实是叠加了某一个放射源发出粒子和猫死了,这是一个状态。另外状态是放射源,没有发射粒子,猫活着这两个东西的叠加状态。其实比如说你去测量一下那个放射源发现放射源放出粒子了,你就知道猫死了。不管这猫和这个放射源离多远,对,所以这是纠缠。但是蝴蝶效应是一个是一个另外的事。

然后蝴蝶效应这个事嗯,蝴蝶效应就是耳熟能详的部分,其实反而是经典物理,就是大家经典物理听到的蝴蝶效应就是那个著名例子就是什么?可能南美洲一个蝴蝶扑棱一下翅膀,半个月之后,什么北美洲刮了个台风。

但是它从更数学的表述来说,它就是说在时间起始的时候,你如果做一个很少的很小的扰动,然后你去测量这个扰动产生的影响在未来有多大,你会发现这个扰动的变化是指数级变大的对,这是它数学上对经典蝴蝶效应的一个描述。但是之前大家比较费解的一件事,就是这个事情在量子体系里怎么可能存在?因为量子体系刚刚说了,就孤立孤立,量子体系是一个幺正演化,它是一个很线性的过程。

所以说从某种意义上来说,就是你如果一个状态就是一个矢量和另外一个矢量开始的时候夹角不太大。那经过一些演化之后,这个夹角应该不会变,然后所以总会存在。这种就是初始状态变得离得差别很小。在未来啪变得就是指数级变大,好像在量子力学上看是哎不太可能实现的事。

但刚刚又说了,其实我们的世界是在微观是量子,然后在宏观就变成经典了,但它俩是一脉相承的,怎么可能这有那没有啊,这是大家试图理解的事。那当然这个后来大家就有一些更好的理解。就是说其实你讨论这个量子里面的蝴蝶效应的时候,不应该讨论两个态之间的这个这个变化,而是应该讨论一些就是所谓的local observable(局域可观测量)就是局域的观测量的变化。

那个其实是对应了经典物理里的你的看到的那些变化。

[01:35:35] 张小珺: 那你读了4年的量子,物理以后,你当时在想什么?你觉得物理对你的帮助是什么?在你大四要毕业的时候。

[01:35:44] 姚顺宇: 我觉得本科期间读物理最大的帮助就是第一想问题要想清楚,就是读书不在于读的多,而在于读的深,你读的多,不代表你能够发现新的东西。但如果你对一件事有和别人不一样的见解,那个才是对这个社会来说更有价值的事。这一件事,然后另外一件事就是别太相信理论,别太相信纯理论。因为。

[01:36:12] 张小珺: 得出了这个结论啊,因为当时那个事发现的主要原因。

[01:36:16] 姚顺宇: 还是因为能做数值,就一开始是因为数值和理论对不上才仔细的研究那个问题。

[01:36:24] 张小珺: 然后发现了这个事,那你博士为什么去读了高能物理,也是一个理论啊?

高能物理 [01:36:27]

[01:36:30] 姚顺宇: 这也就回到了刚才这个话题就是总爱挑战很难的事,有时候也是会带来一些不好的结果的。什么不好的结果。比如我就感觉我觉得我这个博士就是对我自己来说,学到很多东西成长很大,但是于这个世界来说没有产生什么贡献。哈哈就高能理论这个方向就是足够难,非常非常难。然后嗯但它不好的事情在于,它其实不是特别可以验证,没有什么客观的评价标准。因为高能理论已经发展到了,就是实验完全追不上的这个阶段了。实验完全追不上。你在理论讨论的那些,不管是能量尺度还是这种微观的尺度。对。

[01:37:19] 张小珺: 它是怎么进步的呀?它的进步依赖于什么呀?

[01:37:23] 姚顺宇: 如果不是实验一个进步的来源,是来自于数学上的自洽性。嗯,就比如说你提出一个框架来来描述这些事情,那你能和现有的已经被验证的更低,能标下的理论相自洽。就比如说你研究弦论,那可能自然大家问题就是弦论,能不能在低能情况下回到量子场论,进而回到经典物理。那这个自洽性是一个判定方法,我觉得这个是很合理的,就是很科学的一件事。

当然也有一些不科学的因素,就是当这个领域完全没有实验,没有客观标准的时候,肯定不会只有一个框架出现,肯定不会只有一个自洽的框架出现。这个时候谁做的好,谁做的不好,其实就依赖于领域内一些老登的主观判断。

[01:38:20] 张小珺: 你是被谁伤害了是吗?

[01:38:22] 姚顺宇: 我也没有被谁伤害,只是我在那个领域待时间越长,就越觉得这件事蠢就是人这一辈子也没多长,为什么要把自己的时间浪费在伺候老登身上?对,所以感觉是花了5年,学了很多知识,买了一个大教训。

[01:38:48] 张小珺: 这个教训是。

[01:38:49] 姚顺宇: 这个大教训就是要(要做实验)哎,就是要做有比较客观评价标准的事。嗯,或者从另一个角度来说,或者从另一个角度来说,就是要做对这个世界能够产生影响的事。

[01:39:06] 张小珺: 所以其实你本科还是比较顺利的对吧?在量子物理这个研究领域,很快你很快就有了非常好的学术成果,而且是范式级的变化。但是你很快觉得没有吸引力了。所以你想在博士去挑战一个更难的事情。对然后在博士期间其实是比较落寞的。

[01:39:24] 姚顺宇: 至少从结果来说是这样的。

[01:39:25] 张小珺: 哈哈哈外界看不出来,外界看都是非常光鲜的履历。博士在Stanford。

[01:39:30] 姚顺宇: 对我觉得我觉得从实际的科研产出来说,我觉得没有人会说我博士期间的文章不好,但是摸着良心说对这个世界有多大的影响,我觉得几乎没有没有影响,几乎为零。对,所以对我自己来说,我自己很不满意的啊,但是我觉得确实也没有不满意到说我会担心有人说我在混日子确实也没在混日子。

[01:39:57] 张小珺: 就是你还是能达到所有的外界标准的对,这是怎么做到的呢?就是这个还真的是很多事情冷暖自知,对吧?对,是的。

[01:40:07] 姚顺宇: 我觉得达到外界的标准或者达到一个小的圈子的评价标准是像训练模型一样,就是一旦有了这么一个小的圈子,你知道他们的评价标准之后做得好是很容易的。

[01:40:21] 张小珺: 就是其实你哪怕不认可这个标准,你是可以达到的。嗯嗯,但是你还是知道你是不认可的。因为有时候你哪怕不认可,你达到了,我也可以蒙蔽自己,就继续往前走。

[01:40:32] 姚顺宇: 但我后来就发现,我蒙蔽不了自己,骗不了自己。

[01:40:38] 张小珺: 嗯,对,是哪一年发现的,我觉得可能从。

[01:40:44] 姚顺宇: 博士最后的两年吧,就会有这样的感觉。但是那时候确实也没有想好,没有想清楚,如果不做这个该去做什么,那可能就花一些时间去了,去了解一些不一样的方向。比如说一开始我可能更多的是去是去了解是量子计算或者量子信息这样的方向。然后拿了postdoc offer,就是博后的offer之后,感觉这个事更紧急了。因为在学校里的时候,你还可以一个学生的心态,离开学校之后,就是自己的career(事业)你得给自己找一条路。那当时就是觉得可能量子计算和AI是两条,我觉得给年轻人给小登机会比较多的。

[01:41:34] 张小珺: 所以你博士后的方向是啥?

[01:41:37] 姚顺宇: 博后没有方向,博后其实就是理论物理这个方向。博后是一个很独立的职位,就是你自己想干啥干啥,对它更多的是从某种意义上说有点像搞慈善。

[01:41:48] 张小珺: 啊啊,谁搞慈善啊?

[01:41:50] 姚顺宇: 嘿嘿,就是有一些可能不管是在意科研的国家组织还是个人组织,它会给学校捐一笔钱,或者给学校批一笔钱啊,学校用这笔钱来招一些博士后,再一个系里面就做研究,然后把自己的研究广泛的告诉系里的别的人觉得它更多的是一种一种社会氛围的这种这种工作。

[01:42:13] 张小珺: 对,然后。

[01:42:14] 姚顺宇: 所以其实没什么限制,就是你其实想干什么就干什么,但是我其实也没做多长时间的。博后,我实际可能到伯克利待了两三个月,但官方来说就只待了两个星期。

[01:42:27] 张小珺: 官方来说是什么意思?

[01:42:28] 姚顺宇: 就是我我其实在入职之前已经去那了,因为我反正人就在湾区嘛,我在入职之前就去了,但是我入职之后其实只待了两个星期就辞职了。这两个星期发生了什么,这两星期啥也没发生,我本来都不准备入职的。但是伯克利人就是太好,就是嗯没事,就是等事情定了再说,能来多久就得来多久哦,你告诉他们,你其实在跟Anthropic谈对我告诉他们,其实我觉得我可能会去做AI了,我要不就别入职了。

嗯,但是伯克利不是不止伯克利,我觉得就是湾区这两个学校的老师都人很好,就他很照顾你,他就觉得你还没有完全谈定,那还是先把现在的工作先拿着。

物理与 AI [01:43:09]

[01:43:09] 张小珺: 你觉得物理对你后来做AI有什么帮助吗?

[01:43:14] 姚顺宇: 我觉得硬实力上其实没什么帮助,就是纯工具性的技能上来说,其实从物理到AI的的转化是非常非常少的。但是我觉得可能非要问的话,我觉得可能主要的主要的不不能说能力吧,就是性格吧,可能是可能做物理人会更想刨根问底,更想理解一个事儿,然后更想做事很系统。因为我们习惯了这种很系统性的,不管是做实验的方式,还是做理论的方式。所以我觉得这个可能是一个比较好的地方。

但是我也不觉得这个事是做物理人独特的,就是为什么做计算机的人没有这个特性呢?我觉得我认识很多做计算机的人也有这个特性。那很多学化学的人也有这个特性,学生物也有这个特性。所以我也不觉得它是做物理独特的对,但事实上就是可能比较有趣,就是这个领域里面确实有很多,尤其就是语言模型。这种比较就large scale(大规模)的这种AI,确实有很多物理出身的人,然后做的很成功。

对,尤其Anthropic这个公司。

[01:44:22] 张小珺: 很多人在描述这一代AI的时候都会说是黑盒,你能用科学的角度来理解一下这个黑盒吗?就人工智能的运作原理。

[01:44:30] 姚顺宇: 我觉得这世界上所有东西都是黑盒,就是哪怕像物理这种大家觉得很理解的东西,其实也并不是真的有一个从它微观的行为一路演化到了宏观体现的这种理解。像不管是刚才说的量子力学还是量子场论,其实都是描述那个能标下的行为。本质上这个系统还是一个黑盒,你还是不知道它最微观的地方是什么样的动力学AI也是一样,就是黑盒不黑盒其实都是一个相对的事。我们确实对语言模型没有理解到神经科学手术刀级别。

就不是说我理解这个行为能理解到说这个行为是由于哪一个neuron,哪一个人工神经元的哪一个激发产生的这个行为不会有这个没有到这个层面理解,除非就是在一些很稀疏很小的这个网络里面,就是像Anthropic有这个所谓的Interpretability就可解释性团队,他们可能会做一些类似的工作。但是在实际能够使用的语言模型里都没有达到这样的理解。

[01:45:34] 张小珺: 但是也不代表,我完全没有理解,比如说Scaling Law。

[01:45:38] 姚顺宇: 它就是一个描述了那个尺度下模型,随着模型大小和数据是怎么在perplexity就是这个指标下变得越来越好。嗯,所以你说是完全没有理解吗?那如果说Scaling Law不算是理解的一个小部分的话,那是不是我们也说我们其实对这个世界也完全不理解,这个世界也是一个完全黑盒。

[01:46:01] 张小珺: 所以Scaling Law是一种科学规律。

[01:46:05] 姚顺宇: 它是一种经验规律,经验规律。对,但是呢经验规律和科学规律,它之间的界限是很模糊的。比如说我们回头去看这种热力学的各种不一样的定律。第一定律。第二定律,什么克拉伯龙方程乱七八糟,这些东西在当年被发现的时候也都是经验规律。但是只是说后来哎随着时间的发展,我们慢慢知道了它的微观机制,那它可能变成了一个科学规律。

对我觉得可能像Scaling Law或者类似的这样的东西,它目前肯定还是很惊艳。但是未来当技术它变得比较固定,然后大家开始越来越多的理解,它微观的过程的时候,会不会变成一个科学规律。如果这个定义是存在的话,我觉得是有可能的。

[01:46:55] 张小珺: 能不能用科学的表达来解释一下所谓的智能涌现。

[01:47:01] 姚顺宇: 首先这个话就不太科学,所以自然也没有办法用科学的话来表达一个不科学的事。

[01:47:08] 张小珺: 智能涌现吗?就是我觉得智能涌现。

[01:47:14] 姚顺宇: 对我来说,它更多的是一种主观的感觉,而不是一种客观现象。就是当很多人说智能涌现的时候,他脑子里想的可能是以前的语言模型,只能做某一个方向的事儿,比如只能翻译,只能做分析,只能做什么。但现在模型好像哎可以做所有的事儿。但是这个事儿again,我觉得像是对我来说,它更多的是一个技术上的涌现,而不是一个行为上的涌现。

说是我们通过研究发现了该怎么去做这种大规模的的训练,然后能够水平的提升所有能力我觉得这个是一个更本质的事儿。至于智能涌现这个事儿,其实我觉得嗯每个人可能心里的定义都不太一样。

[01:48:00] 张小珺: 对你的定义是。

[01:48:02] 姚顺宇: 对我来说就是没定义。呵呵呵。对我来说这个唯一质的区别就是有没有发生一个技术上的改变,使得我们可以做scale up可以水平的提升所有的能力。这个对我来说是一个良好定义的事。

[01:48:19] 张小珺: 你最后是在量子计算和AI之间选择了AI,这个是怎么发生的变化?

[01:48:26] 姚顺宇: 对,我觉得还是花了一些时间去了解两个方向的瓶颈在哪?

[01:48:32] 张小珺: 我觉得好处是他们都给年轻人机会,好处是都有机会。但是量子计算对你来说好像是离你的主线更近一些,在那个时候对不对?

[01:48:41] 姚顺宇: 哎,这就是为什么要去了解一下细节?因为了解细节之后,发现不是的,是反过来的。

[01:48:47] 张小珺: 因为量子力学。

[01:48:48] 姚顺宇: 哦,不是量子力学,就是量子计算。我觉得它现在的主要瓶颈其实在实验上并不是你怎么去设计那些算法或者设计那些算子,更多的是你怎么在实验上实现它那个事,反而是我不擅长,反而是和我过去很多我有兴趣的事其实是比较不相关的,然后反而跟我相关的事儿是更多像AI就刚才说的就是更多的是你有一个想法,然后你可以用一些数值去验证这个数值在AI里面,可能就是训练一个模型或者怎么样。

对,然后这个反而和做物理很像啊,它甚至是就是为什么我之前一直爱把这个和18世纪的这个物理学做比较,就是它对更像那个时代的物理,就是那个时代就理论和实验不分家,没有什么理论物理学家实验物理学家,你就是搞物理,就是搞物理的,你自己可以做实验,然后也可以做理论推测。

[01:49:41] 张小珺: 我觉得AI就有点像那个时代。所以其实从理论物理跨越到实验物理的距离,比你直接跨到AI要远要远嗯。

[01:49:51] 姚顺宇: 其实要远,而且从兴趣上来说也更远。

[01:49:54] 张小珺: 你不喜欢实验物理(我觉得)你不喜欢做实验。

[01:49:57] 姚顺宇: 我觉得嗯确实不是我的兴趣所在。嗯,虽然我不自己不愿意做,但是我确实很有兴趣,知道别人的实验做的怎么样。

[01:50:05] 张小珺: 哈哈哈哈哈AI不用做实验吗?

[01:50:10] 姚顺宇: 用,但是它是更多是像数值。对它不太像那个就是你实验室去搭一个光学平台,然后什么你还要我觉得实验真的是一个就可能因为是我不懂,我没有达到那个境界,所以我有些事在我看来挺玄妙的。

[01:50:28] 张小珺: 比如说。

[01:50:29] 姚顺宇: 其实大家都知道这个光学平台怎么搭,但有的人就能给你搭出来,有的人就是耗了6年都没搭出来。

[01:50:37] 张小珺: 这个是动手能力,我就是没搞明白呀。

[01:50:40] 姚顺宇: 哈哈哈哈哈,我有时候觉得这事有点玄妙。

[01:50:45] 张小珺: 哦,嗯所以还是数值,数值是要清晰很多。对对对对我来说。

[01:50:52] 姚顺宇: 做数值实验或者像AI就是训练模型啊,然后研究各种不一样的技巧来看某某些细节这件事对我来说,反而是嗯是我能想明白它为什么要这么干。嗯,但是在搭台子这个事上,我就是一头雾水。

[01:51:10] 张小珺: 你做过是吧?

[01:51:12] 姚顺宇: 我当然就是大家可能都做过基本的就读物理的人,肯定都做过基本的实验培训。但是更多的就是有很多做实验的朋友,然后不管去看他们的实验室,然后看他们怎么做实验的,还是跟他们聊这些怎么设计实验,我就感觉很多事我其实不太能够理解。但是他们确实有的人就是做的好,有的人做的就是不好。

[01:51:33] 张小珺: 所以你说现在从事AI研究像17世纪从事热力学研究,其实在表达,虽然大家没有办法很清晰的从科学上去解释和理解这个事情,但是并不会阻止它发展。对,就是它更像是在为什么?

[01:51:51] 姚顺宇: 比较那个时代,热力学就是那个时代,大家其实不理解什么是热的微观理论,就大家不知道热是什么东西。

[01:51:59] 张小珺: 就像现在不能理解。

[01:52:01] 姚顺宇: 对,就像现在大家不能理解这个language model(语言模型)里面哪一个矩阵元是在干什么?其实大家也不理解,但是不妨碍你有一些好的经验定律,比如热力学的各种定律和现在的各种Scaling Law啊,所以说从这个角度来说,是就从这个从这个方向的角度来说,是这个层面上来说它是类似。然后从研究人员的角度来说,就是刚才说的另外一个问题,就是它理论和实验其实不太分家。

在 Anthropic 训练 Claude 3.7 和 4.5 [01:52:32]

[01:52:32] 张小珺: 那你是怎么去面试Anthropic的?你这个Anthropic的历程是怎么展开的?

[01:52:40] 姚顺宇: 我觉得其实主要还是因为有前同事在Anthropic哈哈对。

[01:52:45] 张小珺: 前同事。

[01:52:46] 姚顺宇: 就是Anthropic其实有很多做做物理出身,尤其是做理论物理出身的人。

[01:52:50] 张小珺: 为什么呀?他们从人的选择上,为什么会选择这一波人?我觉得。

[01:52:55] 姚顺宇: 当然就是很多嗯很多人可能会找一些原因说哎,做物理人擅长这个或者擅长那个。但是就我个人的视角来看,我觉得主要的原因还是connection就是联系。就是因为Anthropic的创始团队里面,其实有当时有三四个比较比较技术的人,然后其中有两个,现在还很在技术一线领导的人,他们俩都是做物理出身的,然后他们可能招的一些人也是做物理出身的,所以就这样一直延续下来。

但其实到现在这个阶段就在我之后,其实也几乎没怎么再招,完全没有AI背景的人了啊,对,所以说也是一个我觉得也是一个时代的产物。对,然后我反正是当时我决定去做AI了,所以我就试图去联系一些地方,然后。

[01:53:47] 张小珺: 你只找了Anthropic吗?

[01:53:49] 姚顺宇: 没有,我还找了OpenAI和GDM就Google DeepMind但Google DeepMind因为它那时候速度太慢了,哈哈哈,所以就没就没有。最后没有出现在考虑的范围内。但是。

[01:54:03] 张小珺: 速度太慢了,是指他们面试的速度慢哦,但是后来。

[01:54:07] 姚顺宇: 显然后来Gemini这个事就获得了长足的提升,后来动手就非常快。哈哈。对,然后Anthropic就是反正OpenAI呢OpenAI也联系了,但是OpenAI可能没有找到特别合适的事和人。然后Anthropic是因为我当时联系了,后来就是我的第一任那个manager,我第一任经理,然后他以前也是做这个理论物理的。

然后他当时就说我们在尝试做强化学习,尝试做这种大大规模,强化学习,有很多科学问题要去理解。那个时候24年八九月的时候,那个时候其实强化学习还没有像现在这么成熟。那时候大多数人其实都不太知道怎么做,因为o1其实还没发布呢。那时候o1只是对对对对,就是只是大家都知道有,但是大家都还没看到结果。

[01:55:01] 张小珺: 但Anthropic当时其实不知道怎么做的,当时是大体上知道。

[01:55:07] 姚顺宇: 但是有很多细节需要仔细去研究,所以他就跟我说,哎,有这么一个事,你要不要来面试一下?然后我觉得哎可能是一个好的机会。

[01:55:18] 张小珺: 你当时怎么认知强化学习啊?没认知哈哈哈,你大概知道pre-trainpost-train对对对。

[01:55:26] 姚顺宇: 我大概知道这个流程,但我其实不太知道具体的这种工业级别的语言模型是怎么训练的。嗯,只能知道就是像学术界是怎么训练的。对,然后所以其实现在谈那时候的认知,在我现在看来就是没有认知。对,然后嗯更多的还是我当时觉得这个事是一个不确定的事,然后是一个好的机会。所以我就去干了。嗯,当然也有些面试的准备和面试过程对。

[01:55:56] 张小珺: 怎么准备的聊啥,我当时跟谁面?

[01:56:00] 姚顺宇: Anthropic后来我的一些同事当时面的,然后面试题也不太难,反正哈哈哈对,但是对我来说,我当时也不知道怎么准备,我就去把我能找到的那些课,自己能学的学了一遍,然后能做的作业做了一遍,然后自己手搓了一套。就是那个Andrej Karpathy他有一个著名的那个项目,叫好像叫nanoGPT,还是叫什么?反正就是他有一个可以在一个Google这个Colab Notebook里面就能训练一个很小的GPT模型,然后我就手搓了一下那个,然后就去面了。

[01:56:36] 张小珺: 对,然后很快拿到了offer。

[01:56:39] 姚顺宇: 然后就对,然后就拿到offer。

[01:56:41] 张小珺: 然后你第一个方向就是大规模的强化学习。

[01:56:44] 姚顺宇: 也当时其实是有两个组来两个组的manager啊,来跟我聊,一个是做evaluation,就是模型评测。然后另外一个是做强化学习,我是选择了强化学习。

[01:56:59] 张小珺: 你当时选择强化学习,是因为它更加的不明朗。对。

[01:57:05] 姚顺宇: 嗯嗯,然后那时候其实Anthropic也不像现在是一个大公司了。那时候公司其实也很小。多少人我去的时候我们的那个大的team才只有10个人左右,或者10个人或者11个人大team叫什么叫Horizon对,然后那个时候那个大team。

[01:57:24] 张小珺: 也就是这个大team的平行team有什么?

[01:57:28] 姚顺宇: 那个大team其实后来几乎就是强化学习的方方面面都在这个team了。

[01:57:33] 张小珺: 对,但那时候那他的整个大组就是一个强化学习。

[01:57:36] 姚顺宇: 整个大组首先这个创业公司你也很难说这个组的目标是什么?因为他可能曾经也有过很多不一样的目标。但只是那个阶段,可能主要的目标是做强化学习。对,然后当然底下也有做更数据的组,更做环境和infra和基础设施的组,也有更做这种research和算法的组。然后我去的那个组是比较偏research和算法的组。

[01:58:05] 张小珺: 嗯,那时候Anthropic多少人?

[01:58:09] 姚顺宇: 啊,那个时候可能七八百的样子吧,总共但是整个的公司。

[01:58:18] 张小珺: 七八百对你一进去对这家公司印象是什么呢?

[01:58:23] 姚顺宇: 我觉得我觉得我对Anthropic的印象其实还是挺挺consistent(一致)的。就是我觉得进去之后,这家公司的印象就是执行力非常强,就是它它其实是一个比较top down(自上而下)的公司。对,然后所以很多事情决定了之后,就会全力去做。然后公司其实员工之间的的氛围也很好,就大家都不会藏着掖着。然后尤其刚去时候很小嘛,所以就是大家也都认识,所以就氛围很好。

然后我觉得如果是做只是做语言模型相关的事的话,其实现在回头来看,那是一个非常非常好的学习机会,就是你能够接触到这个模型训练的方方面面,然后都能找到对应的人去问。

[01:59:18] 张小珺: 那个时候的Anthropic已经有了,现在我们都知道他那个非常坚定的bet了吗?有的有的这个bet来自于哪里?

[01:59:27] 姚顺宇: 为什么会有这个bet?我不知道它完全的来源在哪?我自己能看到的一个显然的来源就是前一代模型Claude 3放了之后Twitter上那时候可能还没叫x呢。Twitter上有很多人在讨论说那个Claude 3好像写code比GPT-4强啊,那个年代GPT-4还是一个和大家gap很大的模型,所以能有一件重要的事比GPT-4强就很厉害了。

[02:00:02] 张小珺: 所以是试出来的。

[02:00:04] 姚顺宇: 我觉得至少是其中一个原因,就是是很快的对这个市场做了反馈。对,这也是我觉得这公司很强的一点,就是它execution执行力非常非常强,一旦给它一个信号,让它觉得是很reasonable(合理的)这公司该做的事,那就会铺上去。它没有那些大组织那种冗余。

[02:00:27] 张小珺: 为什么它的coding定会比GPT-4要好,不能说哈哈哈哦是有原因的。

[02:00:34] 姚顺宇: 是有原因是有原因的对。

[02:00:36] 张小珺: 但是个随机的原因不是我这么选择,所以有了这个结果的原因。

[02:00:40] 姚顺宇: 是一个纯技术原因,但是确实我不我不能确定一开始是随机试着的,还是故意选择的。你要让我猜,我肯定会觉得是随机试着的。

[02:00:51] 张小珺: 哦,纯技术的原因是有某个人做了某个事情。

[02:00:56] 姚顺宇: 是确实有某一个团队做了某个事情。

[02:01:01] 张小珺: 是自上而下的,还是自下而上的。

[02:01:05] 姚顺宇: 我觉得最开始可能是自下而上的,但是后来就变成了一个自上而下的事。

[02:01:11] 张小珺: 就是要快速捕捉到一些市场,对就内部和市场的信号。

[02:01:15] 姚顺宇: 对对,我觉得这个是要赶快要扑上去。对对,我觉得这Anthropic是非常非常强的一点,它非常非常的reactive,反应非常快。

[02:01:23] 张小珺: 它执行力来自于哪里?来自于Dario这个人来自于他的某种特质。

[02:01:28] 姚顺宇: 我感觉就是嗯Anthropic作为一个公司来说,它能够实行这种就是比较top down的机制,是一个很独特的事。

[02:01:38] 张小珺: 为什么呀?

[02:01:39] 姚顺宇: 因为实行top down,其实有有一个很难的点,就是你做技术的决策人,必须也得是公司本身的决策人。嗯,首先就是你技术上得能服众,那下面的研究员才会,你才能够就是信服下面的研究员去做这个事。另一方面就是你得是公司的决策人,你得能为这个公司负这个责任。那Anthropic有这个条件,就是说它的技术上的leader的领导人,其实是公司的cofounder,是你指的是谁?

不是Dario Amodei,就是像Jared Kaplan和Sam McCandlish啊,然后像他们俩就是公司cofounder,嗯,他们自己做这个决定,那是人家的公司。所以他有权利做这个top down的事。

[02:02:27] 张小珺: 那Dario作为CEO,他会say yes和no吗?

[02:02:31] 姚顺宇: 我不知道他们决策层的讨论里面。

[02:02:35] 张小珺: 哈哈哈,OK。Dario起到了什么样的作用?

[02:02:39] 姚顺宇: 我只能说,就技术leader是有决定权的,我只能说。对我当时的工作来说,我接触的最多的就是Jared。

[02:02:49] 张小珺: 可是这对于其他模型公司很难吗?很难,比如说OpenAI就干不了Ilya在的时候难道不行吗?

[02:02:55] 姚顺宇: Ilya在的时候有可能可以,但是Ilya后来一方面嗯,我也不知道,因为什么原因,他好像就是失去了这个做决策的能力,然后他就走了。

[02:03:05] 张小珺: 所以就其他公司呢。

[02:03:09] 姚顺宇: 其他公司我觉得都比较难,就是Gemini也比较难。但是我觉得Gemini就是另外一套打法不太一样。就是说嗯我觉得就是大公司和startup它打法本来就不一样。因为startup重要的是make bet,就是我得我得赌一件事。我如果想要赌,就意味着有风险,所以就意味着我能够去很快的做一些决策,然后很强力的推进一些决策。

嗯,那可能在这种情况下top down,我觉得是一个很有优势的事。所以我觉得Anthropic从组织上来说是比OpenAI更有优势。但是作为大公司来说,它可能就是另外一套想法。因为大公司的想法可能是我不仅能尽量减少做赌的成分,而是我能在方方面面都有储备,然后任何一个事成了我都能跟上。然后如果有事我自己做成了,我可能还能领先这可能大公司的心态。

所以说在GeminiGoogle是一个很传统的,就很bottom up的组织,就是公司层面可能有一些比较良好定义的框架来看你的工作是好是坏,来引导你做一些公司需要的事儿,但是本质上还是你自己来决定自己做什么。

[02:04:23] 张小珺: 所以你觉得Anthropic能make bets(指对coding下很重的赌注)是因为它的独特的文化组织和文化。对这个听起来其实应该是其他公司也能做的,但是却非常奇怪的发现其他公司很难做,而Anthropic可以做到。

[02:04:41] 姚顺宇: 对我觉得还是需要技术的,或者公司的leader有公信力吧,这个其实挺难的。我觉得。

[02:04:50] 张小珺: 你说的还不是CEO有公信力,是技术的1号位,有公信力。

[02:04:53] 姚顺宇: 对对我来说,我觉得技术的1号位有公信力很重要。

[02:04:57] 张小珺: 但是与此同时,CEO可能没有成为一个阻力,对这个难吗?

[02:05:03] 姚顺宇: 啊,这个我觉得就得看你这个这个cofounding的这个team有没有足够的互相信任。嗯,这个也很关键。我觉得Anthropic这点也是在startup里很强的。就是他cofounding team没有一个人离开公司。他们如果你看他们过去,那是一群真正一起打过仗的人,就过去,他们源自于他们都是以前OpenAI的员工。

嗯,对,然后他们甚至好多人都是就是在一系列关键的文章上的合著者。

因为你像Scaling Law这个paper是Jared Kaplan然后Sam然后当然还有Dario然后还有一些可能Tom Brown也在吧,我不太记得Tom Brown在不在,然后GPT-3的paper就是Tom Brown在然后Benjamin Mann在,然后Jared Kaplan和Sam也都在Dario也都在,所以他们是一块趴过战壕的人,我觉得互相之间的信任还是很关键。

嗯,有很多公司可能就是干着干着,连这个小集体都团结不住了。那你怎么能指望这个大公司能团结住呢?

[02:06:11] 张小珺: 你在说OpenAI是吧?嗯哈哈哈,你加入Anthropic公司正在做的最重要的项目是什么?你参与到那个大项目里面了吗?

[02:06:20] 姚顺宇: 对,就当时做就是为了做大能做大尺度的强化学习,然后能够用它来提高coding的能力。这个就是当时最重要的事。嗯,然后我们当时做这个这个组,当时的研究重心就是这个事,这也是这个组为什么后来就慢慢变大,然后变得越来越重要的原因。然后最终带来的结果就是就是大家一块train了这个3.7Claude 3.7这个模型。

[02:06:47] 张小珺: 哎,你说内部叫有一个3.6,这个是。

[02:06:49] 姚顺宇: 不是内部叫就是外界的Claude 3.5其实有两个版本,一个可能是6月的版本。另外一个10月版本。然后呢你也可以看出啊,Anthropic这个公司曾经也是没啥产品能力的,居然管两个模型叫一个名字。

[02:07:05] 张小珺: 哈哈哈哈哈。

[02:07:07] 姚顺宇: 所以后来外面人为了区分管那个3.5,后面那个版本叫3.6。所以Anthropic跟随着外面的这个习惯。

[02:07:16] 张小珺: 就叫3.6了,管这个再新的模型叫做了3.7啊,所以就是你去看实际的这个公司的产品时间线其实是3.5 3.5new 3.7。怎么会有一个3.5new,这个是怎么想的?

[02:07:31] 姚顺宇: 你这哈哈我只能说那个时候的Anthropic,可能真的是没有什么产品上的想法。

[02:07:36] 张小珺: 所以你第一个项目是3.7还是3.53.7 3.7还是3.5new?

[02:07:41] 姚顺宇: 3.5new其实我没参与,几乎没参与。

[02:07:45] 张小珺: 但是3.5new就已经看到了coding的迹象是吗?你刚才刚开始的时候。

[02:07:50] 姚顺宇: 3.5new的时候已经看出Anthropic的模型在agentic coding会比别的模型强了。

[02:07:55] 张小珺: 这个是为什么不能说哈哈哈哈哈所以你进去的时候,刚刚好就是他们知道了这件事情,就是管理层也知道了这个迹象。对,然后他们要make bets的时候,你这个运气很好啊,我觉得。

[02:08:10] 姚顺宇: 我觉得对我觉得我进去的时候是大家肯定已经看到了这个事儿能做成且重要,但是不太清楚怎么去把它做成。然后我去的时候是跟大家一起去研究,怎么把它做成。

[02:08:23] 张小珺: 对,所以方法是大尺度的强化学习。

[02:08:26] 姚顺宇: 对,这是从大的角度来说,是,但是当然就是有很多技术细节是需要去研究的。

[02:08:33] 张小珺: 这里面有什么knowhow啊?哈哈哈。有好多NDA(保密协议)的内容呢哈哈哈NDA会写的这么详细的吗?

[02:08:43] 姚顺宇: 其实原则上来说,原则上来说,员工是不能在在职期间和离职之后透露,任何跟公司内部相关的信息的。当然实际上来说,就是大家可能心里都有一个度。就是说如果这个技术没有公开的话,肯定是不会公开去谈的。但是我觉得虽然我不能公开去谈,但是我觉得把简单的事儿做的比谁都干净,是最关键的。

[02:09:13] 张小珺: 什么叫干净啊,你刚才也用过这个词。

[02:09:15] 姚顺宇: 对,就是就是我觉得有很多花里胡哨的技巧,比如说做强化学习最简单的algorithm(算法)就是Policy Gradient(策略梯度)但是不代表这是唯一的algorithm,它还有别的算法,比如说各种复杂的这种搜索算法之类的东西。但是是不是这些复杂性是必须的。

然后这些复杂性可能给你带来了一些efficiency,也就是效率上的提升,但它可能给你带来一些比如说基建infra上的困难,那你怎么去trade off(权衡)这些事。这些事其实做研究需要去理解的就是怎么去balance这种不同的因素,然后选择最好的那条最稳定的那条路。对,然后我觉得很多的knowhow其实都是在这些这些细节怎么去处理这方方面面细节对。

[02:10:08] 张小珺: 那那个时候怎么来描述coding很重要呢?我觉得它认为是大语言模型的一个分支,一个重要的分支还是什么呢?

[02:10:17] 姚顺宇: 我觉得每个人可能想法不一样,对我来说它重要的原因有二,一个原因就是一个原因呢是Anthropic一直在讲的事,就是说coding本身也是做语言模型研究的一部分。如果你能够把coding做得很好,那可能会让你的研究效率有翻倍的提升,嗯,就是形成一个研究上的飞轮了。这是一方面原因。对我来说,另一方面原因是因为coding其实是模型使用工具和环境交互的一个很好的抽象。

首先这个抽象刚刚已经说过,就是这个抽象的好处在哪?比如说这个回归信号清晰,然后数据充分。然后其实你是很难在别的场景下找到能同时有这两个特质的使用工具场景。所以对我来说,这是一个好抽象。在这里面做的一些研究,可能是对更通用的那些使用工具和环境交互的能力的一些有用的有用的lesson有用的课。

[02:11:19] 张小珺: 那时候Cursor是什么状态啊?

[02:11:23] 姚顺宇: 那时候Cursor还是一个纯产品公司。我觉得从某种意义上来说,好像在我去Anthropic这个之前的那段时间里,Claude和Cursor都属于比较underdog的状态。然后somehow在3.5new就是3.6外界的3.6这一代的时候,首先是这个模型能力上去了,然后Cursor又发现这个模型真的能够做这种Agentic coding的工具了,它就是一个壳。

对,但是这个壳包着这个模型一下子让公众体会到了,不是公众,公众是指就是软件工程那个圈子当时嗯体会到了,哎,这事好像是真的是效率工具了。所以后来就是这个一下就起来了。

[02:12:11] 张小珺: 所以那时候Anthropic就意识到Cursor是未来的竞争对手。

[02:12:15] 姚顺宇: 那就不知道了,该问Dario哈哈哈哈哈好。

[02:12:18] 张小珺: 3.7是怎么做出来的?这个是一个分水岭。对于Anthropic来说是一个分水岭式的模型。

[02:12:25] 姚顺宇: 我觉得对于Anthropic的后训练来说是一个分水岭,就是在3.7之前后训练都是处于一个比较嗯比较小规模,然后可能就是修修补补模型的这种一个状态。

[02:12:41] 张小珺: 大家不重视后训练是吗?也不是不重视。就是一开始大家其实很长时间。

[02:12:45] 姚顺宇: 大家都没有搞明白后训练该怎么scale up哦。但是在那个阶段,不管是OpenAI还是Anthropic,还是包括像中国的DeepSeek,对他意识到了这个事该怎么去scale up,然后该怎么scale up,就是你得找到合适的环境,这个环境它的回馈信号足够的清晰,这个环境本身也是一个很强的数据源。然后在这个上面,其实能让这个训练非常稳定,这事就能做成。

[02:13:18] 张小珺: 对我记得那个时候其实大家都不知道OpenAI的保密项目是什么?就知道它叫草莓叫Strawberry。然后嗯大家觉得会带来一个新的范式,新的范式就是后训练,强化学习,但是更多的就不知道了。

[02:13:31] 姚顺宇: 对,其实我觉得我去Anthropic的时候,大家已经比较清楚这个事该大概该怎么做,就是大概的这个方向是怎么做。然后当然后来就是后来随着我对这个领域知道越来越多之后,我就发现其实那个时刻其实OpenAI做的方式和Anthropic其实还是差别挺大的。怎么说啊?就具体这种算法和使用数据的方式其实是不太一样的。虽然都叫后训练和强化学习。

嗯,虽然都叫这个,但是当然就是我觉得那些不是不是本质区别,就是大的方向来说,它们是同一个就是找了一些找一些这种很回归信号非常清楚,非常客观,然后数据本身又比较干净,然后对模型来说是可学习的。然后在上面做稳定的强化学习训练,大的方向来说都是这个方向,但具体实现其实是差别比较大,但后来事实也证明就是具体实现。其实每家方向都不一样,但是都能做成。

[02:14:34] 张小珺: 嗯,而且当时OpenAI的目标也不是coding。当时我了解到的叙事是说预训练作为第一个范式,已经金矿快挖完了。所以我们现在开启第二个金矿,就是后训练和强化学习。

[02:14:47] 姚顺宇: 然后来让Scaling Law继续对我觉得很长时间OpenAI都是这个这个想法。我不知道他们现在想法有没有变,我觉得对我来说,我的想法经历过摇摆在3.7那个时代,我其实觉得我我当时也抱着这个预训练,已经快party is over(狂欢结束了)这种感觉。然后就在你要入职的时候是吧?

就我刚入职,然后当时在做这种3.7相关的这种实验的时候,我当时也曾经抱过这个想法,但是后来随着了解越来越深入,我就觉得发现其实还有做的空间的啊,然后嗯预训练Scaling Law这个事,它也不是告诉你要一直变大啊,它其实本质上是一个很系统的框架,能够告诉你做什么样的事,是更有效的对。

嗯,然后所以后来就发现,其实还有很多做事事实情况是后来Anthropic和Gemini的预训练也一直在不断的进展。OpenAI自己卡了很久。

[02:15:57] 张小珺: 哈哈哈它现在又重视预训练了吗?

[02:15:59] 姚顺宇: 它应该已经重视预训练挺久了,就是最近可能刚刚有点进展。

[02:16:07] 张小珺: 所以预训练和后训练作为两个范式都没有达到它的平台期,我觉得都没有。但是你说要去预测到了多少,这个做不到。

[02:16:19] 姚顺宇: 对,就我觉得我觉得到达平台期有有两种两种可能性,一种可能性是技术本身到达了,就是你明明还有想让模型要干的事,但是这俩技术就死活教不会了。另一种可能性是你想干的事,到平台期了。

[02:16:38] 张小珺: 我觉得现在就是后者啊,就是我们现在知道了哦,有一个Chatbot你可以教它干这个,然后又有一个coding,你可以教它干这个,后面就不知道了。对,就不知道该教点它啥好,就是说这模型还是一个非常聪明的小孩。对你其实可以教它很多东西。对,但是我们人类作为老师,现在还不知道下一个东西该教什么。

[02:16:58] 姚顺宇: 对对,或者说该怎么去合理的教它,用现在的这些范式。

[02:17:04] 张小珺: 说到3.7,还有什knowhow,这是几个月做出来的?

[02:17:11] 姚顺宇: 这个最后林林总总从开始训练到发布,可能花了四五个月的样子吧。对,就是从你刚进去,就是从开始大家为了这个事做研究,那可能花了两三个月,然后后来开始训练到训练结束,中间磕磕绊绊,很多事情要处理啊,然后有很多新的基础设施,其实基础设施真的是很重要,很花时间,然后又可能花了可能两个月这样子。

[02:17:40] 张小珺: 你在其中做的重要的工作是什么?

[02:17:42] 姚顺宇: 我觉得我也没什么重要的。哈哈哈哈我觉得我对我个人的贡献,我觉得我个人对任何一个模型的贡献,我的陈述都是我觉得我自己对那个事没那么重要。我觉得我更多的是我很幸运,有机会在那个时候加入了一个重要的项目做了一些事。

嗯,因为从某种意义上来说,我觉得AI在现在最近这几年,这个事本身是一个不可阻挡的事,它不在于你这个人去干,或者不干,你不干,也有别人一样能干出来的啊,所以我觉得在这个时代,其实所有给个人贴金的事,其实都有点炒作的嫌疑。但是确实我觉得对我来说我是很幸运能在那个阶段加入一个重要的事。然后哎学习了一些知识。

[02:18:38] 张小珺: 好的,那你在幸运的在那个阶段,在Anthropic这家公司的大尺度,强化学习的这个团队里做了什么?

[02:18:48] 姚顺宇: 我觉得3.7那个时候可能主要做的还是就是在做这个Agentic coding这件事儿,这件事儿怎么把它scale up,或者怎么去准备,就是怎么去制备各种各样的环境和data,包括算法上会遇到什么样的问题。当时主要的研究都在这部分。

[02:19:05] 张小珺: 这里面有什么tips吗?

[02:19:10] 姚顺宇: 现在来看没啥特别有用的tips了。哈哈哈。我觉得说到说技术的tips,其实这个事儿是一个大家很一方面很愿意听,公司又不让你说,但实际又没啥用的事儿,为什么?因为很多算法设计其实并不独立,独立于算法,它是非常强的依赖于你的基础设施。举个简单例子,就是有些公司它可能就大家经常讨论一个问题。

就是说在强化学习时候,这个sample(采样)就是给你产生这些这些trace(轨迹)这些token(词元)的那个机器和trainer(训练器)用来实际训练这个模型,然后改变这模型权重的这个机器,这两个机器可能会有不一样。但是不一样,有一些原因是因为数值上的不一样。有些原因是因为使用了这种异步的训练架构,所以说它自然就是从根本上来说就不一样。

那你不同公司可能这个不一样程度是不一样,所以你算法的设计也会不一样。有些公司它可能这两个difference这两个区别非常非常大。那你算法可能最大的部分就是在于怎么控制这个,然后怎么让这个训练稳定。对于训练的这个实际的效果啊之类的权重就会稍微小一点。但有可能有的公司它的基础设施建设就特别特别好,这两个差别没那么大,那你可能就可以花更多精力在这个训练的效果上。

所以说很多这种小的tips是其实是没有什么用的,就很多knowhow其实是没什么用的。我是因为我确实也发现了,就是很多别的lab就不是在这三家lab里的人,可能很想知道哎Anthropic怎么做这个或者Gemini怎么做那个。但其实我有时候不愿意回答一个主要原因是因为我觉得本质上我回答这个问题,也是在误导他就是现代的AI训练是一个大的系统。

你其实要了解这个系统的方方面面,才能有一个全局的认识。什么事是因为什么而变得有用了,而不是说这个事本身有用。

[02:21:14] 张小珺: 从3.7到4.5又发生什么呢?

[02:21:17] 姚顺宇: 这个预训练和后训练都有对,然后嗯当然就是一个就是scale up上做的更多了。然后data不管是data还是训练的,这个算力都更大的尺度了。但是我觉得从范式上来说就没有没有特别特别大的改变。

[02:21:39] 张小珺: 到你离开Anthropic时候,他已经多少人了,接近2000人了吧,扩了一倍多啊。嗯所以你在Anthropic时期,刚好是他就最剧烈转变的一个时期。

[02:21:52] 姚顺宇: 啊,我可能就是踩在了它还是个小公司的尾巴啊,其实我觉得进去之后过了可能三四个月,这个公司就已经开始,哎,就人一下就变多了。

[02:22:04] 张小珺: 文化有变化吗?

[02:22:06] 姚顺宇: 还是经历一些比较混沌的阶段吧。然后尤其可能就是在我离开的那段快离开那段时间,我觉得文化上还是经历了一些一些混沌。因为从外面啊来了一些人,可能跟本来的文化有些冲突哦,之前的文化是我觉得之前就是比较简单。对,就很简单,就是它更像是一个小作坊,大家都是朋友。

然后大家都知道对方在干嘛,然后也没有人特别特别会就是做过多的这种个人宣传啊,还是怎么就是做一些没有用的事,也没有人做,没有用的事,大家都是有很多事要处理。然后公司那时候可能紧迫感也更强一些吧。

然后后来可能就觉得这样人多了嘛,这样的文化肯定会受到一些冲击带来了什么风气啊,我觉得确实有一些人我个人不是很喜欢,当然不代表他们真的不好,就说我个人不是很喜欢,就是可能我不太喜欢在这个领域里面说很多话的人就是那个我觉得idea is cheap,想法是便宜的,很多想法其实很显然所有人都知道难的是怎么把实现,怎么把它变成一个一个小的可实现的步骤,把它做出来。

我觉得我不太喜欢那些一天中很多时间花在在Slack就是Slack是美国用的一个办公的这种软件。然后在Slack上花很多时间在那讲一些大道理,我觉得就是。

[02:23:45] 张小珺: 没啥用哈哈哈,你后来为什么突然离职了,你是完成了什么阶段性的工作吗?当时。

[02:23:53] 姚顺宇: 酝酿了多久?当时我觉得可能酝酿了一两个月,一个多月吧,一个月多一点好快。对对,我觉得一个方面是嗯就是是我其实不是太特别认同Dario反华这个事啊,我觉得他作为一个公司的CEO来说,对他个人来说,他做什么样的观点,我觉得都无所谓。但是作为一个公司的CEO来说,我觉得把这个观点推到这么极端的地步,是一个非常情绪化的体现。对然后这是一个比较小的原因。

但大的方面有很多公司像刚才说的公司的文化上有些冲击啊,然后包括我自己可能也想去学些不一样的事情。就说Anthropic它毕竟非常的专注,然后你可能做,如果你很想做和语言模型相关的方方面面,然后做这种使用工具啊这种Agentic然后coding这种事,那在Anthropic其实很好,能学到很多东西。

但是Anthropic有很多不做的事,比如说Anthropic完全没有人做这种多模态生成,你想学没地儿学,然后Anthropic可能也没有花太多的精力。在这种更底层的工程的基础设施上,对,所以可能想要学习更多的东西,也是我当时离开的一个动力,反华占百分之多少比例。因为Dario的个人原因,我在公开场合说40%。但是这个数字反正就是听听就好。

这个数字就是告诉你它不是主要原因,但它确实是一个很大的原因。

[02:25:33] 张小珺: 就没有控股,不是个控股原因,对,不是个控股原因,但是是一个majority holder(多数持股人)的原因,你这个选择也很神奇,因为大多数人在一个,它还是一个underdog的时候,加入会更有感情,会愿意陪公司走更长时间,但你反而跳去了Google因为很多研究员一进Google他会觉得Google给的scope(管理范围)不够。嗯,所以他会反而想跳去像xAI或者Anthropic这样的更小一点的组织,你这个行动好像也是反的。

[02:26:11] 姚顺宇: 对我觉得其实取决于你自己想要的是什么。如果你很想要的是我有一个很明确的像你说的很明确的scope。然后这个事和我的最后产品的模型息息相关,我一定要把我其中的一个想法送到这个模型里去。那可能Google是一个很差的地方,因为毕竟有那么多的研究员,有那么多已经成熟的组织做这件事情是有很复杂的这个过程。

但是我觉得Gemini很如果你想要的是你有研究的自由,有探索的自由,然后想去能从更广泛的人类学习。我觉得这个世界上可能找不到第二个比Gemini更强的地方。所以所以就是我觉得本质上还是取决你要自己想要什么。但是我觉得很多人离职,不管从哪离职,换到另外一家之后,可能会觉得不开心的主要原因是因为没想明白自己想要什么。

比如说你要是到了Google,但是跟我说,你刚开始想的是,我有要有研究自由,然后更多的动机是学习。然后你去了之后,发现还是想要有产品impact(影响力)那你可能就会很难受哈哈。

[02:27:27] 张小珺: 你不追求impact吗?你在你也个说这个现在这个AI是一个非常大的系统,然后是一个很大量的人协作的一个东西,你在里面追求什么?

[02:27:39] 姚顺宇: 我觉得分阶段就是我觉得在Anthropic经历了太多这个和产品息息相关的事之后,我可能也想给自己换个脑子去学习一些不一样的东西。但是你说有没有哪一天我可能又换回这个脑子,又想去产生一些产品的影响力,也是有可能的。

[02:27:59] 张小珺: 产品影响力怎么量化?这个内部都很清晰,是吗?不好量化。就是我觉得因为发论文的时候还是有一作这种作者主导作者现在呢?

[02:28:12] 姚顺宇: 嗯,其实没有办法量化,实际情况就是没有办法量化。这也是为什么我觉得在这个时代,其实谈每一个人个体的影响是一个很很虚无缥缈的事情,觉得本质上还是这个组织做了这样一件事,或者这个世界需要这样。

[02:28:30] 张小珺: 所以产生产品impact是个主观感受。

[02:28:32] 姚顺宇: 在模型侧至少是这样的,在模型侧至少是这样。对,然后当然实际上你可以我觉得可以细节,谈的是说你自己做过哪些事情,具体的技术的贡献,然后在技术上产生的效果,这个是可以客观的去谈论的。但是比较主观的事是你说这个效果在最后的产品里占了多大的比重,这个没有人能说清楚哦。

[02:28:57] 张小珺: 3.7上你能描述一下吗?你做的什么样的技术性的工作,对模型是产生影响。

[02:29:03] 姚顺宇: 主要还是跟Agentic coding的环境有关的工作,然后也有一些算法上,算法上主要是怎么让这个训练变得更更稳定。说实话就是但是我觉得算法上肯定是有一些提升,但是也没有达到特别理想的效果。说实话啊比之前的算法肯定是要好的。对,但是那个我觉得也不是我个人的贡献,我觉得也是大家集体的贡献哈哈。

[02:29:32] 张小珺: 对我每次问你,你都会说这是集体的贡献,嗯,不是一个个人英雄主义的时代。

[02:29:39] 姚顺宇: 对我觉得个人英雄主义时代对于language model来说,可能过去了。

[02:29:45] 张小珺: 什么时候是啊,就是在Transformer的那个时刻。

[02:29:48] 姚顺宇: 对,就是在那个技术还没到scale up那个点之前,那找到了那个技术的人,可能是一个英雄,或者找到那个技术的一个小团体,可能是个英雄。

[02:29:57] 张小珺: 找到那个技术之后。

[02:29:58] 姚顺宇: 可能很长一段时间,从模型侧来说,都是我觉得更多的是集体主义,就是这个集体能不能一起工作,能不能为了一个目标,一起花自己的时间,花自己的精力,这个是最最重要的事,而不是每一个个人。

[02:30:13] 张小珺: 提供了什么样的东西?说集体主义的原因是因为其实能力是来自于AI是吗?说集体主义的原因。

[02:30:21] 姚顺宇: 是因为我觉得AI这个方向本质上是简单,就是我觉得没有哪个,除了可能跳变那一下,那个idea可能是得有一些很深刻的洞见。在之后的那个过程中,很多想法其实是非常trivial(微不足道的),就是非常愚蠢的,就是谁都能想,谁都能干,只是你运气好撞着这个机会去干了而已。

[02:30:44] 张小珺: 包括你在描述Anthropic做coding,好像它也是某种随机性,但是你要抓住它。对对,但是就是我觉得做coding。

[02:30:52] 姚顺宇: 可能还比做模型侧的这些技术上的东西,可能还更稍微有点公司英雄主义。就是说你能不能足够快的赌这件事,嗯,那确实还是一个Anthropic很强。

[02:31:04] 张小珺: 但如果今天没有Anthropic做,可能别的公司也做了。

[02:31:06] 姚顺宇: 我觉得是的就是一个必然的事。

[02:31:08] 张小珺: 所以它都是AI在涌现能力,只是看你能不能抓住那个能力,不管是公司还是个体对对。

[02:31:14] 姚顺宇: 我觉得就是在这个可用的语言模型,大尺度的语言模型出现之前,那个时候很多事情是一个非必然,就是有没有一个人能够发明一个东西,一个语言模型能够大尺度的做训练以及GPT这个范式能不能被发现出来,那是有很多不确定性。

嗯,但是你说比如那个时候你说如果没有Google Brain,那可能Transformer就不会被发现,可能要过很多很多年才会另外一个有钱又有人的组织发现,那可能就是一个很大的影响。但是进入那个阶段之后,尤其到现在已经反过来,就是你任何一个组织想要停止AI进展是做不到的。Anthropic有就是Anthropic很担心AI安全。那Anthropic有没有这个能力阻止AI发展?

它没有你阻止发展,你停止发展,别人会发展你的话语权还会变小。对,其实现在是其实更多是这种这样一种状态。

[02:32:14] 张小珺: 世界在推着我们前进,而不是我们在推着这个世界前进,感觉未来我们会更加难以阻止。AI哈哈我觉得已经阻止不了,就是我觉得。

[02:32:28] 姚顺宇: 试图去阻止AI里的一件事发生,可能本身就不是一种正确的想法。这也是就刚才聊到。因为刚才聊到Anthropic嘛,就说Anthropic其中一个很重要的动因是所谓AI安全,我觉得它在AI安全这件事上。

[02:32:47] 张小珺: 就是它创立的时候动因,对啊,现在跟它有什么关系?

[02:32:51] 姚顺宇: 现在的关系比较复杂,就是说一个自然的问题是大家可能会问一个做AI安全的公司,为什么现在开始训前沿模型了?Anthropic的的解释是说,我首先得拥有一个最前沿的模型,我才有话语权来推进我的AI安全。所以说它其实一直以来的想法是说,我要做这个世界上最好的模型。大家不得不听我的来推进我的安全政策。但其实从我个人角度来说,我觉得这个想法是非常幼稚。

就这个事现在看来它是不会发现不会发生的,更有可能发生,就是大家都有很好的前沿模型,而你没有办法阻止任何事发生。可能对于这个事来说,现在更多关注的更多该想的事是,如果你真的想要避免AI带来一些危机,什么才是一个更自动化的事。举一个自动化例子,就是比如说核武器就是那核武器也是一个可以大家觉得哎可能有毁灭世界力量的事。

但核武器最后最终受到控制的方法就是Multi party control。这个世界上大家有很多个有核武器的国家,他们互相都有毁灭对方的能力。所以通过这样一种制衡才稳定住。我觉得你要阻止AI干一些不好的事,可能最终是需要一种类似的机制来实现的,而不是希望寄希望说一家公司制定一个法律来干一件事。

[02:34:25] 张小珺: 嗯,对,而且它自己制定,它也只能管得了自己。嗯,你刚刚也提到Anthropic有个可解释性团队是吗?这个它的可解释性到达哪一步了?

[02:34:34] 姚顺宇: 在一些比较简单、比较稀松的的的神经网络里面,它们能够做一些有趣的研究。比如说哎看看某一个输出了或者输入的的文字或者图片,它内在的表示是长成什么样的。然后你可能把那个表示什么,反一下之后它会能输出一个什么样的东西,做一下这样的研究。

AI 本质是简单的 [02:35:03]

[02:35:03] 张小珺: 你刚才还提到一个观点,就是AI本质是简单的,你能不能描述一下这句话,这是一个结论。

[02:35:09] 姚顺宇: 对我觉得这是这这甚至不是一个结论,就是这是我的一个statement(陈述。)是我的一个陈述,它可对可错。

[02:35:16] 张小珺: 哦,然后我对这个这是你的观点,对我对这个。

[02:35:20] 姚顺宇: 我对这个陈述的的解释是,我觉得它本质上简单的点在于它能做实验。就是它和比如说本质上难的东西,比如说物理它的区别在于那个东西你没有那个能标下的实验数据,你就是理解不了那个能标下的理论。但是AI不被这个所bound(约束)你理解不了没关系,我也可以往前发展。

而且就是我现在事实就是能够做任何我能想到的实验,只是可能说我需要一些时间去把这个计算量提上来,或者把这个基础设施准备好,但是没有什么本质上的困难。对,所以我一直说就是觉得AI就是没有给人感觉它碰壁的原因就是首先很多东西你都能试。其次,现在不是说大家已经想空了,脑袋没有什么想法可以试了。更多的情况下,是有太多的想法,得一个个试花时间。

[02:36:21] 张小珺: 嗯,感觉人好渺小啊,在这个实验面前。

[02:36:27] 姚顺宇: 是的,所以说我觉得很快,可能AI就会开始自己做实验了。很快是多快。4个月内我觉得未来的6-12个月。

[02:36:38] 张小珺: AI就会自己做实验,我觉得当然就是这话。

[02:36:40] 姚顺宇: 不太良好定义,对不起,我说了一个很模糊的话,就是嗯AI自己提高自己或者自己来加快自己的发展过程。这件事其实已经在发生了,对吧?就像我们刚才最早的时候聊过,就是它已经开始帮我们能够去实现一些我们想要的东西,然后加快我们实验的速度。但是我觉得未来六到十二个,sorry,它目前还做不到的事情是什么?是说它能不能从头到尾的把一件AI研究的事做完。

就比如说它不仅能写这个code,它还能跑这个实验,跑这个实验,还能看到这个结果,看到这个结果,还能分析这个结果,分析这个结果,知道它哪儿做的不对。然后提出新的假设设计,新的代码,跑新的实验,这条链条目前还没有完整,但我觉得这条链条可能是下一步会慢慢变得完整的。

[02:37:34] 张小珺: 基于你的各种原因,在你离开决定离开Anthropic那一刻,你对这家公司未来的预期是什么呀?

[02:37:41] 姚顺宇: 我觉得我离开的时候,我对这公司其实挺悲观的,但后来显然是我过度悲观了。呵呵呵为什么悲观?我当时悲观的原因是因为我觉得我当时离开Anthropic的时候,Anthropic其实嗯主要的收入来源都是API就是卖Token。然后这是个差生意,是个差生意。

因为这个生意只有对一个公司是好生意,就是Google因为这个这个生意最后就是得打价格战,就是eventually(最终)就是要打价格战,打价格战,你没有完整的这个链条,是没有什么太多优势的啊。但是后来Anthropic显然在产品方面,就是我觉得确实有是有很多巧思,做了很多好的事儿,不管像是Claude Code也变得越来越好用了。

然后Claude Cowork然后和各种各样的这种和工作和效率相关的事情都慢慢汇聚起来了。所以感觉它现在反而变得比我当时觉得你要问我OpenAI和Anthropic哪个会先死,当然就不会真的死,就是哪个会先变得没那么重要。我当时会觉得哎可能是Anthropic会先变得没那么重要。但是后来首先OpenAI被Google揍了一拳,然后Anthropic自己又上道了。

所以现在看来好像Anthropic更占优势一些。

[02:39:01] 张小珺: 哈哈你后悔过没有?

[02:39:04] 姚顺宇: 嗯,不太后悔,我觉得对我个人来说,我个人的动机还是想要去换一个地方,提高自己。我觉得对这件对于想做的这件事儿来说,这个选择没有什么错误。

[02:39:17] 张小珺: 你也提到Anthropic的产品有很多巧思,特别是今年像Cowork这些。这个来自于哪里啊?

[02:39:27] 姚顺宇: 我觉得我没看到Cowork的发展过程,所以我不知道。然后Claude Code,我觉得产品还真的是有一些个人英雄主义的机会。

[02:39:39] 张小珺: 是研究员还是产品经理?

[02:39:40] 姚顺宇: Boris Cherny。那个我觉得Claude Code的,至少这个事的开端吧,是他自己想要做这个事,提高自己或者同事的工作效率,最后变成了一个对所有人都会很重要的事。

[02:39:56] 张小珺: Boris是一个什么样的人?

[02:39:58] 姚顺宇: 我跟他没有太多的个人接触,我更多的只是看到他的工作,在公司的时候,他是个researcher是吧?对,但他主要是在产品那边。

[02:40:07] 张小珺: 所以Anthropic是有专门的产品部门的。

[02:40:10] 姚顺宇: 以前没有分的那么开,后来有单独的。

[02:40:13] 张小珺: 对Anthropic感觉是很懂AI的产品呢。

[02:40:16] 姚顺宇: 对我觉得我觉得这就是为什么刚才刚开始说的时候,觉得这个产品经理可能还是目前挺难被AI取代的。哈哈哈嗯好的产品经理。

[02:40:28] 张小珺: 哎,他好像不是上一代那种产品经理,他不是那种feature的摆放啊什么的,他好像是知道怎么跟AI协作的某种产品经理。

[02:40:38] 姚顺宇: 对我觉得上一代产品经理可能但也不全是上一代,也有些就是交互交互方式级别的变化。但每一次交互方式级别变化,其实就带来一很大的产品。比如说就是可能这个抖音就是一个交互方式级别改变的产品,那它一下就带来了很大的嗯,打开了新的方向。然后我觉得可能Claude Code也是一个这样级别的产品。

[02:41:04] 张小珺: Claude Code和Cowork都是Boris。

[02:41:06] 姚顺宇: 我不知道Cowork是谁做的OK,我已经离开了。

在 Google DeepMind 训练 Gemini 3 [02:41:09]

[02:41:09] 张小珺: I see那说说你到了Google DeepMind以后的工作吧,工作重心发生变化,没有。

[02:41:15] 姚顺宇: 嗯,还是发生了一些变化的。然后我反正我自己主要在站外就是做ML coding,然后和一些比较long horizon的事。就是这两事其实刚才都都大概提了一嘴就是ML coding。其实它主要就是想要实现刚才说的这个完整的AI自己训练自己的这个历程。那当然这个过程当中有很多实际的问题,有很多实际的细节要去解决。

就是我觉得大的方向上来说,大家其实是比较有共识,是该怎么去做,但是还是回到细节,就是细节上有很多要处理。比如说怎么样去选取合适的data,怎么样去还选取合适的回馈信号,以及它又带来新的基础设施的挑战。然后现在就是要把这些事情要慢慢慢慢摸清楚。

然后像long horizon,就是刚才说的另外一件事,就是说想要能够实现说这个模型能够在还是那句口号train with finitebut use as infinite。我觉得想要把这个训练的长度一直一直一直变长,可能并不是单个这个训练的这个语段的长度一直变长,可能并不是一个很现实的方案。但是很现实的事儿是你如何在有限的context下去做更长的工作。

其实你其实去想人其实就是这个样子,人的context其实很短很短。你现在问我昨天晚上吃什么,我是一点也想不起来了啊,你可能还能想起来。哈哈哈我是一点也想不起来了,因为什么?因为它对我现在这个场景来说不关键,对吧?就是我现在知道昨天晚上吃什么又能怎么样,所以我选择把它忘掉。

所以人本质上context是很短,但他能够选择性的遗忘,然后让他选择性的对,去retrieve(检索)就是去把这些重要的跟当前场景相关的信息再抓回来。所以说我觉得那个可能也是一个对我来说很有趣的这种方向。这两件事其实是有点有点相关,有点互补的。

[02:43:21] 张小珺: 为什么这两个事?

[02:43:22] 姚顺宇: 其实都在模型使用工具和和环境以及不同的模型,不同的人交互的这个大的范畴内。在这个范畴内,大家就过去完成的那个节点就是Agentic coding,就是又是工具又和环境环境,就是这个虚拟机或者你自己的电脑里这个做交互。然后这个事儿其实它横向就会长出不同的使用场景。那做AI research。

其实就是横向这个场景里的另外一个场景啊,这个场景它其实不仅横向上是一个新场景,它在纵向上也让这个这个事情的尺度变得更长。因为你可能完成一个代码的补全之类,是一个很快的事。但你做一个完整的AI研究,或者做一个这种计算机科学的研究,那是一个很长的过程。对,所以说它其实就是像一个T字形一样,就是横向有延展,纵向也有延展。

[02:44:23] 张小珺: long horizon(长时序任务)是不是还是个科学问题啊?

[02:44:26] 姚顺宇: 嗯,有科学问题,也有工程问题。我觉得它的科学问题更多的是怎么把不同的方案尝试一下,以更科学的方式尝试之后来找到一条,最后我们要走的走的这个方案。

[02:44:41] 张小珺: 这个有哪些方式?

[02:44:42] 姚顺宇: 嗯,我可能不能说太细的,但粗的来说,从有一些方案是从pre-train的角度,从预训练角度来说,有一些方案就是类似于这种稀疏的attentionsparse attention(稀疏注意力机制)那这个比如DeepSeek也有一些工作,然后学界也有很多工作,然后从后训练的角度也有后训练的方案。比如说像外界,比如说你每天用什么Cursor这些,他们就是很强的。

context management(上下文管理)管理这个context能力。比如说它可以让这个模型去选择。我把这个中间某一段觉得不重要就扔掉了。然后那一段重要就存在某个文件里,到时再取回来。这两种大的来说,这两种方案都有人在研究。当然它具体实施细节是不止我刚刚说的这些例子,刚刚说的这些例子就是比较公开的例子。那具体实施细节,当然就每个公司还有自己的小秘密。

哎,我觉得其实也就是最终也都会。然后我个人是比较花很多更多时间在后训练的这部分的方案上。因为当然首先因为我自己本来就没有花正式的工作时间在在预训练上预训练,对我来说更多是一个就是兴趣。我想学习的事,但我自己其实没有在那上面做太多的工作。

然后另一方面是我觉得后训练的这个方案其实更符合我自己对这个事的理解,就我对这个事的理解就是刚才一直在说的这件事,就说能不能用短的context去训练,但是能做长context的事预训练这些方案其实本质上还是需要你有长context训练,它需要数据里有对嗯对对,所以说所以它不太符合我对这个问题的哲学。

[02:46:32] 张小珺: 哦,对,所以你现在看可以吗?用短的去训练长的。

[02:46:37] 姚顺宇: 我觉得可以是一定可以,但是我们不清楚哪个方案最有效。

[02:46:44] 张小珺: Gemini的长文本做得很好,为什么呀?有些技巧,哈哈哈哈哈哈。有一些让我很惊讶的技巧,哈哈哈哦,这是预训练的事是吧?

[02:47:00] 姚顺宇: 长文本做的很好,一定是两边都有的,但是我只是说对我来说预训练那边那个技巧还是挺让我惊讶的。

[02:47:08] 张小珺: 哈哈哈对OpenAI做的没有Gemini,好在长文本上。

[02:47:14] 姚顺宇: 但是也有说法也不一样,就是有些人也说Gemini 3这一代长文本反而变差了一点啊之类的对。

[02:47:22] 张小珺: Again,你加入Gemini的时候,感觉大家对Gemini的预期不高?

[02:47:27] 姚顺宇: 没,我对Gemini当时预期已经挺高的了。

[02:47:29] 张小珺: 哈哈哈,你那是几几年几月?

[02:47:32] 姚顺宇: 我是去年的9月底,那个是Gemini放Gemini 3之前。

[02:47:39] 张小珺: 你对它的预期高啊,其他人呢我觉得业内的人。

[02:47:44] 姚顺宇: 当时对Gemini都还是印象不错的吧,就是我觉得。

[02:47:49] 张小珺: 之前一直觉得Google很有危机,在OpenAI的冲击之下。

[02:47:53] 姚顺宇: 我觉得大家的感知可能在Gemini 2.5这一代产生了变化。因为2.5是一个明显你能看出来Google开始上道了啊,在当然之前就是Gemini的1.5啊,也有一些就是小的事情。某一个具体的方面做的已经算很强了,就是很明显它已经不是很落后。但是2.5是真的真的一代,就是我觉得开始有人开始用的模型,反正我自己其实也用过2.5用的挺多的。

[02:48:26] 张小珺: 你是看到2.5去的Gemini。

[02:48:28] 姚顺宇: 我去Gemini跟这没关系,主要还是我知道Gemini它大概是一个什么样的氛围,就是有很多人在做不一样的研究啊,然后我也知道一些人其实做研究很有意思。然后很多Gemini工程师我觉得技术是非常非常非常强的。我觉得我是从他们身上学到了非常非常多。然后嗯对我来说那是原因。但是我觉得从大家的感知上来说,可能我觉得业内的人在看到Gemini 2.5之后,就可能就已经意识到了,说Gemini是要赶上来了。

[02:49:06] 张小珺: 那对你来说,不是你加入了Gemini的一个信号,是吧?

[02:49:09] 姚顺宇: 不是我加入它的一个信号。

[02:49:10] 张小珺: 那你为什么加入Gemini?

[02:49:12] 姚顺宇: 那就刚才说的,就是主要是因为我当时想做事,其实我想要去有。

[02:49:16] 张小珺: 但你知道Gemini的人强,对吧?对对。

[02:49:19] 姚顺宇: 那个是因为就是他们来来找我的时候,肯定也会让我去去和他们的人去聊嘛。那从聊的过程中,其实是能够其实能看出来状态怎么样哦,是他们来找你。对,但是我觉得最后就变成双向奔赴了,所以哈哈哈。

[02:49:37] 张小珺: 你当时OpenAI不是选择吗?如果你想从Anthropic离职,对OpenAI也是当时的选项OpenAI当时应该还是比Gemini,那从势能上要强吧。在那个时候,但是不过那个时候是不是各种那个内部的内斗内斗开始出现了。

[02:49:53] 姚顺宇: 我觉得对就是OpenAI确实也是我当时的一个选项。然后当然还包括像xAI之类的。然后我觉得OpenAI最后没有去的一个主要原因,还是我对它的文化。至少当时来看我对它的文化是有比较大的担心的。就是我觉得用粗话来说,就是感觉踏实做事,踏实做事的人没有Gemini多,也更没有Anthropic的人多对哦,这个我很care,哈哈哈对。

[02:50:24] 张小珺: 所以一种文化和人的亲近感让你去了Gemini对,然后你又赶上了到Gemini 3的那个转折点是吗?嗯,Gemini 3应该对它来说是一个很大的转折的一个时期,是吗?

[02:50:37] 姚顺宇: 我觉得从实际的效果来说,我觉得是两件事让Gemini产生了一个大的转折,就变成了一个市场里举足轻重的player(玩家)的玩家是Nano Banana和Gemini 3两件事连着就是你我觉得如果只有Gemini 3,可能也不会有现在这么好的效果。因为当你的市占率连10%都不到的时候,你这个模型好一点坏一点,其实等它传播出去就是太慢了。

但是Nano Banana做到的一件事是,首先市场上这件事很爆很爆款,然后大量的人去下载了Gemini的APP然后Gemini 3又紧接着放,把这个部分留下来了,所以现在它变成了一个举足轻重的玩家,觉得可能就是没有Gemini打这么一拳。那其实OpenAI的位置很爽,就它市占率已经高到。你其实模型上干点啥,对它来说可能影响都没那么大啊。

甚至说实话我觉得就是真正普通人用模型的时候,对模型的这个能力的感知其实是很弱很弱的,绝大多数人甚至都不用o系列模型。绝大多数人都用普通的那个ChatGPT的对。所以说我觉得对于Gemini来说这个一个Nano Banana把量打起来,然后Gemini 3又把人留回来,是一个很关键的事。

[02:52:00] 张小珺: 它有事实上抢走多少ChatGPT的用户?

[02:52:03] 姚顺宇: 嗯,我不知道现在具体的比例,但是我的感觉是Gemini可能市占会在20%左右吧。但是我确实没有仔细去检查过现在的数据。

[02:52:19] 张小珺: 这是从事后归因来看,这两个因素共同促成了Gemini今天对于OpenAI的冲击。那你从内部视角肯定能更前置的,知道为什么就发生了什么?Google会有这样的变化。对我觉得。

[02:52:34] 姚顺宇: 我觉得首先就是Google的这个技术储备一直是够嗯人够对,一直是够的。然后组织上来说,后来变得越来越清晰了,就是有一个更好的框架来让大家干一起干这个事了。所以说可能会慢慢慢慢有些进展。对,然后我觉得从某种意义上来说,我作为一个局外人,从某种意义上来说,我觉得OpenAI是救了Google一命哦,就是因为大家以前一直都担心说这个聊天机器人会不会完全把搜索取代掉。

对,如果这个事真的发生了Google其实很难受。但是好在呢就是OpenAI先把这个事做了,然后让Google意识到了这个事很重要,但是它又没有把这个事做到底,又没有把这个事做到极致,又完全没有完全把search搜索干掉,可能就吃掉了一些份额,结果让Google自己把聊天机器人也追上来了。那现在难受就是它了,你要万一。

比如说有一个公司,就假如说啊在一个虚构世界,有一个公司不仅做了chatbot,而且还一路高歌猛进,越做越好,真的一把就把你搜索吃掉了,完全没有给你反击的机会,那就很难受了。

[02:53:53] 张小珺: 那chatbot没有吃掉搜索是因为OpenAI干的不好,还是为什么呢?还是因为这个干不掉搜索?

[02:53:59] 姚顺宇: 我觉得两方面其实都有。就是说首先嗯目前的chatbot这种交互方式其实不会完全吃掉搜索。因为它比搜索强,就像刚刚最早时候说过,它比搜索强的一点是说它有很强交互性,你可以追问,然后它可以帮你把一些很复杂的信息去浓缩,这是它很强的地方。所以这部分使用场景,它确实会把搜索的人抢掉。但搜索里还有一些非常愚蠢的场景。就是你有一个特别简单的事,你根本不想浪费这个时间在聊天机器人身上啊,比如说我就是我就搜买大米。

[02:54:37] 张小珺: 我就一搜买就完了,就我还非得去问ChatGPT。

[02:54:41] 姚顺宇: 我还得非得问哪个好,然后它还在那转圈圈圈圈转半天,然后给你个链接,你再一点再跑到网页再去买,对吧?没有那个必要。所以说从事实的使用上来说,它目前的形态并不足以把搜索完全吃掉。对,然后当然从另一个角度上来说,它可能在聊天机器人这个事情上也没有做到登峰造极,就它还真的让Google把它给赶上了,现在还不算赶上吧。在产品上我觉得在产品上不算赶上,但是在模型上已经是赶上了。

[02:55:15] 张小珺: 但是要投资人投OpenAI,他们会说他们下注的时候是认清楚OpenAI其实是个产品公司的时候,它的护城河其实是产品和品牌。那从今天来看的话,似乎Google还没有在这件事情上能够赶上,不能说超越OpenAI吧,赶上OpenAI吧。

[02:55:37] 姚顺宇: 对,就是我觉得这其实是,反正这都是我作为一个局外人观察者的视角来说。

[02:55:44] 张小珺: 你今天是点评家,哈哈哈。

[02:55:47] 姚顺宇: 观察者的角度来说,我觉得Google传统上在产品就是有点慢,是一直都比较慢啊。然后所以你说OpenAI会不会在产品上有优势,我觉得是有可能的。对,然后Google特别擅长的一件事是什么?是找到一个极为简单的产品形态,大家都长一个样,它就疯狂给你卷技术,你就卷不过它哦,对,就那个事是Google擅长的。

[02:56:18] 张小珺: 因为搜索引擎就是这样的一个事儿。

[02:56:21] 姚顺宇: 搜索就是一个典型的,就是大家都是一个框一个键,但它就是比你搜的快,搜的比你准,你拿它一点办法也没有。

[02:56:28] 张小珺: 嗯,所以这就是为什么。

[02:56:31] 姚顺宇: 就是感觉一直以来Google都处于一个做的很好,但华尔街都不太认可的状态。大家总觉得这公司壁垒到底在哪,也没有什么产品的巧思,也没有什么留存的机制,但它就活到了现在。

[02:56:51] 张小珺: 哎,所以它技术好的原因是啥?

[02:56:53] 姚顺宇: 我觉得还是就人好吗?我觉得还是氛围吧,就说是一个特别特别重视,以前就是特别重视工程师,后来就是特别重视研究的。

[02:57:03] 张小珺: 这样一个氛围,所以它很适合那种通过技术能力溢出的产品,能力的产品。对,如果从这个角度来看的话,那你觉得OpenAI的位置是稳固的吗?现在。

[02:57:15] 姚顺宇: 我觉得现在谁的位置都不稳固。哈哈哈哈哈对,我觉得就是AI的形态,还有很长的路要走。

[02:57:25] 张小珺: 嗯。

[02:57:26] 姚顺宇: 没有到什么终局之战,这个地方的感觉呢?对感觉国内已经有点儿这意思了。对我不理解,就是为什么不理解,我很费解就是。

[02:57:39] 张小珺: 那国内觉得我们在争夺一个super appsuper app,就是此消彼长的呀。

[02:57:44] 姚顺宇: 我觉得condition on聊天机器人这个事儿(把聊天机器人作为条件来构建)就是super app那可能可以争夺一下。但是问题是你这个形态是不是super app那个形态会不会别人就是哪天出了一个完全不一样的形态,然后你的功能变成了那个东西一个子集,这是很有可能的,是吗?我觉得没有什么,我觉得我看不出什么不可能。

[02:58:11] 张小珺: 为啥chatbot不是那个终极形态,但是这么多年我们也就看到这个了。对,就是都是一个对话框。

[02:58:18] 姚顺宇: 我觉得在这个事上,我确实没有什么没有什么理性或者量化的标准来说明。更多的是你觉得这个事很蠢,就是这个模型明明有那么多的能力,但居然用的方法是chatbot(画面注:。本次视频录制于2个多月前,此时Agent的形态还未明朗。)就是不太make sense知道吧?所以。

[02:58:35] 张小珺: 需要一个产品经理来解放一下模型的能力。哈哈哈人类到现在只通过chatbot去跟AI沟通,让你觉得很蠢是吧?很蠢,就是那应该用什么去跟AI沟通。

[02:58:48] 姚顺宇: 没想明白,要想明白,我就干了。

[02:58:50] 张小珺: 哈哈哈哈哈哎你没有告诉我Google内部到底发生了什么变化,然后有了外界看到的模型能力的突飞猛进。

[02:58:59] 姚顺宇: 对,就是刚才说就一个,我觉得组织上更清楚了,然后组织上一旦清楚的话。

[02:59:04] 张小珺: 组织变化了吗?

[02:59:06] 姚顺宇: 对,尤其像预训练,现在变得非常非常清楚,就是谁负责什么事情。然后每一个点,每一个这个节点上谁是负责人,这些事情都很清楚。

[02:59:16] 张小珺: 以前是混沌的吗?

[02:59:17] 姚顺宇: 以前最早的时候很乱,我没有最早时候在那待过。但是就是同事根据同事或者我以前认识的人的描述,以前还是更混乱一些的。嗯,对对,然后现在就是至少预训练也是变得非常非常清楚。然后加上这个这Google一直有的这种就是比较强的技术背景,然后它做事也比较系统,所以觉得预训练在Google是一个非常非常可控的事。嗯,可预测的事,你就你能够你能知道下一代不会差哦,可能你还会知道它会有多好。

[02:59:53] 张小珺: 通过Anthropic这种自上而下的管理,它也嗯不错。那Google是这种自下而上的,它依然是自下而上的,是吗?

[03:00:01] 姚顺宇: 它比以前肯定要更自上而下了。比起最早的时候,但是它比Anthropic来说还是更自下而上了一些。

[03:00:08] 张小珺: 就好像不同的文化都可以是吗?对,就是对于模型的训练。

[03:00:13] 姚顺宇: 对,就是就是我觉得大公司有大公司的打法,startup有startup的打法。

[03:00:17] 张小珺: 所以大公司是你刚刚也说它是一个完全不一样的叙事,它是一个不一样的方法。Google是什么方法?现在我觉得Google更多的说是。

[03:00:27] 姚顺宇: 像这种比较确定性的事,比如像预训练已经是一个比较确定性的范式了。那可能Google就会更像把它做成一个工程项目,Google的工程管理能力又很强,所以说它就能慢慢把它做好。

[03:00:40] 张小珺: 嗯,什么叫工程项目?

[03:00:41] 姚顺宇: 工程项目的意思就是你其实是其实是非常非常非常top down(自上而下)的一个组织。然后很清楚我们下一阶段要做的是什么事情,然后去做这个事情,中间需要有哪几个节点被处理掉。然后哪怕是做研究,也是说就是有一个很清晰的框架,告诉你怎么去验证你的结果是好是坏。evaluate(评估)你的结果是好是坏。对,所以这个是是Google很强的事情。在过去的任何的一个大的工程项目上。

所以说预训练其实我觉得就是现在进入到Google的舒适区里了啊,然后后训练当然就是有很更多的不确定性,那可能后训练现在来说还是更bottom up(自下而上)一点就大家可以更广泛的试。

技术预测和组织搭建 [03:01:28]

[03:01:28] 张小珺: 你说pre-train也是一种RL,为什么这么说?

[03:01:31] 姚顺宇: 我觉得就是你很难从纯技术的角度说,pre-train就是预训练或者说这个监督学习SFT和RL的本质区别是什么?因为预训练和SFT当然预训练和SFT本质也没啥区别。就是你无非就是把你拿到的那些数据当成你的ground truth,然后你就把那个当成你的expert,把那个当成你的专家输出,然后你朝那个专家输出的的分布上靠,强化学习可能就是更宽广的一个级别。

一个级它就是说我首先就是这个这个本来输出的东西也不是一个给定的专家,而是我自己产生的一些东西,然后我里面也有好的结果,也有不好的结果。然后好的结果要往上靠,不好的结果要远离它之类的这样东西。所以说从某种意义上来说,pre-training和SFT是强化学习的一个子集。但是呢这两件事确实在现在这个时代是有区别的。

当然我觉得对我来说,它的最大区别在数据上就是pre-training的数据更多的还是要distribution够好,就是分布足够的广,或者足够符合你想要覆盖住的那些范围,但是数据的质量并不需要非常非常的高。但是后训练呢是反过来,就是说它分布上来说可能要远窄。但是它在有的那些数据质量上会要求非常高。

嗯,对,所以我觉得目前来说对我来说它俩最本质区别还是在数据分布上的区别,而不是在算法或者训练范式上的区别。

[03:03:04] 张小珺: 那像不同的lab,它是怎么分这个组的呀?预训练和后训练有不同吗?还是都一样?

[03:03:09] 姚顺宇: Anthropic和Google比较类似,两个都是就是预训练,是预训练一个组,然后后训练是后训练一个组嗯OpenAI可能比较混沌。最早的时候,我一开始的时候,它是分三个组,就是它有预训练,然后它还有强化学习,就是Strawberry草莓组。

然后它还有一个post-training组,然后我的我没在那干过,但我的理解是它的post-training其实是就不是它的那个RL组,就Strawberry和它的post-training其实是别的公司的post-training和产品哦,然后它可能是以这种不一样的方式给它切了。

[03:03:53] 张小珺: 它把后续人当产品做就是它的一部分。

[03:03:56] 姚顺宇: 后训练其实是和产品。

[03:03:58] 张小珺: 是在做产品,它是不是只是名字没改过来呢?也不完全是因为绝大多数公司的产品。

[03:04:06] 姚顺宇: 其实不太训模型了,它更多的是把这个需要的这个特质模型特质告诉训练模型的团队。但是它好像就是它的post-training从某种意义上说,自己又是产品,但自己又能训模型。

[03:04:22] 张小珺: 这是不是它对于产品的理解,就是需要训练模型的人来做产品?

[03:04:27] 姚顺宇: 对对对,有可能有可能是件好事。对,但是它后来也这个组织变化很多,所以我现在也不知道他们组织成啥样了。

[03:04:34] 张小珺: 你们最近发了几个模型,然后我看到你也都参与其中。Gemini 3 Deep Think、Gemini 3.1 Pro。

[03:04:42] 姚顺宇: 那我觉得可能只能说是有幸参与。

[03:04:47] 张小珺: 哈哈哈哈哈对again,就是感觉都是集体工作。哈哈哈哈哈哎,你为什么现在都变成了明星人物,每次都被拎出来单独写一下。

[03:04:57] 姚顺宇: 我不明白,我觉得其实不太好,每次看到之后,我都感觉明天该怎么去办公室见同事呢?

[03:05:05] 张小珺: 哈哈哈哈会有异样吗?在办公室就还好。

[03:05:10] 姚顺宇: 我觉得同事可能还是人比较好,就是他们可能也不是特别看重这些事啊。但说实话我是觉得我参与过的任何一个项目,不管是在Google还是在Anthropic,没有我都会发生,都一样会发生,效果也不不不会变差。我这是我觉得大家现在就是是每个人都是冲浪的人,本质上是一个浪,而不是你那个冲浪的人。

[03:05:38] 张小珺: 嗯,浪是AI吗?

[03:05:40] 姚顺宇: 对,就是AI这个这个事情本身是是这个浪,它会往前走,不管你冲不冲这个浪,这个浪都会拍到岸上,只是说有人可能就冲了这个浪,有人就可能晚了一点,没赶上那个浪尖。

[03:05:54] 张小珺: 好,你有幸的参与了这两个工作的。

[03:05:56] 姚顺宇: 什么主要可能就是一些有一些那个就是算法上设计的小的细节,然后就会一块讨论呀。然后有一些有一些数据上的东西,但是数据上的东西我觉得可能对之后的工作会影响更大一些。

[03:06:14] 张小珺: 这几个模型有范式变化吗?

[03:06:18] 姚顺宇: 嗯,我觉得没有哪个没有哪个变化,大到了从不知道怎么做。大尺度的强化学习到大尺度,强化学习那个级别的变化,没有哪个变化,大到这个地步,肯定都是会有一些小小的变化。

[03:06:37] 张小珺: 这几个小小变化,你能讲一讲吗?就这几个新的模型肯定都是会有一些小小的变化。最近我感觉模型已经发麻了,国内一堆模型,国外也是很多模型OpenAI你们嗯国内GLM(智谱)字节DeepSeek一直期待还没发(画面注:目前DeepSeek 4已发)Kimi你能不能给大家划划重点啊?

[03:07:09] 姚顺宇: 我觉得从某种意义上来说,都没那么值得关注。

[03:07:15] 张小珺: 哎,大家在争什么?现在感觉群魔乱斗。

[03:07:20] 姚顺宇: 我觉得有一些争的事情呢,其实现在看来已经在这个时代已经没那么重要了。就是因为过去带来的惯性是大家会争各个Benchmark的第一名证明自己模型的基本能力很强啊。这个事情呢其实到现在已经到了,就是公众关注那些Benchmark都有点打满了。其实你想最早大家关注这个SWE-bench,随便大家都打到80多,幸亏没有人超过83。

因为最近OpenAI刚放一个post说超过83,那个有的题目都是不良好定义的,幸亏没人超过吧,谁超过谁尴尬?反正啊然后大家以前Reasoning就是打完AIME打IMO打完IMO打什么想不成ARC-AGI啊这些Benchmark然后ARC-AGI嗯在Gemini 3之前,大家可能最高的都忘了,那时候可能十级这样子吧。

然后大家就哇登天难,然后Gemini 3给变成30多了,然后Claude 4.5还是4.6变成哎4.6应该是变成60多了。然后Gemini 3 Deep Think一下打到80多,所以这个也打满。所以现在就是感觉光靠打这种公众认知的模型能力,其实已经没啥太大的意思了啊。然后嗯所以从这个角度上说,我就是本质上就是没有什么太多的重点啊,虽然大家发的很快哈嗯。

[03:08:54] 张小珺: 发的快也说明,其实这道题对大家所有人来说都变简单了,大家都知道knowhow了,没有什么秘密了,已经。

[03:09:00] 姚顺宇: 对对,就是还是说还是这个就还是那个冲浪理论嘛,就是还是这个浪在往前走。

[03:09:09] 张小珺: 大家下一个可能在寻找的目标是什么?下一个范式级的变化是什么?还会有吗?

[03:09:18] 姚顺宇: 啊,我觉得我刚才自己聊的那两个事是我觉得ML coding和long horizon。对,然后这两个是我觉得我觉得嗯是是我觉得是一个可能没有到范式级变化。但是我觉得是对于Google来说会很有价值的事情。

因为首先ML coding是因为Google首先自己是一个AI research大户,然后它自己又是AI research最全栈的,就是它不仅有这些训练模型,这些这些部分它还有设计硬件的部分,从硬件接到模型的部分,这一整套东西如果能被加速或者说被更好的管理,那可能对这个公司来说是很有价值long horizon就不说了,就所有人都知,就所有人都很都都都觉得很重要。

对,所以说我觉得那个可能是对我来说不能说是范式级别的,绝对是不到范式级别。但是一个我觉得是很有价值,需要去在未来几个月之内能够能够看到曙光的事。然后嗯我觉得范式级可能就还是那些更非确定性的东西,就是什么多模态生成那个我觉得可能会有一个英雄吧,或者会有一个英雄集体吧。哈哈哈。然后嗯对像那种可能会有一些。

[03:10:40] 张小珺: 嗯,还有聊比较多的continual learning(持续学习)。

[03:10:43] 姚顺宇: 世界模型呢我觉得continual learning和这种long horizon,刚刚说long horizon,没有本质的区别。因为嗯因为大家以前觉得这两事儿差别很大,是因为continual learning会改变模型的一些权重。然后你做这种,比如说像开放开源了,大家做很多这种这种context management(上下文管理)是不会改变变模型权重的。

但其实你想这两事儿没有本质区别,因为context里那些词自己的KV不也是一种权重吗?所以说你觉得这两个方案就是最后谁能谁能更有用,在长久来说更有用,我觉得是不清楚的。但是他们本质上都是为了做刚才long horizon这种类型的事情,然后世界模型一万个人有一万个世界模型。

[03:11:30] 张小珺: 啥意思就是定义不清晰。

[03:11:31] 姚顺宇: 就是首先我不知道什么叫做一个世界模型。其次就是每个人在说他们做的世界模型的时候,可能也在说不一样的事儿。比如说Gemini做的世界模型,可能就和比如说像李飞飞,她们做的世界模型就不是一个事。

[03:11:47] 张小珺: 嗯,唉,描述一下区别是。

[03:11:50] 姚顺宇: 我不是特别了解,像外面像李飞飞啊,她们这些lab做的事情到底是怎么样的。但是嗯Gemini的世界模型更多的是一种是一种end to end(端到端)的这种级别的训练。它想要的结果是说我一个比如视频生成是大家能够给定一个描述,然后生成一个视频,但它想要的达到结果是我不仅能够生成一个视频,我是能够生成一个场景。什么叫一个场景?场景?

就是说我生成了这个时刻的状态,然后我还可以再给它一个condition一个条件。这条件是我在这个状态下做了一样什么样的动作。然后它下一个时刻状态会变成我上一个时刻状态和动作的函数啊,然后它是end to end去训练这样的能力。对,所以说这个可能是一种方案。然后我我首先也不知道大家最后想要的到底什么结果。然后我也不知道大家对自己世界模型的定义到底是什么。

所以我觉得更多还是一种探索状态。

[03:12:51] 张小珺: 刚才我们一直没有聊到一个组织是xAI我们刚才聊了Anthropic聊了OpenAI聊了DeepMind那xAI呢xAI我是不明白哈哈哈。作为点评家来说一下,他们怎么最近这么动荡,我觉得他们一直都挺动荡。哈哈哈那为什么最近这么动荡?

[03:13:11] 姚顺宇: 我也不知道啊,然后我其实我跟xAI接触的没有那么多,然后我接触的一些人现在也走了,其实我也不知道他们发生了啥。

[03:13:24] 张小珺: 哈哈哈你刚才说Anthropic的时候,你说技术的一号位能make bets是非常重要的那在Google这样的一号位是谁啊?这个英雄是谁啊?

[03:13:38] 姚顺宇: 我觉得英雄可能在不同的阶段是不一样的人。嗯,但是英雄的背后都有一个人,就是Sergey Brin就是Google的那个cofounder哦。对,就是我觉得最终很多很多大的决定可能不是由他来决定怎么做,但是最后拍那个板得他来拍。

[03:14:00] 张小珺: 嗯,现在也是。

[03:14:02] 姚顺宇: Demis Hassabis呢我觉得可能更多的在一线出现的是Koray Kavukcuoglu。

[03:14:11] 张小珺: 对。

[03:14:12] 姚顺宇: 就是是DeepMind CTO,然后他现在也是那个Google的SVP。

[03:14:17] 张小珺: 哦,Demis在负责什么?

[03:14:19] 姚顺宇: 我觉得Demis可能管了更多那种就是偏science的事情。就比如说那个药物的designIsomorphic Labs啊那些事情。对对对。

[03:14:30] 张小珺: 哦,Gemini他管的不多。

[03:14:33] 姚顺宇: 至少从我的视角来说,我看到的更多的人是Koray。当然有可能就是那那公司那个管理层的事,其实有很多是我看不到的部分,那我就不清楚了。

[03:14:46] 张小珺: 你刚才也提到AI是整个是一个系统嘛嗯你对于怎么系统性的做AI有什么认知吗?现在经过了你这两年的工作。

[03:14:55] 姚顺宇: 有几方面吧,一方面是从从整个系统来说,它需要一种比较科学的态度。就是你要清楚地像Scaling Law你要清楚地理解自己做了什么样的预设。然后我在做一个改变的时候,其实有哪些因素是和它相关联,哪些因素是不相关联的。对,然后这是从组织情况下来说,从人的情况下来说,其实需要人很reliable,就是需要很负责任的人。其实每一个系统就每一个评价的框架都是很容易被hack(钻空子)的。

因为你总可以做一些事,让你的指标看起来很好看。但是一个值得信赖或者踏实的人,他其实是会想自己做的这件事。如果效果好的话,是不是真的?比如说在大的尺度上效果好,是不是我中间漏了哪些因素?对,其实把事做系统听起来是一句话,但真正做起来是很复杂的事。

[03:15:52] 张小珺: 就是有很多细节。

[03:15:53] 姚顺宇: 有很多阻力会,它其实是违背人性的哦。因为每个人个人的人性可能都是为了让我自己做的东西能够体现的更好。但是对一个公司或者一个组织来说,最有利的事是把整个公司的系统系统性做的非常扎实,非常严谨。

[03:16:09] 张小珺: 这个能不能举点例子呀,好像有点抽象。

[03:16:13] 姚顺宇: 对它确实有点抽象。

[03:16:15] 张小珺: 这也是你说没有那么多的个人英雄主义的一个表现。对,就人要变成一个更可信可靠的一个他是一个系统的组件。

[03:16:27] 姚顺宇: 我可以举一个一个可能也是比较鬼话的例子。就是比如说做强化学习,你可能可以做一个算法出来效果比别人好。但是可能更关键问题是你要去问。比如说在真正的大的尺度下,我是不是能够保持稳定性是一样好的。然后以及我比别人的东西效果好,是不是因为我用了不一样的data,以及我是不是用了更多的training的flops,是不是用了更多的sampling的flops。

然后我具体在真的这个生产的这个最后这个大的跑的这个production run(最终的大规模训练)里面,到底哪个才是我的限制因素。然后我该看选哪个指标,这个其实可能都是需要研究员自己对于这个系统怎么运作,有一个好的理解,然后以及对公司负责任才能做到。否则就是你很容易做到一件事。

就是你可能比如说你在考虑training的时候是比别人好的,但你考虑training加sampling时候比别人差,你总可以选择你只是有training,但这就很糟糕。对,所以这个就是既需要你个人的负责任,又需要说组织所建立的这个体系里,能够能尽量的发现这些有意的或者无意的这种边界的事情。

[03:17:45] 张小珺: 但是你作为个体的话,你不知道怎么样,是对全局最好的呀。

[03:17:50] 姚顺宇: 其实是需要,我觉得如果一个研究员做不到,对全局去考虑的话,他就不是一个好的研究员。在现在这个时代,嗯,就是这个我觉得这个和你就是在学术界做research是很不一样的事哦。因为在学术界做research本质上是一个人吃饱全家不愁的状态。这我为我的项目负责,对吧?我为我的可重复性负责。但是在一个公司里,你其实更多的时候是我得为这个公司负责,这是两种完全不一样的心态。

[03:18:22] 张小珺: 那你这种自觉性从哪里来的,不知道,哈哈哈哈哈。

[03:18:29] 姚顺宇: 我觉得我可能就是拉不下脸,哈哈哈。

[03:18:33] 张小珺: 拉不下脸是什么?就是。

[03:18:35] 姚顺宇: 你对一个公司负责任是你和这个公司的契约的一部分,其实我觉得没什么道理,不这么做,这么做是没有原因的。

[03:18:47] 张小珺: 所以这个人英雄主义会破坏这种整体性。

[03:18:51] 姚顺宇: 我觉得如果只是为了个人英雄主义而做事的话,很有可能是会破坏整体性。当然实际可能你能力很强,然后你真的成了一个英雄,那也是有可能。

[03:19:04] 张小珺: 因为你也经历了两个组织了,你觉得什么样的组织更能够激发智能在这个时代。

[03:19:09] 姚顺宇: 我觉得其实这是一个很有争议的事。就说因为刚才也聊了,就是不同组织可能有些比较比较自上而下,有些比较自下而上那一个自然问题说比如说这两种组织哪个更能够激发创新?过去的观点就是自下而上是激发创新必要条件。因为就是你得每个人有自由嘛,有自由才能有创新。但是完全自下而上,你发现其实也不行。

[03:19:40] 张小珺: 因为它就乱,那就是Google之前的样子,是吗?

[03:19:43] 姚顺宇: 对,至少在我印象里,在我了解到的印象里是这样,就是它就乱,就是大家甚至都不知道我做这个事有什么用,那可能也不好,所以就可能要需要有一个人或者有一个小的集体,能够把这两件事稍微融合一下。嗯,这就是为什么我觉得其实一个组织运行的好不好?看起来是组织的问题。但其实归根结底是技术leader的问题,嗯,就是这个技术leader有没有特质,能够把这个组织运行的很稳定。因为最好的那个状态往往都是最不稳定的一个状态,就很容易往不好的那个方向塌缩的对,所以得有一个leader来控制这个事。

[03:20:26] 张小珺: 那你觉得都是技术leader来做这个事情,而不是CEO来做这个事情。

[03:20:31] 姚顺宇: 那当然每个公司的CEO可能有不一样的职责。但是得有一个leader我觉得至少得有一个leader,他能有两个特质才能去做这个事。一个特质就是说他自己有救火的能力,不是说他光嘴上说要做什么,要做什么,而是说有一件事真的遇到困难了,他能自己下场去带人,把这个困难解决掉。当然绝大多数时候可能一个leader是不会有时间去做这个事儿。但他至少有这个能力。

第二个重要特质就是他得能够理解别人,就哪怕一件事可能是他不做的事,但他能够理解到为什么别人做那事重要,能够容得下别人,那可能是另外一个特质。

[03:21:18] 张小珺: 你觉得Google的TPU在哪些方面表现的比GPU更好?劣势是什么?

[03:21:23] 姚顺宇: 我觉得从纯硬件的角度来说,很难说哪种硬件真的好或者坏,尤其是在这种大规模商用的情况下,因为本质上来说,GPU和TPU在使用上来说,最大的区别就是刨掉硬件的区别来说,使用上来说,最大的区别就是GPU它有比较好的开源生态TPU没有。但这个事其实在大规模商用的时候并不是一个问题。因为比如Google自己用TPU,那自然会花时间去搭这个基础设施,而基础设施就是是一个。

你可能比如说你只跑1000张卡,可能是一个很大的负担。但你跑一个几十万张卡的集群,那搭一个基础设施也不是一个多大的事。然后从实际所以就是从实际上这种大规模商用来说没有哪个孰优孰劣。但是这两个确实有一些设计理念上的区别。

比如说GPU至少我可能后来这几代GPU没怎么用过,像比如像Hopper那代GPUH系列GPU,它的设计是说我一个Pod(节点)里面可能没有多少张卡,比如说就8张卡,然后这8张卡之间可以两两互联NV link(英伟达高速互联总线)非常快。

所以这一个pod几乎就是没什么没有什么communication的bandwidth(GPU之间的通信带宽不足)但是TPU它可能就反过来,它就是说我抛弃了卡与卡之间两两互联。但是我能尽量的把尽量多的卡放在一个大的这个架子里面,它就是有这种这个三维Torus的这种设计(3D Torus拓扑设计)所以它就一张卡就只有在三个方向,连3个最近邻的。

但是它整个集群可以连成一个大Torus。然后如果你的compilers(编译器)或者你的那个sharding(数据的分片策略)的逻辑写得足够好的话,你是可以利用这样的东西,其实就等效来说,你会获得更大的储存空间,然后也会减少很多通信的bound劣势是什么呀?我觉得一个劣势就是它肯定是比起GPU来说,至少在小的scale上来说,比起GPU是更加更加固定的一种结构吧。

所以说它的易用性或者它的通用性可能没有那么强。

集体主义胜利 [03:23:33]

[03:23:33] 张小珺: 最近硅谷有很多neo lab出现,你怎么看这个趋势?为什么他们都出去?从这些模型大厂跳出去成立neo lab,我看不太懂哈哈哈,我的感觉是。

[03:23:45] 姚顺宇: 绝大多数的neo lab都会死。然后那个我觉得就是可能有一些lab是真的有好的人的,然后像有些lab,可能确实也开始在做一些事,比如说像thinking machine还是在deliver一些新的东西的。然后但有些neo lab就是请帮我把名字哔掉。哈哈哈比如说XXX那个XXX,我就完全不知道他们到底要干嘛。然后这俩人其实已经远离这个专业好久了。

[03:24:15] 张小珺: 我觉得26年国内会非常的看重C端的叙事,谁成为那个super app,你怎么看?你觉得这个这好像在硅谷没有人讲这个事儿。

[03:24:25] 姚顺宇: 对,就是因为美国enterprise就是这个就是公司,然后或者说效率软件这个市场太大,而且利润也太高。所以说对于美国来说,其实C端之前就只有ChatGPT一家做,然后其实也没啥油水,没有什么利润。所以说就是现在大家可能重心都会先放在这种效率软件或者enterprise上,然后。

[03:24:49] 张小珺: 所以,中美的趋势已经发生差异化了。

[03:24:51] 姚顺宇: 我觉得不只是AI,也就是过去的整个互联网都是都不一样,就是中国很强的就是C端,就是它能够想出一些哎非常非常复杂的产品的的性质或者结构。然后用一种很你觉得很间接很不自然的方式把这个利润滚起来。

[03:25:10] 张小珺: 比如说什么叫很间接。

[03:25:12] 姚顺宇: 哈哈哈就比如说像抖音这种东西,它并不是说你看视频,我看一个视频,收你两毛钱,对吧?它说你可以免费看视频,但是我可以偷偷加广告,我可以偷偷做直播,我可以偷偷做电商,但是这个做效率软件没这事,做效率软件非常直接,就是我让你帮你写code,我成本一个月150卖你200,我挣50就是非常直接的事。嗯,对我觉得美国在过去的体现就是在这种很直接的产品上,能够把技术做到极致,但是一直没有哪个产品让我觉得就是复杂到说让你离不开它,你又感觉不到它在挣你的钱。

[03:25:56] 张小珺: 但它实际上挣了你的钱,你这么说,我突然觉得Meta就应该抄字节做。

[03:26:05] 姚顺宇: 对,但我觉得Meta没字节强。

[03:26:06] 张小珺: 因为Meta它也找不到自己的生态位。然后美国又没有一个做这件事情的公司,豆包这个生态位还没有人找到那Meta就抄豆包呗,它也不需要那么强的模型能力啊。

[03:26:21] 姚顺宇: 但我觉得还是美国做产品的本质上做C端产品的人不行,比中国来说差远了。

[03:26:29] 张小珺: 这是过去十年的积累是吗?对,嗯,因为过去十年在美国的这个正反馈都来自于做ToB的很多enterprise的事情。

[03:26:39] 姚顺宇: 或者就是在美国这地方挣钱太容易,嗯,挣钱太容易的时候,你就不会费脑筋去想怎么挣钱。

[03:26:46] 张小珺: 哎,不是很多人来都要找你聊聊吗?有什么好玩的人啊,哦,不很多国内的人来科技公司来。

[03:26:54] 姚顺宇: 我觉得都挺好玩的。然后确实发现国内的人做产品可能还是想法更复杂一些,更复杂一些。对,就是想的更这个想的这个回路更长一些。对,跟美国还是风格不太一样。美国是美国,就刚才说了嘛,就是。

[03:27:15] 张小珺: 做了什么?就拿这个卖钱。对啊,就是简单啊,就是这个事儿。

[03:27:20] 姚顺宇: 就是需要这个能力,有了这个能力之后,就是要比别人便宜,我就能挣得比你多拿我一点办法也没有。

[03:27:29] 张小珺: 好,中国呢中国感觉都是这种。

[03:27:32] 姚顺宇: 什么一开始不挣钱,但一旦它开始挣钱,你就拦不住它啊,就是它是真的能形成那个那个自己的那个那个圈儿的,就是它真的把那个圈儿转起来的时候,你再想往里插就插不进去了。

[03:27:47] 张小珺: 你觉得美国公司现在看懂字节跳动,没有我的感觉是没有,还没有,它都这么大了。

[03:27:56] 姚顺宇: 哦,你说是不是重视它,那肯定是重视的。就大家肯定都知道字节是一家被严重低估,从它的市值上来说是被严重低估的公司。这是我觉得大家很明确的事,然后我觉得也很明确。就是说在消费者市场这一端,其实我觉得没有哪个美国公司能和字节竞争的。但是它毕竟是一家中国公司,至少从公众意识上来说,它毕竟是家中国公司,所以看懂它了吗?我不觉得大家看懂了,但是你看Meta其实也在主动的从字节挖人嘛。

[03:28:34] 张小珺: 嗯,你在AI行业有什么偶像吗?或者欣赏的人,虽然你在AI行业很短。

[03:28:42] 姚顺宇: 没没没啥,就是我感觉我来这行业的时候,个人英雄主义时代已经过去了,所以也没有什么英雄。有时候你甚至觉得旧时代英雄有点蠢啊。对,所以说真的没有什么。

[03:29:01] 张小珺: 你觉得谁比较蠢,这个还是不说了吧。no comment哈哈哈哈哈哈。

[03:29:08] 姚顺宇: 对我觉得和做物理时候还是不一样。我觉得做物理时候还是存在着一些,我觉得真的比我聪明太多的人。比如我我读博的时候,我那个年轻老板就是我觉得他Douglas Stanford我觉得他就比我聪明太多了,我觉得他可能也是看到他,我才觉得自己在那个领域也没什么用,有他了还要我干嘛呢?对吧哈哈。

[03:29:33] 张小珺: 你跑到AI来降维打击一下是吧?

[03:29:34] 姚顺宇: 也没降维打击,但是反正就感觉AI这个事本来也不太需要脑子。

[03:29:40] 张小珺: 不太需要脑子。

[03:29:41] 姚顺宇: 真的不太需要脑子,那需要什么?我觉得这个这个行业就是最重要的特质,就是靠谱就是做事细,然后对自己做的事负责任,这是最重要的特质。你说那些东西有多需要脑子,我觉得都是一些本科生就能干的活。

[03:30:04] 张小珺: 可是你说AI没有个人英雄主义,现在一个AI研究员的价格炒的多高啊,跟球星转会一样。

[03:30:10] 姚顺宇: 我不知道是好事还是坏事,对我个人来说,我当然很高兴,我受益于这个,对吧?呵呵呵。但是嗯实际上来说,我并不知道这个事是不是一件好事,你觉得为什么价格会变得这么高?我觉得可能一方面是大家觉得这个事很稀缺吧,但是他实际上可能确实也没那么充足。就是因为训练一个人,虽然这事没那么难,但是你训练一个人是需要一个环境的,就是你得有那个机会去接触这件事,你才能学会这件事。

你没有那个机会,你就是再聪明也没用,那可能过去能撞到这个机会的人没有那么多。所以说在市场上来说,可能是比较稀缺。从这个角度上来说,嗯,但我觉得另一方面也是可能对人的炒作有点过分了。

[03:31:01] 张小珺: 对,非常喜欢神话,个体现在。

[03:31:04] 姚顺宇: 对我觉得真的就是再说一次,这是个集体主义的事,哈哈哈。

[03:31:13] 张小珺: 那很多人也会很好奇,因为可能很多公司也想招AI的人,那你觉得最重要的还是要靠谱,这个有什么衡量指标呢?就怎么能够快速的判断,一个人靠不靠谱。

[03:31:28] 姚顺宇: 做事细不细,每个人都有一些自己衡量的方法。我当然也有一些自己的trick(诀窍)就是我我以前反正有出一道面试题。然后那个我大概讲一下,这个应该不涉密。所以我应该可以讲。嗯,那面试题其实很简单,就是说我需要这个人在24小时之内,然后完成一个强化学习的项目。从0到1,就是他要自己去选用什么样的模型。

我告诉他有的资源是什么样的,然后他自己选用什么样的模型,用什么数据,用什么样的算法,然后把这个模型训出来24小时之内就是我给他让他24小时去完成这个事。然后24小时结束之后,他会跟我有一个小时的讨论。然后这个事儿呢,其实在AI时代没有那么难,没有AI时候这是不可能的。没有人从24小时之内把它做出来。但有AI之后其实特别简单,因为AI能帮你全套做,但为什么还要做这个事儿呢?

有两个原因有很多原因啊,其中设计成这样的两个原因,一个原因是因为我觉得在这个时代去还去考察别人,比如说代码写得好不好?其实没用,因为绝大多数人都不用自己写代码。然后他更重要的是他能不能有效地利用AI,那这个是一个方面的考察这个问题。第二方面是这个事,其实有一个陷阱,就是如果你全盘让AI做了,但你最后没有试图好好理解AI为你做了什么?

那在那一个小时的讨论里面会露馅儿,那是一个那个是一个会挂人的地方。对,所以说那个考验的另一件事,就是说你有没有真的和AI形成了协作,还是说你就全权扔给他。那个是我觉得我个人很看重的事,那个其实也是他就是这个人是不是做事靠谱的的一部分。当然这个就这个这个题目的设计本身也有一些比较阴暗的巧思。就是说为什么设计成24小时,就是为了看这个人有多看重这个机会。

[03:33:27] 张小珺: 能熬夜,对,哈哈哈。

[03:33:29] 姚顺宇: 如果他足够熬夜,他就能撑住这24个小时。如果他撑不住,那只能说他可能对这个机会也没有那么看重。

[03:33:36] 张小珺: 哈哈那对于比你更年轻的人,你觉得他们现在来AI还是一个很蓝海,就是很有机会的地方。

[03:33:46] 姚顺宇: 我觉得纯做语言模型已经不是一个蓝海了。我觉得晚了,就是末班车已经发车了,末班车已经发车。

[03:33:54] 张小珺: 末班那班是哪一班啊?

[03:33:57] 姚顺宇: 我感觉我入行就是那个末班车啊,然后可能有,确实在我入行之后,当然还有些新的人,但我觉得他们就没有机会能接触那么好的机会了。就是能在一个还没有那么大的团体里做一件事情,那么可能就很少能遇到这样的机会了。对,然后但是我觉得就是AI它是一个很很大的方向,语言模型只是其中的很小很小一个,很小一个部分,还有很多别的事情。比如刚刚说的多模态生成,那可能还有很多机会,机器人那可能更机会更多。

然后包括更夸张的就是有,比如说你能不能用AI去帮助一些真正的科学问题,比如说帮助这个做量子调控啊之类的,那可能就是更蓝海,那都是blue sky的事了。对,所以说,我觉得对于足够年轻的人来说,可能做现在最热火的事并不是一个正确的选择。做现在没有人做到的事,可能更多的是一个好的选择。对。

[03:34:57] 张小珺: 你自己未来会怎么发展?你会在Google很久吗?

[03:35:03] 姚顺宇: 我觉得应该不会。

[03:35:04] 张小珺: 哈哈哈哈哈哈,这么公开的说吗?

[03:35:06] 姚顺宇: 我觉得应该不会,我觉得我还是会尝试去挑战自己的对,然后要折磨自己。对,要折磨自己。但是我就是可能需要找到一个值得折磨我自己的事。

[03:35:22] 张小珺: 如果AI不是本质的难的话,你会不会做的觉得无聊啊,你对你的挑战在哪啊?

[03:35:27] 姚顺宇: 它虽然不难,但是你知道和不知道还是有一个gap的。就是你从完全不知道这其中细节到慢慢理解,这其中的细节理解它怎么运作的之类的。这些事情,我觉得还是需要花时间花力气的。然后当你理解之后,我觉得对这个事儿也是会对你未来做。比如不管你是做产品相关,还是说往往别的AI的方向去发展,我觉得都是都是长期来说会有帮助的。

[03:35:54] 张小珺: 你未来想在哪里去发展?

[03:35:57] 姚顺宇: 我觉得都有可能,哈哈哈,没想好该怎么折磨自己。

[03:36:01] 张小珺: 你应该不会再跳去另外一个大公司了吧?

[03:36:04] 姚顺宇: 应该不太会了。

[03:36:05] 张小珺: 嗯,你觉得你在Anthropic学的和在Google DeepMind学的有什么不一样?

[03:36:11] 姚顺宇: 我觉得还是挺不一样。我觉得Anthropic就是你可以把一个事儿了解,把一条线就是language model这条线的方方面面的了解的很透,它给你这样的机会。然后在Google它更多的是一种横向,就是它有很多不同的方面,有很多不一样的人,然后也能见到不一样的视角,也能见到不一样的研究方向。

[03:36:33] 张小珺: 就是你都可以看见。对Anthropic是因为它bet的足够的坚定,所以你能理解的更纵向。对你有想过用AI去解决物理问题吗?(你们那个理论物理)有人在干。

[03:36:48] 姚顺宇: 所以我觉得不需要我去干哈哈。

[03:36:50] 张小珺: 你对这个没有本质的兴趣。

[03:36:51] 姚顺宇: 我觉得这个事儿,首先我觉得目前对我来说不是最高优先级。我觉得如果哪天我觉得我把我手上最高优先级的事解决了,我又没有找到别的事干,我可能会去干这个事。

[03:37:03] 张小珺: 你现在最高优先级是什么?

[03:37:05] 姚顺宇: 我现在最高优先级是就是把我刚才说的这两个事情哦,ml coding和long horizon(能够能够把它)把它至少推进到一个就是和同事能够把它推进到一个比较,我觉得比较稳定的状态吧。那个我觉得是我的最高priority,当然可能之后也会有别的priority。但是自用AI做物理,我觉得是一个已经有很多人在试着做的事儿,然后多一个我不多少一个,我不少,不如就让别人先干。

[03:37:34] 张小珺: 你有特别崇拜的物理学家吗?

[03:37:37] 姚顺宇: 有,但是有点多,不知从何说起。哈哈哈哈哈。

[03:37:42] 张小珺: 物理学家有,人工智能科学家?

[03:37:45] 姚顺宇: 没有,但这个跟人的成长经历有关吧。就我觉得就是一个成年人是很难真的崇拜一个人的那一个儿童可能会。

[03:37:57] 张小珺: 崇拜过谁啊?

[03:37:58] 姚顺宇: 我觉得就物理学,其实还是有很多就真的挺强的。但是就是大家都说的那种什么100年前那种人就不说了,就什么爱因斯坦海森伯格这些就不说了。然后包括大家后来都知道什么像Frank杨就杨振宁这些也都不说了。

然后像我之前做topology(拓扑)这个体系的时候,其实有一个他后来也拿了诺奖,就是那个Haldane(2016年诺贝尔物理学奖得主之一)就是你会发现这些人他有些异常的远见,就是他在他那个时代显得格格不入。但是你看Haldane最开始做Haldane model和这些分数量子霍尔效应相关的事的时候,离最后大家搞明白这些拓扑物态,过了好几十年。

嗯,在那个时候他能够觉得这事重要,然后一直在自己在推进这事,我觉得这是一个很不容易的。当然我觉得你要非要在人工智能找一个类似的人,我觉得可能Geoffrey Hinton(杰弗里·辛顿)是吧?就是在大家都觉得这事可有可无,或者不那么确定的时候,他一直在这个方向做。那我觉得这可能是一个英雄级别的人物。

[03:39:05] 张小珺: 在他之后呢。

[03:39:07] 姚顺宇: AI在那之后,我觉得我觉得可能也有一些英雄的集体,就是比如像Transformer就Noam(Noam Shazeer)和那些那个Ashish(Ashish Vaswani)Niki(Niki Parmar)他们那可能是一个英雄集体(Transformer论文的八位作者)。

[03:39:23] 张小珺: 你讲过一个特别让我印象很深的话,我在这个行业又没有什么导师,又没有什么旧友,我想喷谁喷谁。

[03:39:31] 姚顺宇: 这可能就是不做AI的好处吧。哈哈哈,不做AI出身的好处吧。对,就是真的没有什么负担,就是没有哪个老登是你的亲属。所以你觉得他傻,他就是傻,就可以直接说他傻。无所谓的啊。

[03:39:52] 张小珺: 你以前也这样吗?

[03:39:55] 姚顺宇: 我觉得我做学生的时候还挺收敛的。哦,但我后来发现收敛没用,对自己也没好处,对别人也没好处,还是更直接地表达自己的想法是最关键的。我觉得直接表达自己的想法,是一个短期一定会有人恨你,但长期大家会欣赏的事情。

[03:40:17] 张小珺: 你最近听谁说话特别蠢。

[03:40:19] 姚顺宇: 把这个名字哔掉,谢谢。我觉得XXX一直挺蠢的。哈哈哈,而且蠢的始终如一哈哈哈。

[03:40:29] 张小珺: 他有没有可能是那个对的人呢?

[03:40:32] 姚顺宇: 我觉得他说的话用Pauli的话来说就是not even wrong。因为不良好定义。你很难说他说的是对是错。对,就是有一天可能有一个不一样的范式发生了,他就可以跳出来说,哎,我当年说过这个这个这个这个但是你就发现可能如果范式是另一种状态,他也能说一样的话,这就是我为什么很讨厌这种很vague(模糊)很模糊的人的原因。因为一个事模糊就是没有意义的。

[03:41:05] 张小珺: 你为什么觉得他说话很模糊,没有正确的定义,就是是一种模棱两可。

[03:41:12] 姚顺宇: 如果它有正确定义的话,我可以解释它为什么有正确定义,但它没有正确定义的话,我没有办法解释它为什么没有正确定义,因为它真的没有正确定义。哈哈哈XXX呢我觉得起码就是我觉得XXX还是一个很良好定义的事,就是他是要做XXX,然后他的方式可能更偏这种更传统的这种这种neural network的model的方式,而不是更end to end的这种方式,我觉得至少它是良好定义的。

至于它是对是错,那我觉得是未来会检验的事情,就大多数老登其实都还好。就是我觉得我觉得人年纪大了,不一定会变成老登的人,年纪大了会变成两种状态,一种状态叫做德高望重,就是他会可能少指手画脚,还会花自己的力气去培养年轻人。另一种人就是老登就自己也不懂,还爱指手画脚。嗯,所以人老了不一定会变成老登。

[03:42:10] 张小珺: 哎,你是受了谁的刺激啊?

[03:42:12] 姚顺宇: 我也不知道我受了谁的刺激,但我确实见过不少老登。

[03:42:15] 张小珺: 哈哈哈,你从什么时候变化的,就是说话非常直接开始不收敛了,就是你过去都是这么想的,但是你不说。

[03:42:23] 姚顺宇: 我觉得我过去可能有也会比较直接,但是没有这么直接,但做了AI之后就更直接。

[03:42:31] 张小珺: 是没有没有束缚是吧,一是没有束缚。

[03:42:33] 姚顺宇: 二是这个领域足够客观,就是你其实不用太担心,因为自己的观点而惹到什么人。只要你的观点就是是自洽的,就是你有一套自己观点的理论,你不是说随便喷人,那肯定是会惹到别人,你是有一套自己的理解。我觉得其实大家是会尊重你的,因为最终你在这个领域做的怎么样,是有客观的评价标准的。

[03:42:58] 张小珺: 我们每个嘉宾都会推荐一本人生之书,要这本书真的对你产生过重要的影响。你要说的这本书是什么?

[03:43:07] 姚顺宇: 这是今天最难的一个问题,我感觉你还是高看了我的文化程度。

[03:43:15] 张小珺: 哈哈哈哈哈。

[03:43:18] 姚顺宇: 我真的没有什么人生之书,说实话。

[03:43:21] 张小珺: 好,最近读了一本书,最近上次那个季逸超说的是《线条小狗》。

[03:43:29] 姚顺宇: 最近读的书就是汤川的自传。汤川秀树(1949年诺贝尔物理学奖得主)的自传啊《旅人》然后非要说就是可能有印象的书。首先我这人确实不爱读书,我感觉就是我这人文化水平比较低。然后我读的书除了就是专业性的书之外,所有的书感觉都是闲书,像什么汤川的自传,其实本质上也是本闲书。但是就是我觉得写得挺有趣的。

就是你能看到一个后来看起来如此成功的科学家,在他年轻的时候有一种挣扎感,很真实,然后可能就还有一些什么闲书,像小说之类,有本小说,我很喜欢那个《来自新世界》是一个日本的小说。对我觉得你要非让我推荐闲书的话,我可以推荐那个。

[03:44:24] 张小珺: 你最近有看什么电影啊,什么电视剧,玩什么游戏?

[03:44:32] 姚顺宇: 什么都没有。哈哈哈。

[03:44:35] 张小珺: 一个全球范围内你喜欢的食物?

[03:44:37] 姚顺宇: 寿司吧。

[03:44:39] 张小珺: 一个全球范围内你喜欢的地点?

[03:44:43] 姚顺宇: 全球范围内喜欢的地点。我我觉得现在你要非让我选,我可能会选夏威夷,因为我很喜欢海。对,但是也很难说,因为之后我可能去了更多海的地方,就另有新欢了。哈哈哈。

[03:44:59] 张小珺: 一个少有人知道,但是可能需要知道的知识点?

[03:45:05] 姚顺宇: 别相信老登算吗?哈哈哈。

[03:45:09] 张小珺: 你有迷信过吗?

[03:45:12] 姚顺宇: 嗯,我本质上没有迷信过,但是我觉得有些时候可以靠迷信来安慰自己。

[03:45:19] 张小珺: 我说你有迷信过老登吗?

[03:45:21] 姚顺宇: 哦,迷信老登啊。

[03:45:22] 张小珺: 从来没有吗?

[03:45:27] 姚顺宇: 真的没有,但是我以前可能没有这么恨老登,后来就变得越来越恨老登。为什么可能就是当你自己有越来越多判断的时候,那些蠢的人就显得更蠢。

[03:45:42] 张小珺: 那他们也没有伤害你啊,为什么会恨他呢?

[03:45:44] 姚顺宇: 就,就是厌蠢症。每个人都有厌蠢症。

[03:45:47] 张小珺: 哎,你的MBTI是什么?

[03:45:48] 姚顺宇: 不知道。

[03:45:50] 张小珺: 为什么这些年会有一个对于年轻人、对于年龄大的人这么不友好的一个词出现啊?它来源在哪里?

[03:46:01] 姚顺宇: 不知道没有没有没有没有研究过,可以问问Gemini让他deep research一下,看老登这个词是哪来的。

[03:46:08] 张小珺: 那你心目中影响AI进程的几篇论文。

[03:46:11] 姚顺宇: sequence to sequence是一篇,然后那个我觉得是language model在feature engineering时代的的高峰。然后Scaling Law是一篇就是Jared Kaplan他们在OpenAI的那篇Scaling Law也是一篇是一篇把这种体系化的研究方式引进到这个领域的一篇。当然最后实际上Scaling Law做的方法,可能他那样并不是正确的,就是但是是第一篇把这个这个想法引进来的。我觉得这很关键。

[03:46:48] 张小珺: 基于你当下的认知,一个关键的重要的bet是什么long horizon(长程任务)哈哈哈我们工作室叫语言,即世界工作室。第一次听到这个名字的时候,你在想什么?

[03:47:00] 姚顺宇: 我觉得这个名字有点正常的,太平庸了。

[03:47:05] 张小珺: 哈哈哈哈哈可以哈哈哈哈哈。

[03:47:10] 姚顺宇: 我觉得这个名字是一个可能放在十年以前是一个很独特的视角。那现在可是主要大家共识太多了。我觉得十年以前确实就是可能现在不止十年,对不起,我感觉我年纪也大了,可能不止十年了,就是可能在14 15那个年代,大家都会觉得视觉是最重要的事。在那个时候,我觉得意识到语言是承载智能的重要载体的人,可能是一个不一样的事情。

[03:47:41] 张小珺: 不过我觉得我们这个名字不是在AI的语境里面讲的,嗯,哈哈哈,那就值得深思了,哈哈哈。