翁家翌:OpenAI,GPT,强化学习,Infra,后训练,天授,tuixue,开源,CMU,清华|WhynotTV Podcast #4

说明

本文由视频画面中的硬字幕逐条提取,按说话人合并成段,保留口语原貌与字幕自带的括号释义,仅补充标点、区分说话人,未作改写。时间戳为该段发言开始的时间;同一人连续发言拆成多段时,续段不重复姓名和时间。

开场 [00:00:00]

[00:00:00] 翁家翌: OpenAI很多这个model release(模型发布)都有我的名字,这个就是因为我在OpenAI的内部搭了整个post-training RL infra(后训练强化学习基建)。

[00:00:08] 主持人: 所以整个post training的RL infra,你是最核心的贡献者了。

[00:00:11] 翁家翌: 是的,因为我觉得应该打破信息差。信息差是一个,就是如果你在清华生存的话,是一个很有用的东西。但是我觉得每个人都应该平等的拥有这个信息。哪怕当时有了现在的认知,那还是做不出来。没有,我不想发paper(论文),我觉得发paper(论文)完全没有意义。幻方当时说要搞一个AI Lab(AI实验室),就是后面的DeepSeek。

对我当时是拿了offer,就是如果你想进工业界,那么读PhD(博士)就是浪费生命。教一个researcher(研究者)如何做好engineering(工程),要远比教一个engineer(工程师)如何做好research(研究)来得难。每一家的infra都有不同程度的bug,然后谁修bug,谁修的bug越多,那谁的模型训的就越好。

[00:01:00] 主持人: WhynotTV Podcast。Hello大家好,本期嘉宾翁家翌,他于2022年加入OpenAI,并且是OpenAI一系列模型背后的核心贡献者。从ChatGPT、GPT-4o再到GPT-5,你能看到的每一个模型跃迁背后都有他的身影,而他的核心贡献可以被总结为三个关键词:强化学习、post-training(后训练)、infra(基础设施)。

但对我来说,翁家翌不只是把模型做得更强的人。在加入OpenAI之前,他就已经用开源和代码影响过无数人。从在清华开源作业与资料,试图打破信息差,到开源强化学习框架天授做出免费签证查询系统,他把代码工具视作一种慈善。在这期播客,我们会从翁家翌的童年聊起,到清华与CMU的求学之路,再到2022年加入OpenAI之后的亲身经历。站在世界AI风暴中心的他,看见了什么?

这里是WhynotTV Podcast,现在请和我一起进入翁家翌的世界。欢迎你来到WhynotTV Podcast。

我觉得这期很奇妙的一点就是,我在给你准备这期的outline(大纲)的时候,我用的是GPT-5的Deep Research(深度调研),然后这相当于是你自己在背后作为核心开发者的产品和模型然后他们自己在做deep research(深度调研),想这些问题采访你。你是背后他们的生产者,是他们的Developer(开发者)。我觉得这个是一个比较奇妙的闭环。

今天我们会谈到很多部分,从你的童年成长、清华的本科经历,到CMU读研,再到2022年加入OpenAI至今的所有的核心开发的经历。我想先从最早你的童年开始,能不能给我讲讲你,你觉得你小时候是一个什么样的小孩?

小时候的翁家翌是什么样的小孩 [00:02:33]

[00:02:41] 翁家翌: 我小时候特别喜欢学奥数。奥数我从一年级就开始学奥数,就是因为开始的时候我爸妈让我去听了这个进修校的一个奥数课跟语文课。然后我对语文完全不感兴趣,但是我对奥数就非常感兴趣,然后我就进去了。然后从一年级开始就一直上到六年级,然后初中也是。然后我发现,就是我做数学题做的比谁都快。

对,小学的时候就是,比如说别人口算题,像二年级的时候口算题可能还没做完,就可能写到一半,然后我就已经做完了。就是那种不用过脑子的,可能用现在时髦话说就是System 1,对,直接表层意识直接过,然后直接看一眼出来答案那种。然后就是这个让我做数学题非常有成就感。因为我觉得我是一个,就是学习还算相比于其他人算比较偏慢的人。

怎么说呢,就是学一个新的东西,我经常要花别人2到3倍的时间。但现在其实还是这样,就是比如说我读一段代码,我就是要比别人花很多的时间去理解这整个整个context(上下文)。但是我一旦理解之后,我用的就非常快。有个不太恰当的例子,就是比如说我,我这个时候经常不是要背书吗?

背一个课文,然后我就是在睡觉之前,我想尽所有方法,然后能够磕磕巴巴的就是完整的背出来,然后哪怕有很多停顿,然后你只要想起来都好。然后睡一觉,然后第二天醒来发现这个倒背如流。我当时想法是,就是因为我需要花更多的时间,所以说我需要比别人提前学东西。

所以当时我就是在初中的时候开始上高中数学,然后就是直接问这个初中的数学老师各种高中数学的一些问题,然后他也非常热心回答我。然后我也非常感激初二的时候就已经把高中啃完了,然后初三就开始学微积分。

[00:05:05] 主持人: 数学你天生你就觉得你做的快,然后比别人都快,但同时也呢,你又觉得你学东西慢。

[00:05:13] 翁家翌: 我感觉应该就是我需要更长的时间构建我的知识树,就是正常来说这个知识树是比如说有个根,然后往上拓展,然后再往上拓展,再往上拓展,然后好几层,然后你每次比如说拿这个最顶层的这个结论去应用到这道题当中,然后你要从头到尾过一遍,然后你要慢慢慢慢想出来。但我可能就直接建立一个链接shortcut(捷径),然后直接上去,然后就不用反应了。所以你是从小就意识到

[00:05:46] 主持人: 我好像比别人更聪明?没有没有,这种感觉没有。所以你只是说你好像你只是觉得你对这事感兴趣,那你愿意提前学数学这个事的这个里面的核心兴趣是哪来的?

成长过程中投资未来的意识 [00:05:56]

[00:06:02] 翁家翌: 我想投资未来

[00:06:05] 主持人: 我想投资我自己的未来,所以你在初二的时候,你就意识到我这个时候提前学高中数学是一种投资未来

[00:06:14] 翁家翌: 对于我的未来的一些学习生涯是有帮助的,与其说我现在浪费时间在这个刷题上面,那不如学一点对未来有用的东西,然后后面的收益可能更多。这个是你父母跟你讲过类似的?我父母无所谓,我父母就根本不是怎么关心我是怎么学的

[00:06:38] 主持人: 但我还是特好奇,为什么你初中的时候就有投资未来的这种想法?因为你,我相信你那时候肯定学有余力,对吧?你为什么不去玩?为什么不去打篮球、打游戏?你为什么想的我要学高中数学,我要怎么怎么样

[00:06:52] 翁家翌: 首先是因为对这个感兴趣,就是我觉得这个、这个初等数学太无趣了,然后这个稍微、怎么说,稍微有意思一点的数学更

[00:07:08] 主持人: 能引起我的兴趣,那是谁让你有了这种兴趣?是天生的吗?可以算是吧。还是说是小学的时候,你因为这事有成就感,所以你就

[00:07:19] 翁家翌: 你可以这么认为,就是有一个初始的成就感,然后初始的reward(奖励),然后慢慢的,然后你就会慢慢把这个你数学这方面的这个技能树慢慢开始点,因为你每点一次,你都会有个正反馈,然后再点一次,然后你就会一直在这个上面走。但像比如说打篮球,我试过但是没有什么正反馈,就是我经常被我舍友这个按着打。

然后体育我练过跆拳道,我觉得跆拳道还可以,但是这个跆拳道一打实战,我就被对手揍着打

[00:07:57] 主持人: 所以反而是这种正反馈,你本身也擅长,然后你对这个也不排斥,慢慢慢慢就变成了一种自发的、内生的兴趣了。对,所以其实倒不是家庭环境,而是就是你自发而产生的。那这是数学,你初中的时候提前学高中的数学,那你高中的时候为什么又对编程产生了兴趣呢?

高中计算机竞赛与升学 [00:08:10]

[00:08:16] 翁家翌: 我编程是初一开始的。对,初一编程,初一开始。是因为那个就是小升初的时候,我去了时代中学,然后他是一个私立校,然后但是私立校的话有一个这个编程兴趣班,然后我然后就报着玩。

[00:08:34] 主持人: 我能理解高中有信息学竞赛,但其实初中搞编程应该对升学没有太多用,对不对?是的是的,没有太多用。那这个事儿也是你自己找的兴趣班,还是你父母给你找的?

[00:08:46] 翁家翌: 我父母觉得这个可能对我挺有意思的

[00:08:50] 主持人: 然后我就试了试,然后我觉得还可以。好,那我们聊你高中。高中我觉得其实我最感兴趣的是OI省选NOI的经历。

[00:09:02] 翁家翌: 能给我们讲讲吗?为什么要搞竞赛呢?因为升学压力还是有的,你如果不搞竞赛,那这个对于非北京的人员来说,想上清华北大是非常难的,这个难如登天。所以当时是因为升学压力搞的OI?是的,是的,大部分是因为升学压力,因为我之前就已经在搞数学竞赛跟OI了,然后我高一的时候。

其实花了一点时间去做数学竞赛,拿到了一些还可以的名次,但是如果再往上的话,就是省选,数学竞赛的省选,然后我们学校是没有那个基础的,然后自己学也很困难,所以说我就放弃了。并且我对这个再往上的这个,就省选往上的数学题,我觉得我非常困难,因为我没有那么早的去接触。然后我觉得学习起来非常累。

[00:09:54] 主持人: 你觉得你哪怕初中就开始学高中数学都不够早。

[00:09:57] 翁家翌: 初中开始学高中数学竞赛,可能够早一点,就是我没有那么提前,所以说我掂量一下。

[00:10:07] 主持人: 还是放弃了?你就是搞OI信息学竞赛,能给我们介绍一下,就是靠信息学竞赛然后升学,这个一般是要经过什么什么步骤?先省选,然后是什么样的流程?

[00:10:19] 翁家翌: 先NOIP,然后就是相当于一个普及组,呃,不是提高组,NOIP提高组的一个这个省里面的一个选拔赛,差不多是十月,然后后面是弄完是每个省都有,每个省不同的选拔标准,要选出来省队去参加国赛。然后省选的话,福建是有两轮,一轮在寒假,然后还有一轮在4月份。然后选完之后,然后就是五六月应该有一个清华或者北大夏令营,可以二选一,可以拿一些这个优惠条件,至少当时是这样的。

然后是在7月到8月去搞NOI的这个国赛。

[00:11:04] 主持人: 那给我们讲讲你在这个过程中啊是怎么样的?第一轮、第二轮、第三轮,这个NOIP还好吧?

[00:11:10] 翁家翌: 这个NOIP就是已经因为这个从初中开始搞的,所以说还好。然后省选这个高一的时候,就是连省选都没过,就是完全不会做,几乎不会做。然后高二的时候会做一点点,就是会乱搞,然后会一些这个这个heuristic(启发式)方法,就比如说这个这个最小双圆覆盖。然后我当时搞出来70分,我刚开始好像是全场最高,因为我做出来这一题,后面就是进了省队。

但是进完省队之后,就是后面的就是清华夏令营感觉还可以,就是拿到一个降60(分录取),无条件降60(分录取),有条件本一线(录取)。这个怎么理解?就是高考的成绩直接会给你加60(分)。如果你没有保送的话,然后如果这个线过了清华当年的录取线,那么清华就会要你。然后有条件本一是说,如果在NOI比赛里面考到了前150名,应该是银牌的线,那么就有本一。

如果你只要高考的成绩过了本一,那么就无条件录取。但是如果你是金牌的话,那你就连这个都不用了。你直接保送。

[00:12:31] 主持人: 你当时拿到NOI的那个有条件本一了吗?

[00:12:34] 翁家翌: unfortunately(不幸的是)没有,因为这个是就是我是当时的福建省队的倒数第一,福建省内就只有当年只有一个铜牌就是我,然后剩下的人都银牌以上。

[00:12:51] 主持人: 这事儿的失利对你的升学有影响吗?

[00:12:54] 翁家翌: 还是有挺多影响的,因为我当时毕竟高二下半年没有搞文化课,然后我对于我的未来也不是很确定,我不知道我到底能高考考多少分。有些之前的例子,比如说像有学长就是把60分加分全部用完了,然后就真的是一点都不剩。然后我觉得这个万一我也这样怎么办?就很危险。然后我对于这种不确定性非常害怕,但是想了想,我觉得我应该也没有那么差了,然后还是就咬牙选了降60(分录取清华)。

[00:13:35] 主持人: 所以你当时另外一个选择是更保险一点的?

[00:13:38] 翁家翌: 更保险的一点的,就是直接可以在NOI现场,然后签一个上海交大的本一线录取。

[00:13:45] 主持人: 所以当时这个是一个很艰难的决定吗?

[00:13:48] 翁家翌: 也还好吧,就是主要是首先心态方面,这个当时毕竟很难过,然后对未来不确定性就是自己感到很害怕,然后但是这个家人鼓励还是让我选择了这个选这个清华(降)60(分录取)。

[00:14:10] 主持人: 那当时是不是弄完OI搞完竞赛之后,到高三你就不碰这些东西了?就all in(全力以赴)高考。

[00:14:16] 翁家翌: 也没有,就是会可能会偷偷的碰,就是像比如说我觉得我对这个代码的优化有特别的追求,就是我会,我当时甚至练成了,就是比如说在iPad上面直接,因为Safari(苹果自带浏览器)它是没有代码编译器的,然后我就直接这个用iPad键盘直接裸打代码。

然后直接交,然后没有编译,然后那一段的经历其实我觉得也很锻炼自己的思考能力,因为他需要你对于整个题目或者整个逻辑有个完整的认知,然后哪里错了,你要能快速的定位到是哪里错了,然后他会很锻炼你的这个反应能力的,然后我觉得这个对于我来说是一个很好的锻炼。

[00:15:08] 主持人: 但对你来说,当时其实不需要这种锻炼。

[00:15:11] 翁家翌: 是的是的,这个是,只不过这就是自己很感兴趣。就比如说当时这个OI还有一个叫常数优化,就比如说这个有一个算法,这个虽然时间复杂度可能都是N平方,然后但是这个实际的它的这个前面是带了一个常数的,然后这个OI的这个评测都是会有这个结果,就比如说。

按照这个跑测试点的时间来排序,然后跑的最快的那么就排第一,然后如果跑一样快呢,按照代码长度的长短,然后所以说这个我会同时optimize(优化)这两个指标,然后这个刷这个东西就感觉很有意思。

[00:15:53] 主持人: 虽然说没什么用,你真是搞这个的圣体,因为你真喜欢这个东西是吧?你从中可能获得快乐?对,那我们来聊聊清华啊。如果我跟你说你在清华16年开始读本科,有没有什么现在想起来哇,比如说大一大二刚进去值得回忆的事?第一个浮上你脑海的是什么?

在清华开源作业与信息差 [00:16:02]

[00:16:19] 翁家翌: 真有的话,就是我把我所有的作业都开源了,因为不同的人对这件事情有不同看法,像比如说有些学长学姐是比较反对这件事的,但是我觉得我应该做这件事。我当时做一个把这个我所收集到的所有的这个上古作业、上古材料,然后全部在GitHub上开源了,除了那些有版权问题的,我没开源。然后剩下的没有版权问题的都开源了,为什么?

因为我觉得应该打破信息差,信息差是一个,就是如果你在清华生存的话,是一个很有用的东西,但是我觉得每个人都应该平等的拥有这个信息。你现在回去,你现在回去随便抓一个计算机的学弟问问这个,你认不认识这个捐这个新系楼的人?哪怕他把他的名字放在系楼上面,你认不认识他?不认识。你认不认识翁家翌?因为毕竟这个大家都看我的作业活的,哈哈哈,这个比捐比这个捐楼有用,哈哈哈。

[00:17:38] 主持人: 此处弹幕应该闪过+1。如果我用过、看过你的作业,就应该在这时候发个弹幕了啊。但为什么?为什么你会把你的作业开源?这里面本质为什么和信息差有关系?

[00:17:51] 翁家翌: 我想打破这个信息差,就是我不想让后人重蹈覆辙,就是经常疲于奔命。就是很多人其实他不是很擅长搜集东西,但是他其实很有能力的。但其实就如果能够给这些人有一个信息平权的机会的话,那他可能在清华会活得更好。

[00:18:13] 主持人: 所以你的信息平权是指知不知道往年的作业这种信息,和学长学姐问过以前会考什么重点这种信息?

[00:18:21] 翁家翌: 以及作业,以及老师没有规定不能放出来的作业。不然的话,你会经常会花可能十几二十个小时,然后你又不敢问助教,然后你就不知道怎么做,然后你就会花一些巨大块的时间,然后去一直在钻牛角尖,然后反而对整个学习是很没有帮助的,收益很低。

但这样的话,就是如果我当时觉得如果我把我自己的作业开源的话,那么我可能会帮到一些这样的例子,然后可能会帮后面更多的一些学弟学妹拥有更多自己的时间来去做他们更想做的事情,而不是you know,就是做这些。

[00:19:13] 主持人: 比较浪费生命的事。所以你这事做成了,现在你的作业应该在清华已经成为一个很广为流传的Github Repo(代码库)。那这个之外呢,我看到你应该大一大二大三多久开始入门科研啊?这些什么什么时候开始的?

在本科与强化学习结缘 [00:19:23]

[00:19:31] 翁家翌: 这个应该是大二吧。然后后面就是就是问学长说这个有没有哪个推荐的实验室。当时有,就学长跟我说三个名字:朱军老师,然后唐杰老师,还有崔鹏老师。

我默认这个按排序,按照每个人牛逼程度排序,当然可能不是这样的,但是我当时就是按照这个排序,然后就你以为先后顺序是对,我以为先后顺序,然后就报了一个计算机的学术新星计划,然后后面就是应该是全录取了,然后我就选了朱军老师,然后大二的时候就跟朱军老师就是先见了一面,然后就是问说有什么方向,有三个方向,贝叶斯、对抗生成网络(GAN),还有一个强化学习,就是三个方向。

然后我当时其实想搞的是GAN(生成式对抗网络),我觉得这个这个图像(生成)非常有意思,但是我不知道哪个(方向)是GAN,然后我就选了RL(强化学习)。什么叫不知道哪个是GAN(生成对抗网络)?我当时真的什么都不知道,我就是个小白,然后我就误打误撞选了RL(强化学习)。没有什么特别的,就是我觉得,我觉得RL(强化学习)应该是搞那个图像的东西,就这样。

对,所以是个相当random(随机的选择)。对,是的是的是的,但是后面搞RL(强化学习)发现这个是个打游戏的东西,嗯,然后就一直搞下去了,但是实际上就是我最开始想法是。我其实有三个大的方向,我其实都挺喜欢的,一个是人工智能,然后另外一个是图形学,还有一个是网络安全。

网络安全我觉得这个hacker(黑客)非常酷,那我在大学的时候其实业余时间也搞了很多网络安全的相关的东西,然后还给学校修了不少的这个校园网的bug。

比如说,比如说这个修了一下这个这个免费下成绩单的这个、一分钱下成绩单的这个事,就是成绩单下一次要这个十块钱,就是我跟另外一个学长发现了一个bug,然后然后就是可以一分钱也可以不要钱下载,然后后面就是下载几次之后,然后把这个bug给修了。就是直接反馈给这个学校教务部门。

[00:22:04] 主持人: 所以你是很享受这种hacking(破解)的过程?网安是一种haking(破解),其他的呢?

[00:22:09] 翁家翌: 图形学的话,我感觉也是个haking(破解),对现实世界的haking(破解),就是你可以自己的视角去构建你脑中想象的场景,然后这样会让你觉得你是上帝,你是神。我其实当时最感兴趣的还是图形学,我在初中的时候看过一个电影叫TRON,那个什么《创:战纪》的那个。

那个他是一个科幻片,然后他的那个电影特效就非常厉害,然后就把我当时看的非常震撼,然后就把我当时看的非常震撼,然后我我想如果有一天我能做出这种特效,或者说我可以像TRON这样构建一个自己的虚拟世界,那是就是我我觉得我就圆满了,对,然后我觉得。

图形学是实现这个的一种手段,对,然后所以说我当时就特别感兴趣图形学,然后我在大二的时候就上图形学,然后我当时就是因为特别喜欢,所以说我花特别多时间去做图形学的大作业,然后当时应该是拿了全班唯一唯二的A+,然后发明了一个新算法,能够减少这个迭代的这个收敛的次数,以及这个用了一堆的这个算力来跑了,就渲染一个巨高清的图,就应该16K的图,然后当时就是在我之前是完全没有人渲染一个16K的图的,然后并且16K的图完全没有噪点

[00:23:59] 主持人: 那当时那么感兴趣图形学,后来继续下去了吗?

[00:24:04] 翁家翌: 没有,因为我觉得就是如果你要搞科研的话,那还是专心比较好,不能这个脚踩两条船,因为你当时已经去对朱军老师那儿了,我已经去朱军老师那儿了,有个项目是搞那个VizDoom,就是一个Doom,是一个差不多90年代一个游戏,然后当时是有一个比赛,想把这个用一个神经网络来去在一个固定的地图里面,然后把这个游戏打通关,就是有个出生点,有个终点,然后你要去在这个地图里面去杀怪,然后去捡血包,然后避障,然后去最终到这个终点,然后去通关

[00:24:51] 主持人: 所以这个其实是你强化学习的入门第一个project(项目)拿了冠军,所以当时你是很享受做强化学习科研的?

[00:24:59] 翁家翌: 没有,为什么很不享受?因为这个因为首先这个task这个环境太过于单一了,然后你要疯狂的去overfit(过拟合),然后就是就是你要用各种各种技巧,你要用各种各种技巧防止他训练的时候崩了,以及你即使训练没崩,然后你也不知道你怎么调参才能调对。

这个是真的炼丹,这个比CV(计算机视觉)来说,他的这个调参难度可能要难上10倍100倍,然后都是玄学,你必须要用一些非常heuristic(启发式)的方法去避免一些corner case(边角案例)。

[00:25:40] 主持人: 所以你当时就意识到那段时间的RL(强化学习)研究全靠heuristic(启发)和调参?

[00:25:45] 翁家翌: 是的是的,就是改算法其实没有那么本质,然后因为当时的那个任务过于单一了,然后大部分情况下都是不能work(成功)的。

[00:26:02] 主持人: 当时的任务第一个当然是VizDoom,那后面是不是就什么像Atari, deepmind control suite, MuJoCo?

[00:26:10] 翁家翌: 我觉得MuJoCo跟Atari要比VizDoom还要简单?对,VizDoom算难的了,但是在这种case上面,就对于人类而言它是一个简单的task(任务),但是对于RL而言它是一个非常非常难的task(任务),因为它需要大量的知识需要。就比如说这个什么是障碍物,这个对于人来说这个不需要反应的,但是对于RL来说就是或者对于AI来说,这个是完全两个不同的难度了?

对。

[00:26:43] 主持人: 对,所以你在当时就有很清晰的认知,认识到了环境太单一,算法不是瓶颈,这个是你做中你就会发现就太多挑战。

[00:26:58] 翁家翌: 对,所以说我不是很享受这个科研的过程,然后我会就是我有意识地把我的重心放到了如何帮助这一类的科研更顺利进展的过程上,所以我会就是在大四的时候,我会想着这个造一套这个RL(强化学习)的infra(基础设施),或者说RL的小library(库)。

能够更方便的让这些想在这个领域卷的人去卷,这样的话就是我觉得我非常擅长这个事,我非常擅长这个类似软件工程的这个方面的东西,然后可以重构代码,让代码更好用,然后用户体验做好,但是至于这个东西怎么调,我非常有这种生理上的反应。

[00:27:50] 主持人: 你不是不擅长,你就是不喜欢,排斥做这个事。是的,这也就是你大四做天授,天授我们等会着重聊。是的,所以你大二开始搞科研,搞了VizDoom,然后到了大三,是不是面临一个申请暑研?当时是什么样的节奏和状态?

在 Yoshua Bengio 组暑研做 NLP 的经历 [00:28:00]

[00:28:08] 翁家翌: 申请暑研为了还是为了大四的申请,然后发了一堆的套磁信,然后但是也没有什么结果,然后后面还是这个我的导师帮我联系了,联系到了Yoshua Bengio,然后然后我就过去了,对,其实我那段暑研暑研做的也没有那么的成功,当时是在Mila对吧,对,是在Mila当时是18年不对,19年,19年的暑假,19年的暑假的时候,首先Yoshua是19年的应该是4月还是5月拿的图灵奖,然后我是在那个之前申的,所以还好,然后后面的话就是Yoshua给我们给我跟带我的postdoc(博士后)的任务是做一个类似于MoE(混合专家模型)的东西MoE当时还没有MoE,

首先这个跟RL没有任何关系,其次就是纯Language Model(语言模型)就是Transformer,然后并且当时没有MoE,我们不知道MoE是什么怎么work,但是他有一个MoE的idea(点子)就是有一个这个router(路由器)然后可以选择不同的这个path(路径),然后让我去实现

[00:29:32] 主持人: 所以他招了一个做RL的人去做NLP(自然语言处理)

[00:29:36] 翁家翌: 然后我需要花就是我不擅长学东西,然后我花了很长时间去入门这个Transformer NLP这个东西,然后然后看着这个搓一个东西,但是搓一个东西出来也没有什么好的效果,然后因为现在回过头来看这个你这个东西要work,首先你要有算力,你要有很强的这个工程能力然后你要scale up(规模化)当时这个一个人就几块卡这个这搞不出来Scale Up(规模化)的东西所以说你肯定搞不出来哪怕方向是对的那你也是搞不出来的

[00:30:12] 主持人: 但其实你有没有觉得,好像冥冥之中命运就是在把你往OpenAI现在的这条技术路线上推?你先搞了RL,然后Yoshua让你搞NLP,这两个pieces(组成部分)你全部就冥冥之中就你就在OpenAI之前,你就全部都有过经历。

[00:30:27] 翁家翌: 你要真这么说,强行这么说也可以,哈哈哈,就是马后炮是没有用的。

[00:30:36] 主持人: 但当时其实我知道你完全get不到未来,所以你当时对NLP(自然语言处理)什么看法?在经历了那个暑假之后

对前 ChatGPT 时代的 NLP 与 RL 的反思 [00:30:38]

[00:30:42] 翁家翌: 我觉得NLP task(自然语言处理任务)都是太分散了,然后当时其实很多人就在想如何把RL apply(应用)在这个language model training(语言模型训练)上面,因为当时这个问题是还没有解的,因为Transformer直接在强化学习上面跑的话,它会崩,它很容易崩。然后大家都没有想出来这个东西到底该怎么防止它不崩。

然后后面证明了,就是你的环境要是一个这个纯的一个环境,然后你的reward(奖励函数)需要一个是是一个很强的reward。什么叫纯的环境?比如说text only。

[00:31:28] 主持人: 纯文本?那之前大家做的不纯的环境是指?

[00:31:32] 翁家翌: 比如说你用Transformer做一些Atari decision(游戏决策),比如说你把图像弄成一些embedding,或者说你把这个Atari的这个内部的游戏的这个信息结构化表示,然后塞到Transformer里面,然后再跑。

而且Transformer是一个这个随机初始化的Transformer,我当时首先我没有足够多context(上下文),我对于这个领域没有足够多的认识,所以我做起来就是非常挣扎,这个我觉得我我如果现在回过去来直接来帮助我,可能还是这个样子。

[00:32:18] 主持人: 你是觉得就是当时就处在一个怎么都不可能把东西搞work的一个

[00:32:24] 翁家翌: 因为算力不够,然后这个对于这个当时的一些认知,MoE的认知也不够,然后你哪怕就这么说吧,哪怕当时有了现在的认知,那还是做不出来,因为engineering(工程能力)不够,对,受限于当时的这个资源,你就是做不出来。

留学申请季受挫的经历 [00:32:47]

[00:32:50] 主持人: 那当时可能暑研结束了,然后就回到清华开始准备申请,那当时是什么样的状态,就是会压力很大吗

[00:33:01] 翁家翌: 就是整个人状态其实不大好,因为暑研没搞出来,这个周围的同学,这个比如说去Stanford,去CMU暑研,然后都搞出来很多东西,然后发paper(论文),都有一作paper(论文),通常来说你需要发个一作paper(论文)的,不然的话你会被别人刷下去这个就很卷,没有办法,所以说我做完暑研,然后其实只拿了一个推荐信,但是我也不知道推荐信里面写的什么样,但是我也 不知道推荐信里面写的什么 样,然后就是挺没有底的,申请结果怎么样?

后来我是 对着PhD申 请的,但是我只拿到了Master(硕士)。

[00:33:44] 主持人: 因为那个时候我大二,你申请的时候我应该刚刚大一大二,然后每年知乎上都有那种“19Fall你的申请结果怎么样”、“20Fall”,当时我就看到了你的回答,然后我印象还挺深刻的,当时你就因为我看你履历说图灵奖强推怎么怎么样,结果最后我当时看到你申请结果不好。就没申到PhD,当时我就觉得哇,竞争这么激烈。你自己作为当事人经历那样的申请季,对你来说是一种挫败吗?

[00:34:16] 翁家翌: 可能还有一点吧,但是后面来看也还好,就是嗯,首先我在当时的那个环境,我确实会很大程度上受当时的小环境的影响,PhD(博士)是要比master(硕士)好的。

[00:34:38] 主持人: 这个应该是整个清华内部的那种氛围。

[00:34:41] 翁家翌: 那种鄙视链,是的,这个是如果你身在其中,你是很难摆脱这个影响的。然后即使是国外的PhD跟master,跟国内的PhD跟master都是一样的,就是PhD要好于master,因为大家会有一种固有的认知,说这个学历越高越好,对于今后的这个发展会更好。但是很多时候这个是不成立的,真的取决于你到底干了什么。然后当时的话,我确实是有一点失望的。

然后我其实也花了一段时间来调整自己。然后后面觉得,我我一直以来应该是都是想做一些就是让自己与众不同的事情。

对固有评价体系的挣脱 [00:35:28]

[00:35:31] 主持人: 就是说你当时在可能在尽力的挣脱出固有的那种评价体系。

[00:35:37] 翁家翌: 是的,就是我一直以来就是觉得就是GPA(绩点)不是唯一的一个评价体系,你需要自己在大学里面找到适合自己的评价体系,然后为这个评价体系去奋斗,去让自己开心。你即使在GPA拿了第一,那么你可以跟往年比一比,跟这个就是其他学院比一比,跟其他学校比一比。这个反正有的是人,就是它(GPA)并不能说你有多么好。

我觉得应该这么看,就是从一个需求方的角度看,就比如说如果你的最后目的是找工作,那么找工作的人会看重什么?他会更看重你的这个相关的经验,他不会看那么看重你的GPA,因为这个对他来说没有意义。如果你是有当前这份工作很匹配的经验,其实可以抵好几年的工作经历,哪怕你是一个new grad(毕业生)都没有问题,因为招人最主要的目的是招进来能用、能干活。

[00:36:55] 主持人: 所以你在本科时候认识到这一点。

[00:36:58] 翁家翌: 我在后面认识到了这一点,就是我在master的时候认识到这一点。

[00:37:04] 主持人: 但你本科其实还是在那个评价体系下面。

[00:37:08] 翁家翌: 我本科我尝试挣脱这个评价体系,但是我挣脱了一点,还没有完全挣脱出来。那一点是什么?就是我意识到了应该要创造自己的评价体系,而不是用其他人提供的评价体系。我采用了非官方的评价体系,就是我的导师(苏航)给我推荐的评价体系,就是我一直记得这句话。就是计算机系的评价体系,就他认为的有三个指标,一个是论文,一个是比赛,还有一个是GitHub的star三位数以上。

然后我觉得这个是确实是有意义的,因为他给我了一个完全不一样的想法,就是不一样的领域,我其实可以在开源社区搞一些事情,然后让我有一些跟别人与众不同的地方。这样对于自己的长期的发展是更好的。这个你你就是花很多时间去学GPA啊,就是刷GPA这种事情。

[00:38:16] 主持人: 这个我有同感。我觉得我在本科的时候,我也是很早我就意识到GPA,特别是本科的GPA,是一个三年之后、四年之后你都不用写在简历上的东西。但是呢,那三年四年里面的本科生又不得不把自己百分之八九十的精力放在这上面,因为无论你是找工作还是申请出国。还是要保研,都是看GPA。你是怎么处理这个矛盾的?就是一个三年内重要无比的东西,和一个三年之后完全不重要的东西。

[00:38:49] 翁家翌: 我会最低限度的投入,投入就是我会花时间,最低限度的时间来让它达到我想要的这个要求、这个标准。再往上一点,我都不愿意投入,多一分都不想花时间。对,多一分都不想花时间,够用就行。就是就你这个,这个其实挺简单,就比如说在期末考之前算一下这个,你现在已经多少分了,然后你就可以安排一下这个,这个考试到底要不要复习。

[00:39:26] 主持人: 也就是说,你觉得如果现在GPA够了,你宁愿那个课考60分?

[00:39:30] 翁家翌: 啊,是的,这个是我我一直以来都是这样。对,然后可能60分不太够,就是比如说这个87分,87分是B+,然后这个我就很满足了。

[00:39:43] 主持人: 嗯,对你觉得你挣脱了这种吗?因为比如说你出国这种选择,是那种评价体系给你带来的是那种氛围给你带来的。

[00:39:52] 翁家翌: 不是当时的氛围,其实已经是就是在国内读书比国外好,18/19年,19年已经是了。嗯,对,就是差不多清华会有百分之,只有20%左右,但我们那届更少,因为covid(新冠),然后只有百分之五去出国。

[00:40:15] 主持人: 你应该是19年12月申请季对不对?所以你应该是还在等offer的时候就covid了。然后你应该比如说拿到offer之后,美国领事馆就关了,你还是坚持要出国。是这个是个很难的选择,因为当时应该是有covid有疫情,然后国际政治局势又很动荡。然后你个人的未来还要和这两个息息相关,对,那种不确定性下,你当时是什么样的状态?

[00:40:46] 翁家翌: 我觉得我当时可能更专注于手头上的事,比如说在家里写天授(Tianshou),在家里写的这个退学online,写这个Visa(签证)查询系统。这个我就是只是转移注意力,不要天天去关注一些宏大的国际叙事,而是专注于手头上的事情,这样可能让自己内心更平静一些。

天授 Tianshou 强化学习框架的前世今生 [00:41:08]

[00:41:11] 主持人: 那我们就聊聊那段时间的两个项目,第一个是天授(Tianshou),第二个是退学online(tuixue.online)。我们先聊聊天授吧。天授刚刚其实你已经讲了,天授是因为你觉得当时(强化学习)环境太overfit(过拟合)了,然后RL(强化学习)其实算法的创新没有那么重要。

反而是这个infra(基础设施),或者说这个好的implementation(实现),或者说这个好的implementation (实现)。给我们讲讲为什么做天授?

[00:41:32] 翁家翌: 起因是就是首先我在19年12月,我就有一个很内心有一个强烈的冲动,就说我其实已经写了很多的RL(强化学习)的一些实验的代码了,我为什么不把它们整合一下,然后让自己的实验跑得更好?这个是出发点。然后我在2月就20年2月份的时候,1月放假。然后2月就看了一下这个RLlib的代码,就是在Ray下面的RLlib。

然后我本来第一步想的是用RLlib来看看能不能改一改,然后来去支持我自己的实验。然后我看了一个月,太复杂了。然后这个一个RLlib有快几十万行代码,然后就是完全不能接受。然后我就根本不知道我要改的东西我该怎么实现,然后就决定就直接重新手撸。

[00:42:35] 主持人: 对,推倒重来。我特想知道就是你当时做这个事儿,其实还有功利的考虑吗?因为很多人那段时间就是想做一个Bla Bla Policy Optimization的NeurIPS paper。

[00:42:46] 翁家翌: 没有,我不想发paper,我觉得发paper完全没有意义。

[00:42:49] 主持人: 给我们讲讲为什么?为什么你已经挣脱出这种评价体系了?

[00:42:53] 翁家翌: 首先,我已经有paper了,我觉得多一篇少一篇对我而言没有任何意义。然后,并且我申请已经够用了。然后,比赛我也有了。Github三位数可能算有,就比如说我自己搞的那个课程Repo(代码库),但是那个不是正儿八经的,我还是想有个正儿八经的三位数。

[00:43:15] 主持人: 对,好,那就是天授,当时看了RLlib之后不好用,然后你当时对paper没兴趣,对,但你对开源代码是很有兴趣的,你对一个好用的能够推动这个领域前进的一个开源代码非常感兴趣。做这个事有多难?当时做天授很简单,两周,只要两周。第一版有什么算法?

[00:43:42] 翁家翌: 好多算法,就是你对着那个paper(论文)实现一下就好了。就是如果你把抽象搞对的话,那么实现算法就是可能就是20行,不到20行,不到一个算法。

[00:43:58] 主持人: 那为什么你两周就能搞出来一个第一版?RLlib能写几十万行。

[00:44:04] 翁家翌: 可能是因为他最开始设计有一点问题,然后因为可能像合作的人多了,然后大家都往里面贡献代码,然后最后就变成了整个项目会逐渐的腐化。

[00:44:21] 主持人: 所以你是一个人手撸的。所以这种一个人高效的迭代,然后做做好一个顶层设计之后就去执行,你觉得反而会迸发出更大的力量。

[00:44:32] 翁家翌: 是的,就是我觉得代码可能或者说一个项目吧,这个更多的有用的东西是consistency(一致性)。一致性如果这个项目是从头到尾都是一致性的话,那他们就是一个,他就是个好项目。像比如说很多这个项目的腐化都是由于,就比如说两个人或者说10个人。

10个人的话,就是每个人写了一点代码,但是每个人其实都不太知道对面到底写了什么东西,然后有一些assumption(假设),有些假设就是没有办法去及时的传递,然后会导致比如说像这个代码在很多地方去复制黏贴,或者说一些不好的行为,然后不断导致这个代码越变越膨胀。然后去腐化。

[00:45:26] 主持人: 当时天授一炮而红吧,可以说挺受欢迎的,你觉得天授做对了什么事?

[00:45:34] 翁家翌: 我觉得它抓住了用户需求,就是researcher(研究人员)或者说当时的科研的干活的人,其实都有一个需求,说这个有没有好用好改的RL(强化学习)的框架,他能直接用,他能直接用,然后抽象做的还可以,就是 你至少如果研究一下,然后你会发现你如果改这个地方就一定会对。

而且只有这一个地方能够改,并且就是如果你要支持你的这个feature(功能)的话,你只有改这个地方才能支持。

[00:46:18] 主持人: 就是说别人想改什么地方,你的设计已经把它设计好了,就只能改这。

[00:46:24] 翁家翌: 嗯,是的,然后像这个就是易用性做的还可以,然后想跑什么算法都有

[00:46:33] 主持人: 所以当时PyTorch第一版是你一个人写的,后面他们会慢慢变成一个更多人的project了吗?他就变成一个开源的东西了,还是?

[00:46:40] 翁家翌: 组内在维护,变成开源的东西,组内其实没什么人来维护,对,就是直接open source(开源)了。

[00:46:48] 主持人: 那你是怎么避免天授不发生你刚刚所说的很多人在一起之后不consistent(一致)这种腐化的问题的?

[00:46:56] 翁家翌: 初期的话,是因为我有足够的时间,所以说我可以一个人把所有东西全部包了,然后这个肯定是consistent(一致),虽然说这个现在看来不太好,对于长期发展不太好,但是对于当时的还是够用的;然后后期的话,就是因为我的重心,因为我入职之后可能就没什么时间了然后我会直接转移给,把整个维护权转移给就是社区的人,然后如果他们觉得是对的那他们就做,就是如果有一个拍板的人,那么这个事情应该就是consistent(一致)

[00:47:37] 主持人: 现在来看5年了,天授对成为一个社区的effort,你觉得现在腐化了吗?有一点,确实有一点

[00:47:44] 翁家翌: 因为我的我的context(上下文)跟继任继任者的那个context(上下文)还是有点不一样的,所以说他会重写我的一部分代码,就是我们俩其实没有那么的consistent(一致),所以说还是会有一些腐化的问题,但是我觉得就是长远来看,这是可以接受的。

tuixue online 签证查询系统 [00:48:07]

[00:48:07] 主持人: 对,第二个project(项目),哈哈,我也是用户退学(https://tuixue.online/visa)。

[00:48:14] 翁家翌: 你为啥?你不是当时

[00:48:17] 主持人: 我大二嘛,但后来我暑研,对我暑研的时候也要预约签证,然后当时也是需要找最近的时间,然后当时为什么做这么一个事儿?

[00:48:29] 翁家翌: 我自己有需求啊,就是跟这个做天授差不多,就是我觉得我的需求,我应该我找了一圈有什么东西能够满足我的需求,所以说我就手撸了一个(签证日期查询系统),就是不然没有办法

[00:48:43] 主持人: 因为当时你应该处在一个一会儿这个领事馆也关,那个领事馆也关,你需要实时的知道哪儿有签证的(日期)

[00:48:50] 翁家翌: 然后我觉得我有这个需求就像比如说最开始我我有收集这个上古学长的这个作业的需求我觉得很多人应该有这个需求所以说我就开源了然后就我有查签证的需求然后我就这个写了一个这个签证的这个爬虫然后直接免费给大家使用

[00:49:11] 主持人: 这个很受欢迎啊,我昨天晚上看总点击量100多万,当时就100多万,那现在肯定一千多万了,一千多万了吧。

[00:49:19] 翁家翌: 但是很早之前就已经关了,就是因为covid过了之后,然后也没有那么没有那么多需求了,所以并且这个美国领事馆升级了这个网站,然后当时的那个爬虫用不了,然后我也没时间写了,对,所以他完成了他的使命。

[00:49:40] 主持人: 其实某种程度上,这俩(天授和退学)都不是太功利的project(项目)。是的,第一个你也不是为了申请,那是已经发生在你申请之后了。那段时间虽然说Covid不能旅游,但是你大可以干点其他的放松的事。对啊,是啊,是啊。然后退学也是一样,对吧,你也可以自己弄完之后。

所以你还是有一种很内在所以你还是有 一种很内在很强烈的冲动想要去创造一些你觉得有用的自己需要的事然后把这个东西分享给所有人

追求影响力 impact 的底层逻辑 [00:49:54]

[00:50:07] 翁家翌: 是的,就是我想做一些就是能够这个产生影响力的事情,就是哪怕是亏钱也行。就是比如说做慈善,我觉得这个做这个这个天授跟做这个退学online都是做慈善。嗯,对,就是完全non-profit(非盈利),然后做这种慈善项目让我感觉非常满足。

[00:50:39] 主持人: 所以相比钱,其实impact(影响力)会让你更满足。是的,你觉得你对impact(影响力)这种这种追求多久来的?高中的时候?高中的时候为什么会和impact(影响力)相关?

[00:50:53] 翁家翌: 可能说来有点奇怪,就是我高中的时候突然某一天有个idea(想法),就是突然从我脑子蹦出来,有可能是就是未来的某个时候,这个往过去的我发送一些信息,然后我意识到一些东西。就比如说,如果人生是一场游戏的话,那么你的游戏的结算分数是记得你名字的数量的人。没了,那意味着什么?意味着你需要被更多的人认识。

[00:51:31] 主持人: 所以你是高中突然有一天你就意识到这个东西很重要,我想要让在我死之后,在我死的那个瞬间记得我的名字的人越多越好,是的,你还是以这个度量标准,嗯,可以算是,那我想再往深了问问。

[00:51:49] 翁家翌: 为什么这个重要呢?我当时不觉得这个很重要,但是我尝试了几次,发现这确实是我想要的东西,就是如果我做的东西能够给他人带来好处的话,那么我就是首先我自己认可我做的东西,其次他人也认可我做的东西,然后我会从他人那边得到一些正反馈。

[00:52:13] 主持人: 这个可以直接和名望、名气、Fame(名气)画等号吗?

[00:52:19] 翁家翌: 不太行,因为有些名望、名气可能是不好的。就比如说你坐上了什么什么位置,那你确实很有名望,但是实际上就是这个名望在别人看来,可能对别人的收益可能不是那么多,就是有可能是负面的。我想要的是那种,就是当然我觉得这个你不可能对所有人都好,这个是个很难做到的事情。但是我可以尝试力所能及的,对我身边的人好,做一些对大家有意义的事。

[00:52:58] 主持人: 所以这个度量标准是做一些对大家有意义的事儿,让更多的人记得你。对,如果我要挑战一下这个观点,我会说,那你为什么不自己过得开心就好了?你为什么需要别人记得你?你觉得想让别人记得自己,想让很多人用你觉得你造出来有用的东西,这个冲动本源是什么?是你害怕被忘记吗?

[00:53:29] 翁家翌: 我觉得人生其实也可以算作一种体验,就是你既然都已经来到这个世界上了,那你为什么不就是就不要浪费了这段旅程。

[00:53:43] 主持人: 对,但是为什么不浪费这段旅程得让别人记得你?我发现这有一种很有趣的张力啊,因为你刚刚第一点说你想挣脱一些外部的评价标准,比如说高考或者怎么怎么样,别人觉得PhD比master好,你给自己的这个内生的这个intrinsic(内在)的这个标准。又是外界的对你的认同

[00:54:10] 翁家翌: 但这个认同并不是官方的认同,不是既有评价体系的认同,是是共识

[00:54:22] 主持人: 所以你想要摆脱的是现有体系和成规的那种评价体系,但你更想要的是每个人发自内心的给你点赞,是的,所以这个点赞可以变成你的GitHub的那个star,可以变成退学的点击量,对,可以变成比如说你现在Google scholar的citation(引用量)也可以变成你现在OpenAI的model(模型)每天做多少次inference(推理),对,你会担心你的这样的标准会变成新的一种成规吗?

那可能以前上一辈的人是拿GPA评价年轻人,那当你成为再上一辈的时候,你就拿Impact(影响力)评价下一辈的年轻人你就拿impact(影响力)评价下一辈的年轻人

[00:55:08] 翁家翌: 我只是对我自己这么要求的,我不会对别人这么要求

[00:55:12] 主持人: 所以你并不觉得你的标准是可以放之四海而皆准的?是的,所以你不喜欢那种被外部的标准推着走,你自己的标准推着你走的这种情况呢

[00:55:24] 翁家翌: 目前还没有吧,就是你如果出现这种情况,你可以改,你可以改自己的评价标准

[00:55:31] 主持人: 所以你虽然你有你的标准,但是你不是这个标准的奴隶,就你有你impact(影响力)的标准。

[00:55:38] 翁家翌: 你不会为它所困,就比如说我,我其实在我其实都没有这个开源项目了,但是我也不会觉得这个是一个很困扰我的事情。

[00:55:51] 主持人: 我倒觉得不担心,我觉得OpenAI model就是最好(的影响力)。

[00:55:54] 翁家翌: 是,某种程度上你可以这么认为,对,嗯,因为评价体系是一个很简单直接的一个操作,能够快速的筛选人,所以说他这个社会发展方式就会收敛到这种策略上,所以说短时间内是无法改变的。

[00:56:15] 主持人: 哪怕你是这个评价体系在绝大多数人看来你都是胜出者和受益者,其实你也不喜欢这个评价体系。

CMU 读研与加入 OpenAI 的经历 [00:56:21]

[00:56:22] 翁家翌: 是的,其实应该更个性化,这是清华。

[00:56:26] 主持人: 然后在一个风雨飘摇的疫情的那段时间,你申请到了CMU,应该应该本来预计是应该要20年9月入学的,当时应该疫情第一学期过去了嘛?

[00:56:40] 翁家翌: 上网课就直接在家上网课,一直在家上,上了一年,对。

[00:56:45] 主持人: 但当时其实你是不是一入学就得想着找工作的事了对那个过程是什么样的过程

[00:56:53] 翁家翌: 那个过程就是我开始的时候吊儿郎当的,然后就投了,应该是投了18家,然后最后只收到这个Google跟这个OctoML,就是陈天奇老师的公司。然后当时想着,如果我手上只有这两个offer,那我肯定去OctoML,我不想去Google,因为去Google没什么意思。这个意思是怎么评判呢?就是你在大厂当螺丝钉,然后做一些自己不是那么喜欢的事,就比如说前后端。

然后后面就稍微想明白一点,然后后面就再去面试,然后拿了当时的幻方。幻方当时说要搞一个AI Lab(AI实验室),就是后面的DeepSeek。对我当时是拿了 offer。但是我没有去。

[00:57:43] 主持人: 没有去,然后你去了 OpenAI。所以其实现在看起来,如果开天眼的话,你当时面临的选择是DeepSeek versus OpenAI。是的。所以当时哪怕是幻方那个(offer)也不是去搞量化,而是搞AI。

[00:57:57] 翁家翌: 幻方那个就是搞RL infra。对,如果我没有其他offer的话,那我会选择幻方。其他offer是指Octo之外的其他?不是,是比如说OpenAI跟当时应该还有英伟达。英伟达,英伟达也是搞RL system,然后FAIR其实也是,但是FAIR最后由于一些流程原因

[00:58:21] 主持人: 把我拒了。OK,所以你当时面临的选择应该是幻方、OpenAI、英伟达、TikTok、FAIR可能有(offer)。然后在这样的选择下面,你最后选择了OpenAI。对,这个选择是怎么做的?我觉得就是因为我要强调的是,这个是before ChatGPT(在ChatGPT之前)。对对,所以你当时其实你是不知道ChatGPT is coming的。

所以这个选择是怎么做的?

[00:58:49] 翁家翌: 首先我觉得这个OpenAI之前一直在做强化学习,OpenAI跟DeepMind是就是当时RL里面搞的最好的两个research lab(研究实验室),然后我觉得如果我能进,那是就是也其实当时没有想到这事,我没有想到这个我能进这事。

然后我能进,我觉得就已经非常好了,然后然后我觉得就是我能够有一个机会来体验,就是世界上最前沿的一些research他是到底是怎么做的,而不是像这个就是小作坊一样,就比如说在学校里面,然后就几个PhD手搓一个东西,然后没有一些方法论,然后去做一个项目。就我感觉非常别扭,然后我想去学习他到底是怎么样有个方法论去进行一些工业界的研究的。

和 John Schulman 的面试故事 [00:59:46]

[00:59:50] 主持人: 那你当时去OpenAI的话,应该是直接是John Schulman的组,是的,就是John Schulman招的,我是他面试的你。

[00:59:59] 翁家翌: 对,就我非常感激他,对,就我非常感激他,就是我非常感激他能给我这样一个机会,哪怕他离职了,就他离职的那一天,我还难过了一个下午,然后把电脑关了,然后什么都不干。

[01:00:12] 主持人: 所以他当时其实是很欣赏你的,对,为什么?你有问过他吗?

[01:00:20] 翁家翌: 有,就是因为他觉得就是首先他觉得我Github非常漂亮啊,他其实也认可我这个评价体系,对,然后因为他这个应该是他的评价体系的一个指标,然后之前也没有人意识到,并且就是招这么一个有良好的工程能力的一个这么一个人进来的话,对于任何的项目都是有益的。

[01:00:52] 主持人: 所以你们面试有什么有趣的故事吗?你有怎么impress他(给他留下深刻印象)吗?

[01:00:56] 翁家翌: 就是可能最后一轮面试就是他出一道题,然后出了一道非常end-to-end的一个题,然后很开放性,然后他给我三个小时,然后我花了两个小时就做完了,就从头开始写一个东西,然后我就做完了,然后我就跟他说,就展示了一下,然后说这个就虽然展示的过程中出现了个bug然后,但是我现场修了一下,然后也没什么问题,然后反正就是可能他认为我既有一些工程能力,可能他认为我既有一些工程能力,然后同时确实实力还可以,然后就把我招了,然后,然后他的这个面试题只给两个人测过,一个是我,还有一个是应该,应该还有一个是 Andrey(Mishchenko)。

就是现在做Codex那个人。

[01:01:49] 主持人: 嗯,对,你们俩都通过了,对,都通过了,所以通过率是100%啊。

[01:01:53] 翁家翌: 是的,哈哈哈哈。

为什么没有考虑读 PhD [01:01:54]

[01:01:58] 主持人: 好,我们马上聊OpenAI,但是在OpenAI之前,我其实特好奇,你当时找工作的时候考虑过读PhD吗?

[01:02:06] 翁家翌: 没有,为什么?因为你接触的一些工业界的人会发现,就是读PhD,就是如果你想进工业界,那么读PhD就是浪费生命,你完全可以以master为跳板,然后来凑够PhD进工业界的标准,比如你可以在master,或者说你可以在本科的时候攒够citation(引用)。

然后做出一些能够让你与众不同的一些项目,然后让你可以跟同时期的PhD candidate(候选人)同台竞技,然后再看看有什么你可以做的,能够让对方挑选master的你,而不是另外一个PhD,想清楚差异化,这个是很关键的,所以你很早就想清楚。

我未来一定是工业界,对,因为我觉得学术界教书或者当教授太卷了,然后不是我想要的东西,然后我还要去为了一个项目去拉funding(资金)啊,然后嗯,那还不如就是感觉限制很多

研究能力和工程能力谁更重要 [01:03:16]

[01:03:20] 主持人: 我们是我们是个公司,然后有同样的master有PhD,你会不会觉得这两种他其实培养的能力都不太一样啊?因为PhD更多要培养你的学术的能力,对吧?你要怎么写好一个paper,把故事讲圆,然后画图画得漂亮,然后把这个宣发做好,你觉得这事重要吗?

对于一个公司来说,他可能某种程度上有锻炼,但是那如果和像你这样,但是那如果和像你这样比较极致的工程能力相比,你觉得这两种能力在现在这个AI的时代会怎么评判?这两种能力谁更有价值?

[01:03:54] 翁家翌: 现在的时代当然是工程能力越好就更有价值,但是放在当时那个时间点的话,那还真不好说,就是,所以我当时的做法是我两个都尽量去满足。

[01:04:09] 主持人: 你既反正也发过paper,然后开源的infra work你也做的很popular(受欢迎),工程能力也够强,那为什么现在你觉得已经很明显了,工程能力是第一位了?

[01:04:21] 翁家翌: 我来引用一句我同事说的话,就是我同事之前也是RL的一个PhD,然后搞了一个很出名的RL的framework(框架),然后他说的一句话就是:教一个researcher(研究者)如何做好engineering(工程),要远比教一个engineer(工程师)如何做好research(研究)来得难,是因为是这样的,就是目前的一些这个就是research lab(研究实验室)的一些前沿探索,它其实拼的都是infra(基础设施)的正确性,如果你infra正确,那么就是看你单位时间内你能迭代多少次,因为你反正idea(想法)你大家大不了找人讨论一下,

然后idea就出来了,然后你就验证,你只要能验证好,然后你就相当于这是你的research work(研究工作),然后你其实不(需)要动那么多脑子,就是动脑子的人可能是因为已经在这个领域浸染了很久的人,就比如说Alec然后他在这个领域,从一开始GPT-1的时候就开始弄了,然后他可能有很强的这个research(研究)的直觉,那他动脑子比普通的PhD动脑子更有用,然后你就找他讨论就好了,就是idea(想法)非常便宜,然后你要做的就是你在单位时间内能够验证多少有效的idea。

[01:05:54] 主持人: 并且要是正确的infra,正确的结果,快速的迭代,是的,而现在的PhD不具备这个能力,或者说,

[01:06:04] 翁家翌: 没有以这个为重点,因为这个对他来,这个对他们而言不重要,因为我认为目前的学术培养体系在于如何有好的一个学术的方向,但是这个方向其实公司里面也有人会有,因为你只要在这个领域工作比较长的一段时间,你就会有一些研究直觉,然后你就会意识到什么是好的,什么是不好的,什么是不该做的。

infra 的重要性 [01:06:31]

[01:06:36] 主持人: 所以idea is cheap(想法不值钱),而有一个很强的engineering skill(工程能力),把那个infra搭对,快速的迭代,这个事儿你有了之后,你验证idea可能agent都能搞。

[01:06:49] 翁家翌: 是的,因为我的认知范围内是每一家的infra都有不同程度的bug,然后谁修bug,谁修的bug越多,那谁的模型训的就越好。

[01:07:04] 主持人: 所以Llama train(训练)不过GPT,是因为Llama的bug太多。

[01:07:07] 翁家翌: maybe我不知道,但是我可能会这么猜测。

[01:07:12] 主持人: 所以你很清楚的在很早的时候你就意识到了整个这个pipeline(管线)要work,关键不是你的那些算法的创新,而是正确的超参、正确的infra、好的system(系统),让你快速的迭代。

[01:07:24] 翁家翌: 是的,然后并且我不是很愿意去做这个research(研究)调参这个事儿,这个对我来说没有任何吸引力,就是我更喜欢卖铲子。

[01:07:39] 主持人: 你喜欢有一个playground,你把根基打好,让别人去玩,别人去发论文。

[01:07:43] 翁家翌: 你不管,然后别人发论文的时候可能可以带上我,然后你就发现就是OpenAI很多这个model release(模型发布)都有我的名字,这个就是因为我在OpenAI的内部搭了整个post training(后训练)的RL infra。

所以整个post training的RL infra你是最核心的贡献者了,然后大家,因为大家在之前都是用这个整个post training(后训练)RL infra来去训这个RLHF的模型,所以每发一个大的release(发布)每发一个大的这个模型的话,这个我的名字就得放上去。

[01:08:18] 主持人: 所以你可以算是每一个OpenAI背后的model(模型)都有你,因为你喜欢卖铲子。

[01:08:23] 翁家翌: 对,然后,并且我是卖铲子这个最面向客户的那一位,因为这个RL是这个整个infra的最顶端,生态位很高。对,所以说这个如果太底层的话,你也这个,这个名字可能也不太好。你如果写个data loader(数据加载)或者storage(存储),可能没有那么那个。

[01:08:41] 主持人: 但你RL(是)每个人都想要的一个东西。

[01:08:45] 翁家翌: 好聪明啊,我之前也想过,就是我的这个职业生涯应该怎么发展,然后我当时定了又定了一个指标,我要最大化我在OpenAI blog上出现名字的次数。你真的很会给自己写reward(奖励)啊,然后这个reward那你需要做什么呢?那你肯定是先infra(基础设施)。

因为你如果做这个单个的research(研究),这个不能scale up(规模化),这个不能scale up (规模化)。然后如果你做infra(基础设施)的话,大家都用你,所以说你可以scale up (规模化)。嗯,对,然后并且我又擅长写RL infra。那所以说这个是个非常非常适合的机会。

还会鼓励今天的学生读 AI PhD 吗 [01:09:28]

[01:09:28] 主持人: 这事基本上你进了清华之后,这事就是你的主线RL infra。在今天你还会鼓励,因为你已经过了这个选择,但我们这个播客的很多观众可能还在本科,可能在硕士,工业界versus(对比)学术界的这个选择,你会怎么帮他们去思考这个过程,特别是在2025年?在这样的格局下面?

[01:09:53] 翁家翌: 长远来看,我还是觉得学术界没有,就是现代学术界应该要被重构。

[01:10:01] 主持人: 对自己的未来有抱负的那波年轻人,他们希望像你这样做出impact(影响力),那他到底是去读个PhD,还是尽早进入工业界?

[01:10:12] 翁家翌: 我觉得还是尽早进入工业界比较好,因为读PhD的话,你不知道你PhD毕业之后会发生什么事情,有可能毕业之后这个范式已经来了,然后你会发现这个你做的东西可能就没什么用了。如果你的目标函数就是进这个这个AI lab的话,那么你要先弄清楚一点是AI lab到底需要什么样的人?

如果他们更需要infra的人,那么你就多做一些infra的活,哪怕你没有PhD degree也没有关系,因为更重要的是看你的这个经验有没有用。所以现在你觉得AI lab最需要什么样的人?

我觉得还是infrainfra是一个无底洞,就是research(研究)的话,就是有research(研究)直觉的就那些人,因为你从ChatGPT出来之后,然后在这个行业里面干了比如三年以上的人就屈指可数,然后当前的问题还是在于infra,你能不能scale up(规模化)你scale up(规模化)有多少,就是单位时间内你能迭代多少次,然后这取决于,就直接决定了你的这个这个生产效率

[01:11:39] 主持人: 那听起来不是对PhD特别友好的一个环境?是的,可能这个也牵扯到一个gap,我觉得这个你有,我们俩都有很深的体会,就是因为RL(强化学习)的研究,学术界就是对着AtariMoJoCo这几个task(任务)overfit(过拟合)调过来调过去就是比你我在100K的时候谁分数高?对,但是工业界完全不care(在乎)这个,工业界做的事是用RL去解决真实的问题

[01:12:07] 翁家翌: 是啊,然后我意识到这一点,然后当我在22年的8月意识到这一点的时候,我就已经逐步的停止了天授的开发了,因为天授还是针对这些Toy Benchmark(玩具基准测试),然后我觉得我应该投入更多的时间到更有意义的事情里面,比如说在OpenAI内部搞好RL infra,所以我就主要的精力都是在,就是维护啊,或者开发这个RL infra

[01:12:40] 主持人: 其实啊,你这个认知其实在22年是算是很超前的,绝对不是共识。对你,为什么当时没有打破信息差,写一篇blog来劝我别搞了?

[01:12:51] 翁家翌: 我害怕我把这个东西说出来,这个OpenAI会说我这个泄密之类的东西,万一呢?就虽然说也没有那么泄密,但是嗯,对吧,哈哈哈,好。

[01:13:08] 主持人: 我们聊OpenAI,我特别好奇啊,就是刚刚咱们已经提了很多了,但是你在OpenAI,你是世界上极少数从ChatGPT-3.5、GPT-4、GPT-4V、GPT-4o、GPT-4.5到GPT-5背后所有的核心贡献者都有你,可能有的人贡献了前半部分,有的人贡献了后半部分,但是你是从头到尾一直都在。

你最主要的贡献,我会说是三个词:强化学习,Post training(后训练)和infra(基础设施)。对这些技术和背后的故事,我们等会儿细聊。但是我想先问第一个问题,可能会很好回答,也很不好回答:什么是强化学习?

什么是强化学习和 post-training(后训练) [01:13:13]

[01:13:52] 翁家翌: 如果有反馈,如果你可以把一个环境建模,然后去环境中得到反馈,那这个循环就是强化学习,通过那个反馈让他越学越好。是的。

[01:14:08] 主持人: 那么第二个关键词是post-training(后训练),什么是一个大语言模型的post-training?

[01:14:14] 翁家翌: 当时还没有post-training呢,当时这个,当时这个team(团队)叫RL,然后当时根本没有什么pre-train(预训练)、post-train(后训练)的这个区分啊。

加入 OpenAI 的时候 ChatGPT 是主线吗 [01:14:22]

[01:14:24] 主持人: 所以你刚进OpenAI的时候还没有这个事儿,对?但是你刚进OpenAI的时候,ChatGPT已经是主线了吗?

[01:14:31] 翁家翌: 不是,当时刚进OpenAI的时候就是就只有那个John Schulman下面的RL team,然后再去做一个这个WebGPT之后的一个版本。WebGPT是一个用一个(GPT)3.5的模型去做,应该是做这个browsing(网页浏览)。但是当时这个browsing(网页浏览)如果直接用3.5做的话,那效果可想而知,就很不好。

因为这个browsing(网页浏览)需要tool call(工具调用),然后所以说我们当时就退而求其次,先把这个用户交互的这个体验先做好,那唯一的要解决就是chat(聊天)。Chat就可以通过这个instruction following(指令跟随)这个方式去解决,用RLHF的方式。

[01:15:17] 主持人: 所以你当时进去的时候,3.5这个模型已经内部都有了?

[01:15:21] 翁家翌: 然后有,但是当时的PPO的那个pipeline非常不好用。然后当时其实我们用的最广的是 (GPT) 3.5的SFT,然后在那边迭代了好几次,然后后面才有 (GPT) 4,然后后面这个 (GPT) 4,Greg写了一个专门的这个infra。来去支持如何用这个4GPT-4的这个训练的infra去支持强化学习的训练。

[01:15:57] 主持人: 所以你入职的时候是22年7月,对?那个时候3.5已经是整个OpenAI all in了吗?因为距离release(发布)还有几个月,对吧?你们内部当时能想象ChatGPT有这么大规模的成功吗?没有?你当时能够?当然你可以内测那个model(模型),对吧?对你有意识到这个是要game-changing(颠覆性)的东西吗?没有,你也没有当时感觉到。

发布 ChatGPT 前可以想象这样大规模的成功吗 [01:16:01]

[01:16:19] 翁家翌: 因为我觉得就是我可以看看得出来很多不足的东西,就是我第一次用可能会觉得说哦OK,这个是个会说话的模型,那也就这样吧。然后用了几次可能能够帮我解决一点代码上的问题,那也就这样吧,但也不能帮我解决那么多。然后我用了几次也没有那么想用,因为他能帮我解决的问题有限。因为你已经提前知道了这个东西,然后就是你有一个循序渐进的这个过程,然后你也不觉得他那么突然。

但是比如说我后面展示给展示给身边的人看之后,然后他们就觉得很突然。然后这个,这是我没想到的。嗯,对。

[01:17:07] 主持人: 那当时OpenAI以及整个公司在22年7月all in ChatGPT了吗?

[01:17:12] 翁家翌: 就只有我们组在做,就是你可以看这个,就是ChatGPT的这个那个blog,它往下拉,然后它有一个contributor(贡献者),然后John Schulman应该是排第一位,然后后面的12个人一直到Zhao Shengjia为止,这个Zhao Shengjia之前。

然后John Schulman下一个是Barret,然后Barret到Zhao Shengjia的名字就是我们组的所有人。

[01:17:37] 主持人: 那是什么时候你意识到我在OpenAI的工作真的引爆了这个东西?

[01:17:44] 翁家翌: 可能就是发ChatGPT,当时我在开NeurIPS,他11月30号发的。然后当时就是过了几天之后,然后发现这个就我周围身边的人都在讨论这个ChatGPT这个事情,然后他们觉得很有用,并且还把这个OpenAI服务器打爆了好几次,就是跟我当时退学(tuixue)一样。

就是我退学(tuixue)的服务器也被打爆好几次,就是我退学(tuixue)的服务器也被打爆好几次,就是我退学(tuixue)的服务器也被打爆好几次。然后那可能就是产生了这种那个自需求自宣发的效应,就是大家都是自来水,会自发地为你宣传产品。肯定是一个很好的投入的东西,就值得你投入精力的一个东西。

[01:18:37] 主持人: 其实听起来,这个从你加入OpenAI做这个事儿,包括OpenAI内部能够推出ChatGPT这种东西,好像都不是谁计划出来的,可能是一系列的半偶然半必然的因素。

[01:18:52] 翁家翌: 化学反应?是的,而且当时就是发那个ChatGPT,也只是为了就是能够看看能不能收集一些这个这个真实世界的这个用户数据,然后收完之后可能5天之后关了,如果没人的话就我我们期待可能是一开始有什么一万两万(用户),然后后面就跌回,然后就没了,就这样。然后实际的curve(曲线)呢?实际的curve(曲线)就是指数,对。

2022 年加入 OpenAI 的初印象 [01:19:18]

[01:19:18] 主持人: 好,这是ChatGPT突然当时的爆款的成功,我还特好奇你刚去OpenAI的时候什么体验,这个公司给你的初印象什么样的

[01:19:28] 翁家翌: 我感觉是一个大号的一个实验室吧,其实没有我想象中那么这个这个有方法论,但是很多就是有很多很强的research(研究)直觉的人在里面,然后他可以指明方向然后就做就好了,但是从这个BarretLuke跟Liam来之后,这三个人从Google来之后然后加入John Schulman的RL team之后,然后我们组就变了,就开始这个引进这个谷歌的先进生产力来开始迭代,就是谷歌还是非常牛逼的,就是有一张图是这个这个单位时间的迭代次数以及成功率,然后这个东西是一个这个正比

[01:20:16] 主持人: 所以单位时间迭代的越多,你的成功率就线性的往上走。

[01:20:21] 翁家翌: 对,这个其实也是一个RL的curve,因为RL就是不断trial and error(试错)嘛。对,就是你不断尝试,然后尝试到一定次数,然后你就可以达到你的那个目的。那其实很多生活中的这样case(案例)其实都是RL。

[01:20:39] 主持人: 所以当时你们引进的那个先进生产力是一种哲学理念,就是说我们先不要去想什么天才的idea,我们先不要去想什么天才的idea、天才的算法,我们把infra打好,infra让我们从一周迭代30次到一周迭代300次。对,差不多,我看到一个采访,有人问Sam Altman。OpenAI成功的原因是什么?

他说,在一个我们之所以OpenAI可以做出杰出的科技创新,在一个人才密度极高的小团队里面,任何平庸的表现都是不能被容忍的。你赞同这样的说法吗?

OpenAI 的人才密度与组织架构 [01:20:52]

[01:21:13] 翁家翌: 我赞同,因为人才密度如果上去的话,你可以自发的涌现出一些意想不到的东西。然后但如果比如说换一个环境,就比如说这个大家都是很平庸的话,那可能就是个人自扫门前雪,然后就做完自己的就好了,然后就可能会拖延。

[01:21:34] 主持人: 当时你去的时候,OpenAI应该是个几百个人的公司。我是二百八,现在OpenAI应该上几千人了,三千多了,三千多,所以十倍了,三年的时间。那你觉得OpenAI还能保持曾经的这种小而美的团队做出硬核创新的风格吗?

[01:21:53] 翁家翌: 我觉得这个概率是下降,但是没有下降那么厉害。但你总是可以划分出来一个小团队,然后去专门去做一些研究。

[01:22:05] 主持人: 那你觉得OpenAI的领导层有什么比较有意思的努力,能够在这方面避免的比较好吗?还是能够让小团队,然后人才密度,然后硬核的创新?

[01:22:16] 翁家翌: 比如说简化一些这个组织架构啊,然后把一些不合理的一些meeting(会议)全部给取消掉啊,然后我觉得主要还是组织架构更重要一些。

[01:22:31] 主持人: 什么是一个高效的、利于硬核创新的组织架构?

[01:22:34] 翁家翌: 信息流通通畅,比如说今天有一个决策,然后可以无损的传达到下面,然后下面有做什么最新的进展,然后可以无损的传达到上面。你可能上面做决策的跟下面干活的这个可能就是想的完全不同的两个方向,然后劲不往一处使。OpenAI是怎么做到这个好的信息流通的?

首先像Sam跟Greg,他们会有专门的,就Sam的话之前是会有专门的一个研究助理来去帮他去了解最新的一些公司内部的研究进展。Greg那不用说,就是他infra整个infra这个底下几乎都是他参与过的,对,所以说他们俩对于这个技术是非常熟悉的。然后所要做的就是保持技术的敏感性,至少要知道这个当前做这个东西到什么地步了,然后有什么最新的进展,然后会有什么用。

[01:23:41] 主持人: 所以这个事儿得是一把手、二把手这样的人,他得愿意栽进去钻研到细节里面,是了解到公司的每一个毛细血管。

[01:23:55] 翁家翌: 我觉得管公司跟管代码库其实也有很类似,就是consistency(一致性)。你如果不consistent的话,就不一致的话,那么你可能就是就就像一个人这个,比如说就像一个拼砖的人类,他的身子动了但是脚没动,那就很奇怪。

GPT 强化学习 Post-training 的前世今生 [01:24:09]

[01:24:14] 主持人: 好,那我们聊聊post-training(后训练)。我们先从(GPT)3.5开始聊吧。

[01:24:20] 翁家翌: 但是实际上(GPT)3.5的这个PPO其实也没有调通那么多。我是先调通了(GPT)4,因为(GPT)3.5当时是用旧的那套infra,然后新的infra是这个22年8月(口误)刚刚好,然后我就先在新的infra上调通了这个第一版的PPO。然后用(GPT)4跑的,然后就是应该是22年9月的时候

[01:24:42] 主持人: 哇,这个很有意思。所以当时(GPT)3.5出来的时候,其实内部(GPT)4早就有了,而且RLHF是先在(GPT)4上调work的,然后再在(GPT)3.5上成立的。

[01:24:53] 翁家翌: 是的,但是实际上因为其他组其实也帮我们踩了不少坑,我们就用了这个已有的一些pipeline能怎么用怎么用,但是主要还是自己,就主要的一些东西,比如说如果reward model(奖励模型)怎么train啊,那还是自己train,然后数据怎么收集也是自己收集的。然后像这个infra到底出什么问题,也是我们自己搞

2022 年做 RLHF 的关键挑战与突破 [01:25:10]

[01:25:16] 主持人: 那在当时想把RLHF搞work,有什么关键的挑战和突破

[01:25:22] 翁家翌: 我觉得就是你应该怎么去衡量这个性能是什么样的,因为谁都不知道这个性能应该是什么样的。

[01:25:35] 主持人: 你的意思是你训练了很多个checkpoint之后,你不知道是不是变得更好了。

[01:25:40] 翁家翌: 对,就比如说这个单一的reward是会发生这个reward hacking的,有可能他的这个reward saturate(饱和)就变成一条直线,就慢慢慢慢涨上来。

但是真实的情况是这个,如果人类有个reward的话,那他可能先上去,然后再慢慢往下掉这就是reward hacking,然后所以说你没有办法知道哪一个checkpoint是真的比其他的checkpoint好,所以说选checkpoint其实也是个技术,但是我们其实没有花太多时间去选checkpoint,就是直接建了一堆这个sampling-based eval(基于采样的评估),然后来看一下每个Benchmark(基准)上面到底是什么样的,但是更多的就是那个Benchmark(基准)其实只是个数,然后如果他过了一个数就好了,就也没有,也不能说它好。

也不能说它坏,因为你每次跑一个model,然后它的那个(评估)这个方差就非常大,就有很多噪音。那最后是怎么解决的?最后就还是就是,你真的拉下来看一看,然后跟他交互几次,然后看一下,就比如说对于自己的一些这个体验是什么样的,然后多找几个人来看。

然后来大家投票,所以就是evel(评估)RLHF,还是用HF(人类反馈)来evel(评估),只能是这样,就没有办法,因为当时技术就是没有办法。

大模型工业级 RL infra 的挑战 [01:27:01]

[01:27:07] 主持人: 嗯嗯,所以这个是你相当于第一次在工业级的level(级别)上搭infra,对你觉得这样的就是大模型需要的这种大规模的RL infra,和你曾经搭过的像天授这样的single task(单任务)或者toy task(玩具任务)RL infra的区别在哪?

[01:27:27] 翁家翌: 我觉得区别非常大,因为toy task的bottleneck(玩具任务的瓶颈)在于环境,因为它的模型很简单,你不管是训练还是采样action(动作)都是非常便宜的,但是RL infra的话就是你的模型很大,但是环境非常简单,环境就是一个prompt(提示词)然后但是模型采样的话你要考虑如何高效的采样了,然后训练的话你要考虑高效的训练,因为这个东西是可能对于提供这个可能就几微秒,但是这个跑一遍这个inference(推理)跑一遍training(训练),那可能就是好几百秒或者是几千秒也有可能就是如果你GPU少的话

[01:28:09] 主持人: 那你觉得未来的这些model(模型)的,比起(GPT)3.5,比起(GPT)4,有什么新的挑战?就对于RL infra这一块来说,我觉得还是性能上面,或者说scale up(规模化),如何scale up,就是说怎么能够用更多的GPU,怎么能够更高效的吞吐。对,是的,是的,那就是牵扯到不单单是RL的部分,还有模型的inference(推理)。

[01:28:33] 翁家翌: 就可能更end-to-end的一些,并且就是会深入到一些这个实现细节当中,然后去做一些end-to-end的优化。

[01:28:43] 主持人: 是一个相当intersection(交界处)的一个部分,就是既有RL,你得懂RL,然后你得懂MLSys(机器学习系统),然后你还得懂language model是怎么inference(推理),对吧?这些你得明白。是的可能不在那个位置。学校的学生是学不了这种东西的。

[01:29:01] 翁家翌: 是的,就是那个位置非常锻炼人,然后还很累。然后后面就是,就是我其实有一段时间就是做的确实非常累,然后还进了 ER(急诊室),就是这加班加太狠,然后脑子疼,然后受不了,然后就到ER(急诊室)看了一下。但ER(急诊室)医生说没什么事。你那个时候工作强度有多大?就是早上醒来一直写debug,或者说处理一些问题,然后一直到晚上睡觉。一周7天,一周可能平均6天,对吧?

但是就经历一段时间之后,你会发现这个是不能持久的。所以说还是首先你要有这个这个身体,你要确保你的身体是健康的。所以说我现在养成一个习惯,就是每周两次跑3000(米)。但是,我之前这个在清华的时候上体育课,是就是3000不及格,然后完全不会跑3000。但是我现在就是自发的去,就意识到这件事是很重要的。

[01:30:12] 主持人: 我觉得好羡慕你过去两年在OpenAI干的事儿,因为你能够explore(探索)的是世界上大部分99.99%这方面的researcher(研究员)和Infra engineer(基建工程师)完全他没有没有资格去碰的东西,你有先天这个得天独厚的优势。

你在最先进的model上,然后可以做这个优化,然后你每天都在未知的领域探索,你的探索一定是人类历史上第一个找到这个答案。

[01:30:40] 翁家翌: 但是我觉得我做的也是一些很trivial(琐碎的)的事情就是我觉得我的工作就是日常维护并不需要那么多这个智商就不需要太多智力上的是的就就是你只要把事情做好做对就好了然后方向很重要然后你只要在对的方向上做一些你自己认为正确的事情就好了

[01:31:11] 主持人: 那你觉得RL for 大模型这个东西还需要breakthrough(突破)嘛?还需要那种大的突破吗?还是说你觉得这个范式已经在那儿了,就是咱们把东西infra拉上去?

[01:31:24] 翁家翌: 我觉得还是有的,就是你again,就是不能以当前的这个状态来预测接下来会发生什么事,就接下来什么事情都可以可能会发生,有可能有新的范式,有可能有新的RL的范式,也有可能有pre-train的范式,都有可能,所以说每天都是得面对一些未知的挑战。

但是话又说回来,就是我觉得就是其实我很幸运在这个位置,但是如果把我换做任何一个人,如果他有我的context(上下文)的话,他应该也完全可以胜任。对,所以说我不觉得这个是只有我能够做什么东西,这个事情就是你换任何一个正常的人类,他应该也可以做。

未来 5-10 年大语言模型的挑战和瓶颈 [01:32:08]

[01:32:12] 主持人: 你太谦虚了,展望未来5到10年,你觉得还有什么有待探索的地方呢?就最大的挑战会在哪?现有的模型的能力的瓶颈,然后我们需要看到什么样的突破?

[01:32:24] 翁家翌: 我觉得目前的这个状态就是还没有scale up(规模化)完全,先等他这个慢慢hill climb(爬坡),先等他慢慢的从large-scale RL(大规模强化学习)的一些一些实验里面,然后看一下他最多能到多少性能,然后再去看之后还有什么要做的东西。

[01:32:48] 主持人: 所以你的意思是没有scale up,完全不是说compute(算力)不够,而是说现有(技术路线)的性能我们还没有榨干。我们先把它现有的方法和现有的compute(算力)给它榨干了,我们再看看我们推到多久了再说。并且还有很多infra的bug。哪怕你们现在的Infra,你也很确信是有bug的。

[01:33:06] 翁家翌: 对,这个,这个你不能说百分百没有bug呀,就是就是毕竟是人类嘛,然后每个人都有可能犯错,然后就是你还得修一下这个。比如说你因为人多了,然后context inconsistent(上下文不一致),然后每个人都会写一些奇怪的东西。

[01:33:27] 主持人: 那未来大模型然后加强化学习post-train这个pipeline,你觉得最大的瓶颈会发生在哪?

[01:33:36] 翁家翌: 我觉得瓶颈在于修infra的throughput(吞吐量),吞吐量你单位时间内能修多少个bug,然后以及单位时间内能迭代多少次

[01:33:48] 主持人: 能正确地迭代多少次?剩下的不重要,这个可以赋能剩下的所有的东西,是的,算法也好。

[01:33:57] 翁家翌: 就如果你把bug全修了,那你有可能算法连改都不用改就很好,就是很好。

[01:34:05] 主持人: 那怎么样把infra的这个效率提上来呢?需要什么样的架构?需要什么样的人?需要什么样的资源?

[01:34:12] 翁家翌: 这个我们还在探索,对,就我现在做的事情就是我其实已经不在那个最核心的位置了,但是我觉得我应该做一些更重要的事情,就我我们组在重构这个OpenAI内部的Infra,然后再做下一代Infra。

[01:34:29] 主持人: 你们的每一代的infra是会推倒重来,大家再根据现在的认知再做一个好的顶层架构,然后我们再像你曾经写天授那样写,还是会很就是小修小补?

[01:34:42] 翁家翌: 目前是推倒重来,因为之前那代infra已经三年多了,然后他堆积的问题其实已经很多了,然后我们希望就是用新的一个infra来去清理很多之前的technical debt(技术负债),然后能够在单位时间内能够给一些researcher(研究员)更好的一些iteration speed(迭代速度)。

[01:35:07] 主持人: 所以researcher(研究员)是不会参与到这个infra building(基建)的过程中,他们可能会给一些需求,对,然后,但具体写code怎么搞distributed training(分布式训练)

[01:35:16] 翁家翌: 这个不是他们负责的,然后他们可能到时候就改一个flag就好了

[01:35:22] 主持人: 那听起来OpenAI的researcher可能是第一个被AI取代的工作,对

[01:35:27] 翁家翌: 我感觉是的,反正就是单位时间内你能实验多少,他就想idea嘛,对,就是idea,反正你可以很便宜的生成,就是你一个人坐在那边写多少个,哈哈哈,然后你甚至生成idea这个事事情也可以被AI建模,然后下一步取代就是我觉得优先会取代researcher(研究员)。然后再取代这个infra engineer(基础设施工程师),然后就都取代了就好了。

但是这个sales(销售)可能不太会那么取代,因为sales还是你要说服对面人买单,你在对面是人,然后AI可能没有办法那么说动人,这可能还是要人与人之间的沟通。比较重要一些。

[01:36:06] 主持人: OK,那我们刚刚聊了text only(纯文本)的(GPT)3.5,然后聊了多模态的,你觉得agent和RL的post-train这个东西会有多大的没有本质差别?

[01:36:19] 翁家翌: 本身就是同一个东西,就是中间多加了几步tool call(工具调用),可能就是环境会多一点。对,就环境环境方面的改变。

[01:36:27] 主持人: 所以你觉得比起标准的LLM加RL post-train,agent加RL post-train谈不上新的挑战,因为本质上是同一个东西。你个人对于AGI的定义是什么?你觉得现在我们达到AGI了吗?如果你觉得还没有达到,或者说还差一点,你觉得?pre-train加RL post-train这条路能不能带我们去到那个你定义的AGI?

现在的预训练和后训练可以达到 AGI 吗 [01:36:30]

[01:36:51] 翁家翌: 就是OpenAI内部有个笑话,你抓15个人可能有20种定义AGI的方法。对,对我之前定义的方法是这个东西能够如果能够完成百分之八九十的这个我自己认为有意义的task(任务),那它可能就AGI了。嗯,我目前我觉得目前还没有,因为目前的话?

就是我至少从我的角度来看,我还是不放心他直接上手改我的infra代码,因为这个非常out of distribution(分布外)。就是AI infra在于它就占相对于它的这个数据集的占比是几乎为0,而且AI infra你验证的这个?这个反馈太长了,这个反馈太长了,成本也太高了,就是目前还是没有办法去触及到这一块的

[01:37:53] 主持人: good for you,听起来你短期内不会被AI替代。

[01:37:56] 翁家翌: 但是就是反正在这个strawberry出来之前,然后就是我们内部其实已经用strawberry一段时间了,然后大家都觉得啊,我的工作要被取代了,然后或者说我们我们就写一堆屎山吧,然后后面这个因为strawberry训完之后会帮我们清理。

就是可能一两年过去了,这还是这样,就是屎山还在那,就是并不会真正的改变什么东西,就是每个人都会overreact(过度反应),就是觉得这个技术来了哦,我们要怎么怎么样,但实际上并不会这样的,它是一个很慢很慢的循序渐进的过程。

OpenAI 还 Open 吗 [01:38:34]

[01:38:41] 主持人: 你现在在OpenAI,你以前在学术机构清华、CMU待过,然后可能在科研的lab也待过,但是现在很多人批评OpenAI已经和open(开放)没什么关系了,然后你自己之前你的一大爱好也是开源打破信息差,你觉得这事儿会对你的个人目标和偏好产生冲突吗?

[01:39:05] 翁家翌: 我觉得这个是个trade-off(取舍),我其实还是很热爱开源的,如果OpenAI有开源的东西,我可能会试着参与一些,但是我觉得就是我应该去做我自己认为更重要的事情,而且并且这个开源对于OpenAI来说,它是一个trade-off(取舍)。

就是你没有办法直接把最好的模型开源,因为公司要生存,公司如果不能生存的话,那么之后你可能就没有办法去继续融资做一些实验,然后有一些突破性的进展,这个都是很现实的问题,所以我认同这个trade-off(取舍)。

[01:39:47] 主持人: 但是OpenAI在一开始建立的时候,它的架构其实是很特殊的,对它不是以一个商业盈利的公司的架构一开始初创的,它一开始的至少公开资料上的slogan(标语)是让通用AGI平等地造福全人类,对你觉得闭源是让这个目标更近了还是更远了?

[01:40:08] 翁家翌: 首先这个通用AGI造福全人类这个东西是一直是拆成两个部分看的,第一个是实现AGI,第二个是造福全人类,通用AGI这个就很好说,就直接这个堆这个RL或者说堆Pre-train堆算力,然后scale up(规模化)造福全人类,目前的拆解是做产品然后以尽可能便宜的价格,就比如说有免费的ChatGPT用户,然后他们可以直接接触到,能够更容易的去接触到这个技术。

比如说这个免费应该也可以用这个语音模式,然后做一些就是体验,这样可能是更有利于这个造福全人类的,而不是直接开源,你丢一个这个裸的模型权重。那他也不知道怎么用

[01:41:01] 主持人: 所以你的意思是OpenAI的open不是对其他的大公司大模型公司的open,而是对普通人的open,是的,但这样的strategy(策略)可能,如果我觉得如果这是最后一英里了,咱们是百米冲刺了,要到AGI了,我觉得make sense(合理),我也认同但如果说AGI还是一个不说马拉松吧,但是不是一个一时半会儿、明年就能解决的事儿的话,会不会在技术上更开放、更透明,也会让OpenAI本身更有利于尽快的达到AGI呢?

还是说你觉得其实OpenAI现在其实不太需要把自己的技术细节公开出来?拿社区的反馈也不需要社区任何的帮助,OpenAI已经self-contained(独立的)可以实现AGI了

[01:41:56] 翁家翌: 让我想想,我觉得就是存在一种路径,就是你可以开源,然后你并且可以接受这个社区的反馈,然后更好实现AGI,这个是可以做到的。但实际上执行很多困难,就比如说其他其他人这个,就是因为你是第一,如果你开源了,那么其他人马上就变第一,然后其他人这个再训一下。

然后其他人闭源,然后就会导致你的就不是所有人都是同条心的,然后就会导致比如说这个OpenAI在当前这个环境下,它可能融不到资,然后没有人持续地为它输血。

[01:42:42] 主持人: 这个是有点博弈论的意思了,哪怕我是想为了AGI造福全人类,但是可能有人不这么想,有人就是想挣钱。所以为了防着这样的情况发生,OpenAI不得不闭源。至少在我的看来是这么认为的,那这个是公司存活的考虑,对不对?那如果现在OpenAI假如说就是无限资源,永远不用担心死的事儿。那你觉得你会很开心的把你现在这两年两三年的RL Infra开源出去,你会很开心吗?

[01:43:12] 翁家翌: 我当然会很开心啊,就是其实这个John Schulman还问过我这事儿要不要开源,然后我当时觉得不太好吧,就是因为这为了公司的考量,但是他还问了我这个事儿,对。

[01:43:28] 主持人: 所以是不是DeepSeek至少它open weights(开放权重)这个事儿让OpenAI重新有一轮内部评估?是的是的。你刚说OpenAI的使命要拆成两部分,首先实现AGI,再造福全人类。更深地说,我们要理解这个使命的话,你觉得真要实现这个过程,最大的机遇和挑战是什么?

OpenAI 实现 AGI 使命的最大挑战 [01:43:30]

[01:43:52] 翁家翌: 执行,对着正确的方向执行,只要能执行就好,就不要再出现一次,就比如说23年11月,

内部视角看 Sam Altman 被开除的经历 [01:44:02]

[01:44:02] 主持人: Sam Altman被开除那次,你希望这个整个组织架构越稳定越好,能够有利于你快速的往前进。所以从内部的视角看,当时Sam被开除,你们内部是什么样的?接收到的信息?因为我们在外部接收到的信息都是很玄幻的,说什么Ilya到底看到了什么。

[01:44:20] 翁家翌: 没有,那个就是随便谣传的就是捕风捉影,然后很多人在这边造谣,对。所以你内部的视角是什么?内部的视角就是应该是就是不信任,就是Ilya跟其他的一些董事会成员不信任Sam,然后投票把他投出去了。然后但是我们底下干活的人就觉得非常surprised(惊讶)。非常震惊,不知道发生了啥,因为董事会之前是对底下的人缺乏透明度的,然后我们也不知道这个决策是怎么做的。

是不信任他什么?不信任他这个人?因为你可以去看这个官方公开的那个调查报告。

[01:45:13] 主持人: 对,这是一致的。但其实最后的结局是Ilya走了,对这个化学反应是怎么发生的?就是明明已经把他开除了,他也不信任Sam,但最后好像Sam是更得人心的那一个。

[01:45:27] 翁家翌: 因为很多员工就觉得如果由一个纯技术出身的人领导的话,那可能没有那么多远见。就是AGI实现并不只是因为技术,你技术实现了就好了,但还是有很多商业的因素参杂在里面。就比如说你要融资,你要算力,你要如何去说服一些人去给你愿意投钱,这个其实也是很重要的一部分。然后如果你只有一个很好的一些这个研究经验的话,那可能还不是不是很支持你走这么长的路。

就从长远来看,还是需要Sam这样的人的。

[01:46:10] 主持人: 所以Sam可能反而是AI最难替代的那个人,因为他需要在商业甚至在地缘政治在资源上都能。

[01:46:21] 翁家翌: 就是你可以把Sam抽象成一个personality(人格),抽象成一个identity(身份),然后这个identity短时间内如果你用一个AI来替代的话,那就是这个别人对这个这个ID的认同感就会缺失。所以说这个是不能替代的。

如何看待 OpenAI 的人才流失 [01:46:37]

[01:46:44] 主持人: 你刚刚说John Schulman走的那天下午,你难过了好久。John Schulman不是唯一一个离开OpenAI的,OpenAI在取得巨大的成功之后,有无数的团队成员都走了。你觉得一个极度成功的一个组织,像OpenAI这样,最后大量的人才流失是必然的吗?是不可避免的吗?

[01:47:06] 翁家翌: 一个健康的组织是所有人都是可以替代的,就是你只要能够持续的培养新人,有造血能力,然后能让这个组织正常运转,就是可以的。哪怕虽然走了很多人,但是还是可以花 一些时间精力,然后再培养一波新人,然后持续的造血,相当于干细胞一样。

[01:47:32] 主持人: 所以OpenAI现在没有谁是不可替代的,那是不是也就意味着OpenAI做的东西,外面的人也不是说难如登天

[01:47:42] 翁家翌: 不能复刻了,你可以这么认为,因为其实就是把最简单的东西做好就好了,没有什么黑魔法

OpenAI 面对 AI 竞赛的内部视角 [01:47:43]

[01:47:50] 主持人: 现在我们可能这个世界在发生人类历史上最激烈的一次科技竞赛,OpenAI是点燃这一切的那个公司。你们现在内部的氛围有多intense(激烈)?就是你们会有很大的压力吗?

[01:48:10] 翁家翌: 看组,看deadline,看这个project timeline(项目时间线)。就是比如说post-training,目前这个压力还是挺大的。然后像其他组,比如说我们现在在重构infra,那可能有压力,但是没有像post-training那么大。

因为他们是有很明确的deadline,然后我们可以稍微延一延,因为我们需要更就着眼于更长远的考虑,我们要把这个事情弄对。

[01:48:42] 主持人: 所以其实外部的激烈的竞争,不管是来自xAI、Anthropic还是中国的大模型公司,会传导到你们内部的公司的日常开发的。

[01:48:52] 翁家翌: 不太会,除了DeepSeek那一波,就是因为他们说声称Twitter上声称这个他们的迭代速度非常快,这个还是引起了很多人的这个警觉的,因为内部的速度迭代速度其实相比于其他是有点慢的,所以说这就是为什么我们要重构infra

[01:49:13] 主持人: 所以其实对于OpenAI这样的i am ai基座模型大模型公司来说,生死线是infra cycle time(基础设施迭代时间),对其他的一些比如说data呀或者说什么算法有多少researcher,这就投人就好了,单位成本人力那AI infra不是人力吗

[01:49:33] 翁家翌: 好问题,但是AI infra需要更多的context(上下文),但是如果你只是数据的一些ablation(消融实验)像这个跑,那这个就是不要那么多context(上下文),你就直接很简单的就是你就直接很简单的就是进来,然后写个for loop然后把这个data config(数据配置)给弄好,然后跑就完了,对这个其实都可以自动化

[01:49:57] 主持人: 所以你们真正警觉的点是意识到DeepSeek内部的infra很好,他们迭代的很快,这个是引起了你们注意,其实你们不care(在乎)哪个model(模型)在哪个榜上又比GPT高了多少,这个根本不是你们care(在意)的

[01:50:12] 翁家翌: 就是我我们很长时间以来都没有在特地的去为了刷LMsys而做什么事情

[01:50:22] 主持人: 而你们真正care的是那个单位时间内的迭代速度和成功率的那个东西,对,你觉得OpenAI现在在这个指标上是全世界第一吗

[01:50:37] 翁家翌: 就是这个跟组织架构有很大的关系,其实就你比如说你抽出一个这个团队,然后去搞个startup(创业),然后那他们的迭代速度肯定是斜率远比OpenAI高,因为你首先你代码库小,然后沟通成本少,然后你只要集中于你的这几个use case(使用场景)那你就可以这样,但是OpenAI的话就是他要同时考虑很多use case(使用场景),然后各方面trade off(取舍),这个组织大了就是有这样的问题

[01:51:11] 主持人: 那如果这样的生死线,OpenAI已经不是第一了,那未来OpenAI还能做AI model的第一吗?每个公司都有这个问题。你的意思是每个公司做大了、做成功了,都会变慢这个速度?是的。

[01:51:24] 翁家翌: 然后就是取决于,就是大家都很差,然后看哪一个不差,不是那么差。这个差是相对于这个初创公司而言。

[01:51:36] 主持人: 那初创公司可能在这个指标上更好,它其他的指标可能很难和OpenAI竞争。

[01:51:41] 翁家翌: 比如说拿用户的反馈,所以这个都是trade-off(取舍)。这个就是人类发展、人类组织发展到这个规模之后必然会面对的问题。你没有办法避免,也不是说难以维持高人才密度,是说就是难以保持组织架构的context sharing(上下文分享)的一致性。这个会导致你的这个首先infra不一致,然后infra开始臃肿,然后组织结构也开始臃肿。这个人多就是这样。

所以说context sharing(上下文分享)理论上应该有一个拥有无限长的context的agent来替代。

[01:52:26] 主持人: 听起来这个是一个刚需?是的。因为这个会解决人类历史上这种臃肿的组织架构,不管是写代码还是干其他的事儿,都面临的一个问题。

[01:52:36] 翁家翌: 对,因为人脑的context(上下文)是有限的,你没有办法一下子存这么多context(上下文),但是AI可以。

[01:52:42] 主持人: 可能未来会每个公司有一个这样无限context(上下文)的一个agent,然后来当CEO就好了。对他负责所有的sharing(分享),负责所有的decision(决策)。可能没有比这样的agent更适合的decision maker(决策者)了。对,那么再展望未来,如果你希望AI可以解决一个世界难题,会是什么?如何预测未来?

肯定不会是杯子怎么掉下这种未来,而是整个人生、世界格局,所有的这些东西。嗯,对,为什么这个事是你觉得最想做的?

未来与宿命论 [01:52:48]

[01:53:15] 翁家翌: 我个人对于就是比如说追求一个这个自己造一个世界,还是很有吸引力,就是很有一些追求的。然后,但是如果你在高维度空间来看的话,你需要有一个,你需要提前生成剧本。

[01:53:37] 主持人: 我的理解是,你觉得我们的命运是可以被预测的,这个世界是个确定论,所以我们生活在一个确定性的马尔科夫过程里面?是的。那往深了说的话,你觉得人是没有自由意志的?是的。我现在脑子里面在想什么,我下一个单词说什么,我下一个问题问什么,全都是一开始宇宙大爆炸那一刻就定好了。这个是我已经验证了无数遍的。这在我听起来是一个相当悲观的世界观?是的。因为可能这是真的吧。

但是我自己内心深处,我不愿意接受,我也不愿意接受,就好像我就变成了一个在被模拟的原子。是为什么你会这么想?

[01:54:26] 翁家翌: 有些我的个人经历吧,就是不太方便说。但是我这个确实是事实,所有东西都是可以被预测的,所以理论上它是可以用AI解决的。但是如果你能拿到一个能够预测未来的机器的话,那么它对个人而言其实是一个灾难。

[01:54:50] 主持人: 这会导致所有的价值体系的崩塌,就如果有这样的AI model它做到了(预测未来),可能对人类社会来说最好的选择是毁掉这样的AI model,让它永远不要出来

[01:55:06] 翁家翌: 但是有些人就非常愿意去开发这种model,就是不然的话,这个他会被宿命论操纵着走。

[01:55:18] 主持人: 有人喜欢这样的model,是因为他想jailbreak(越狱)。所以你的意思是,有了这样的model之后,我要做那个和那个model预测的不一样的事儿?这你称之为逃脱。

[01:55:31] 翁家翌: 不是只是为了搞清楚这个世界背后运行的规律,或者说这个世界为什么要确定,为什么这个世界是宿命论,所以你觉得上帝不掷骰子,对,宏观不掷骰子,微观掷骰子。

[01:55:50] 主持人: 这个成立吗?如果说在量子力学的观测里面。

[01:55:55] 翁家翌: 这个成立,因为你可以在后台修改一些世界线,虽然你可以把我说的话认为这个是扯淡,没有问题。

[01:56:06] 主持人: 我没有认为是扯淡,我在尝试reason behind it(推理),我觉得这个我也想过很久,就是到底这个世界是不是确定性的,我们是不是有一个剧本,我们只是提线木偶,在这个世界的dynamics下完成我们的一次随机过程,都不是随机过程,是确定过程。我觉得是的,你对这个事毫无怀疑。

[01:56:33] 翁家翌: 我很怀疑,但是我尝试的去证伪,发现证不伪。我非常想让他证伪。

[01:56:41] 主持人: 我很感兴趣,我觉得我六七岁的时候就和我爸妈提过这个事,六七岁的时候,就和我爸妈提过这个事,你怎么知道我说的这句话不是早就确定性的,你怎么知道你的反应不是确定性的,我小时候就在想这个问题,但我后来发现如果是这样的话,我都不觉得我是人,就是或者说。

[01:57:01] 翁家翌: 所以最好的方式就是忘掉这一切,然后假装你不知道这个事儿,然后去体验当前的一些经历。你已经这么做了吗?我一直都是这么做的。我没有办法。还有一个解释是,世界不是这个时间线,不是线性的,它是可以跳跃的。所以说,你可以用一个理论来解释,就是未来的我帮助过去的我来完成某些决策。

[01:57:30] 主持人: 你刚说过一个瞬间,说你在小学还是初高中的时候,突然未来的你告诉曾经的你,你说你要什么,要make impact(制造影响力),要make impactt(制造影响力)。

[01:57:40] 翁家翌: 对,这个只是我脑子里蹦出来,就是这样一句话。

[01:57:46] 主持人: 那为什么你觉得世界线不是连续的?可能有未来的什么穿插来穿插去的?

[01:57:51] 翁家翌: 三维生物都是有它自己的局限性的,在三维的认知里面,这个时间就是一个线性的单向流动的,但是有可能在四维的时间里面,它这个时间并不是单向流动的,它可以任意跳跃,这是我找到的迄今为止合理的解释。

[01:58:09] 主持人: 所以你觉得真的你过去有无数个时刻,有一个未来的你像星际穿越的Murphy一样,在后面推那个柱子?

[01:58:19] 翁家翌: 对,这是可能性之一,因为这个无法证伪。

[01:58:22] 主持人: 而他推这个柱子,又会导致你在未来又会再过去推那个柱子,对?所以你现在最好的解决方案就是忘掉这个事,还坚信西西弗斯是幸福的。对这个聊下去,我们可以再聊半小时,我们先过了这个话题吧。我相信现在每一个AI的从业者、OpenAI从业者,特别是可能内心里面都有一个创业的种子。你有过这方面的考虑和想法吗?

考虑过创业吗 [01:58:35]

[01:58:53] 翁家翌: 可能有,但是现在我觉得我还没有看到很好的idea,然后并且我觉得OpenAI还是对我而言还是一个不错的地方待着。

[01:59:05] 主持人: 你会喜欢什么样的idea?是偏product(产品)的还是什么样的?

[01:59:09] 翁家翌: 我会觉得我更喜欢product,就是比如说像天授、像退学,我其实我搞research infra,我其实也是有用户的,因为你的用户就是researcher,然后你可以根据researcher的一些反馈来实时的进行迭代。

[01:59:25] 主持人: 所以你会希望类似这样的一个大家需要,反正就是有需求,然后你的天赋又能很好的施展的地方。

[01:59:31] 翁家翌: 然后技术什么样不重要,你比如说举个例子,就是他就是一个很简单的这个通知系统,其实也不能算系统,就没几行代码,写个PHP就好了,然后甚至你连PHP都不要,就是你直接搞一个那个,就是哪怕每天这个退学的第一版,就是白天更新一次时间,晚上更新一次时间。我是手动的,但是即使这样就有很多需求,技术不重要,重要的是就是抓住抓住需求。

希望十年后的自己是什么样的 [02:00:01]

[02:00:10] 主持人: 你会希望十年后的翁家翌是什么样的?他会在一个什么样的地方做什么样的事儿?

[02:00:15] 翁家翌: 我会希望他做自己那个时候想做的事,然后有足够的资源、足够的能力做自己想做的事,你就不去干预他那时候想什么,对,因为想法是会变的。

[02:00:31] 主持人: 可能你想什么也不重要,反正是确定性的(发展)过去了,你现在怎么希望?

[02:00:35] 翁家翌: 不太重要,然后我现在所能做的就是投资那个时候的我,还是投资未来,让他有选择的权利。

[02:00:44] 主持人: 那你为什么还要投资呢?反正投不投资你都会到那个点。

[02:00:47] 翁家翌: 但是我觉得就是投资一下还是会更好的吧,就万一你不投资。

[02:00:53] 主持人: 你这不是在骗自己吗?投资一下不会有任何影响的,我们是确定性的(发展)。过去的你就是每天在家里睡大觉,你也可以到那个地方投资,未来可能也是确定性的。所以你投不投资也不是自己的自由意志,是的,你之前的投资未来都是提前学高中数学,或者说怎么怎么样。你现在除了技术上的AI上的,你有什么其他的想投资未来的?

[02:01:14] 翁家翌: 提前退休,然后有足够的资本?

[02:01:18] 主持人: 想做自己自己想做的事,给你无限的钱,你现在想退休去干嘛?花一点时间找到自己想做的事,也就是说你觉得你现在手头上的事不是你很想做的,你只是迫于生计,你想要赚到足够能够退休的资本,然后再去找那个事。

[02:01:33] 翁家翌: 我手头上的事,比如说RL Infra,在很长一段时间都是我想做的事。但是随着时间的推移,像比如说逐渐稳定之后,或者说这个发生了一些事情之后,然后因为每个人的这个重心是会变的。我曾经想通了我想要什么这个事情,但是我现在又想不通了。你现在又想不通了?对,我觉得这其实也很正常。

[02:02:01] 主持人: 所以你现在反而是在人生的某个迷茫期,曾经觉得很喜欢的RL infra也好,做有impact的事儿也好。

[02:02:10] 翁家翌: 对,因为已经看到头了,然后剩下都是很确定性的事情。

[02:02:16] 主持人: AGI是板上钉钉的事了。对,好家翌,我没有更多的问题了。然后我希望你在2025年这个时间节点上,在这个podcast最后留下你的一段话。

[02:02:27] 翁家翌: 去探索说到底自己想要什么,虽然我对这个问题我曾经一度想通了我自己想要什么,但是我其实还是没有那么想通,就是这个问题值得一生去思考。

视频简介