翁家翌谈强化学习、开源与 OpenAI|WhynotTV #4 详细笔记
- 主持人:何泰然
- 嘉宾:翁家翌
- 视频时长:02:02:45
- 视频:WhynotTV Podcast #4:翁家翌
- 整理依据:用户提供的《翁家翌_WhynotTV_原文转录.md》,覆盖开场至节目结束。
阅读说明
时间采用
时:分:秒,与转录中的章节和发言起点对应。各话题标题中的起始时间附有视频定位链接。正文按节目顺序整理,合并了口头重复和来回确认;技术难点保留较多解释。节目讨论的时间背景为 2025 年,文中的公司状况、模型能力和职业判断均按这一背景理解。转录中的个人回忆、推测与信念,会在相关段落注明。
全篇概览
这次访谈从童年和升学聊起,逐渐进入开源项目、职业选择,以及大模型训练中的工程问题,最后谈到组织管理、未来预测和人生目标。贯穿其中的几件事是:
- 他很早就愿意为未来花时间。 提前学数学、练代码、积累项目经验,都与后来反复提到的“让未来的自己有选择”有关。
- 做工具通常从自己的需要开始。 课程资料、天授和签证查询服务,分别解决找资料、改实验代码、找签证日期的问题。他把工具公开,让有同样需要的人也能使用。
- 他逐渐找到了适合自己的工作。 早期强化学习研究中的反复调参让他疲惫;整理代码、设计框架、改善使用体验让他更有兴趣。
- 他在 OpenAI 的主要贡献是后训练中的 RL 基础设施。 多个模型训练项目使用这套系统,因此他的工作会出现在一系列模型发布中。
- 他反复强调实验的正确性和速度。 系统出错、评估失真、团队理解不一致,都会拖慢研究。更可靠的系统能让研究人员在同样时间内验证更多想法。
- 他对个人目标保留调整的余地。 他看重帮助他人带来的满足,也承认兴趣会变化,自己在节目结尾仍处于重新寻找方向的阶段。
一、童年、数学与信息学竞赛
00:00:00—00:02:33|开场:嘉宾做过什么
开场先用访谈摘句介绍翁家翌的工作和观点。主持人将他的主要贡献归纳为强化学习、后训练、infra 三项,并介绍了他在清华公开课程资料、开发天授和免费签证查询服务的经历。
这里的 infra 指支撑模型训练和实验的基础设施,包括让研究方法能够正确运行、有效使用计算资源、便于修改和反复实验的软件系统。翁家翌后来在 01:07:43 详细说明,自己搭建了 OpenAI 内部的后训练 RL infra,多项模型训练工作都使用过它。
主持人还提到,采访大纲使用了 GPT-5 的深度研究功能,采访对象参与过相关模型的开发。
00:02:33—00:05:56|学得慢,理解后用得快
翁家翌从小学一年级开始学奥数。父母让他试过奥数和语文课程,他对奥数更感兴趣,随后一直学到小学毕业,初中也继续学。小学做口算时,他常常比同学快很多,这让他得到很直接的成就感。
他对自己的描述有一个容易忽略的地方:接触新知识时,他觉得自己常要花别人两三倍的时间;理解充分之后,调用和使用这些知识就很快。 到工作以后,读一段代码、弄清整套背景,仍然需要较长时间。
00:05:13 他用“知识树”解释这种体验:学习时需要把基础、推导和应用之间的关系建立起来;关系熟悉以后,就能很快想到结论。
他举了背课文的例子:晚上先努力背到能够断断续续完成,睡一觉后,第二天往往就熟练很多。由于知道自己需要较长的消化时间,他选择提前学:初中开始问数学老师高中内容,初二大致学完高中数学,初三开始接触微积分。
00:05:56—00:08:10|“投资未来”从兴趣和正反馈开始
00:06:02 他把提前学习称为“投资未来”。在已经有余力的情况下,多学一些以后会用到的内容,能让后续学习更轻松。父母对具体学习方式干预不多,这种安排主要由他自己决定。
兴趣的来源也很具体:原有内容逐渐缺少新意,更进一步的数学能引起好奇;做对题、理解新东西,又给他持续的满足感。00:07:19 他借用强化学习里的“奖励”来形容这个过程:先有一点成就感,再愿意多投入,随后得到更多反馈。
篮球和跆拳道的经历被他拿来作生活中的例子:他也尝试过,但实战时常输,缺少同样强的正反馈。主持人据此追问兴趣如何形成,两人最终把它落在了擅长、投入和成就感的相互促进上。
00:08:10—00:16:02|编程兴趣、竞赛失利与清华降分录取
编程开始于初一。时代中学有编程兴趣班,父母觉得他可能会喜欢,他试过后便继续学。到了高中,信息学竞赛又承担了明确的升学目标:对他所在地区的学生来说,竞赛提供了进入清华、北大的另一条机会。
高一时,他同时参加数学竞赛和信息学竞赛。数学竞赛取得过一些成绩,但继续冲击省队需要更强的训练支持;学校基础有限,他自己也感到后续学习吃力,于是逐渐把主要精力放在信息学上。
00:10:19—00:12:34 他回顾了当年的参赛与录取过程:
- 先参加 NOIP 提高组,再通过省内选拔进入省队;当年福建省选分寒假和四月两轮。
- 省队成员随后参加清华或北大的夏令营,争取录取优惠,再参加全国比赛 NOI。
- 高一时,他连省选都没通过;高二凭一些启发式解法拿到分数,其中“最小双圆覆盖”一题得到约 70 分,帮助他进入省队。
- 清华夏令营给了他“无条件降 60 分、有条件本一线录取”的优惠。达到相应 NOI 名次后,可以使用本一线条件;更高奖项还有当时的保送机会。
- NOI 最终只拿到铜牌,未达到本一线优惠的条件。他记得自己是当年福建省队成绩最后的一名。
上述竞赛流程和录取条件,均为他对当年经历的回忆。
00:12:54—00:14:10 高二下半年没有系统准备文化课,他担心自己的高考成绩,尤其害怕结果的不确定。当时还可以接受上海交大的本一线录取条件。经过考虑和家人鼓励,他最终保留清华降 60 分的机会,继续准备高考。
高三期间,他仍会偷偷写程序。00:14:16 他提到曾在 iPad 的浏览器里直接输入代码,没有本地编译环境,写完就提交。这要求他先想清整体逻辑,出错后迅速定位。
他尤其喜欢“常数优化”:两个程序即使都有 的时间复杂度,实际运行时间仍有差别。评测榜按速度、代码长度排序,他会同时优化这两个指标。升学压力减轻后,他依旧愿意做这些练习,说明编程本身能给他乐趣。
二、清华:资料公开、科研尝试与申请受挫
00:16:02—00:19:23|把课程资料公开,让后来的人少走弯路
谈到 2016 年入学后的清华生活,翁家翌首先想到的是公开自己的作业和搜集到的历年材料。他把能公开的内容放到 GitHub,涉及版权问题、老师明确限制公开的内容则有所保留。
00:17:51 他解释,有些同学能力很强,却不擅长找资料,也未必有熟悉的学长学姐可以请教。知道往年的作业、课程重点和解题方式,会明显影响学习中的时间分配。
他举的情形是:一道作业花上十几个、二十个小时,又不敢问助教,最后长时间卡在局部问题里。公开资料可以让这些同学有参考,减少反复摸索,把省出的时间用于更想做的事。
他还开玩笑说,许多学生可能认得他的名字,因为用过他的作业。这个细节与后文的“影响力”相连:他很在意自己做的东西有没有在别人的日常生活里派上用场。
00:19:23—00:28:00|误打误撞进入 RL,逐渐转向工具开发
大二时,他向学长询问实验室,得到朱军、唐杰、崔鹏等老师的推荐。他把推荐顺序理解成某种排序,参加学术新星计划后选择了朱军老师。
当时可选方向包括贝叶斯、生成式对抗网络 GAN 和强化学习 RL。他原本觉得图像生成很有意思,却对术语不了解,误选了 RL。后来发现是在训练程序打游戏,就继续做下去了。
他在本科有三类兴趣:人工智能、图形学、网络安全。
- 网络安全:喜欢发现系统中的问题,曾与学长发现成绩单下载支付方面的漏洞,随后反馈给学校相关部门。
- 图形学:初中看《创:战纪》时被电影特效吸引,希望有一天能构建自己想象中的场景。大二图形学课程中,他投入很多时间做大作业,尝试减少渲染迭代次数,并渲染了一张高分辨率、噪点很少的 16K 图像,拿到 A+。
- 强化学习:已经进入相关实验室后,他考虑到科研需要集中精力,最终沿这一方向继续做。
00:24:04—00:26:43 他早期参与的 VizDoom 项目,要让神经网络在固定地图中控制角色,完成躲障碍、打怪、捡血包和到达终点等任务。项目获得了比赛冠军,但实际研究体验让他感到疲惫。
主要困难有三项:
- 任务范围窄。 为了提高特定地图上的成绩,需要做很多针对性调整,模型容易过度适应这一环境。
- 训练不稳定。 要不断加经验性的处理,避免训练崩溃和边缘情况出错。
- 调参缺少把握。 即使训练能够跑下去,也很难知道下一步该改什么,才能稳定地提高成绩。
他觉得 VizDoom 已经比 Atari、MuJoCo 等常见任务复杂。人很容易理解“这是障碍物”,程序却需要从训练中获得相关知识;对人简单的游戏任务,也可能给 RL 带来很大困难。
00:26:58 这段经历让他开始考虑:怎样把代码整理得好用一些,让做这些研究的人更顺利地开展实验?他对重构代码、软件抽象和用户体验很有兴趣,到了大四便想做一个 RL 库。这直接通向了后来的天授。
00:28:00—00:30:38|2019 年 Mila 暑研:方向和条件都重要
为准备大四申请,他联系过许多暑研机会,最后由导师帮助联系到 Yoshua Bengio,2019 年夏天前往 Mila。他回忆,申请联系发生在 Bengio 获图灵奖之前。
暑研任务转向语言模型:Bengio 给他和带他的博士后提出一个想法,用路由器选择不同计算路径。他用后来熟悉的 MoE,混合专家模型 来描述这项尝试。
对一个此前主要做 RL 的学生来说,Transformer 和自然语言处理都需要重新学习。他花了很长时间补背景,最终实现的东西也没有取得理想效果。
00:29:36 回头看,他认为要让这类方法奏效,需要算力、工程能力和扩大实验规模的条件。当时主要由一个人、几张卡来做,资源和实现能力都有限。即使想法有潜力,条件也可能支撑不起有效验证。
主持人把这段经历与他后来在 OpenAI 做语言模型强化学习联系起来。他对此的回应很朴素:从结果往回看,容易把经历串得过于顺畅,当时的人并不知道后面会发生什么。
00:30:38—00:32:47|早期 NLP 与 RL 为什么难做
他对当时 NLP 的印象是任务很分散,许多人已经在尝试把强化学习用于语言模型,但训练稳定性很差,Transformer 一接上 RL 就容易出问题。
00:30:42—00:31:32 他从后来的经验回看,强调了两个条件:环境足够明确,例如纯文本;奖励信号足够强,能够指导训练。早期一些尝试把游戏图像或游戏内部状态编码后输入随机初始化的 Transformer,再让它做决策,学习负担很重。
他也承认自己当时缺少足够的领域背景,做起来很吃力。00:32:24 即使把现在的理解带回去,原有资源和工程能力仍然会限制结果。
关于早期 MoE 的表述
转录中有“当时没有 MoE”这样的口头表达。本节据他描述的项目内容,记录他当时对路由和不同计算路径的探索,不据此判断 MoE 的发明时间。
00:32:47—00:35:28|博士申请受挫,也开始重想评价标准
暑研结束后,他的状态不太好。身边同学在其他学校暑研,已经做出成果、发表一作论文;自己主要拿到一封推荐信,也不知道信里如何评价,申请时很没有底。
他原本按博士项目准备,最终只拿到硕士录取,当时确实失望。周围普遍认为博士比硕士更好,学历越高,未来发展越好,身处其中很难完全不受影响。
后来他逐渐觉得,个人的发展需要看实际做过的事情。他花时间调整心态,继续寻找自己擅长、也能让自己有特点的工作。这个变化经历了一个过程,本科时只走出了一部分,到硕士阶段才理解得更清楚。
00:35:28—00:41:08|给 GPA 设目标,把时间留给项目
00:35:37 他认为,大学里可以为自己寻找更合适的评价方式。只沿着 GPA 排名继续比较,总能找到更多学校、年级和人群,比较很难有终点。
到了硕士阶段,他开始从用人方的需要理解求职:公司招人,希望对方能承担具体工作。与岗位密切相关的经验,可能让一个应届生很快发挥作用。
00:37:08 苏航老师曾向他提出三类值得积累的成果:论文、比赛,以及 GitHub 上达到三位数 star 的项目。这让他看到,开源工作也能体现能力,可以成为长期投入的方向。
面对“GPA 对眼下申请重要,但几年后作用下降”的矛盾,他采取的是先达到需要的标准,再控制额外投入。例如期末前算清已有分数,判断要花多少时间复习。他举出 87 分、B+ 这样的成绩,表示在满足目标后就可以接受。对他来说,省出的时间可以继续做其他项目。
00:39:52—00:41:08 他还回顾了出国决定遇到疫情的时期:申请发生在 2019 年底,等待和拿到录取时,疫情、领事馆关闭和国际环境都增加了不确定。那段时间,他主要在家写天授和签证查询服务。把注意力放在手头能做的事情上,能让自己平静一些。
三、天授、签证查询与他看重的影响力
00:41:08—00:48:07|天授:好用的抽象怎样帮助研究
天授的起点很直接。2019 年 12 月,翁家翌已经积累了不少 RL 实验代码,想把它们整合起来,让自己的实验更方便。2020 年 2 月前后,他研究了 Ray 下的 RLlib,希望改造已有框架满足需要。
他花了约一个月读代码,仍觉得复杂,难以确定该从哪里改,于是决定自己写。按他的回忆,第一版用了约两周。
当时他对再发一篇论文兴趣有限:已经有论文,也参加过比赛,申请已经提交。他更想做一个正式、好用、有人愿意用的开源项目。因此,他在这段对话中说,多一篇论文对自己已经没有多少意义。
00:43:42—00:46:24|抽象清楚,修改的位置才清楚
他觉得第一版能较快完成,是因为核心抽象划分得比较合适。共用的部分由框架处理,每个算法需要补充的独立逻辑就很少。他回忆有些算法甚至不到 20 行即可接入。
对研究人员而言,框架的价值体现在几个实际问题上:
- 能否直接运行已有算法,先建立一个可工作的实验。
- 为验证自己的想法,需要修改哪个部分。
- 修改后,是否能明确理解它会影响什么。
- 增加一个功能时,框架有没有清楚的扩展位置。
他特别在意“想改某个功能,就能找到明确的位置,而且改动的效果可预期”。 这种设计能减少研究人员在框架内部找路、重复实现和猜测行为的时间。
00:44:32—00:47:44|一致性为什么会随维护变难
他多次使用 consistency,一致性 这个词。放在代码库里,主要指各部分遵守相同的设计理解,接口、假设和功能分工能够互相配合。
多人维护时,参与者可能只熟悉自己负责的一小块,对其他部分的假设又没有及时交流。随后容易出现重复代码、职责交叉和功能堆积,代码就越来越难理解和修改。
早期他有时间独自处理大部分开发,因此比较容易保持统一。后来入职 OpenAI,精力有限,便把维护权交给社区。他觉得有一个能作最终决定的人,有助于延续整体设计。
他也承认,继任维护者的理解与自己的理解存在差异,一些重写和累积变化已经让天授出现了复杂化。考虑到项目需要长期延续,他接受这种程度的变化。独自包办能满足早期需要,后续仍要有人接着维护。
00:48:07—00:49:54|tuixue.online:疫情中的签证日期查询
签证查询服务同样来自他自己的需要。疫情期间,不同领事馆开放、关闭和放出预约日期的情况不断变化,他想知道哪里有可用日期,搜了一圈没有找到合适工具,便自己做了查询服务,免费提供给大家。
他的想法与课程资料和天授相通:自己有这个需求,其他人很可能也有;既然已经做出来,就分享出去。
主持人是使用者之一。对话中提到访问量很大,但“一百多万”“一千多万”的说法带有现场回忆和推测,适合用来理解受欢迎程度,具体统计值在转录中没有核实。
00:49:19 嘉宾说,服务在访谈之前已经关闭。疫情过去后需求下降,美国领事馆网站升级使原有爬虫失效,他也没有时间继续改写,因而停止维护。
01:59:31 在后面的创业讨论中,他补充了一个很能说明需求的细节:最早的版本甚至靠人工在白天、晚上各更新一次预约时间,已经有很多人需要。工具的初始价值,来自信息对使用者是否有帮助。
00:49:54—00:56:21|影响力的具体含义:做的东西能帮助别人
00:50:07 翁家翌把天授和签证查询称为自己做的“慈善”。它们没有盈利目标,哪怕要自己花钱,只要能够帮到人,也会让他满足。
他回忆,高中时曾突然想到,可以用“有多少人记得自己的名字”衡量一生。后来做过一些事情,他发现自己确实享受这样的过程:做出的工具对别人有好处,自己认可它,使用者也愿意肯定它。
00:52:19 对主持人关于名气的追问,他补充了条件:名气也可能伴随负面影响,自己想做的是力所能及地对身边的人好,做对大家有用的事。一个职位带来的知名度,未必能说明这种帮助。
主持人继续追问:他想摆脱外部标准,却仍在意他人的认同,这该怎么理解?他的回答是,自己更认可使用者发自内心的肯定,以及人们在实际使用中形成的共识。GitHub star、工具使用量等,都可能反映这种认可。
00:55:08—00:55:38 还有两个边界很重要:
- 这套标准只用来要求自己,他不打算把它变成对所有人的要求。
- 如果自己的标准开始造成困扰,可以修改。后来没有继续做个人开源项目,也没有因此觉得必须补上。
他承认,社会使用统一评价方式,有快速筛选人的现实原因,短时间内很难改变。个人能够做的,是逐步理解自己的需要,为时间和精力选择更合适的去处。
四、从 CMU 到 OpenAI:怎样找到适合自己的工作
00:56:21—00:59:46|求职时,他想接触工业界的前沿研究
原计划 2020 年秋季入读 CMU,受疫情影响,他在家上了一年网课。硕士阶段很快要面对求职。他说最初准备得比较随意,投了约 18 家,主要拿到 Google 和陈天奇老师创办的 OctoML 的机会。
如果只有这两个选择,他更倾向 OctoML。他担心进入大公司后,被安排做自己兴趣较少的前后端工作,希望工作能贴近自己的技术积累。
后来继续面试,又拿到当时幻方计划筹建 AI 实验室的机会,内容是 RL infra;他在访谈中把这段计划与后来的 DeepSeek 联系起来。此外还谈到英伟达的 RL system 岗位,FAIR 则最终因流程原因没有录取。
00:58:49 他选择 OpenAI 的主要理由是:当时 OpenAI 与 DeepMind 都是他非常认可的强化学习研究机构,能够进入其中,便有机会亲自学习世界前沿的工业研究怎样组织和推进。
他此前见过的学校项目,往往由少量学生完成,资源、工程和方法都受到限制。他期待在 OpenAI 接触更系统的研究工作方式。这个决定发生在 ChatGPT 走红之前,他当时没有预见后来的产品成功。
00:59:46—01:01:54|John Schulman 看中了什么
他由 John Schulman 面试并招入团队。01:00:20 他后来问过原因,得到的反馈包括:GitHub 项目做得很好,工程能力扎实,而这种能力能给许多项目带来帮助。
最后一轮是开放的端到端任务,需要从头写出一个东西。Schulman 给了三个小时,他约两个小时完成。演示时出现一个 bug,他当场修好,继续完成展示。
他记得这道题只给自己和 Andrey Mishchenko 做过,两人都通过。具体题目内容在访谈中没有公开。
这段经历让他感受到,自己此前投入的开源和工程工作,确实能被合适的团队识别。他很感激 Schulman 给的机会;得知对方离职那天,难过得关掉电脑,一个下午没有工作。
01:01:54—01:03:16|为什么硕士毕业后直接工作
硕士阶段接触工业界后,他已经明确想进入公司做研究和工程。当教授涉及学术竞争、项目经费和其他限制,他对这条职业生活缺少兴趣。
因此,他把问题具体化为:想去的团队要求什么经历,自己怎样尽早具备这些经历? 本科或硕士阶段也可以积累论文、引用和有特点的项目,进而与博士毕业生共同竞争岗位。
他尤其强调,要想清楚对方为什么愿意招自己:已有经验解决什么问题,项目展示了什么能力,是否刚好符合团队需要。这也是他重新理解学历与求职关系的过程。
关于博士的判断有明确前提
这项判断围绕他自己的目标展开:进入工业界 AI 团队。他已有论文、比赛和开源经验,也能够用项目展示岗位需要的能力。他对直接工作的倾向,与这些条件及当时的行业需要有关。
01:03:16—01:06:31|工程能力怎样进入研究过程
主持人问到研究能力与工程能力的价值。翁家翌认为,在访谈时的大模型研究环境中,工程能力已经非常重要;但在自己求职的早期,他对市场需要没有那么确定,因此论文和开源两方面都尽量准备。
01:04:21 他引用一位同事的判断:让擅长研究的人补足高水平工程能力,往往比让优秀工程师逐渐参与研究更困难。随后给出的理由集中在研究如何实际推进:
- 有效实验首先依赖正确的 infra。系统本身有问题,跑出的结果就难以支持判断。
- 在可信的系统上,同样时间里能完成多少次有效实验,会直接影响进展。
- 团队中长期做同一方向的人,会积累研究直觉,可以通过讨论帮助确定值得尝试的想法。
- 把想法落实为实验、拿到可靠结果,也是研究工作中很重要的一部分。
他提到 Alec 这样从早期 GPT 工作就积累经验的人,可能已经形成很强的判断力。在他看来,与有经验的同事讨论,往往就能得到一批候选想法;把它们高效地验证出来,是推进工作的关键。
对于博士培养,他的批评是重点设置:学术训练更重视找到方向、完成成果表达,对大规模系统的正确性和迭代效率投入较少。
01:06:31—01:09:28|为什么他参与了很多模型发布
01:06:49 他给出一个很强的经验判断:在自己的认知范围内,各家的 infra 都存在不同程度的 bug,修复这些问题能改善训练效果。
主持人进一步问,Llama 的训练效果是否受更多 bug 影响。翁家翌表示自己不知道,只能猜测。
他个人喜欢设计、维护能被很多研究项目使用的工具。01:07:43 他说明,在 OpenAI 搭建了后训练 RL infra,团队曾用它训练 RLHF 模型;大的模型发布涉及这些基础工作,因此常会列出他的名字。
他也从职业发展角度考虑过贡献如何扩大:单个研究项目覆盖的工作有限,一套被多个团队使用的基础设施,能参与更多实验和模型。他甚至给自己设过一个直观指标:尽量增加在 OpenAI 博客中出现名字的次数。
RL infra 恰好接近研究人员的使用层。他需要理解训练目标,及时响应使用者需求,也能把系统改进带到多项工作中。这个位置符合自己的能力和兴趣。
01:09:28—01:13:13|给学生的建议,以及停止主力维护天授的原因
面对 2025 年仍在考虑博士或直接就业的学生,他倾向于建议:如果目标很明确,就是进入工业界 AI 实验室,可以尽早积累这些团队需要的经验。
理由有两方面。博士周期较长,毕业时研究方法和行业需要可能已经变化;大模型团队当下又需要大量能让系统正确运行、扩展规模和提高效率的人。选择训练内容时,可以直接观察岗位所需的实际能力。
01:11:39—01:12:07 两人谈到传统 RL 学术研究与工业应用的距离:前者常围绕 Atari、MuJoCo 等有限任务,比较某个采样规模下的分数;后者需要用 RL 处理真实使用中的问题,实验规模和工程要求也随之变化。
翁家翌说,自己在 2022 年 8 月 意识到这种变化,随后逐步停止主力开发天授,把更多时间转到 OpenAI 的内部 RL infra。天授仍主要服务传统基准任务,他觉得新工作更值得投入。
主持人问,为什么当时没有公开写文章提醒其他学生。他回答,担心从内部经历得出的看法可能涉及保密问题,因此没有贸然公开。
五、ChatGPT 早期:从团队尝试到意外走红
01:13:13—01:14:22|访谈怎样解释强化学习和后训练
01:13:52 翁家翌对强化学习的解释很简短:如果可以描述一个环境,并让模型在其中获得反馈,就可以通过反复尝试和反馈,让它越学越好。
这段解释包含三个基本部分:
- 模型能做什么,以及它与什么样的环境交互。
- 怎样得到反馈,判断一次尝试的表现。
- 怎样利用反馈调整模型,再继续尝试。
主持人随后问后训练是什么。他先补充历史背景:自己加入时,相关团队叫 RL team,当时他们还没有沿用后来这样清晰的“预训练、后训练”团队称呼。
为了阅读后文,可以把节目中使用的几个词按其具体作用理解:
| 术语 | 本期讨论中的含义 |
|---|---|
| 预训练 pre-training | 获得后续训练所依赖的基础模型能力。 |
| 后训练 post-training | 在已有模型基础上继续训练,改善指令遵循、交互和任务表现;本期着重讲其中的强化学习工作。 |
| SFT,监督微调 | 利用示例数据继续训练模型。访谈说早期团队广泛使用 GPT-3.5 的 SFT 版本。 |
| RLHF,来自人类反馈的强化学习 | 利用人的反馈形成训练依据,推动模型产生更符合使用者需要的回答。 |
| PPO | 本期提到的一种强化学习训练算法;嘉宾重点谈它如何在训练系统里跑通。 |
| RL infra | 支撑上述 RL 训练、采样和实验迭代的软件系统。 |
以上为阅读所需的简要释义。
01:14:22—01:16:01|先尝试网页浏览,再集中改进聊天
按嘉宾回忆,他在 2022 年 7 月 加入 OpenAI 时,John Schulman 的小团队正在做 WebGPT 后续方向的工作,希望让语言模型进行网页浏览。
他描述的当时模型,在浏览任务上的表现有限。浏览需要工具调用,整套流程更难做好。因此团队先集中改善用户交互,把聊天和指令遵循做好,再通过 RLHF 改进。
01:15:21 当时内部已经有 GPT-3.5,但 PPO 流程不好用,团队较多使用 GPT-3.5 的 SFT 版本反复迭代。后来有了 GPT-4,以及 Greg 为相关训练能力搭建的基础设施,才有条件进一步把强化学习接上去。
01:16:01—01:19:18|团队没有预料到 ChatGPT 的用户规模
翁家翌当时能看到模型很多不足。初次试用觉得它会说话,后来发现可以解决一部分代码问题,但对自己的帮助仍有限,使用意愿没有一下子变得很强。
他认为,自己一直看着模型逐步变好,因此感受也比较渐进。把模型展示给没有接触过的人时,对方的反应却很强烈,这让他意外。
01:17:12 他回忆,早期主要是自己所在的小团队做聊天相关工作,并提到可以从首版 ChatGPT 发布页面的贡献者列表看出团队成员。
01:17:44 ChatGPT 在 2022 年 11 月 30 日发布时,他正在参加 NeurIPS。几天后,周围的人都在讨论它,觉得有用,服务器也多次承受很大访问压力。他把这种使用者主动推荐给别人的现象,与签证查询服务的经历联系起来。
01:18:52 对外发布原本还带有收集真实用户数据、观察反应的目的。他记得当时预期可能最初来一两万用户,随后热度下降;如果没有人持续使用,几天后可能就关掉。实际用户增长远超预期。
01:19:18—01:20:52|入职初印象:研究直觉强,工程方法继续补齐
他最初觉得 OpenAI 像一个大实验室,研究直觉很强的人很多,但工作方法没有自己事前想象得那么系统。
后来 Barret、Luke、Liam 三位来自 Google 的同事进入 RL 团队,带来更重视实验效率的做法。他们讨论过单位时间内尝试次数与取得进展的关系,推动团队改善基础设施,让验证更快。
主持人用“一周做 30 次实验提高到 300 次”作示意,嘉宾表示大致如此。
他的理解是,研究也依赖持续试错。只要实验值得做、结果可信,更多有效尝试就能提高发现有用方法的机会。
01:20:52—01:24:09|组织效率取决于信息能否传清楚
他赞同小团队中较高的人才密度有利于创新:成员能主动提出和接续工作,合作中也容易出现原先没有计划的成果。
对公司规模扩大,他承认保持这种状态的难度会增加。对话中,他提到自己约是第 280 位员工,访谈时公司已达三千多人。人数属于当时的口头回忆。即使公司变大,也仍可划出专门的小团队进行探索。
01:22:16—01:22:34 他认为有帮助的组织做法包括简化架构、取消不合理的会议,尤其要让信息传达准确:管理者知道一线做到了哪里,执行者也理解决策的目标和约束。
他举例说,Sam 曾通过研究助理了解内部进展;Greg 深度参与过基础设施,熟悉技术细节。管理者持续掌握这些背景,决策才容易与实际开发配合。
01:23:55 他把公司管理与代码库维护联系起来:两者都需要一致的理解。如果各部分对目标、状态和约束掌握得不同,就可能各做各的,增加协调和返工。
六、RLHF 和工业级 RL infra:本期的技术重点
01:24:09—01:25:10|他先在 GPT-4 的新系统上调通 PPO
翁家翌回忆,自己最先在新 infra 上调通的一版 PPO 使用的是 GPT-4,时间约在 2022 年 9 月。GPT-3.5 当时还在使用旧系统,PPO 没有调得很顺。
这个顺序提示,内部训练进展与对外发布顺序可以不同。访谈中的“先在 GPT-4 调通”描述的是他参与的这一轮工程工作。
团队借用了其他组已经完成的一些流程和排错经验,同时仍需自己处理奖励模型训练、数据收集,以及 RL 系统的问题。基础模型已经存在,也还需要大量工作才能让整套后续训练顺利运行。
一处时间细节
原转录在新 infra 准备时间的“22 年 8 月”后标有“口误”,本笔记保留这处不确定。嘉宾随后另行回忆,自己在约 2022 年 9 月跑通了 GPT-4 上的第一版 PPO。
01:25:10—01:27:01|奖励提高,为什么体验仍可能下降
01:25:22 他认为早期 RLHF 的关键困难之一,是不知道该怎样衡量模型是否变好。训练可以产出很多版本,即 checkpoint,训练检查点,但哪个版本更适合用户,很难从一个数值直接确定。
01:25:40|奖励模型也可能被模型钻空子
模型训练时,会朝着奖励信号更高的方向调整。奖励模型能够提供一个可优化的分数,但这个分数与人实际喜欢、认为有用的回答之间,可能存在偏差。
他描述了一种情况:随着训练继续,奖励分数上升,随后逐渐趋于平缓;人的实际感受却可能先变好,再变差。模型越来越会取得奖励,某些行为却偏离了真实使用需要。这就是这段对话中的 reward hacking,钻奖励机制的空子。
问题随后落到版本选择上:即使分数看起来稳定,也可能已经越过最适合用户的训练阶段。选择 checkpoint 因此需要额外判断。
01:25:40—01:27:01|他们怎样检查模型
团队建立了多种 基于采样的评估:让模型实际生成回答,观察不同基准上的表现。不过,这些评估也有局限:
- 基准分数通常只能说明某个方面达到怎样的水平。
- 模型回答有随机性,多次评估之间存在较大波动和噪声。
- 达到一个分数门槛,仍不足以完整说明真实使用体验。
因此,他们最终还会把模型拿出来交互,查看回答,找多个人试用、比较并投票。用于训练的人类偏好,在评估阶段仍然需要由人继续检查。
这一段最值得记住的关系
训练奖励、自动评估分数、用户实际体验,是三个相关但可能出现偏差的观察结果。 在这段早期 RLHF 经历中,团队要把它们放在一起看,才能判断模型到底改进了什么。
01:27:01—01:32:08|从天授到大模型,系统难点发生了什么变化
01:27:27|时间主要花在模型计算上
他觉得,传统小规模 RL 实验与语言模型 RL 的工程差别非常大。访谈用的是以提示词作为环境输入的语言模型训练场景:环境准备相对简单,庞大的模型却需要大量计算来生成回答和更新参数。
| 环节 | 访谈中的传统小规模 RL 任务 | 访谈中的语言模型 RL 场景 |
|---|---|---|
| 模型本身 | 规模较小,计算开销较低。 | 模型很大,生成和训练的开销高。 |
| 环境 | 运行游戏或模拟环境可能占据较多时间。 | 提供一个提示词相对简单。 |
| 采样 | 产生一个动作往往很便宜。 | 生成回答需要关注推理速度和资源利用。 |
| 参数训练 | 模型小,训练相对便宜。 | 需要高效使用 GPU,处理大规模训练。 |
| 主要优化重点 | 环境运行和交互效率。 | 模型推理、训练,以及整个流程的配合。 |
他用环境准备可能只需很短时间、模型计算却可能花几百甚至几千秒来说明这种差距,具体耗时取决于资源和任务。
01:28:09—01:28:43|RL、推理和训练需要一起考虑
继续扩大规模,就需要回答:怎样使用更多 GPU,怎样提高吞吐量,怎样让模型生成和训练更高效。
这里的 吞吐量 throughput,可以理解为一定时间内系统完成多少有效工作。GPU 数量增加后,软件系统仍要让这些资源有效配合,才能转化为实验进展。
这份工作跨越多个方面:强化学习方法、机器学习系统、语言模型推理,以及具体实现细节。某一环节跑得更快,能否改善整次实验,还要放回完整流程里判断。他因此强调端到端优化。
01:29:01—01:30:12|工程强度与健康
他有一段时间从起床开始就写代码、调试、处理问题,直到晚上睡觉,一周大约工作六天,曾因头痛去急诊检查。医生说没有明显问题,但这次经历让他意识到,这种强度难以持续。
之后他开始每周两次跑 3000 米。过去在清华体育课中,3000 米曾经跑不及格,如今却愿意主动练,原因是意识到身体状态对长期工作很重要。
01:30:40—01:32:08|日常维护也能带来研究进展
面对主持人对前沿工作的赞叹,他说自己每天做的很多事其实很琐碎:维护、排错、把事情做对。找准方向之后,持续完成这些具体工作,会让系统不断改善。
同时,他对未来方法保留开放态度。01:31:24 他认为,强化学习和预训练都可能出现新方法,当前路线的有效性也需要通过后续实验继续观察。
他还强调了所处位置和积累背景的作用:掌握相同的系统背景、得到相似的实践机会,其他人也有可能胜任这些工作。这是他对自己经历的理解。
01:32:08—01:36:30|现有路线还有空间,下一代 infra 正在重写
01:32:24—01:34:12|先弄清当前方法能做到什么
谈到未来五到十年的瓶颈,他首先表示,目前的大规模 RL 还没有充分探索完。可以继续扩大实验、改进现有系统,观察性能还能提高多少,再判断下一步需要怎样的变化。
他对工程的判断依旧很强:系统仍可能有 bug,尤其多人开发时,各自掌握的背景不一致,容易写入互相冲突的假设。修复这些问题,有时就能改善模型结果。
01:33:36 他把瓶颈具体落在两个速度上:
- 单位时间能发现、修复多少影响训练的问题。
- 单位时间能完成多少次正确、有意义的实验迭代。
01:34:12—01:35:16|为什么选择重写
访谈时,他已经转去参与下一代内部 infra 的重构。旧系统用了三年多,累积了许多问题和技术负债,因此团队希望根据现在的认识重新设计。
所谓 技术负债,在这里指旧实现和累积改动带来的后续维护成本。早期能满足需求的设计,随着规模、功能和参与者变化,可能越来越难改。
重构的目标,是清理这些长期问题,给研究人员更快、更稳定的实验体验。研究人员提出需求;具体分布式训练、系统实现等工作由 infra 团队处理。理想情况下,研究人员只需调整配置,就可以启动所需实验。
01:35:22—01:36:06|哪些工作可能被 AI 自动化
两人顺着研究流程讨论岗位变化。翁家翌认为,提出候选想法、配置和运行实验等工作可能逐渐被 AI 建模,研究人员的一部分工作或许会较早自动化;再往后,infra 工程也可能被自动化。
他还猜测,销售中说服他人、建立人际认同的部分,可能更依赖人与人之间的沟通。
01:36:06—01:36:30|Agent 接入 RL 后变化在哪里
主持人问到智能体与后训练的关系。他认为总体框架相通:智能体在过程中多了几步工具调用,环境也更丰富,仍然可以在交互后取得反馈,再据此训练。
01:36:30—01:38:34|他怎样判断 AGI,以及当前 AI 为何还难改 infra
翁家翌说,OpenAI 内部对 AGI 的定义也有很多种。他曾给自己的标准是:如果系统能够完成自己认为有意义的任务中的 80%—90%,就可能达到 AGI。
按这个个人标准,他在访谈时觉得尚未达到。最直接的例子是:他仍不放心让 AI 直接修改自己的 infra 代码。
01:36:51 原因包括:
- 相关数据少。 前沿内部 AI infra 在模型学习材料中所占比例很低。
- 任务容易超出已有经验。 项目的约定、历史设计和具体行为,对模型而言可能属于分布外内容。
- 验证反馈很慢。 判断一次修改是否正确,需要在复杂系统中运行并观察,时间长、成本高。
“分布外”在这里指当前任务与模型此前充分学习过的内容差距较大。代码表面上能写出来,也仍需充分掌握系统背景和验证结果,才能放心使用。
01:37:56 他用内部试用 Strawberry 时的反应作例子:大家一度觉得工作快被替代了,甚至半开玩笑地想着,以后可以让模型清理旧代码。过了一两年,很多复杂代码问题仍然存在。他由此觉得,实际工作中的变化往往需要较长时间,人对新能力的第一反应容易过强。
关于“现有方法能否达到 AGI”
主持人直接提出了这个问题,但嘉宾在这一段主要回答自己的判断标准和当前能力缺口。节目没有给出一个经过完整论证的技术结论,也没有确定到达时间。
七、开源、公司使命与组织变化
01:38:34—01:43:30|热爱开源,也接受公司的现实取舍
主持人追问:一个曾经热衷公开代码、减少信息差的人,在技术公开程度受到批评的 OpenAI 工作,会不会感到冲突?
翁家翌表示,自己仍喜欢开源,遇到公司开源的工作也愿意参与。同时,他会把精力投向自己认为重要的事情,并接受公司在公开技术时的取舍。
01:39:05 在他的理解里,公司要持续运行,需要资金、算力和后续实验的条件。把最先进的模型立即公开,可能影响竞争和融资,进而影响未来继续研究的能力。
01:40:08|他怎样理解“实现 AGI,造福全人类”
他把这一使命分为两个需要分别完成的目标:
- 实现 AGI:继续推进预训练、强化学习和规模化研究。
- 让更多人获得技术收益:把能力做成容易接触的产品,用尽可能低的价格提供给使用者,包括免费服务。
他认为普通用户能够直接使用聊天、语音等功能,是技术普及的一种具体方式。把模型权重交给用户以后,还存在如何部署和使用的门槛。
01:41:56|开源能否帮助更快进步
主持人提出,长期看,更开放的技术交流也许能够得到社区反馈,帮助推进 AGI。翁家翌认可这种路径存在,但认为执行时会遇到竞争问题:其他参与者可以利用公开成果继续训练,随后选择不公开自己的改进;原先投入的团队可能面临融资压力。
01:43:12 在“公司资源无限、无需担心生存”的假设下,他表示会很愿意把自己做的 RL infra 开源。John Schulman 也曾问过他要不要公开,他当时出于公司层面的考虑有所保留。
主持人问到 DeepSeek 开放权重是否让 OpenAI 内部重新评估开放策略,他给予肯定。
01:43:30—01:44:02|实现使命的挑战:稳定地执行
问到最大挑战,他的回答是沿着正确方向持续执行。随后直接提到 2023 年 11 月的领导层事件,希望组织能够稳定推进工作,减少这种突然中断。
这个回答与前文的信息流通、实验速度和代码一致性相连:他很在意一个团队能否把已有方向可靠地做下去。
01:44:02—01:46:37|Sam Altman 被解职时,他在内部看到了什么
翁家翌回忆,事件发生时,一线员工非常震惊,对董事会如何决策缺少了解。他把事情概括为部分董事会成员与 Sam 之间的不信任,并表示自己的理解与公开调查相符。
对于外部流传的“Ilya 看到了什么”之类解释,他在访谈中予以否定。
01:45:27 他认为许多员工支持 Sam 的原因,与长期推进目标需要的能力有关:除了技术研究,公司还要融资、获得算力、说服合作方持续投入。推动这类事情需要商业判断和人与人之间的信任。
01:46:21 他进一步说,一个人在外界形成的身份和认同,很难在短期内由 AI 接替。商业关系中的信任,也构成领导者工作的一部分。
事件叙述的视角
本节保留嘉宾作为一线员工的经历,以及他对事件的解释。他也明确说,事发时员工对董事会决策缺少了解。
01:46:37—01:47:43|人才离开后,组织需要继续培养人
主持人从 John Schulman 离职谈到更广泛的人才流动。翁家翌认为,健康组织应能持续培养新人,让工作在人员变化后继续进行。
他承认个人离开会让人难过,也需要花时间补充经验,但只要能够继续培养人员、传递知识,组织仍能运转。
对于外部团队能否做出相近成果,他认为很多事情都建立在把具体工作做好之上,外界也有可能通过持续积累做到。
01:47:43—01:52:48|竞争压力怎样影响工作,组织又为什么会变慢
01:48:10|压力由项目和时间安排决定
他描述,不同组的压力差异很大。后训练团队有明确发布时间,通常压力较强;自己所在的 infra 重构团队更重视长期设计,可以对时间安排作一定调整。
他感觉外部模型竞争平时对具体开发的影响有限。DeepSeek 引起过一轮明显关注,因为对方宣称迭代速度很快,让内部更加警惕自己的实验效率。这也是他解释重构 infra 动机时提到的背景。
01:49:13—01:50:22|为什么增加人手还需要补足系统背景
主持人问,infra 的工作是否也可以靠增加人手推进。他回答,系统工作要求理解大量 context,例如代码之间的关系、过去的设计原因、当前约束和修改可能影响的环节。
相对具体的数据配置、批量消融实验,部分流程更容易标准化或自动化。参与这些工作需要的系统背景可能较少。
这里的 context 主要指完成工作的背景知识和共同理解。后文讨论 AI 的长上下文能力时,才进一步涉及模型能够容纳的信息范围。
01:50:12 他还说,团队很长时间没有专门为了提高 LMSYS 榜单成绩而采取措施。对外界榜单的每次变化,主持人的描述较强;嘉宾实际强调的是自己所见的工作重点和迭代速度。
01:50:37—01:51:41|大团队的协调成本
他认为,从大公司抽出一个小团队创业,初期可能跑得很快:代码量少、沟通人数少、使用场景集中,决策与修改都更直接。
OpenAI 需要同时处理更多使用场景,各种取舍和协调成本也随规模增加。这类公司又拥有用户规模和用户反馈等条件,所以速度需要放到具体任务和资源背景下理解。
01:51:41 他把组织复杂化继续追溯到背景知识传递困难:人的理解范围有限,很多人同时修改系统,难以持续保持共同理解;随后代码和组织都越来越复杂,进一步拖慢沟通。
01:51:41—01:52:48|一个能记住全局的 AI 助手
两人由此设想,未来是否可以有一个理想中拥有无限长上下文的智能体,掌握公司和代码库的相关背景,帮助传递信息、协调工作和辅助决策。
翁家翌觉得这种需要很真实,因为人的记忆和理解容量有限。主持人进一步想象,这样的系统或许能够承担公司管理和决策职责。
八、未来预测、创业与尚未想清的人生目标
01:52:48—01:58:35|关于宿命论和自由意志的个人看法
谈到最希望 AI 解决什么问题,翁家翌回答“预测未来”,并延伸到整个人生和世界变化。他对创造一个世界仍有兴趣,希望理解世界如何运行。
01:53:15—01:54:50|他为什么会这样想
他倾向于相信,人的行为和世界变化具有可预测性,并对自由意志持怀疑态度。这与他一些不方便公开的个人经历有关。谈话中,他一度用很确定的语气描述这种感受。
主持人提出,如果人的每一步都能被预测,人可能会感觉价值和选择失去意义。翁家翌也觉得,能够预测未来的机器,对个人而言可能带来很强的困扰。
01:55:06—01:56:41|他想理解规律,也想推翻自己的判断
他仍认为有人会愿意开发这类模型,因为想弄清世界为什么会如此运行。
谈到微观随机性、宏观确定性时,他进一步提出了“世界线可能被调整”等解释。随后又说,自己对这些想法有怀疑,也非常想证伪,只是个人尝试尚未成功。
这段谈话同时呈现了他的强烈确信,以及希望推翻它的心情。
01:57:01—01:58:35|回到眼前生活
在日常生活中,他采用的办法是暂时放下这些想法,继续体验当下。他还提出一种可能的解释:如果时间在更高维度中可以被不同方式访问,未来的自己或许能影响过去的决定。
这又连到前面高中时突然想到“影响力”的经历。他把“未来的自己影响过去”视为一种可能性,承认它无法证伪。主持人用电影情节帮助追问,两人最终结束了这一话题。
这段话应怎样阅读
这是嘉宾关于命运、时间和个人经历的哲学猜想。节目没有公开可检验的证据;“暂时无法证伪”本身也不能证明一个解释成立。可据此理解他的个人感受,确定性预测未来、修改世界线等说法在这次访谈中没有得到科学论证。
01:58:35—02:00:01|创业意愿:先有明确需求,再决定怎么做
翁家翌考虑过创业,但访谈时还没有看到特别合适的想法,也觉得 OpenAI 仍是适合自己工作的地方。
如果创业,他更喜欢产品方向。天授、签证查询和内部研究 infra 都有具体使用者,可以根据反馈持续改进。内部 infra 的使用者就是研究人员,他们遇到的问题和提出的需求,都能帮助决定接下来做什么。
01:59:31 他再次拿签证查询举例:即使只是一个简单通知页面,甚至每天手工更新两次时间,只要信息能解决问题,就会有人使用。
他的产品偏好很清楚:先确认一件事对谁有用,再选择足以解决问题的技术。
02:00:01—02:02:45|给未来的自己留下选择,也接受目标会变
十年后的自己应该做什么,他没有预先指定。他希望那时的自己拥有足够资源和能力,可以做当时想做的事,因为人的兴趣会随着经历改变。
02:00:35 他再次提到“投资未来”:现在的努力,可以为未来保留选择。主持人随后用前面的确定论继续追问,两人没有把哲学上的矛盾解决干净,但他仍愿意在现实中为未来作准备。
02:01:14 他提到提前退休和积累足够资本,希望有时间重新寻找自己想做的事情。
主持人据此猜测,他现在是否只是为了收入才工作。他补充,RL infra 在很长一段时间里,确实是自己很想做的事;后来系统逐渐稳定,个人经历和兴趣也在变化,他开始重新思考目标。
02:01:33—02:02:10 他承认,自己曾经觉得已经想清楚想要什么,现在又有些迷茫。熟悉的工作已经能大致看到后续,剩下许多事情的确定性变高,探索感也随之变化。他觉得这种状态很正常。
结尾,主持人把这种确定感延伸到 AGI,嘉宾简短附和。结合前面的能力缺口和开放判断,这一回应适合按现场对话理解,节目没有在此提供新的技术论证或时间预测。
02:02:27 他最后留下的意思是:继续探索自己到底想要什么。即使曾经想通过,也可能再次困惑;这个问题值得持续想下去。
整理说明与参考
正文以用户提供的完整转录为依据,时间索引对应本期视频。课程经历、技术工作、公司事件和个人观点,均依照访谈本身整理。重复字幕已合并;人数、访问量、实验次数等带有回忆或示意性质的数字,保留了相应说明。
行文参考了简明写作指南中关于使用常见词、减少套话、直接说清事情的建议:尽量用具体动作说明内容,保留必要术语,在第一次出现时作简要解释。这些建议见 Microsoft 写作风格指南和 Google 文档语气指南。
prompt
帮我总结这个播客原文转录,要求如下
我希望你的总结能够全面详细地阐述视频里讲解的内容,条理清晰,关键点标注一下视频时间节点在哪里。你的回答主要产自视频/转录本身,不要敷衍跳着看,我需要你的总结覆盖全部内容。
需要注意轻重缓急,有些东西没必要那么详细,甚至可以一笔带过,有一些难点则可以详细一点.不过总体还是详细一点为好
产物为一个md文件,最终交付产物为包含该md文件的一个压缩包
格式要求:
需要注意轻重缓急,有些东西没必要那么详细,甚至可以一笔带过,有一些难点则可以详细一点.不过总体还是详细一点为好 使用Obsidian的语法,如
#、##、> [!note]来增强可读性,但同时也遵守markdown规范 latex语法也要使用obsidian的$$和$$ $$,如果公式和文字处于同一行,$formula$即可,如果要换行,才使用$$formula$$用\mid,\lvert和\rvert代替竖线,避免 Markdown 表格把|识别成列分隔符。 不要乱加双链文件引用文件开头属性需要包含
创建日期: YYYY-MM-DD # 这里写入对话当天的日期 author: gpt-6-astra
请你直接给出md文件
产物为一个md文件,最终交付产物为包含该md文件的一个压缩包 语言要求:我觉得你生成的文字ai味道太浓厚了,我读起来不舒服,你去网上看看如何按照人类一般用语正常表达,不要加莫名其妙的黑话和句式和比喻,不用公文腔、口号和生硬术语,尤其是“不是…而是…”和与之类似的话术,力求通俗易懂,简练清晰,自然朴素,标题,小标题,正文内容都需要润色
你可以去网上看看有无类似的学习笔记,可以参考一下。 不允许使用“不是…而是…”句式;如果不需要对比的话,就不要对比;不要再任何话说完之后都提一句“不是其他的xxx”
如果没有叫你进行对比,就不允许使用“不是…而是…”“要..而不是..”等类似的句式,你根本就没有需要说“不是”的对象,不要虚空打靶。所有类似的句式都不允许使用。播客简介: 【翁家翌:OpenAI,GPT,强化学习,Infra,后训练,天授,tuixue,开源,CMU,清华|WhynotTV Podcast #4】 https://www.bilibili.com/video/BV1darmBcE4A/?share_source=copy_web&vd_source=278a61d55ec01fcfa1504d3f39f06bbe
本期嘉宾翁家翌。他在 2022 年加入 OpenAI,并且是 OpenAI 一系列核心模型背后的核心贡献者之一——从 GPT-3.5、GPT-4、再到 GPT-5,你能看到的那些关键跃迁里,都有他的身影;而他最主要的贡献,你可以先记住三个词:强化学习、post-training、infra。
但对我来说,翁家翌不只是“把模型做得更强的人”。在成为 OpenAI 研究员之前,他就已经用开源和产品影响过无数人:把知识与资料公开、试图打破信息差;把做工具称作一种“慈善”——在他的价值观里,开源不是履历装饰,而是一种对世界的投入方式:追求的不是掌声,而是 impact。
在这期节目里,我们会从翁家翌的童年经历聊起,走到他在清华与 CMU 的求学与成长,再到他在 2022 年加入 OpenAI 后的亲历:站在 AI 风暴中心的人,到底看见了什么? 这里是 WhynotTV Podcast。现在请和我一起,走进翁家翌的世界。
2:33 - 小时候的翁家翌是什么样的小孩 5:56 - 成长过程中的投资未来的意识 8:10 - 高中计算机竞赛与升学 16:02 - 在清华开源作业与信息差 19:23 - 在本科与强化学习结缘 28:00 - 在Yoshua Bengio组暑研做NLP的经 30:38 - 对前ChatGPT时代的NLP and RL有什么反思 32:47 - 留学申请季受挫的经历 35:28 - 对固有评价体系的挣脱 41:08 - 天授Tianshou强化学习框架的前世今生 48:07 - tuixue online签证查询系统 49:54 - 追求影响力impact的底层逻辑是什么 56:21 - CMU读研与加入OpenAI的经历 59:46 - 和John Schulman的面试故事 61:54 - 为什么没有考虑读PhD 63:16 - 研究能力和工程能力谁更重要 66:31 - infra的重要性 69:28 - 还会鼓励今天的学生读AI PhD吗 73:13 - 什么是强化学习和post-training(后训练) 74:22 - 加入OpenAI的时候ChatGPT是主线吗 76:01 - 发布ChatGPT前可以想象这样大规模的成功吗 79:18 - 2022年加入OpenAI的初印象是什么 80:52 - OpenAI的人才密度与组织架构 84:09 - GPT强化学习Post-training的前世今生 85:10 - 在2022年做RLHF有什么关键的挑战与突破 87:01 - 大模型工业级RL infra 的挑战 92:08 - 未来5-10年大语言模型的挑战和瓶颈会是是什么 96:30 - 现在的预训练和后训练可以达到AGI吗 98:34 - OpenAI还Open吗 103:30 - OpenAI实现AGI使命的最大挑战是什么 104:02 - 内部视角看Sam Altman被开除的经历 106:37 - 如何看待OpenAI的人才流失 107:43 - OpenAI面对AI竞赛的内部视角 112:48 - 未来与宿命论 118:35 - 考虑过创业吗 120:01 - 希望十年后的自己是什么样的