谢赛宁访谈详细总结
- 节目:张小珺对谢赛宁的长篇访谈。
- 视频:Bilibili 原视频。
- 本次处理的视频时长:06:44:37。
- 时间标记对应用户提供的完整视频,可据此回看。
阅读说明
本文沿视频顺序整理,保留提问背景、论述过程和人物故事。技术判断与人物评价均按访谈中的说法转述。原文转录依据视频画面字幕整理,具体处理说明见转录文件。
一处字幕缺口
05:55:15—05:55:22 附近有语音而画面没有对白字幕,本文未补写该处发言。其余内容按全片字幕顺序整理;转录稿尚未完成逐字音轨校听。
00:00:00—00:01:19|片头:雪后的纽约与这场访谈
张小珺介绍,录制时正值中国春节,纽约刚下过大雪。谢赛宁与杨立昆开始了 AMI Labs 的创业,团队当时约 25 人,刚完成一笔大额融资。片头用“两次拒绝 OpenAI”的片段引出对话,同时提出一个贯穿前半场的自我描述:谢赛宁觉得自己属于普通的那一个。
00:01:19—00:35:40|成长、兴趣和自己选的路
纽约、电影与第一次上播客(00:01:19 起)
两人从布鲁克林聊起。谢赛宁喜欢这里的艺术与生活气息,也喜欢纽约大学周边的 Greenwich Village。他来纽约的重要原因是杨立昆及 NYU 的人工智能研究;电影学院和这座城市的人文环境同样吸引他。他提到马丁·斯科塞斯、赵婷等导演,电影兴趣从开场就与他的学术选择连在一起。
他常听播客,平时也愿意和朋友、学生长谈,参加公开访谈却一直有些犹豫:哪些话值得说,别人愿意听什么,他并无把握。年龄渐长,他觉得自己多了一点接受别人不喜欢自己的勇气。这次是他的第一次播客访谈。
旅行、读书和早期互联网(00:05:00 起)
童年里有两种生活:跟着做生意的母亲去各地旅行,在家翻父亲书房里几面墙的书。父亲学过心理学,做过教育和电视传媒工作。他的家庭环境较宽松,家里也没有纯理工背景的人。
九岁左右,他有了第一台电脑,先用来玩游戏,随后接触互联网。BBS、新浪博客、QQ 空间和饭否给了他表达意见的地方。他把这种经历与看书相联系:网上的交流让他对更多事情发生兴趣。他保留着早年的发言,即使今天读来有些难为情,也愿意让它们留在互联网记忆中。
他希望自己和身边的人都能开放地看世界,这与后来选择纽约、重视不同生活经验有关。
“普通的那一个”与交大的选择(00:09:19 起)
他用身边最优秀的竞赛选手、名校博士和教授作参照,解释自己的自我评价。他尊重那些一路成绩出色、路径清晰的人,也接受自己经历中的偶然和弯路。
高中时,他凭信息学和数学竞赛成绩获得提前进入上海交大的机会。老师希望他继续参加高考,冲击清华、北大;他已经喜欢上海,想学计算机,也知道交大 ACM 班,因此接受了这个机会。
正式开学前,在宿舍与同学打游戏的两个月,被他称为人生的“高光时刻”。他的理由很简单:此后很少再有那样自由、无需安排每一分钟的日子。他很珍惜这段经历。
侯晓迪、ACM 班与研究兴趣的形成(00:13:49 起)
ACM 班面试时,沈恩绍教授问他喜欢读什么书。他回答《什么是数学》,并在追问下想起作者 Richard Courant。多年后,他进入 NYU 的柯朗数学科学研究所,回望这段经历,觉得其中有一种有趣的巧合。
大二进入 BCMI 实验室后,他接触到神经科学、意识、大脑、图像与认知方面的书,逐渐确定自己想研究视觉。他还认识了侯晓迪,后来长期通过网络交流研究困惑。
侯晓迪对他的影响有两部分:
- 研究上的示范。 本科阶段就发表 CVPR 论文,用很短的代码解决一个具体问题。在当时,这给学弟学妹留下了很深的印象。
- 对大学生活和研究目的的追问。 《交大学生生存手册》讨论为什么学习、时间应该花在哪里、如何探索未知。谢赛宁认同其中对单纯追逐政策评分和论文数量的警惕。
这段人物回忆也交代了他后来做研究的习惯:先有自己真正在意的问题,再主动寻找能做这件事的环境。
主动争取去新加坡做视觉研究(00:20:47 起)
ACM 班的大三实习通常安排在微软亚洲研究院。当时能接收他们的岗位与视觉方向不合,他希望继续深入自己的兴趣,便自行联系新加坡国立大学颜水成的实验室。等实习条件大致落实,他才向俞勇老师提出申请。
俞勇考虑后支持了他。此后,这个实验室也成为其他同学可以选择的实习去处。谢赛宁很感激老师的理解,也把这件事看作自己主动争取机会的早期经历。
在新加坡,冯佳时带他做研究,他完成了第一篇论文,发表在 BMVC。工作主要涉及机器学习方法,以人脸识别为应用。他第一次走完研究和写论文的过程;同一时期,AlexNet、ImageNet 和深度学习进入他的视野。
视觉为什么让他着迷(00:24:52 起)
最初的理由来自生活:看电影、动画、玩游戏,以及通过图像感受世界,都是他很在意的经验。接触相关研究后,他进一步把视觉与认知、行动和智能联系起来。
他用视觉演化与寒武纪物种扩张的讨论说明:看见环境,意味着更容易寻找食物、躲避危险,也会改变生物之间的竞争。他将“视觉推动寒武纪大爆发”作为一种理论来谈。读这段时,需要保留访谈中的这种推测性质。
在他看来,研究视觉可以追问智能如何理解真实世界。这份好奇心成为他长期的研究动力。
每个人的经历会改变他能做出的研究(00:28:52 起)
他常鼓励学生认真对待自己的独特经历:读过的书、遇到的人、成长背景和个人兴趣,会影响一个人发现什么问题,以及怎样走到答案。
他希望学生相信,自己想做的一项具体研究可能与这些经历紧密相关。这样的信念让人有勇气投入尚未被认可的问题。他承认,这也体现了自己乐观的一面。
ACM 班的通识教育与竞争(00:32:49 起)
被问到 ACM 班的培养特点时,他举了“学子讲坛”的例子:学生用约一小时讲一个感兴趣的话题,可以谈哲学、历史、社会和科学。这样的课程让他感到,大学允许学生保有课程成绩之外的兴趣。
他愿意参与竞争,也认为过度竞争会妨碍创新。本科时,他没有把 GPA 第一名作为目标,更愿意沿着自己的兴趣继续寻找机会。对其他学校的培养方式,他明确表示自己缺少亲身经历。
00:35:40—00:52:06|读博的波折与最初的研究
跟着屠卓文走(00:35:45 起)
申请博士时,他虽然收到一些录取,却一直等不到想做的视觉方向的机会。临近截止日,他大量写邮件联系老师,终于收到屠卓文的回复。为配合时差,他凌晨三点在宿舍楼下打电话,谈自己为什么想研究视觉,以及对屠老师工作的理解。
录取落实后,又出现变动:屠卓文准备离开 UCLA,下一站尚未确定。谢赛宁可以留下由其他老师指导,也可以等待。他很快选择跟随导师,最后去了 UCSD,成为屠卓文在那里的第一名学生。
他当然担心过学校和未来,但真正影响选择的是合作的人和要做的研究。他愿意与一个有潜力的地方共同成长,也记得导师在结果尚未确定时给过自己机会。
导师教会他怎样把研究做扎实(00:41:17 起)
屠卓文会坐在显示器旁,与学生逐行检查代码。谢赛宁还记得导师独立完成过的大规模 C++ 代码,以及在工具远不如今天便利时做视觉研究的困难。
他由此谈到屠卓文、朱松纯、李飞飞等前辈开拓研究道路的贡献。他不接受用“出国后一鸣惊人”概括自己的成长,更愿意把研究理解成长期、平静地把问题想清楚的过程。
Deeply Supervised Nets:在中间层加入监督(00:44:51 起)
博士初期,他们转向深度学习。当时仍有很多研究者怀疑神经网络,把它看成难以解释的黑盒。谢赛宁觉得,屠卓文及时转向这个方向需要判断力和勇气。
**Deeply Supervised Nets(深度监督网络,DSN)**的想法,是给网络的中间部分增加输出分支,在这些位置也施加监督信号。这样,训练信号能够通过较短路径影响较早的层,有助于缓解梯度传播困难。他把它放在当时大家努力训练更深网络的共同背景下讨论。
他也发现,十多年后,新工作里仍可能再次用到相近设计。有些思路会在新的问题中重新出现。
HED:从边缘检测看到网络内部的结构(00:48:19 起)
接下来的 Holistically-Nested Edge Detection(HED,整体嵌套边缘检测),把深度监督用于像素层面的边缘预测,并结合网络不同层级的信息。
这项工作让他更清楚地看到:神经网络中间的各层包含有用结构,可以分析、利用这些结构来设计方法。它也让他体会到解决一个具体问题的满足感。
HED 获得 ICCV 马尔奖提名。当时站上领奖与报告的舞台,他很激动,以为此后会有很多奖。多年过去,他逐渐接受评审与获奖中有相当大的偶然性,把注意力放回研究本身。
00:52:06—00:57:43|五次实习,去不同地方看看
博士期间,他先后在 NEC Labs America、Adobe、Meta、Google Research 和 DeepMind 实习。他想知道不同组织里,人们怎样研究、关注什么问题,也想检验自己的兴趣是否还有其他可能。
那几年,他经常把住处转租,带着行李,从南加州开车到北加州。他喜欢这种自由流动的生活,也经历过项目失败和消沉。
- NEC Labs America: 完成了论文,也喜欢同事间的交流和研究气氛。
- Adobe: 接触设计、众包反馈和图像分割,最终没有做出理想结果。这让他逐渐接受,实习没有成果也可以成为有价值的经历。
- Meta 的前两个月: 探索网络架构,进展仍不顺利。何恺明的加入带来了转机。
他后来用这些经历安慰学生:短期没有做出论文的情况很常见,认识问题、了解组织和结识合作伙伴同样会留下影响。
00:57:43—01:21:05|何恺明、表征学习与长期的研究
何恺明如何帮助一个想法成形(00:57:43 起)
何恺明刚加入 FAIR 时,谢赛宁还在实习。生活上,他开车带何恺明吃饭、回家,也帮助他熟悉 Linux 和集群。何恺明此前在微软主要使用 Windows,这些细节让谢赛宁记住了两人最初相处的样子。
研究上,他看到何恺明能识别一个想法的价值,并把它推进到清楚、扎实的结果。实习只剩约一个月时,两人一起参加 ImageNet 挑战赛,完成了 ResNeXt。
ResNeXt 的想法与合作方式(01:00:00 起)
ResNeXt 在网络中使用并行的分组结构。谢赛宁重点谈到,在一定计算量下,增加分组可以带来更好的学习效果。他用今天的混合专家模型研究作类比,讨论并行结构、稀疏性和扩展能力;这段话是在回顾相通的研究思路。
他们当时在比赛中获得第二名。何恺明把名称里的“X”与谢赛宁联系起来,给了合作者很直接的认可。谢赛宁觉得,命名、组织论述和把普通想法打磨好的能力,都是研究品味的一部分。
这次经历也让他体会到,研究进展常常不均匀:前面长时间走不通,最后才出现突破。何恺明还鼓励他和其他实习生去不同地方看看,这成为他继续实习的一个原因。
Google 的视频研究与 DeepMind 的组织经验(01:04:10 起)
在 Google,他研究视频模型的架构与训练。在伦敦的 DeepMind,他接触强化学习和模拟环境中的具身任务。工作并不顺利,冬夜独自回住处的记忆也很辛苦。他由此更了解自己的研究偏好。
DeepMind 给他留下的更深影响来自组织方式:早期允许小团队探索,方向逐渐清楚后,再集中资源、协调人员、加强执行。他看到 AlphaFold 团队在这样的环境中逐渐形成。
Demis Hassabis 曾对实习生说,DeepMind 希望成为能获得多个诺贝尔奖的公司。谢赛宁当时觉得目标非常大胆,后来再看,尤其佩服这种长期抱负和把探索逐步推进成大项目的能力。
表征学习把不同项目联系起来(01:09:51 起)
他的博士论文围绕“用结构化先验帮助深度表征学习”。图像识别、分割、边缘检测、视频和动作识别、具身强化学习,看起来分散,背后都有同一个问题:怎样让模型从原始数据中学到有用的内部表示。
他的解释可以分成三步:
- 输入原始数据,例如图像。
- 学习一个映射,将数据转换到具有某些良好性质的表示空间。
- 让这种表示更容易支持识别、预测等后续任务。
神经网络可以实现层级化、非线性的映射。他愿意长期用“表征学习”描述自己的研究,因为这个基础问题会持续存在。他也借 NAS(神经网络架构搜索)那一波热潮表达警惕:若把研究身份完全绑在短期流行的技术名称上,方向退潮时就容易失去支点。对 NAS 的严厉评价属于他个人对这段研究历史的判断。
论文被拒与十年后的认可(01:15:05 起)
DSN 最初投稿 NeurIPS,评审分数不错,却因公式中漏写平方项等审稿过程问题被拒。谢赛宁当时很受打击。后来论文发表在 AISTATS,十年后得到时间检验奖。
他借这件事谈研究评价:当下的录用、拒稿、奖项会影响情绪,却很难代表长期价值。他希望学生从较长时间里看自己累积做过的工作。访谈同时保留了现实的一面——身在挫折中,人很难立刻想到十年之后。
毕业时为什么选择 FAIR(01:17:48 起)
毕业时,他没有把找教职作为确定的终点。五次实习让他的研究经历更丰富,也让成果分布得比较散。他仍然按同一个标准选择工作:在哪里,和谁一起,能做自己最想做的研究。
2018 年,他参加 OpenAI 面试,在房间里花数小时解 John Schulman 手写在 A4 纸上的题目,觉得这种经历很特别。但 FAIR 有何恺明、Piotr Dollár、Ross Girshick,研究方向与合作对象都很合适。拿到 FAIR 的录用后,他决定加入。
01:21:05—01:37:50|两次拒绝 Ilya,以及研究中的人与人
两次邀请,各有当时的原因(01:21:05 起)
第一次拒绝 OpenAI 后,Ilya 打来电话,问他为什么没有先讨论,是否与待遇有关。谢赛宁记得对方语气很严厉。他的选择主要来自想加入 FAIR 的视觉研究环境。
第二次发生在 2024 年 7 月,SSI 刚成立。Ilya 邀请他一起工作,两人谈了怎样让未来人工智能拥有爱的能力。他也问 Ilya 如何看待多模态、视觉和更一般的感知。按他的回忆,Ilya 觉得这些已经解决得相当不错;谢赛宁仍认为其中有大量基础问题值得研究。他当时也刚在 NYU 开始自己的工作,因此再次拒绝。
他用“兄弟爬山,各自努力”形容不同方向的研究者。他承认 LLM 的发展帮助了整个领域,也影响了视觉研究的发展环境。
爱、信任与安全(01:26:58 起)
两人没有给“如何赋予 AI 爱的能力”一个完成的答案。张小珺进一步问,爱与恨是否相伴而生;谢赛宁承认这是更复杂的哲学问题。
他还反问,人为什么愿意信任自己的孩子,却对新的智能实体抱有很强恐惧。这个问题在谈话中保持开放。他提到,技术上仍可以努力提高 AI 的可信、安全和可控程度,这也与他想做世界模型有关。
论文如何让人彼此理解(01:28:20 起)
被问到为什么总是提合作的人,谢赛宁说,老师、学生和同事会相互影响,学生也会反过来教会老师。共同研究一个问题,可以建立很深的信任和欣赏。
他转述何恺明对论文的理解:把知识分享出去,让读到它的人产生新的理解,进一步有事情可做。他还借汉娜·阿伦特谈“理解”的说法,解释自己对研究意义的看法:弄明白一件事,把它写下来,让其他人也理解,人与人之间就可能形成共鸣。
他对过分强调个人“影响力”的表达有些抵触,担心人把自己的意志放到过于中心的位置。这段话更接近他个人的价值选择。
把学生的贡献说清楚(01:33:58 起)
他不喜欢媒体把学生的论文统一宣传成“某某团队又做出了什么”,再配上负责人的姓名和照片。很多工作由学生实际完成,应当让这些年轻人被看见。
他支持解释研究解决了什么问题、为什么值得关注,也愿意在社交平台介绍论文内容。他在意的是署名、贡献和被关注的人是否准确。
01:37:50—01:58:30|杨立昆、李飞飞与自监督学习的起点
杨立昆的远见与 NYU 的研究环境(01:37:50 起)
谢赛宁在 FAIR 工作四年,回顾那段经历时有感激,也有对机构变化的遗憾。后来加入 NYU,杨立昆是重要原因之一。
他尤其欣赏 NYU 数据科学中心的跨学科组织方式:它能把数学、统计、计算机及其他学科的人聚在一起。杨立昆很早就推动建立这样的机构,让他看到一种长期判断力。
他还细致地描述玻璃门、暖色地面、沙发、走动的学生和机器人。开放、能看见彼此工作状态的空间,让他觉得这里适合研究和交流。选择一所学校,对他也包含对日常生活环境的感受。
李飞飞的坚持与定义问题的能力(01:41:39 起)
李飞飞会在他遇到困难时分享自己过去的经历。这些具体故事有些不便公开,但让他知道,前辈也经历过漫长阻碍。他从中得到安慰,也更理解她走到今天所需要的坚持。
研究上,他最佩服她把一个重要问题定义清楚的能力。谈到 ImageNet 时,他强调,明确任务、形成大家能够共同研究和检验方法的平台,本身就是重要贡献。这样的基础让后来深度学习的发展有了施展的空间。
他还谈到与李飞飞合作的 Thinking Space 和 Cambrian-S,关注空间智能、视频理解,以及究竟应该怎样定义重要的评测问题。
架构、数据和训练目标(01:47:50 起)
回顾自己的工作时,他把表征学习放在中心,讨论三个相互关联的因素:
| 因素 | 访谈中的问题 |
|---|---|
| 网络架构 | 模型用什么结构处理数据,怎样扩展规模? |
| 数据 | 模型能接触到怎样的世界,信息是否丰富? |
| 训练目标 | 训练过程到底要求模型学会什么? |
早期他花很多时间研究架构,后来更关心数据与目标函数。何恺明在 2018—2019 年前后就与他强调,模型和数据要不断扩大。他把后来的自监督学习研究放在这个背景里理解。
为什么视觉需要自监督学习(01:51:45 起)
谢赛宁借杨立昆的“蛋糕”比喻,说明自监督学习在形成基础知识中的分量,监督学习与强化学习则承担其他作用。
用“椅子”标签训练分类器,会把外形、材质、环境各不相同的图像都压到同一个类别上。模型可能记住训练样本,也可能依赖背景、旁边的桌子等偶然线索。只凭这样的标签训练,能得到的世界知识存在限制。
因此,他对自监督学习的期待包括:让模型利用观察本身学到更丰富的结构与常识。节省人工标注成本只是其中一个考虑。
2015—2016 年前后,研究者设计过很多代理任务:预测图像旋转角度、给灰度图恢复颜色、补全挖掉的图像区域。想法是利用人对世界的认知提出训练任务,让模型在解决任务时学到相应知识。但这些方法当时的效果与 ImageNet 监督预训练仍有明显距离。
01:58:30—02:43:55|MoCo、MAE 与怎样做研究
MoCo:让对比学习成为有效的视觉训练方法(01:58:30 起)
**MoCo(Momentum Contrast,动量对比学习)**利用表征之间的距离构建学习任务:相关图像的表示应该接近,不相关图像的表示应该远离。谢赛宁先用椅子、猫狗等例子解释这个直觉,再回顾之前的度量学习、CPC、Memory Bank 等工作。
他强调,这条路线有历史积累。MoCo 及后续版本的重要之处,在于让对比学习在视觉自监督训练中获得了很好的实际效果。后来结合 Transformer 和更大规模训练,一些下游任务的表现超过了原有的 ImageNet 监督预训练。
好想法怎样在探索中形成(02:01:14 起)
这一段是访谈里最完整的研究方法讨论。谢赛宁从何恺明身上学到几件事:专注一个问题、大量阅读、判断文献中什么最关键,以及亲自做实验。
他给学生描述的一个研究过程大致如下:
- 先确定大方向。 通过阅读,与老师、同学讨论,知道自己关心什么。
- 留出一至两个月探索。 复现已有方法、推公式、写代码、做变化,观察真正发生了什么。
- 根据结果调整问题。 有用的发现可能来自成功,也可能来自失败;明显偏离预期的结果尤其值得追问。
- 逐渐集中到一个有依据的想法。 再完善实验、扩大规模,把论证写清楚。
他把这一过程与“寻找梯度”联系起来:一次实验最重要的收获,是让人更清楚下一步往哪里走。最后形成的研究问题,应当吸收探索中的意外和理解。
他对“先想一个小点子,再完整实现、写成论文”的固定套路有所警惕。若过程中没有新的发现,个人的理解也可能增加得很少。这个判断带有他鲜明的研究偏好。
在长期没有结果时怎样继续(02:10:47 起)
他承认,前几个月没有进展,心态会受影响。但多次经历让他接受,这经常是研究的正常状态。转向、重新定义问题、放弃原先设想,都是其中的一部分。
他担心过强的抢发压力压缩了探索时间。人若只想着跟上下一次产品发布,就更难练习定义问题的能力。
代表作与“无限游戏”(02:13:20 起)
谢赛宁借 Bill Freeman 的图示讨论,一篇工作的质量与它对研究生涯的影响并不按固定比例增长。一项真正有分量的工作,可能改变别人此后处理问题的方式;大量一般的成果则未必有这种作用。
他因此把研究称为可以长期继续的“无限游戏”。这个看法允许失败,也鼓励人把时间花在可能形成代表作的问题上。
他列举了 LeNet、AlexNet、ImageNet、ResNet、R-CNN 系列、Transformer、GPT-3、BERT、CLIP、ViT、GAN、NeRF、高斯泼溅等,作为他心目中改变过研究进程的工作。谈到自己参与的 DiT,他给出的评价很克制,觉得它向前推动了一步,还没有达到自己理想中那种完全改变路线的贡献。
学术界应该关注哪些问题(02:16:57 起)
他担心学术界逐渐由大公司的发布节奏牵引:公司推出新系统,研究者用很少的资源追赶同一个方向,留给自主选题的空间越来越小。
他提到自己在 NYU 任教期间,还曾在 Google 的生成式 AI 团队兼职两年。了解大公司正在做什么,帮助他判断学校里哪些问题更值得投入。对这套方法,他也作了限定:这是自己的经验,研究环境有多种情况。
他每天使用 LLM,认可其工具价值,同时对它在未来通用智能系统中的基础地位持保留意见。这是后半场争论的一个起点。
MAE、扩展瓶颈与其他领域(02:25:46 起)
MoCo 等工作一度让他们相信,自监督视觉学习已经找到了可以持续扩展的道路,后来的结果却没有完全达到期待。
**MAE(Masked Autoencoder,掩码自编码器)**换了一种训练办法:遮住图像的一部分,让模型重建缺失内容。它学到的表示具有不同性质,在不同评测方式下表现也不同。他特别提到,线性探测与完整微调的结果不能直接混在一起理解。
MAE 的效果很好,但在他们的探索中,继续扩大规模仍有瓶颈。访谈没有在这里完整展开所有原因。他也谈到 PointContrast,把自监督学习拓展到三维点云,说明表征学习的方法可以用于不同数据形态。
这些工作有实际价值;他遗憾的是,它们当时还没有带来自己期待的、可持续扩大到更广泛能力的训练方式。
可靠的实验基础为什么重要(02:31:59 起)
FAIR 曾租用一批 TPU。何恺明从头搭建研究所需的训练基础,后来的 MoCo、MAE、DiT 等工作都从中受益。
谢赛宁强调,基线做得多好,会限制你对新方法的判断。 如果原有方法实现得不充分,所谓提升可能来自修补缺陷;把基线做到扎实,再观察新设计的贡献,才更容易识别真正有价值的改进。
这里的工程工作直接影响研究能否得到可信的信号,包括实现、训练设置、实验管理和对结果的理解。
一张实验表格里有什么(02:36:10 起)
他开玩笑说,进 FAIR 实习的第一课是学会用 Excel。实际要学的是怎样设计实验记录:
- 哪些指标值得观察,哪些条件必须记下?
- 哪些实验应放在一起,才能解释变量之间的关系?
- 结果变化是否足够明显,能否帮助决定下一步?
- 跑实验之前,自己预期结果会怎样,依据是什么?
一个下降很多的结果,也可能暴露出重要机制。若结果与预测不同,就要重新检查原先的理解。他看重的是实验带来的信息量。
研究之外的何恺明(02:41:15 起)
两人也一起玩《炉石传说》,聊游戏、物理、进化生物学和哲学。谢赛宁不想把何恺明只描述成专注工作的形象,还补充了他的兴趣、真诚和愿意交流的一面。
何恺明会提醒他们,PhD 的名字里有 philosophy,研究者应该多读哲学。他送过谢赛宁《金刚经》,由此引出下一大段关于研究品味的讨论。
02:43:55—04:11:07|研究品味,以及后续工作怎样连起来
《金刚经》、阅读论文与追问实质(02:43:55 起)
谢赛宁从《金刚经》中的“相”谈起,又联想到康德、叔本华的一些讨论。他说明自己对哲学的了解有限,主要借这些阅读经验解释研究中的一个习惯:看到论文的名称、写法和结果后,继续追问它真正说明了什么。
他理解的 **research taste(研究品味)**包括选题、判断证据、设计实验、写作和交流等多种能力,也包含对短期认可保持距离。很难把它简化成几条固定标准。
写论文也是照顾读者的过程(02:47:31 起)
何恺明会很早开始写作。按谢赛宁对 FAIR 时期的回忆,何恺明常在截止日前一个月就完成一份可提交的论文,剩下时间继续修改表格、措辞和排版。
连一行是否只剩一个词、段落是否留下大片空白,他们都会认真检查。这些细节服务于同一个目的:让读者顺畅地理解工作。
谢赛宁也把论文网页、视频和视觉设计放在这个背景里。他希望每项工作有清楚、合适的表达方式,也愿意和学生共同形成自己的风格。
电影、个人经验与科学判断(02:51:56 起)
他早年想过当导演,后来仍看很多电影,也给学生推荐罗伯特·麦基的《故事》。他觉得,研究的写作应当交代那些关键选择:遇到了什么问题,为什么作出某个判断,转向后又看到了什么。
这样的写法可以让读者学会一种思考办法,进而用于自己的问题。个人经历会影响人关注什么,也会影响表达方式。
谈到信念与直觉时,他很快补上限制:研究决策必须依靠事实。对方向的相信,可以帮助人持续探索,具体判断仍须经受实验检查。
ConvNeXt:重新检查 Transformer 成功的原因(02:57:45 起)
他与刘壮等人做 ConvNeXt,起点是一个疑问:ViT 的优势究竟有多少来自自注意力,多少来自训练和整体架构设计?
他们逐步调整卷积网络,控制变量、记录每一步变化,检查哪些改动真正有用。谢赛宁认为,这项工作体现了质疑常见解释、把实验铺完整的价值。
他也谈到自己打磨论文配图的经历。一张图可以同时展示结论和实验推理过程,因此设计本身也关系到别人能否理解方法。
DiT 最初从表征问题出发(03:00:32 起)
DiT 是他离开 FAIR 前完成的工作,合作者是当时的实习生 Bill Peebles。两人最初想研究扩散模型内部的表征,与监督学习、自监督学习得到的表征有什么关系。
为了便于在相近架构下观察,他们尝试用 Transformer 替代扩散模型常见的 U-Net。最初的表征研究没有得到足够吸引他们的结果,却出现另一个发现:新架构简单、训练有效,也显示出更好的扩展潜力。
最后一个月,他们把研究重点转向扩散模型架构,完成 Diffusion Transformers(DiT)。这也再次体现了他前面讲的过程:探索中的观察改变了原来的问题。
资源、审稿与一个方法真正被采用(03:01:25 起)
谢赛宁回忆,当时 FAIR 经历组织调整,花很多时间讨论未来该集中做什么。他觉得,过早要求大家在会议中确定长期项目,会限制从实验中长出来的方向。扩散模型当时也没有得到足够的优先支持。
DiT 最初投 CVPR 被拒,理由包括创新性不足。后来换一个会议投稿,得到口头报告机会。论文公开后讨论很多,真正采用的人一开始却很少。他们曾主动向其他团队介绍这项工作。
关于机构署名,他提到论文完成于 FAIR,发表时署了 NYU 与伯克利,涉及离职及相关流程。他在谈话中有带玩笑的评论,随后也提到法律层面的原因。
Bill Peebles、Sora 与 OpenAI 的研究支持(03:08:35 起)
Bill Peebles 后来加入 OpenAI。谢赛宁肯定他的判断力,也肯定 OpenAI 能识别研究者、提供自由度和资源,使团队把生成视频的方向推进成 Sora。
这里他对 OpenAI 有明确的正面评价:认可新人和新方向,并愿意为尚未确定的工作提供支持,是一种重要的组织能力。DiT 的架构选择是其中一部分,数据、目标和推动整个项目的决定同样重要。
访谈中还澄清了时间:DiT 工作从 2022 年夏天开始,谢赛宁于 2023 年 1 月到 NYU。
错过的创业机会与对自己的选择负责(03:11:07 起)
他见过 Perplexity 很早期的演示,也曾受到邀请。当时,他主要从研究角度看产品,对它的价值判断有限。后来这些经历改变了他对创业者的理解:创业与研究有共同之处,也需要不同的判断。
他没有因错过机会而否定自己的选择。当时的决定符合自己的兴趣,也把他带到了今天仍愿意继续走的方向。
SiT 与承受不确定性(03:13:41 起)
DiT 之后,他们在 Transformer 框架下继续研究新的训练目标,包括 flow matching,形成 SiT。投稿中仍有挫折,方法后来逐渐成为其他研究者可以继续使用的基础。
他借“反脆弱”讨论研究生活:面对意外和失败,能够获得新的经验、调整做法,让自己更有能力继续工作。这与前面反复出现的长期视角相呼应。
Cambrian:重新检查多模态模型的视觉能力(03:15:45 起)
“Cambrian”这个名字延续了他对视觉演化的兴趣。随着多模态模型流行,他们希望逐项检查系统里的视觉部分:数据如何组成,视觉编码器保留了什么,架构设计带来了什么。
前作 Eyes Wide Shut 已经提出,CLIP 可能过多利用语言提供的线索,视觉理解因此存在偏差。Cambrian-1 延续这条研究思路,对多模态系统做系统实验,重点关注视觉相关部分。
学校的资源限制与 TPU 上的基础建设(03:20:00 起)
NYU 团队获得 Google 提供的 TPU 研究资源,但已有软件和代码难以直接使用。学生尝试一周后觉得太困难,希望改用 GPU。谢赛宁请他们继续认真探索一段时间,再判断技术障碍是否真的无法解决。
学生最终逐步搭起训练基础。他特别点名感谢童晟邦、郑博阳、杨澍生等人的工作。
这段也包含他对北美青年教师经费压力的描述:资助金额、学生成本和算力需求之间有明显落差。老师需要不断争取资源,向合作方说明研究和基础建设的价值。他记得自己曾在湾区与 Google 合作者边徒步边讨论,觉得这与创业中的争取支持有相似之处。
长镜头、连续视频与 Cambrian-S(03:27:16 起)
贾樟柯、毕赣的电影让他重新思考视频理解。人生活在连续的时间中,看见的一帧画面只呈现当下的一部分,还需要理解空间、事件及其前后关系。
Cambrian-S 由此关注连续视频、流式感知和空间智能。他希望说明,走向更完整的世界理解,需要逐步补齐哪些能力:
| 层次 | 访谈中的描述 |
|---|---|
| L0:语言系统 | 通过语言描述间接了解世界。 |
| L1:看图回答 | 看见给定图像,回答关于图像的问题。 |
| L2:流式事件认知 | 持续处理视觉流,理解正在发生的事件。 |
| 空间认知 | 根据观察理解画面之外的空间与世界状态。 |
| 预测性世界模型 | 在已有理解上进一步预测后续变化。 |
这是他们用来组织研究问题的划分。谢赛宁强调,论文希望先明确必要能力,为后续研究提供方向。
他所说的视觉,包含哪些基础问题(03:33:48 起)
谢赛宁把计算机视觉理解为观察智能的一种角度。需要处理的共同问题包括:
- 连续、高维、有噪声的输入。 真实世界的传感信号有复杂变化。
- 层次化的表征。 从具体观察中逐渐形成抽象,帮助理解新的情境。
- 并行处理。 多个物体、运动和相互作用会同时发生。
- 跨外观的共同认识。 儿童画、卡通和真实动物差异很大,人仍能理解它们都在表达“狗”。
他认为,这些问题会持续存在于更广泛的智能系统中。因此,视觉在某个阶段得到多少关注,不会改变这些问题本身的价值。
语言带来的能力,也带来了依赖(03:39:28 起)
从数字分类、图像分类到检测、分割,再到多模态问答,视觉系统能处理的问题不断扩大。语言让人可以自由提问,这是他明确认可的进步。
他担心的是,系统有时可以凭语言中的常见关联给出答案,视觉部分的不足便不容易暴露。等到任务需要真正理解物理状态、处理传感器信号或预测干预后的变化,这些缺陷可能变得明显。
张小珺追问他为什么称之为“真实的智能”。他随后修正自己的表达,说明这里主要指与真实物理世界发生交互。他同时承认 LLM 在数字环境、知识处理、编程和其他任务中的革命性价值。
机器人“大脑”与分工(03:45:17 起)
他关心的应用还包括工业过程控制和其他传感器系统:观察环境后,预测一个动作或干预会引起什么变化。
他很欣赏机器人硬件与控制的进展,自己的重点则在预训练、视觉表征和决策所需的基础模型。他承认算法需要在真实机器人上验证,倾向于通过合作获得这种反馈。这与后来 AMI 对合作伙伴的考虑相连。
为什么他质疑直接照搬语言模型的 Scaling Law(03:49:50 起)
谢赛宁区分了模型扩大后效果改善的现象,以及对这种关系的特定数学刻画。他提到语言模型常用的计算量近似关系,再说明视觉面对的数据和任务具有不同性质。
他的核心观点是:文本已经包含人类长期理解、筛选和组织世界的结果。 即使训练时没有另请人标注,语言数据中仍有大量人类提供的结构。因此,他从信息来源的角度把语言模型训练称为很强的监督过程。
这里需要保留他的用词语境。技术上通常依据是否额外提供标签来区分监督与自监督;他谈的是人类在文本形成之前已经付出的认知劳动。
他用“杯子掉到地上碎了”说明语言描述的取舍。这句话适合交流一个结果,却省掉了具体运动、碰撞和破碎过程。视觉与世界模型研究还要处理其中许多未被说出的信息。
什么叫聪明,取决于怎样测量(03:55:01 起)
围绕“加入视觉是否影响模型智力”,两人讨论了评价标准。他认为,应当先说明系统需要完成什么任务。
他提到莫拉维克悖论:人觉得费力的任务,机器可能做得很好;人轻易完成的感知和行动,机器却可能很难做好。用一类测试概括全部智能,会漏掉这些差异。
V*:让模型主动寻找视觉信息(03:56:35 起)
V* 关注视觉推理时的主动搜索。被问到某个物体的颜色,人往往先寻找物体,再看清细节。模型也可以在推理阶段进一步定位、检查图像,从而回答问题。
他把这项工作与后来受到广泛关注的 test-time scaling 联系起来:推理时增加有目的的计算和观察,可以改善表现。
他曾向在 OpenAI 工作的 Alex Kirillov、程博文介绍方法和评测,后来看到“Think with Images”相关工作,觉得学校里的研究确实可以启发工业界。与此同时,他担心产品发布中的论文引用、个人署名和贡献归属越来越少,学术交流的激励因此受到削弱。
REPA:用更好的表征帮助生成模型(04:01:13 起)
**REPA(Representation Alignment,表征对齐)**把前面多条研究经验接在一起:在扩散模型中间层加入额外的学习目标,让内部表征与已有自监督模型的表征对齐。
从结构上看,这与 DSN 的中间层监督有联系。研究问题则进一步变成:视觉表征能否帮助模型更有效地生成图像。 谢赛宁认为,结果再次说明好的表征对理解和生成都有价值。
RAE:直接在表征空间里生成(04:02:15 起)
接下来是 Representation Autoencoder(RAE,表征自编码器)。他们进一步尝试,直接利用较强的视觉表征作为生成模型的编码基础。
这样的表示维度较高,有学生担心训练更难。谢赛宁转述马毅的提醒:高维表示有时使原本难以分开的数据更容易处理,保留更多信息也可能带来好处,应当由具体结构和结果来判断。
这段讨论使他更加重视重新检查已有生成框架的选择,尝试扩大研究范围。
他对未来模型结构的设想(04:05:53 起)
谢赛宁据此提出一个尚待验证的判断:如果能学到足够好的世界表征,语言、图像生成和动作输出都可以建立在这一基础上。
他设想的基础系统可能由多个相互连接的模块组成,分别承担不同认知功能。语言仍然重要,人需要通过它交流、提问、获取回答;生成图像和输出动作则通过各自的部分完成。
他把表征视为世界模型最重要的组成部分之一。前面的研究尚未证明这个整体设想已经成立,它们给了他继续沿此方向探索的依据。
“语言是毒药”在这里指什么(04:08:55 起)
他用很强烈的词形容自己的担忧:加入语言常常能迅速改善结果,系统因而容易继续依赖已有语言关联,缺少动力补足真正的视觉理解。
这段批评针对训练目标和研究选择中的依赖。他担心,产业对语言模型的投入、评测和流行解释,会一路影响学术界,让视觉研究也围绕同一套标准展开。随后,他开始直接讨论世界模型与《苦涩的教训》。
04:11:07—04:29:47|世界模型是什么
给定状态和动作,预测接下来会怎样(04:11:27 起)
谢赛宁给出的基本定义可以写成:
其中, 表示当前环境状态, 表示施加的动作或干预, 用来预测后续状态。这里的关键是:模型知道一个动作可能带来什么后果,决策因此有了依据。
他回顾 Kenneth Craik 对心智内部模型的讨论,以及控制理论、模型预测控制、基于模型的强化学习中的相关思想。世界模型在这段历史里已有很多形式。
预测怎样进入行动(04:13:13 起)
他用模型预测控制解释规划:
- 从当前状态出发,提出若干候选动作序列。
- 用模型预测每组动作可能造成的状态变化。
- 用目标或代价函数评价这些结果。
- 选出较合适的序列,先执行第一步。
- 获得新观察后,再重新预测、选择和行动。
这样,规划持续受到新信息的修正。访谈中,张小珺问是否可以概括为“预测下一个动作”,他特意澄清:核心在于根据动作预测后续状态。
他还谈到 Sutton 的 Dyna,以及熟练行动和需要更多思考的决策之间的关系,说明学会模型、进行规划和形成直接反应可以共同存在。
状态应保留多少信息(04:17:49 起)
描述一个房间,可以细到每处纹理、光线和物理参数,也可以只保留某项任务真正需要的信息。聊天时,我们需要知道话筒放在哪里、桌子能否支撑它,通常无需精确记录桌面的所有纹理。
这就把世界模型重新带回表征学习:怎样从复杂观察中学到足够有用、可以支持预测和决策的状态表示。
他用流体力学作说明。处理飞机与空气的关系时,逐个追踪分子不现实,合适的抽象可以让问题变得可处理。模型中的层次化表示,也应逐渐保留对任务有意义的结构。
为什么他认为 LLM 不足以体现《苦涩的教训》(04:21:25 起)
他的理解是,《苦涩的教训》鼓励更多依靠搜索和学习,减少人为知识与精巧设计对方法的限制。
语言本身包含人类长期形成的组织方式、句法和概念。若模型始终被这些形式约束,就仍然依赖大量人类预先做好的抽象。他因此主张探索能够从观察中学习的潜在表征。
这属于谢赛宁对文章的解释及其研究立场。访谈没有把这项争议解决为一个公认结论。
安全与可控,如何进入模型(04:23:30 起)
他设想,世界模型可以在推理时预测候选行动的后果,再结合外部约束避免危险。例如机器人持刀切菜时,需要理解刀的运动会怎样影响周围的人和物体。
他希望把安全要求纳入预测和规划过程。张小珺随即追问,模型如何知道哪些后果危险;他回答,这仍属于世界模型训练需要解决的问题。因此,这一段应读作方法设想,不能视为已经完成的安全保证。
世界模型的几种研究侧重(04:25:32 起)
他把世界模型看作共同追求的目标,研究者从不同任务接近它:
- 视频生成与交互模拟: 生成连贯、可控制的视觉世界,关注时间一致性、记忆和画面。
- 显式三维空间: 构造可操作的三维表示,服务空间探索、设计等需求。他借 World Labs 说明这类侧重。
- 预测与决策所需的内部模型: 从观察中形成状态表示,预测行动后果,支持规划。这是他更想投入的方向。
他认可这些工作的联系,也强调,生成一段令人信服的视频与拥有完整的预测决策能力之间仍有许多研究问题。
04:29:47—04:58:17|从文本、像素到“下载人类”
连续视觉流怎样成为可用的状态(04:29:47 起)
人轻轻转头,视觉输入就发生大量变化。若把每帧图像都切成 token,再串成很长的序列,计算会面对很强的重复性。
谢赛宁想追问的是:系统能否掌握这些观察背后的共同状态,保留重要变化,而不过度处理重复信息。他认为,直接沿用当前语言序列处理方式,会遇到困难。
他列出理想系统的几项能力:理解物理世界、有足够的联想记忆、能够推理和规划、能够进行反事实及因果推断,以及安全可控。
世界理解会在持续观察中进行(04:32:43 起)
他再次承认,LLM 给系统带来了大量世界知识,是更完整智能系统的重要组成部分。他更关心的世界模型,需要在持续观察中不断更新状态,也处理人没有主动提出的问题。
谈到人脑中一些决策可能早于意识体验时,他引用了心理学实验的讨论,也说明有关实验存在争议。这些内容是他思考模型组织方式的启发。
从语言描述到视频生成,再到内部表示(04:35:18 起)
谢赛宁用概率建模解释生成模型带来的变化。语言或标签系统主要处理语义表达;条件图像、视频生成则还要学习观察数据的分布。他以 与 作示意:当语言成为条件,模型需要进一步掌握画面里哪些现象合理、哪些变化可能发生。
例如,生成连续奔跑的视频,需要处理姿态、运动和物体一致性。这样的训练包含大量超出类别标签的信息。
他再向前提出一步:像素也是供人观看的一种表示方式。服务决策的内部预测,可以在适当的潜在空间里完成,需要展示时再生成画面或语言。
他据此理解“统一理解与生成”的方向:两者都可以依赖更好的世界表征,各种输出形式与这个基础相连。RAE 等研究给了他进一步探索的理由。
“Scaling Law 有水分”具体指什么(04:42:39 起)
他认可更强的压缩能力可能与更好的泛化相连,同时提醒,语言模型也承担大量事实知识的存储与调用任务。用户期待模型记得具体人物、事件和资料,评测也奖励这些能力。
因此,模型增大带来的收益中,包含对事实知识处理得更好的部分。他认为,不能直接把这种规模关系当作所有智能系统的共同规律。
对世界模型,他提出一个直觉:可以处理非常大量的观察数据,同时把内部模型维持在较紧凑的规模,因为它要学会筛选与抽象。数据、参数和计算量的关系,可能呈现不同形状。这是他的预期,访谈没有给出已验证的通用公式。
大量输入,少量决策(04:45:16 起)
他用人的感官输入与语言、行动输出的带宽差异说明,大脑持续接收大量信息,却只把其中很少一部分变成当前决策。他引用了一些数量级估计,意在突出筛选和分层处理的重要性。
对他而言,学会忽略什么,与学会保留什么同样关键。世界模型的价值包括在连续信息中形成可用、稳定的认识。
“下载人类”所指的数据问题(04:46:49 起)
张小珺问:文本已经在互联网上,世界模型的数据从哪里来?谢赛宁承认,这可能是最大的困难之一,他也无法保证道路一定成功。
所谓“下载人类”,指进一步获取人实际观察、行动和与环境交互的经验。大量这类信息尚未以可训练的形式保存下来。他想探索的,是让模型接触更接近人在世界中持续学习的材料。
数据可以怎样逐步获得(04:48:40 起)
他提出先利用已有互联网视频,再逐步结合真实场景中的数据。两人也谈到版权、平台条款和获取困难。他没有给出一个已解决的方案,这些都是未来需要面对的问题。
他还强调,互联网上的视频带有很强的人类表达和娱乐选择。医院、工厂、设备运行中的许多信息,根本不会被上传到这些平台。更广泛的世界模型需要接触这种未被保存或未被共享的经验。
产品可能比数据更难(04:50:34 起)
ChatGPT 的成功让他看到,合适的产品形态非常关键。世界模型最终怎样进入生活,还需要探索。他举了两个方向:
- 持续感知的个人助手。 借助眼镜等可穿戴设备,连续理解用户所见所处的环境,与身体状态、活动和记忆结合,在适当时机提供帮助。他用咖啡与睡眠、运动指导、养老照护作设想,也承认功耗等硬件问题尚待解决。
- 能够完成日常工作的机器人。 除了特定动作和表演,还需要在变化的环境里理解任务、判断后果、可靠行动。例如照顾老人、处理日常家务等。
他把现有穿戴设备看成一个有限的启发:设备持续收集数据,真正有用的是从中形成与用户有关的判断。关于医疗和照护的例子属于产品设想。
回到表征学习这条长期问题(04:56:30 起)
他觉得自己走到世界模型,是多年表征学习研究的延续。他对“世界模型”成为过于宽泛的流行名称也有警惕,但接受它帮助大家讨论共同目标的作用。
04:58:17—05:45:53|为什么与杨立昆创立 AMI
学校的探索到了需要更多资源的时候(04:58:17 起)
此前有投资人、创业者和朋友建议他创业。他很珍惜学校给予的自由,觉得这里让自己逐渐找到想做的事情。随着问题变得更清楚,资源限制也越来越具体:能做出一些不错的论文,却很难把想法推进到更大规模的突破。
他把这种担忧称为“中等 paper 陷阱”。创业的吸引力,在于把长期关心的研究推进得更远。
与杨立昆谈到同一个方向(04:59:50 起)
有人建议他去问杨立昆是否考虑创业。他起初觉得不太可能,后来一次一对一交流中,杨立昆先提起想离开原有组织,把想做的事情放到新公司里完成。
两人继续谈世界模型、研究方式和商业逻辑,发现关注的问题很接近。谢赛宁最终决定加入,但他后来澄清,团队筹备、角色协商是持续了一段时间的过程。
为什么需要新的组织(05:01:23 起)
他想做的方向需要大量研究,也需要集中资源和明确执行。学校的资源不足,大公司和部分新实验室又受到产品周期、榜单与竞争压力限制。
他描述了一条相互影响的关系:流行目标决定评测,评测影响资源分配,资源安排又决定研究者能继续做什么。有能力、有兴趣的人,也可能无法获得足够时间探索。
以 RAE 为例,他听到一些工业界研究者的反馈:他们也试过相近方向,但很快因产品发布任务而停下。他认为,这暴露了组织激励与研究判断之间的距离。
“世界需要世界模型,世界模型也需要世界”(05:10:10 起)
这是他解释 AMI 的核心段落。
现实中有农场、医院、工厂及各种设备系统,需要理解持续变化的环境。它们拥有具体问题,也拥有研究者在互联网数据里看不到的信息。
模型需要与这些场景接触,才能更清楚地定义问题、得到训练数据、检验方法的用途。谢赛宁提到,侯晓迪和张涛都提醒过他,做好产品需要热爱生活、了解人真正需要什么。他愿意把更多时间花在与 AI 研究之外的人交流上。
世界模型也可能处理非视觉信号(05:14:15 起)
他以飞机发动机为例:大量传感器持续记录运行状态,模型可以尝试帮助理解异常、预测变化、寻找问题。
视觉是他进入这个方向的起点,最终目标还包括其他连续、高维、有噪声的感知信息。他设想先训练更通用的基础模型,再用于具体领域。需要哪些数据、怎样预训练、怎样适配,仍属于研究与商业合作要推进的内容。
公司如何平衡研究与交付(05:16:52 起)
谢赛宁希望 AMI 有较强的执行和产品意识,同时保留一部分完全开放的前沿探索空间。他在谈话中用大致比例描述这种倾向,并没有给出一项不可更改的资源承诺。
他选择联合创始人兼首席科学家的角色,希望把主要精力放在科学问题和研究团队上。公司的商业模式、运营和产品推进,也需要其他具有相应经历的人负责。
让年轻研究者有机会被看见(05:20:22 起)
他希望吸引有能力、有热情、愿意解决困难问题的年轻人,并让他们在合作中形成自己的代表性工作。
他担心大型机构在强调团队的同时,个人贡献和成长机会越来越不明显。AMI 想保留与学术界的联系,让研究者有机会参与重要工作。
对自己与 NYU 的关系,他说会全职投入创业,也希望维持适当的学术联系。他舍不得把刚招来的学生突然留在身后,同时强调学生与公司的安排需要有清楚边界。
“反向 OpenAI”的具体意思(05:26:04 起)
他借这个说法描述一种合作方式:先与拥有实际问题和数据的机构建立联系,共同发展初始模型;模型在场景中产生价值后,再获得反馈和新数据,继续改进基础能力。
这个过程依赖伙伴共同参与。谢赛宁认为,世界模型面对的数据很难全部从互联网直接取得,因此产业合作会深入研究本身。
他用信用卡联盟的故事作类比,表达不同机构联合起来的可能性,也说明公司未必照搬这个模式。谈到开放,他明确保留商业公司的边界,并未承诺所有研究与代码全部公开。
四地团队与全球伙伴(05:28:08 起)
按他在录制时的介绍,公司计划从巴黎、纽约、蒙特利尔和新加坡四地开始,总部在巴黎。杨立昆跨地区的经历和研究声望,有助于吸引不同地方的合作伙伴。
他更看重在哪里能聚集适合的人,以及怎样连接真实场景。后来还说,未来也可能在硅谷设点。
为什么愿意与杨立昆共事(05:32:46 起)
谢赛宁描述,杨立昆在公开讨论中立场鲜明,私下却温暖、容易交流。他遇到怀疑和困难时,愿意找杨立昆谈,因为对方能帮助他重新看清问题。
他佩服杨立昆长期坚持自己的研究判断,也愿意依据事实修改观点。被要求因公司正在投入 LLM 就减少批评时,杨立昆认为这涉及科学家的诚实。
他推荐杨立昆的《A Path Towards Autonomous Machine Intelligence》,尤其看重其中把想法落实为结构、公式和可讨论问题的方式。杨立昆仍会在 NYU 带组会、走到白板前推公式。
信任、分工与管理(05:37:58 起)
杨立昆担任执行董事长。他用自己的航海爱好解释管理:先信任每个人完成擅长的事,看到偏差时尽早调整。
谢赛宁看重的还有讨论中的自在。他可以直接表达不同意见,团队成员也能把疑问说清楚。共同判断公司下一步怎么走,是他理解的合作关系。
录制时的融资与团队进展(05:41:04 起)
这段谈的是录制时的计划。 谢赛宁当时说,融资目标约为十亿美元,初始团队约 25 人,后续希望稳步扩大。他提到,一些加入者放弃了其他公司的较高待遇或尚未归属的股票,愿意参与这项探索。
较大的首轮融资,也希望为研究争取时间,减少过早的产品压力。与此同时,CEO、COO 已经在考虑商业模式。他没有在访谈中公布一份完成的产品方案。
为什么不先多赚两年钱(05:43:38 起)
有人建议他先去收入更高的地方工作,再回来创业。他担心,两年后自己的生活方式、精力和愿意承担不确定性的状态可能改变。
这次选择包含对时间的判断:趁自己仍有意愿和状态,投入真正想做的问题。他把它解释为个人选择,也尊重在其他实验室继续工作的朋友。
05:45:53—06:07:17|硅谷、创业与重新理解 JEPA
“硅谷被催眠了”与有限的资金(05:45:53 起)
他批评硅谷对 LLM 路线的依赖,也表示这种状态会变化,公司未来可能去人才所在的地方设办公室。
录制时,他提到的投前估值口径是 30 亿欧元。这与节目发布时补充的美元口径、最终融资消息属于不同时间和表述,阅读时应分开。
他承认杨立昆的声望让种子轮融资相对顺利,但强调,公司仍需谨慎使用资金。首轮筹资无法替代后续的研究成果与交付。
杨立昆的生活兴趣(05:47:20 起)
谢赛宁再次把话题拉回杨立昆,补充他的航模、天文摄影、电子乐与爵士、帆船等爱好。杨立昆会在个人网页上写纽约爵士俱乐部,也拍摄星云。
他们还因《索拉里斯星》聊到不同电影版本。谢赛宁很喜欢这种相处:除了研究,两人还有广泛的共同兴趣。他希望一起做世界模型的人,也保持对实际生活的好奇。
他提到一个准备发布的视频生成工作使用 Solaris 这个名字,并借小说和电影讨论记忆、人的投射与生成。这里谈的是录制时尚在准备中的工作。
大额融资带来的期待与怀疑(05:51:08 起)
面对“名气大、融资多的创业是否容易成功”的提问,他承认团队得到很多支持,也遇到很多质疑。他更在意接下来能否真正做出研究突破。
对自己,他愿意保留仍需证明能力的心态。资金提供了机会,能走多远要看后面的工作。
勇气、专注与共同承担转向(05:54:02 起)
他用学滑雪时的经验谈勇气:有时顺着害怕的本能行动,反而更难保持控制。创业需要面对不确定性,身边有人共同承担,会让这件事更可行。
选合作者和学生时,他看重一个人是否真正在意问题,是否愿意持续思考、遇到障碍仍继续追问。创业后,他希望更集中地考虑同一组问题:团队需要什么人,接下来一个月、三个月、半年怎样推进。
他不能保证每个设想都正确,但相信合适的团队能够共同承认失败、调整方向。
六位联合创始人与产品计划(05:59:12 起)
谢赛宁说明,决定加入前有过多次交流,团队角色也经历了较长时间的讨论。他真正犹豫是否创业的阶段约有一周。最后吸引他的,是在这里可以获得足够自主权,组建团队、制定研究和执行安排。
录制时谈到的六个角色包括:
| 角色 | 访谈中的说明 |
|---|---|
| 执行董事长 | 杨立昆,参与研究方向与重要判断。 |
| 首席科学家 | 谢赛宁,聚焦科学问题和研究组织。 |
| CEO | 负责公司整体推进。 |
| COO | 有 Meta 区域业务管理经历。 |
| 世界模型副总裁 | 他称为 Mike,来自原 JEPA 团队。 |
| CRIO | 冯雁(Pascale Fung),参与研究、创新与产品之间的衔接。 |
他表示长期会考虑面向消费者的产品,但当前希望先把基础模型做出来。对路线图,他觉得能把一年内要做的事想清楚已经很有价值,之后仍需依靠实际探索调整。
从质疑 JEPA 到理解它(06:03:00 起)
这是后半场另一个重要技术段落。
起初,谢赛宁把 **JEPA(Joint Embedding Predictive Architecture,联合嵌入预测架构)**看作又一种自监督算法。他们自己做过 MoCo、MAE,也经历过扩展受阻,所以最初没有特别看好它。
后来,他逐渐理解其中关于表征性质、预测与抽象的更深问题。他举 LeJEPA 对表征分布的理论讨论作例子,说明团队在继续研究这些基础问题。这里的数学结论有论文自身的假设与适用条件,访谈只作了简要介绍。
再后来,他把 JEPA 放到杨立昆提出的更广泛认知系统设想中理解:系统需要理解世界、预测、规划,并让多个模块合作,语言模型也可以参与其中。
这个理解让他看到足够大的研究空间。他愿意投入这条路线,同时承认突破何时发生、是否一定发生,都无法预先保证。
创业后的实际感受(06:06:30 起)
工作更忙,也有四地协作、法律与运营安排中的摩擦。但看见这些问题逐渐理顺、公司开始成形,他的实际感受比最初预想更乐观。他觉得,迈出那一步后,部分恐惧也随之减轻。
06:07:17—06:18:45|人类智能、动物与机器人
为什么他说 AGI 是“伪命题”(06:07:39 起)
他的质疑首先落在“通用”如何定义。人的感知和处理能力受到身体、感官与经验限制,能够处理的世界只是所有可能情形中的很小部分。因此,他不愿把人的智能当作覆盖一切的唯一标准。
他认同杨立昆在这方面的部分论述,也从德瓦尔关于动物认知的书中得到启发。动物使用工具、交流、应对同伴、保存食物等行为,都提醒他谨慎判断智能的边界。
访谈举了黑猩猩根据实验员吃香蕉的行为选择另一个食物盒,以及鸟发现藏食地点被看见后重新藏食等例子。它们用来说明,人之外也存在复杂的学习、推断与社会行为。
为什么“松鼠的智能”值得认真研究(06:12:33 起)
他转述 Sutton 的一种判断:在真实世界里维持生活、寻找食物、拥有目标、适应环境的动物智能,是很难实现的研究对象。
谢赛宁借此重新审视任务难度。数学、编程等成就当然重要,但也应该认真看待儿童和动物轻易完成的感知、行动与适应能力。
他仍希望发展能帮助人的智能系统,这段讨论的用意是减少以人类某几项长处概括全部智能的倾向。
“预训练的下半场”(06:14:05 起)
他希望大家关注一个具体目标:机器人能否可靠地处理家庭中的多种日常任务。运动能力、特定技能与通用生活能力的发展很不均衡,基础模型还需要补足许多认识世界的能力。
他把这称为“预训练的下半场”。长期来看,输入会包括连续、高维、可能有噪声的观察,早期可以从视频着手,再扩展到其他感知信号。
张小珺追问训练输出究竟是什么,他没有给出确定答案,表示这是仍在研究、以后会更清楚的问题。这个停顿很重要:访谈表达了清楚的研究方向,也保留了尚未解决的技术部分。
06:18:45—06:44:37|普通人、生活与“42”
“The normal one”从哪里来(06:18:45 起)
谢赛宁是二十多年的利物浦球迷,喜欢克洛普把自己称作“The normal one”。他欣赏克洛普给团队带来热情和能量的方式,也希望自己在学校和公司中承担类似作用。
他承认自己经常感到沮丧。研究中漫长的摸索,占的时间远多于得到结果的快乐时刻。作为带团队的人,他仍希望给身边的人一些信心和支持。
对杨立昆的信任怎样形成(06:22:22 起)
他觉得杨立昆的乐观与过去坚持神经网络研究、经历低谷的经验有关。
自己对 JEPA 的理解则需要时间。同一份演讲看过很多次,每次做完新的研究再回看,都会有不同感受。新的实践让他能把那些观点与自己面对的问题联系起来,信任也在这个过程中形成。
纽约街头让他重新看待 AI(06:26:01 起)
每天步行经过华盛顿广场公园,他会看到演奏、跳舞、下棋、带孩子、发呆和学习的人。短短几分钟,让他从工作压力中缓过来,也提醒他世界里有各种不同的生活。
AI 研究只是其中一部分,却可能影响这些人。于是他开始更认真地想,研究者应该了解谁的需要,承担怎样的责任。他觉得,这也让自己重新理解当年与 Ilya 谈过的那些问题。
书、电影和电视剧(06:29:07 起)
这些作品与前面的技术讨论有关系,也呈现了他的个人兴趣:
| 时间 | 作品 | 他谈到的内容 |
|---|---|---|
| 06:29:07 起 | 《疑犯追踪》(Person of Interest) | 智能系统从封闭环境进入现实社会,多模态能力、竞争与威胁。 |
| 06:30:09 起 | 《万神殿》(Pantheon)及刘宇昆的作品 | 他很喜欢的、与智能未来有关的想象。 |
| 06:30:37 起 | 《同乐者》 | 流行文化中的一些情节让 AI 从业者产生联想。 |
| 06:31:40 起 | 《别无选择》(No Other Choice) | 技术变化如何影响人的心态与人与人的关系。 |
| 06:32:12 起 | Total Pixel Space | 他推荐的 AI 短片,与像素空间、世界理解等讨论相连。 |
| 06:33:15 起 | 《哥德尔、艾舍尔、巴赫:集异璧之大成》(GEB) | 本科时和同学一起读的共同记忆,涉及逻辑、音乐、绘画及哲学的联系。 |
| 06:34:47 起 | 《禅与摩托车维修艺术》 | 对自我和价值的追问;他也承认自己未必完全读懂。 |
这些是访谈中的个人阅读与观看经验。
人与人之间真诚的交流(06:35:49 起)
被问到什么最重要时,他说,自己的答案会随时间变化,创业、研究都可能在某一刻显得最重要,但他始终相信人与人之间真诚交流的价值。
他举了融资中的一件小事:与 Robin Rombach 只在会议上见过一次,对方却因了解他的研究而愿意向投资人支持他。作品能够让人认识另一个人的思考,并形成超出见面次数的信任。
这与整场访谈中反复出现的人物回忆相连:他通过研究认识人,也通过人与人的交流继续理解研究。
对 Seedance 的评价与消息边界(06:37:53 起)
他认为 Seedance 的效果很强,尤其强调数据清理、描述、分布、多样性、质量与提示词对齐中的大量工作。
关于模型规模和 MoE 架构,他明确说自己听到的是尚未核实的消息。因此,访谈中的这些数字和架构猜测不能当作官方技术信息。他对数据工作的高度重视,则与前面“架构、数据、目标共同决定系统”的讨论一致。
不要拿名言替技术结论作证(06:39:26 起)
围绕工作室名称,两人聊到维特根斯坦。谢赛宁反对直接用“语言的界限”那句名言给语言模型的能力范围作背书。他认为,应当考虑原文语境,也应了解维特根斯坦后来关于语言使用与实践的讨论。
他对把费曼“不能创造就不能理解”的话直接用于证明生成与理解必须采用某种统一模型,同样有异议。名言里的“创造”和具体机器学习目标之间,需要完整论证。
他再次说明自己的哲学知识有限。这里最明确的态度,是希望研究者认真阅读、理解概念,避免借名人权威替代推理。
最后的问题与“42”(06:43:23 起)
张小珺问命运在把他推向哪里,他没有给出确定回答,只希望下一次需要选择时能继续作出合适的决定。
对话最后回到预测:能否预测命运,整个世界是否也是一个巨大的世界模型?他用带玩笑的回答结束——若要回答关于生命、宇宙和一切的问题,可能需要整个宇宙规模的计算,而最后得到的答案,也许是“42”。
最后一句可读字幕出现在约 06:44:26,之后至视频结束为收尾画面。
PROMPT
prompt1
【对谢赛宁的7小时马拉松访谈:世界模型、逃出硅谷、反OpenAI、AMI Labs、两次拒绝Ilya、杨立昆、李飞飞和42】 https://www.bilibili.com/video/BV1tew5zVEDf
2026年春节,在中国机器人登上春晚的喜乐时分,纽约刚下过一场暴雪——这是近几年以来纽约最凛冽的一个冬天。在布鲁克林一栋略显凌乱的楼房,我与谢赛宁开始了这场对话。
2026年3月,他与图灵奖得主杨立昆(Yann LeCun)等,踏上了一条关于“世界模型”的创业旅程。他们创立的AMI Labs(Advanced Machine Intelligence Labs),目前仅25人、在没有任何产品的情况下,完成10.3亿美元Seed轮融资,投前估值35亿美元。
这是2026年新创的AI Neo Labs中备受瞩目的一家,创造了欧洲历史最大Seed轮。从统计看,它的第一笔融资在Neo Labs中位居世界第二,仅次于前OpenAI CTO Mira Murati创立的Thinking Machines Lab(20亿美元Seed轮融资)。
“Silicon Valley is very LLM-pilled。”AMI联合创始人兼首席科学官谢赛宁说道,“硅谷已经深陷于LLM(大语言模型),完全被它催眠了。”
这位出生于1990年的华人科学家,毕业于上海交通大学与加利福尼亚大学圣地亚哥分校,现于纽约大学任教。创业之前,他曾在Google DeepMind担任研究科学家。更早之前,他在Meta的FAIR实验室担任研究科学家4年。他的论文总计引用数近10万次,曾共同提出Diffusion Transformers(DiT)。
这是谢赛宁第一次接受访谈。2026年2月雪后的一天,我们从下午2点,开启了一场始料未及的马拉松式访谈,直到凌晨时分散去。
在黑暗浸透的霓虹纽约街头,空气中弥漫着没化完冰雪与难闻烟雾的混合味道。就像谢赛宁的表达,总是带着多重的混合感。
在人工智能的思想上,他不乏尖锐言论: “我完全不觉得LLM是Bitter Lesson(专指Richard Sutton提出的《苦涩的教训》)的成功展示,某种程度上,LLM是反Bitter Lesson的”; “语言模型的Scaling Law里面是有水分的”; “语言是‘毒药’,或者说,是一剂‘鸦片’”; “我非常担心语言对视觉的污染,事实上,它已经发生了”。
但他又不厌其烦地,枚举了影响他学术生涯的每一个人,并反反复复口头描摹这些人的人物特征。
这里面有:写《交大生存手册》的侯晓迪,初来乍到美国还不会用Linux的何恺明,活得像65岁青春期少年的杨立昆,捱过许多艰难时刻、以勇气与坚持让AI看见世界的李飞飞,等等。
这场对话涵盖了过去15年间,他对于AI技术变革兼塑造这些变革背后的人的完整游历。很多次我们的话题早就转移了,他坚持要绕回来,把人物素描完成——也许是因为,他人生最初的梦想是成为一名导演,尽管这个梦想很快就破灭了,却以一种新的形式延续下去。
但正是这些,让这篇“反OpenAI”、“反硅谷”、“反霸权”的对话,又充斥着人性的温度。
他说,在这个世界上,“只有人与人之间真诚的交流是重要的,也许其他都不重要”。
OUTLINE: 00:01:19 The normal one 00:35:40 世界总不让我做Vision 00:52:06 学术流浪 00:57:43 与何恺明的友谊 01:21:05 两次拒绝了Ilya 01:37:50 杨立昆和李飞飞往事 01:58:30 草蛇灰线:“表征的世界” 02:43:55 Research taste与《金刚经》 04:11:07 世界模型是什么? 04:29:47 从下载互联网,到下载人类 04:58:17 和杨立昆创立AMI始末 05:45:53 “硅谷被催眠了” 06:07:17 自大的人类! 06:18:45 “42”
这个是一个播客采访视频,我帮你下载好了,在 https://www.dropbox.com/scl/fi/6yw6ve8jemyafag6r6bzm/7-OpenAI-AMI-Labs-Ilya-42.mp4?rlkey=aitay1dhwsf3zu2ns0c2mc1ma&st=fvz244k2&dl=0 你直接去下载就行了,不要走插件入口
帮我总结这个视频,要求如下
首先,我希望你的总结能够全面详细地阐述视频里讲解的内容,条理清晰,以及关键点最好标注一下视频时间节点在哪里。你主要是看视频本身,不要敷衍跳着看,我需要你的总结覆盖全部内容
其次,你要交付的是2个md文件,1个是总结,另一个是原文内容转录,格式要求如下
需要注意轻重缓急,有些东西没必要那么详细,甚至可以一笔带过,有一些难点则可以详细一点.不过总体还是详细一点为好
使用Obsidian的语法,如
#、##、> [!note]来增强可读性,但同时也遵守markdown规范不要乱加双链文件引用
文件开头属性需要包含
创建日期: YYYY-MM-DD # 这里写入对话当天的日期
author: gpt-6-astra
请你直接给出md文件
语言要求如下:
首先,忠于原文,你的文字不能喧宾夺主
其次,
我觉得你生成的文字ai味道太浓厚了,我读起来不舒服,你去网上看看如何按照人类一般用语正常表达,不要加莫名其妙的黑话和句式和比喻,不用公文腔、口号和生硬术语,尤其是“不是…而是…”和与之类似的话术,力求通俗易懂,简练清晰,自然朴素,标题,小标题,正文内容都需要润色
不允许使用“不是…而是…”句式;如果不需要对比的话,就不要对比;不要再任何话说完之后都提一句“不是其他的xxx”
如果没有叫你进行对比,就不允许使用“不是…而是…”“要..而不是..”等类似的句式,你根本就没有需要说“不是”的对象,不要虚空打靶。所有类似的句式都不允许使用。
交付的2个md文件,打包成1个压缩包供我下载
prompt2
那个原文转录需要优化
请将视频/字幕整理为适合博客发布的“人物对话原文转录”。
要求:
- 按“说话人”分段,不要按每一条字幕单独换行。
- 同一人物连续说的话,要合并成一个或者多个完整段落,直到说话人发生变化再换段。
- 尽量识别并标注人物姓名;无法确认姓名时,用“主持人 / 嘉宾 / 嘉宾1”等代替,不要猜测。
- 时间戳只保留每一段发言开始的时间,不需要每句话都加时间。
- 格式统一为:[00:00:12] 人物名: 发言内容
- 保留原话,不总结、不改写、不润色,只处理断句、合并和说话人区分。
- 如果多人依次进行很短的自我介绍,可以合并为一段
不要输出这种逐字幕格式:
- 00:00:12 哈喽大家好
- 00:00:13 我是小珺
而应输出: [00:00:12] 小珺: 哈喽大家好,我是小珺。今天这期节目我们来到了美国纽约……
- 同一人物连续说的话,要合并成一个完整段落,直到说话人发生变化再换段;如果一段话太长,可以按照语义中途切分,提升可读性
再优化一下
换个重新打包供我下载,不要走更新,走新文件路径
再优化一下 同一人物连续说的话,要合并成一个完整段落,直到说话人发生变化再换段;如果一段话太长,可以按照语义中途切分,切分后每段最好不要超过200字(不严格要求),提升易读性,续段不重复姓名和时间戳