谢赛宁访谈:人物对话原文转录

主持人:张小珺
嘉宾:谢赛宁
视频时长:06:44:37
原视频:Bilibili

整理说明

本稿在原字幕转录基础上,只处理断句、标点、段落合并和说话人区分,保留原有措辞、口头重复及中英文混用。同一人物的连续发言合并,较长发言在话题转换、举例或解释层次变化处切分,每段尽量控制在 200 字以内,必要时略长一些。姓名和时间戳仅标在这一轮发言开头,续段直接接写。字幕中的括号解释一并保留。极短插话如无法确认归属,标为“说话人未确认”。

原稿范围

内容依据全片画面字幕,尚未完成逐字音轨校听。05:55:15—05:55:22 附近的字幕缺口仍保留标记;00:47:11 附近短暂出现的异常字幕单独列出。原字幕自身的省略、口误及数字疑点可能保留。

片头

[00:00:12] 张小珺: 哈喽大家好,我是小珺。今天这期节目我们来到了美国纽约。此时正是中国的春节,纽约刚刚下过了一场大雪,这是近几年以来纽约最冷的一个冬天。街道上还有许多没有化开的冰雪,但是今天这场对话,让我感受到了一种冰解冻封后的人间烟火气息。

今天坐在我对面的是华人青年科学家谢赛宁。他刚刚和图灵奖得主杨立昆一起,踏上了创业的旅程。他们的 neo lab AMI Labs 刚刚完成了第一笔超大规模的融资,目前团队规模为25人。谢赛宁一直告诉我,他不是那个天选之子,他是普通的那一个。那接下来就是我对谢赛宁的访谈。

[00:01:04] 谢赛宁: Ilya 给我打电话,就我什么都没说我就把 OpenAI 拒了,他们发给我一个 offer,然后我说我不去抱歉。

[00:01:10] 张小珺: 但是有爱的同时一定就有恨,它是一体两面。

The normal one

[00:01:20] 说话人未确认: (哈哈哈)。

[00:01:23] 张小珺: 我今天早上我们在纽约,就是布鲁克林拍空镜,我觉得我很喜欢这里,因为我住在时代广场那边,我觉得那边,还是一个非常刻板印象的纽约,但是好像来到这里,就是一个充满了艺术气息,和生活气息的纽约。

[00:01:37] 谢赛宁: 是呀,我觉得 Dumbo 这边当然非常艺术了,对吧,很多电影里面,之前有个韩国电影的叫过往人生,他们那里面你可能看到了,旋转木马,然后那边的 Dumbo 大桥是吧,时代广场只有游客才会去啊。

[00:01:52] 张小珺: 我就是游客。

[00:01:52] 谢赛宁: 真正的纽约人是不会去的啊,但其实 NYU 附近其实也很好,那边叫做 Greenwich Village,然后那边也是一个村,然后那边也很有生活气息啊。

[00:02:04] 张小珺: 你为什么会来纽约做学术呀?这好像不是一个很多人的选择。

[00:02:10] 谢赛宁: 倒也不是吧,但是历史比较长了,确实是各种原因吧,我觉得啊,当然,也是因为我确实比较向往这个城市,对,向往这个城市里面的很多的元素啊,它的一些人,然后包括 NYU,其实也是然后当然主要的原因还是因为 Yann(杨立昆,图灵奖得主、AMI Labs 执行董事长)。然后像 AI 的这些 efforts,对吧,NYU 其实确实做的很不错。

但另一方面,NYU 还有很强的电影学院,然后我喜欢的很多导演,像什么 Martin Scorsese(马丁·斯科塞斯),包括最近赵婷啊,都是 NYU 的毕业生。所以也是 partly the reason 吧,对也是也是一些原因。

对,我这个我我昨天跟你说啊,我觉得我来美国现在多少年了啊,2013年过来,然后13年左右了,我这个后训练现在有点崩。所以中英夹杂的问题,观众朋友们不好意思,我尽量尽量解释啊,多多见谅。

[00:03:10] 张小珺: 嗯我好像没有在任何地方,找到你的一个播客,或者一个访谈,所以这是你第一次做一个播客或者访谈吗?

[00:03:18] 谢赛宁: 第一次做播客,第一次做访谈,对,你可能能找到很多我出去在各种 conference 对吧,会议上面的演讲,做演讲这些这些很多。

[00:03:29] 张小珺: 为什么,你之前这么多年都没有上过一个播客,或者做一个访谈啊?

[00:03:34] 谢赛宁: 我觉得嗯,我不知道,我觉得我更适合做一个听众,我很喜欢 Podcast,对,我经常听很多的 Podcast,我的这个 Spotify 啊,YouTube 啊每天上班下班然后睡觉前,平时没事都会听一些 Podcast,嗯对,然后我觉得我也挺有表达的欲望的或者说我私下里跟朋友也会聊很多东西,我跟学生,我觉得嗯,平时抓大家一起聊天我觉得也很开心,嗯但是 Podcast 这件事情,我也不知道啊,可能是因为没有人邀请我吧。

[00:04:09] 张小珺: 应该不会啊。

[00:04:10] 谢赛宁: 呢其实对有一些吧,但是我觉得还是可能也是因为比较 i 人吧,我觉得很多时候,觉得嗯,不知道哪些话应该说哪些话值得说哪些话大家愿意听啊,但我现在我觉得慢慢,年龄大了之后,也也还好,拥有了不被人喜欢的勇气。

[00:04:33] 张小珺: 我其实在网上看了你的很多很多的信息,但是我发现所有人对你的描写,都是从上海交大的 ACM 班开始的那我也很好奇,在那之前的谢赛宁是什么样的呀?你能不能从以你对这个世界,拥有最早的记忆片段,为开端,来给我们讲一讲你的童年和成长?

[00:04:53] 谢赛宁: 我啊,OK,你看这就是为什么我们不想做 Podcast,(哈哈哈),因为确实啊,没准备过,或者说你得让我回忆回忆,从最早的记忆片段呢,当然就是我觉得从小时候开始吧,可能四五岁的时候,嗯我妈妈带着我四处旅游,这可能就是一开始的记忆。

[00:05:16] 张小珺: 哦在哪里旅游啊?

[00:05:18] 谢赛宁: 各种地方,对因为她也做一些生意,然后四处跑,全国会各处跑对吧,我记得印象很深对吧,这种在上海的这种初印象,然后去,四川啊,然后这些就是能想象的各种旅旅游景点吧,呢,但是对我如果非要深扒这个家庭情况,就是我爸是一个纯粹的死宅。

[00:05:39] 张小珺: 嗯。

[00:05:40] 谢赛宁: 从来不出门,但是他最爱干的事情就是看书,所以我家里反正有一个书房吧,然后几面墙都是书,所以我小时候基本上就处在这种状态之中,要么就在外面跑,被我妈带着到外面旅游,要么就在家里面翻一些有的没的能看的不能看的书都看一看,对,然后我觉得这是一开始的童年。

然后到了后来,后来确实,我觉得我们这一代人的成长经历,还蛮不一样的,因为我觉得当然我不知道,我觉得现在的孩子,可能在这种 AI 的时代,也会有同样的感受吧,但我那时候,我大概9岁的时候,有自己的第一台电脑。然后那时候开始,不用来干正事对吧,也是一盒一盒的买游戏然后打游戏。

后来有了互联网,然后第一次感觉到这种信息爆炸,那时候第一次知道什么叫做内容,然后那时候就会觉得自己突然有了更多的表达欲。因为你看书还是单向的这种学习的过程,虽然也是很开阔,但到网上当初有这些 BBS,然后你可以上网去发表意见,我还记得对吧,有这种新浪博客,现在可能都没有了,但我写了很多很多的博客。

[00:06:56] 张小珺: 哦是吗?

[00:06:57] 谢赛宁: 啊呢,关于各种各样的乱七八糟 topic,现在现在肯定回头看过去都会都会很好笑,但是。

[00:07:05] 张小珺: 最 popular 的一篇文章是什么呀?

[00:07:08] 谢赛宁: 很多吧我觉得我记得有点为赋新词强说愁的感觉吧,哦,可能那时候包括 QQ 空间对吧,就是大家总会有一个想要有一个平台去去表达自己。

然后到后面,其实还有更多的这种新兴的媒介出现,包括有博客。然后有微博对吧,但那时候其实不是微博,是饭否不知道听没听说过,当然,王兴对吧,然后那时候我也是饭否的重度用户啊,上面,饭否现在还能登录,但是实在是不忍直视,有时候看了看,我想哎呀,要不要赶紧删掉。最后想一想还是留在那吧,让它变成这个互联网记忆的一部分,嗯,但是我觉得那时候,我觉得我觉得这种互联网的爆炸式的增长,让我变成了一个对很多事情都很感兴趣的人。

[00:08:05] 张小珺: 嗯。

[00:08:07] 谢赛宁: 我觉得是这样。

[00:08:08] 张小珺: 所以你爸爸妈妈,你妈妈是做生意的,你们是一个商人家庭吗?

[00:08:13] 谢赛宁: 也不是也不是呢,反正我爸爸基本上,他本科是学心理学的,他之前也从事一些教育工作,后来也在一些这种电视台上的传媒工作,哦,可能跟你是同行。

[00:08:30] 张小珺: 哦。

[00:08:30] 谢赛宁: 对,所以他小时候我的记忆,对他的记忆是他扛着摄像机到处跑。

[00:08:35] 张小珺: 哦那这个有趣。

[00:08:37] 谢赛宁: 对对对,但我家里确实没有没有人是学纯理工的。

[00:08:43] 张小珺: 这也让你的性格,我觉得还有一部分是蛮文艺的。

[00:08:46] 谢赛宁: 可能吧,但是但我觉得我,我觉得我唯一想说的还是在这种非常轻松的家庭环境成长起来,确实让我的自己的这个世界模型,我觉得我自己对它我还是觉得蛮 proud of 的嗯,蛮骄傲的因为我觉得我会,或者说你刚刚问为什么会来纽约。我觉得这也是其中的一部分,嗯,我觉得我可能会希望自己,或者希望身边的人,都更加 open-minded 的去看待这个世界吧。

[00:09:19] 张小珺: 你是学习成绩一直很好吗?因为你是保送到交大 ACM 班的。

[00:09:22] 谢赛宁: 呢完全不是的,我是从高中,对我觉得这件事情是这样,就是说你可以看,我现在身边有很多很多的朋友,大家其实都是 A Class 一路走上来的。

[00:09:34] 张小珺: 对。

[00:09:35] 谢赛宁: 最好的高中对吧,然后最好的本科,参加竞赛,最好的本科,然后最好的 PhD,然后结束了之后去比如四大教书,就有一个非常清晰的主线对吧,然后我也很崇敬他们我完全不是这样啊。我是一个最多是一个 B Class 的这样的一个 trajectory(发展轨迹)。

[00:09:55] 张小珺: 哦。

[00:09:56] 谢赛宁: 你像,而且很多我的这些决策其实还是蛮玄学的,因为我觉得我并没有刻意的在某种这种优绩主义的这种这种 setting 下,框架下面去努力追求一些事情,很多时候其实还是挺随机的啊。然后可能也是这个没办法,这个智商不够,但是确实,比如说像保送的时候对吧,这个也是很偶然,然后反正有两个,这种信息学跟数学的竞赛的奖,然后这时候恰好交大有这么一个计划就是说可以提前进校,就是想收割一些同学。然后让大家不要去高考。

对,其实我当初还是蛮顺着高考的这个框架,去培养其实我呢,本身应该是应该是要去参加高考的,所以当初还纠结了很很长一段时间,学校老师都会说这个不行啊,你怎么能这个临阵脱逃呢,你已经你看你的成绩也很好对吧,你当然应该冲一冲清华北大。

然后我的内心想法是哎呀交大挺好的我觉得我去上海待过,我觉得我跟这个城市,跟这个学校都气质相投,并且我就是想学计算机,然后我觉得交大那个时候计算机也很不错,我也听说过有 ACM 这样的一个计划,虽然那时候这个选拔的过程,其实是要到你提前进校,进去之后有一个夏令营,夏令营之类的这样一个 program,对吧然后你进行一些测试。然后才能进入到这个班级里面,对。

但这里面有很多很有趣的事情发生,当然首先话又说回来,我觉得我还是蛮,怎么说呢?就让我再选一次的话,我完全不会后悔,对我觉得提前进校的那个暑假,是我这人生中的高光时刻。

[00:11:47] 张小珺: 为什么?

[00:11:49] 谢赛宁: 因为那两个月啥也没干,就在寝室里面打游戏。

[00:11:53] 张小珺: 这为什么是高光时刻?

[00:11:55] 谢赛宁: 因为这辈子在之后,再也没有出现过这样的时刻了。

[00:11:58] 张小珺: 当时打什么游戏啊?

[00:11:59] 谢赛宁: 呢很多啊,打 Dota 啊什么的就是宿舍里面,就是那种我在高中时候从互联网上看到的那种大学生活,你知道吗?啊就是就是有好好学习的一部分,但也有一些这些啊找寻自己,然后在这种啊,漫无天日的虚度时光的这样的一个经历,对。

[00:12:22] 张小珺: 所以谢赛宁的人生高光时刻是在虚度时光,是吗在寝室里。

[00:12:27] 谢赛宁: 哈哈哈可以这么认为。

[00:12:30] 张小珺: 哎很有意思呀,你一直在说你不是成绩最好的那些人,但是你你也很顺呀,你似乎也是成绩最好那一批,为什么你对你自己心里的认知是我的成绩其实是一般的?

[00:12:42] 谢赛宁: 我其实就是说我看跟谁比对吧,跟那些最顶尖的竞赛选手,像我刚刚描述的这个非常顺利的这个对吧,姚班大神,然后四大 PhD 四大教授来比,那我真的是远远不如,但另一方面,我觉得我还蛮感恩我所有这一段经历的。因为我会觉得啊,就接下往后讲的话,其实我觉得还蛮有意思的啊,比如说在我去交大的时候,其实交大也不一定是一个在计算机方面,人工智能方面,一个特别特别领先的这样一个学校吧。

然后到现在比如像 ACM 班已经变成了一个当然这跟我没什么关系,但我的学弟学妹们,包括我的学长们对吧,不管是做创业还是在做学术,然后在各个地方发光发热,然后并且我们有一个很强的这样一个校友的网络,大家联系在一起然后做事情。我觉得我觉得还是是一个向上的这样一个 trajectory(轨迹)吧,向上的一个轨迹。

再到后来,这里面还有一个很有意思的事情,我想提一下,就是我 ACM 班面试。然后面试的过程,会有老教授,当初是这个沈恩绍教授面试我们这个面试,其实不是问你一些 technical 的问题,他会问你你喜欢读什么书。

[00:14:06] 张小珺: 嗯。

[00:14:08] 谢赛宁: 然后我觉得这件事情是冥冥注定,有一些缘分,因为我当初非常着急,差点答不上来,然后我跟他说:我其实很喜欢看的一本书,也是我最近刚看完的一本书是这个这本书叫《What Is Mathematics?》,就是《什么是数学》。然后沈恩绍老师接着就问,那这本书的作者是谁,要考考我然后我有点懵,然后你这个对吧,一个高中生,人家这个外国人名我也记不住,想了想最终还是答出来了,是这个 Richard Courant,就是理查德·柯朗。

然后沈老师就是说啊对,你一定要记住这个名字,因为这是相当于,20世纪最伟大的一名数学家,为什么这件事情让我觉得冥冥之中自有天意,或者有一些巧合在这里面呢,是因为现在在 NYU,我在的这个系,这个院就是柯朗数学科学研究所,就是 Richard Courant,拿铲子挖的第一勺土,他建起来的这个系。

[00:15:09] 张小珺: 嗯。

[00:15:10] 谢赛宁: 所以啊我觉得还蛮有意思的对吧,然后到后面申请其实也是一样,我觉得或者从另外一个角度来说这件事吧,我觉得好像这个世界,总是不想让我去做我想要做的事情。

[00:15:26] 说话人未确认: 为什么?

[00:15:27] 谢赛宁: 但是但是我偏偏要做我想要做的事情,哦,比如说本科的时候,我一开始就对计算机视觉对吧,或者说对人工智能产生了一些兴趣,那时候也是刚开始就是在 ACM 班,大家会在大二开始进行这种这种科研实习。

然后会到这个学校里面的不同实验室里面去,然后我去的这个实验室,就是一个做,神经科学+AI 的这样一个实验室,叫做 BCMI,然后书架上放着很多很多关于意识,关于大脑,关于图像。然后关于我们怎么样对真实世界产生认知,这样的书,我看了之后觉得哇,太有意思了,然后后来在这个过程中,我还认识了我的一个学长,这个学长是侯晓迪。

[00:16:21] 张小珺: 哦。

[00:16:22] 谢赛宁: 然后他他也是鼎鼎大名,他之前也创业,然后现在也在创业,然后我每每跟他聊起来,他总会说这个世界变了,但我们都没变,我们特指我跟他,因为我觉得我们每次聊的东西,就像我们十几年前聊的东西一模一样,对,那时候他是这个学校的一个传奇,对然后他干了两件传奇的事,第一件传奇的事是他作为一个本科生,发表了一篇 CVPR(计算机视觉最顶尖的国际学术会议之一)的论文,对,然后这个论文里面,是一个非常精巧的算法,一共只有7行代码,解决了一个很重要的问题。然后发表了一篇论文。

[00:17:04] 张小珺: 嗯。

[00:17:05] 谢赛宁: 现在 CVPR 已经每年接收可能几干,现在 CVPR 已经每年接收可能几千,几千篇论文,对吧,好几万篇投稿,所以现在你像我们要招本科生,然后大家人手都三篇四篇五篇,CVPR 已经不算什么了,但在那个时候,在大陆的学校,能发表这样一个顶会的工作,其实是非常非常困难的。

[00:17:27] 张小珺: 非常罕见。

[00:17:29] 谢赛宁: 然后如果是一个本科生发表这样的工作,闻所未闻,所以真的是每一个人都非常非常佩服他。

[00:17:36] 张小珺: 嗯。

[00:17:37] 谢赛宁: 但是呢,他又做了第二件非常厉害的事情,是他带领一个 team,撰写了一个东西,叫做《交大生存手册》,《交大学生生存手册》。

[00:17:47] 张小珺: 哦,这还是一个 team 写的。

[00:17:49] 谢赛宁: 呢应该是他主笔啊,我不知道后面应该有一个团队跟他一起,然后这个东西现在网上还有存档,我觉得欢迎大家线下可以去看一下,对啊这个手册里面讲的什么东西,然后有些,有些话,我前两天又回头又重温了一下。我觉得非常非常有意思,对,他讲的事情是什么就是讲说人为什么要学习,中国的教育体制,大学的模式,到底哪里错了,你应该把时间花在什么样的地方上,去达到你想要的人生。

[00:18:24] 张小珺: 嗯。

[00:18:25] 谢赛宁: 或者说他也指导大家说怎么样做研究,做研究的目的是什么做研究的目的不是要灌水发论文,而是真的对这种无限的未知的探索,类似于这样的事情,当然,里面也会教大家什么怎么样逃课啊,怎么样?完成作业,比较快速的方式完成一些作业,对,是一个这种小册子。

[00:18:48] 张小珺: 我也去读了一下,他说如果一个人,把政策评分作为自己的至高追求,那么他就是这个政策的牺牲品。

[00:18:55] 谢赛宁: 嗯我完全同意,对我觉得这些事情现在回想起来,可能潜移默化,真的影响了我对很多事情的认知。

[00:19:03] 张小珺: 他在发表这个的时候,你大几啊。

[00:19:06] 谢赛宁: 呢,大一大二吧。

[00:19:07] 张小珺: 大一大二,大一大二你就认识他了是吗?

[00:19:10] 谢赛宁: 那时候他已经申请成功,然后去了,加州理工读 PhD,所以我跟他是在,因为他也是这个实验室毕业的,所以我跟他相当于在网上沟通,侯晓迪当初是在这个加州理工,然后就已经读 PhD 了。他也申请到了很好的学校,然后我们都非常非常羡慕,在那个时候,然后我跟他还是会在这个当初是在 Google Chat 上,然后跟他聊很多很多的话,然后他真的是也是给了我很多很多的建议吧。

[00:19:41] 张小珺: 现在还记得有什么建议啊?

[00:19:43] 谢赛宁: 没有更多的时候,在网上跟他聊的时候,更多是聊 research,对,到底应该做什么事情,跟他讲一讲我自己的迷茫,然后然后怎么样?怎么样能够发出来一篇论文吧?大概向他取取经,对然后那时候,但那个时候,我觉得通过晓迪,通过我看的这些书,已经基本上确定了,我觉得我这辈子就想做这个事,我觉得这件事情可太有意思了。

[00:20:09] 张小珺: 计算机视觉。

[00:20:10] 谢赛宁: 呢,那时候其实并没有这样一个名字在那,或者说慢慢开始有计算机视觉,这样一个一个 terminology(术语),但其实之前,对吧,然后大家去处理图像或者 visual 的信息,已经很长时间了。

比如大家会做所谓 image processing,就是图像处理,呢,更多的是从这种 EE 的 major 开始的对然后计算机视觉,可能是呢,慢慢变得更加更加 popular,嗯,然后也就是我开始学习这些之后的这些知识的时候吧,它开始变得越来越 popular,对然后呢,我刚说这个世界总不想让我做这件事情,是因为在交大 ACM 班的时候,其实还有另外一个特点是这个班里的每一个学生,在大三的时候都要出去实习一次。

[00:21:00] 张小珺: 嗯。

[00:21:01] 谢赛宁: 现在其实也蛮常规的,但其实在当时,还是就是这个班的主要的这个发起人叫俞勇老师,他的一个创举,所以那时候大部分人就是 ACM 班,会跟这个 Microsoft Research Asia,就是亚研院,有这么一个合作的一个项目。所以会把我们的很多学生送过去,然后做一个大概,6个月的这样一个实习,对所以呢我的当初,如果我什么都不做的话,我就会去亚研院实习,对虽然也很好,但那时候,其实没有一个做视觉的组,愿意接受 ACM 班的本科生去实习。

[00:21:41] 张小珺: 为什么呀?

[00:21:42] 谢赛宁: 呢,我不知道可能是因为当初你像马毅老师啊,孙健老师都在那边啊,恺明那时候应该也在那边了,然后我觉得他们可能不喜欢有太多的这些啥也不懂的本科生,过来参与这些事情对吧。

[00:21:56] 张小珺: 他们那个时候非常的人才济济。

[00:21:58] 谢赛宁: 是的是的是的没错,但我们真的是什么也不懂,对吧,我觉得我现在也慢慢能理解啊,呢但那时候呢有一个选择,就是还是去 MSRA,但是就不要做什么跟视觉相关的这些 research 了啊。

然后俞老师也跟我说哎呀,其实你们本科生啊,现在最重要的还是有一段研究的经历,学会怎么样做研究,具体做什么样的这个方向方向不是很重要,嗯对,但我觉得不行啊,我觉得我没办法接受,我去做一个完全不一样的一个方向我希望对这个领域了解的更多,我希望能够踏踏实实的啊,做一些事情。然后希望有朝一日能像晓迪师兄一样啊,能够发一篇 CVPR 的论文。

[00:22:45] 张小珺: 晓迪那时候就已经是你的偶像了是吗?

[00:22:48] 谢赛宁: 有点,他是很多人的偶像,对,在交大的时候。

[00:22:51] 张小珺: 哦。

[00:22:52] 谢赛宁: 呢,然后所以我就开始琢磨这个事情怎么办啊,然后就开始发邮件,所以联系了这个新加坡的 NUS 对吧,新加坡国立大学的颜水成老师的这个实验室,嗯对啊,这件事情是完全我自己联系的也没有告诉俞老师。然后等到敲定说哎,我可以有这么一个实习的机会,然后他那边已经有一些补贴,然后说什么时间什么样的这些这些架构已经都比较完善了,然后我就去找俞老师,我说俞老师,我实在是不想去亚研院,我想去新加坡的这个学校的这个组,去做我想做的研究。

[00:23:34] 张小珺: 嗯。

[00:23:36] 谢赛宁: 俞老师沉默了几秒钟,对呢可能我猜啊,我不知道我还没有问过他这个问题,但我猜他心里的想法是这个学生怎么这么刺头,对。

[00:23:47] 张小珺: 因为在老师的心中,亚研院是一个更好的选择。

[00:23:50] 谢赛宁: 是的是的一是一个更好的选择,二是我觉得也是能够让大家都通过对吧,能把大家聚合在一起,我觉得一是当然,也方便管理了,第二也会有一些更多的这种 synergy(协同效应),对吧大家还是可以互相交流啊。然后那你去一个新的地方,这件事情到底意味着什么这个地方到底靠不靠谱,你要做的事情靠不靠谱,这件事情可能是不可控的。

[00:24:15] 张小珺: 你纠结过吗?

[00:24:16] 谢赛宁: 我没有纠结,但俞老师我觉得我也非常 appreciate 他就是他反正沉默了几秒,最后说好,你去吧对呢然后我就去了,但是这件事情,发生了之后,像水城这个组,NUS 的这个实验室,变成了我学弟学妹之后的一个可选择的一个 position,嗯,所以我觉得我还是想 take 一些主观能动性吧。我觉得 take 一些 initiative,然后去做我自己想做的事情,对。

[00:24:52] 张小珺: 在当时还非常早期,就是和图像相关的人工智能,到底吸引的是什么呀?他为什么吸引了你呢?让你做出了很多不一样的选择。

[00:25:04] 谢赛宁: 因为我觉得我感受这个世界的方式,就是通过视觉,嗯我会想我小时候可能也比较无聊吧,我就会想哎,人有这么多,对吧感官,如果非要让我去掉一个的话,我会去掉哪个,我觉得也许我听不见,也许我没法说话,也许我没有触觉没有嗅觉。我会过得很悲惨,但可能还可以接受。

但如果我没有了视觉啊,那我不能看动画片了,我也不能看电影,我也不能打游戏了,我似乎,丧失了一个人的独立性,然后我觉得当然这件事情,这些最开始的想法和后来,我看到的一些书里面,讲的事情我觉得也蛮不谋而合的吧。因为你相当于视觉信号,其实占了人的大脑这个皮层,呢看你怎么说对吧,就主要的视觉区域,可能有百分之,呢30%占整个大脑,但呢,整个大脑在你看到这个图像的时候,激活的部分可能要占到70%。

[00:26:06] 张小珺: 嗯。

[00:26:06] 谢赛宁: 对吧,所以其实我们所有的人都是视觉动物,然后这件事情,对我是这么觉得的我也是一个视觉动物,我也很喜欢看一些东西。

[00:26:20] 张小珺: 生物也是不只是人。

[00:26:23] 谢赛宁: 不只是人对,你说的非常非常对,嗯所有的东西其实不完全是这样,因为其实在530 million,years ago 就530个百万年前,其实地球上,其实是这些生物是没有眼睛的大家都在这种深海里面生活,暗无天日,对吧大家都在深海里面,然后光打不进来。

然后突然有一天,有一些生物能够发展出来他们的视觉了,虽然还是很弱,只能看到一点渺茫的这个这个信号,对吧,但这时候他们就很厉害了,他们就能看到自己想要捕食的对象,在哪我就可以很快的游过去。然后把它吃掉,它还能躲避天敌,有人要过来要抓我了,我立刻逃跑,一旦视觉诞生了,呢,其他的生物在进化的过程中,不得不演化出更强的这个视觉,对吧,因为因为如果你不有更强的视觉的话,你就会被吃掉,对吧,所以就展开了一场军备竞赛。

所以这是所谓的寒武纪大爆发,就是所谓的 Cambrian Era,就是说地球上在这个寒武纪之前,可能只有屈指可数的这些物种,但是过了寒武纪之后,突然大爆炸似的多了几十万种这种物种啊,一个 leading 的 theory 就一个一个理论,其实是说这种大爆炸的来源,其实就是因为大家在视觉层面,展开了这种军备竞赛,是的是的所以你说的完全对。我觉得这其实是不是一个人特有的事情,我觉得所有的动物其实也是这样。

[00:28:04] 张小珺: 嗯。

[00:28:05] 谢赛宁: 然后所以我对这件事情还是还是蛮感兴趣的而且你知道视觉这件事情,其实也不只是一个感官,有一种说法是其实眼睛是唯——个,它是大脑的一部分,但它是唯一一个暴露在真实世界里面的大脑部分。因为其他的大脑部分,都藏在我们的头骨背后。

[00:28:26] 张小珺: 嗯对吧。

[00:28:27] 谢赛宁: 所以这样想的话,其实解决视觉不是要解决视觉本身,而是要解决智能本身,对所以一切我觉得都是能串起来的。

[00:28:37] 张小珺: 从你还没有进入大一的正式上学之前,那个在宿舍里躲着打游戏,虚度时光的你,然后到你找到了计算机视觉的这个人生的主线,这中间发生了什么呀?

[00:28:52] 谢赛宁: 嗯其实也没发生什么其实很多时候,我觉得都来源于偶然吧,嗯,就像我如果当初也许没看这本书,然后我可能也不会走上这条路,但有时候我觉得这也是一种必然,我现在还是蛮相信,其实每个人都有自己的命运,或者说我有时候跟学生说你不要想着说你不做这件事,别人就会把。这件事做了,你要想如果你不做这件事,这件事在这些世界上永远不会发生。

这是什么意思呢,就是说就是说你现在在做一个 research topic,对吧,然后你做的这件事情,你是怎么样一步一步到达这个这个端点的。这件事情,完全取决于你自己,之前的个人的人生的经验,成长的背景,可能是你看过的一本书,可能是你跟一些人的一段对话,可能就是你的 genetically,就是你的基因,wise,就是跟别人不一样,对吧我觉得每一个个体,在这个世界上都是很独立的。

[00:29:56] 张小珺: 每个人都是这个世界的一个变量。

[00:29:59] 谢赛宁: 每个人都是这世界上一个变量,然后有可能谁说的准呢,有可能你就是这个世界上最重要的那个变量。

[00:30:05] 张小珺: 这是你的世界观。

[00:30:07] 谢赛宁: 我觉得是我乐观的一面吧,哈哈哈,对。

[00:30:10] 张小珺: 嗯,你在新加坡国立,有获得你想获得的东西吗?

[00:30:15] 谢赛宁: 呢,我觉得我觉得有首先是我交了很多很好的朋友啊,之后我可以也可以慢慢展开,但我认识了,比如说其实当初带我的主要的这个这我的 mentor 是冯佳时,他当初是 PhD 学生,对然后他带着我。然后做了一些工作啊,我们发表了一篇,也不是顶会,很不幸本科还是没能发出一篇 CVPR。

[00:30:38] 张小珺: 嗯。

[00:30:38] 谢赛宁: 但发表了一篇,还不错的这个 BMVC 的 paper,对是一个是一个没那么顶会的计算机视觉的这样一个论文,所以我觉得我觉得还是有很大很大的收获,我第一次知道了,呱 research,是怎么回事,对吧,真正写过一篇 paper 跟没写这篇 paper。我觉得还是差别还是很大的。

[00:31:01] 张小珺: 那是你关于 CV 的第一篇 paper。

[00:31:03] 谢赛宁: 是的是的但你可以认为这是一个关于 CV 的 paper,但其实跟 CV 也没有什么关系啊,它的唯一的一个 application,是这个人脸识别,对它更像是一个机器学习的论文吧,但那时候也很正常,所有在学 CV,或者说研究 CV 的人,都在做类似的事情啊,所谓的这些啊,这种 manifold clustering 相关的东西,对但是也就是在那个时间点上,那是2012年2013年,2012年对吧。所以刚好也是 AlexNet moment。

[00:31:36] 张小珺: 嗯。

[00:31:37] 谢赛宁: 所以我也是在那个时间点上,知道了这件事,对吧,然后对,然后知道了 ImageNet,知道了深度学习,所以我觉得那其实是一个原点,那是我刚开始做 research,然后学会怎么样做 research 的一个原点,也是整个深度学习的一个原点。

[00:31:56] 张小珺: 这是你的大三。

[00:31:57] 谢赛宁: 大三对。

[00:31:59] 张小珺: 这个时候大学就快结束了,所以你其实在本科期间,就已经找到了你的主线。

[00:32:04] 谢赛宁: 我觉得是的嗯。

[00:32:05] 张小珺: 那你当时的内生奖励机制是什么呢?

[00:32:08] 谢赛宁: 其实我觉得还是好奇心吧,对就是我我觉得我想要知道为什么对,然后或者说这可能也是我的一个自己的一个解释吧,我觉得我也不知道我的 intrinsic motivation 到底是什么。但是嗯,我希望了解更多东西,我希望了解,关于这个领域的更多的事情,我希望跟这个领域的最顶尖的这一部分学生也好,研究员也好,老师也好,有更深入的交流。

[00:32:41] 张小珺: 嗯嗯。

[00:32:42] 谢赛宁: 所以这也是为什么之后,我决定还是想要出国,想要申请,我觉得也是 Probably 也是这个原因。

[00:32:49] 张小珺: 这里我想多插一个小问题啊,你也肯定有很多清华姚班的朋友,对也有很多清华姚班的朋友,来过我的节自,是的我想知道清华姚班,你觉得跟交大的 ACM 班,最大的差别会是什么呀?在培养上。

[00:33:03] 谢赛宁: 我觉得可能 ACM 班没那么卷吧,一个差别是呢 again,这件事情,其实还是俞老师的一个设计,他我觉得是一个挺伟大的一个教育家,我可以这么去说嗯对,像我们当初,其实我们的课程设计上,呢,会有很多看起来还是蛮奇怪的这些设定,比如说我们有一门课程,俞老师其实很自豪的就是叫做学子讲坛。

这个学子讲坛是什么呢,就是说大家要到这个课上。然后花可能45分钟到1小时,去做—个 presentation,给一个 talk,然后这个 talk 不能是跟学习有关的它可以是关于这世界上任何事情的但不能与学习有关系,对,所以呢,有人会讲哲学,有人会讲历史,有人会讲社会,有人会讲很多很多很有趣的东西,当然也可以讲科学。

嗯对,然后我觉得。我觉得这可能是一个培养机制的不同,当然我也没去过姚班,所以我也不清楚,但我觉得大家还是在一个相对来说比较宽松,并且比较强调通识的这种这种设定下往前走的。

[00:34:14] 张小珺: 嗯你给我的感觉是你好像不是一个喜欢过度竞争的人。

[00:34:19] 谢赛宁: 呢我觉得我不惧怕竟争,但是我觉得确实我不喜欢过度竞争,并且我觉得过度的竞争一定也不利于创新,对我觉得我觉得这个当然不是说 ACM 班没有竞争啊,其实有很强的竞争。

[00:34:34] 张小珺: 你在这个竞争中是优胜者吗?

[00:34:36] 谢赛宁: 没有被淘汰出去。

[00:34:37] 张小珺: OK。

[00:34:38] 谢赛宁: 对,但其实也不能叫淘汰了,就是其实是大家觉得自己适合还是不适合,然后会选择继续留在这还是出去。

[00:34:46] 张小珺: 你本科大概排第几。

[00:34:50] 谢赛宁: 一共可能有三四十个人,可能排十几名这样吧。

[00:34:56] 张小珺: 就没有特别卷自己。

[00:34:57] 谢赛宁: 没有特别卷自己。

[00:34:59] 张小珺: 嗯,你有想过要成为 ACM 班的比如说第一名第二名吗?这是你的追求吗?

[00:35:04] 谢赛宁: 我成为不了,对,哈哈哈,真的真的成为不了,因为我们有很强的这些对,竞赛背景的学生,然后或者说这个评价的标准,其实我觉得也是多元化的其实不好讲谁是第一名第二名,或者说如果只看 GPA 的话,那我确实做不到。

[00:35:20] 张小珺: 嗯对。

[00:35:21] 谢赛宁: 然后我觉得而且我对这件事情,可能也是受了生存手册的启发,我觉得我也不是那么在意。

[00:35:27] 张小珺: 所以你从那个时候就开始,非常追随自己的兴趣。

[00:35:31] 谢赛宁: 是的对,我觉得追求我的兴趣,并且我会想方设法促成这件事情,对吧尤其在申请的时候也是一样。

[00:35:38] 张小珺: 嗯,刚才的一个例子是你去了新加坡国立,而没有去微软亚研院。

世界总不让我做 Vision

[00:35:44] 谢赛宁: 对,申请的时候,其实,这里面还有另外一个故事,就是当初差点失学,但也没有失学,就是还是有一些 offer,但是也是没有一个我想去的做计算机视觉的老师的 offer。

[00:35:57] 张小珺: 哦。

[00:35:58] 谢赛宁: 这件事情让我非常非常的沮丧,然后一度我会想好吧那我可以去做一些关于推荐系统的研究,一些更加 You know,机器学习的研究,哦,呢,直到到最后,然后我就,我就开始疯狂的跟大家写邮件,就是套词邮件,嗯对,然后这个屠卓文老师,对屠教授。然后回复了我但这件事情已经非常非常晚了,因为你知道大家申请 PhD,一般都是要4月15号就截止了,对吧我其实4月才收到了这个回复。

[00:36:31] 张小珺: 哦。

[00:36:32] 谢赛宁: 对。

[00:36:32] 张小珺: 你最想去的老师是谁啊?在那个时候。

[00:36:36] 谢赛宁: 呢,那时候其实做计算机视觉的老师不多,对吧,然后我觉得屠老师,当然是一个我非常非常敬佩的一位老师,所以我觉得他也是我的一个 top choice,对嗯,然后当然了,还会有很多你当然说像在斯坦福,伯克利对吧,MIT 都会有有很多这些计算机视觉的先驱啊,但那时候啊,超过我的能力范围之内,嗯对,所以我跟屠老师发这个邮件。

然后他就回复了我,然后我还记得非常清楚啊,因为有时差嘛,所以屠老师说我们要不要打个电话,你什么时候有时间,我说我任何时候都有时间啊,然后所以我半夜3点,在宿舍的楼下,跟屠老师打了这么一个电话,告诉他为什么我觉得我想做这件事儿,嗯我之前做了哪些事儿啊,并且我觉得我为什么很欣赏你的 research。我觉得我们可以一起工作一起共事,对,所以后来屠老师就把我捞起来了,非常非常非常幸运。

[00:37:43] 张小珺: 最后几天。

[00:37:44] 谢赛宁: 最后几天把我捞起来了,但后面还有转折,因为我一开始这个屠卓文教授,其实是在这个 UCLA,对啊,所以我拿的 offer 也是 UCLA 的 offer,然后我办好了签证准备要入学。然后之前大概一个星期,屠老师说:这个不好意思,我要跳槽了啊,我在 UCLA,因为种种原因,不想待下去了,不想在这继续待着了,我要去另外一个地方,我要去哪,我现在我也不能告诉你我也不知道。因为他当初也在面试。

[00:38:16] 张小珺: 哦真的。

[00:38:18] 谢赛宁: 然后他跟我说:你有几个选择,一是可以留在 UCLA,然后把你交给其他的老师托管,然后也可以等一等,看看我这边工作的情况,然后有可能如果去到一个你愿意来的学校的话,你可以跟我一起来。

[00:38:36] 张小珺: 所以你等了吗?还是你马上说我就选择你。

[00:38:40] 谢赛宁: 我基本上就是说我马上说我就选择你了。

[00:38:44] 张小珺: 你不在意学校是吗?

[00:38:45] 谢赛宁: 呢,我觉得我不在意学校,并且我还是觉得,我觉得这些事情都很有意思,因为当初其实你如果看 UCSD 的话,可能感觉什么综合排名,什么都不如什么 UCLA,嗯,现在完全不是这样了,如果你看这个 CS ranking 啊,或者说从 AI 的这种招人啊。然后学生啊,包括这种师资的储备,AI 的啊这种力量来看,我觉得 UCSD,都已经是前几名的这种级别了。

在当初完全不是这样,在当初,而且我其实还一直很想合作一个老师,叫 Serge Belongie,他刚刚决定也要跳槽离开 UCSD,好所以我觉得一切都很绝望啊,就是我要去的地方似乎排名也没那么高,呢然后。

[00:39:32] 张小珺: 师资也在外流。

[00:39:34] 谢赛宁: 但我想了想说这个都不 matter,都不重要,重要的事情是我跟谁在做什么事情,然后这件事情是不是我想做的事情,我觉得抛开所有这些噪音,这是我唯一一个想要去关心的事情。

[00:39:48] 张小珺: 嗯这个很有趣,嗯。

[00:39:50] 谢赛宁: 所以这件事情发生了好几次,我刚刚说在交大其实也是个向上的 trajectory,然后去这个去 UCSD,其实也是就是当然,我不是说这件事情跟我有什么关系,我觉得跟我没有任何关系,但 somehow 我觉得我能看到一个地方,或者甚至一个人,他的 upside 的 potential,就是说他的潜力。

[00:40:11] 张小珺: 嗯。

[00:40:12] 谢赛宁: 然后我也愿意跟这些地方一起成长,我觉得这是我体会比较深的一个事情。

[00:40:17] 张小珺: 你多久知道屠老师去的是 UCSD 啊。

[00:40:21] 谢赛宁: 呢可能隔了几个月吧,对可能隔了一两个月。

[00:40:25] 张小珺: 你当时有担忧过吗?

[00:40:27] 谢赛宁: 当然有担忧过了,对,因为因为屠老师其实是一个非常谦虚,能力极强但又非常谦虚的一个人,所以他总会给我打预防针的说那我要去的学校,有可能排名会比较靠后了,你要考虑一下。

[00:40:43] 张小珺: 对你怎么说?

[00:40:45] 谢赛宁: 我有点不太记得我说了什么但 again 对我来说,这件事情可能不那么重要,而且,而且那时候还没有到要做选择的时候,对吧,那我为什么要,为了没有发生的事情而提前忧虑呢。所以我也没有想太多。

[00:41:01] 张小珺: 有其他人做这样的选择吗?在屠老师沟通的学生中。

[00:41:04] 谢赛宁: 呢,应该基本上没有,我是他在 UCSD 招的第一个学生。

[00:41:09] 张小珺: 那我觉得光凭这一点屠老师应该非常喜欢你。

[00:41:12] 谢赛宁: 呢我觉得这个都是,我觉得也是他救了我吧,呢,确实是但这个也不只是一开始捞了我再到后面做 research,在 PhD 的过程中,我觉得他也是真的帮到了我对我之前像在新加坡实习啊什么的。你可以认为我们在做一些 research,但事实上啊,可以说还是小打小闹,有一个人在你的旁边教你做事,这种感受还是不一样的屠老师是那种坐在你的显示器旁边,跟你一行一行代码往后去对,这样一个老师。

嗯而且他也经常。我觉得很骄傲的会跟我们说这些事情,并且我觉得他也非常值得这样的骄傲就是说他发了几篇,其实对后面的计算机视觉,有重要影响的工作,都是他独立单个作者完成的工作,然后这些工作没有什么像现在一样,大家用 Pytorch,有这么多这些开源的社区,有这么多的这些库你可以调用,对吧,有 GPU,在他那个时候什么都没有他要从底层开始写起。

比如说他要做图像分割这样一个 task,他要从头写起,大概有5万行的这样一个代码,他还把这个代码发给我看过,那这个包含了最底层的这些包括一些 distributed training,一系列的这些东西,全都是 C++写的对5万行代码。

我觉得一方面我觉得我很幸运,不需要经历这些但另一方面,我觉得其实,他们这一辈的在美国的这些这些 scientist,这些 professor 真的是令人敬佩。

对,如果没有他们的话,也没有我们的今天,他们其实是闯出了一条路,对,本来这条路是不存在像我说的对吧,发一篇 CVPR 这件事情,其实是非常非常困难的事情,并且有某个圈子,有某个固定的圈子,对然后我觉得我觉得要靠屠老师,要靠其实他的老板,朱松纯教授。然后包括后来像飞飞(李飞飞,斯坦福大学教授、World Labs 联合创始人兼 CEO),等等,飞飞老师,然后大家把这条路趟出来,让我们才有路可走。

[00:43:28] 张小珺: 嗯我看到有个小红书评论说谢赛宁在国内表现平平,平凡无奇,到了美国一鸣惊人,所以变量到底是什么呢?

[00:43:40] 谢赛宁: 首先我觉得没有在国内平平无奇吧,嗯我不接受,然后在美国也没有一鸣惊人,我也不接受,我觉得好像我做的这些事情,还是一个蛮 smooth 的一个一个很平滑的一个过程,对然后或者说我觉得这也是我希望呢,我作为一个研究人员对吧,这种科学从业者吧,我希望能够处在的一个位置,就是说这件事情不是一瞬间的荷尔蒙或者肾上腺素的爆发。

这件事情,可能是一个终其一生的一个建设,一种很宁静的一个过程,我是希望希望自己能处在这样的状态,我说这样的状态,是因为我知道很多人就是这样的状态,这些我最崇敬的这些 researcher(研究学者),他们就是这样的状态,他们没有说有这种一鸣惊人,或者至少他们的做事情的方式不是或者做事情的自的不是为了一鸣惊人,对我觉得是这样。

[00:44:46] 张小珺: 是为了什么?

[00:44:48] 谢赛宁: 是为了还是把问题想清楚。

[00:44:50] 张小珺: 嗯,你博士期间的工作是怎么展开的呀?

[00:44:54] 谢赛宁: 博士期间工作也很有意思,博士期间工作,咂我觉得也是靠这个屠老师手把手带,对但,我们有第一篇论文,by the way(顺便说下)我我在博士期间,也不是一个成功的博士留学生,按现在的这种 standard(标准)来看,我一共发了可能应该有五六篇,顶会的 paper 吧。

[00:45:14] 张小珺: 这个是什么水平?

[00:45:16] 谢赛宁: 我不知道在那个时代应该还行吧,是能找到顶尖实验室工作的水平,现在可能已经是对现在现在我的很多学生,要比我当初要发的多的多的 paper,然后工作质量也好的多。

但是 anyway(不管怎样),就是一开始的话。我觉得我们做了一个工作叫做 Deeply Supervised Nets (深度监督网络),嗯,这个工作,其实是我跟另外一个更高年级的博士生,一起合作完成的,然后这个时候,这是2013 2014的时候,然后这时候深度学习终于开始爆发,但我觉得这也是一个很有趣的时间点。

因为其实有很多人不接受这件事,尤其很多做计算机视觉的老师,甚至都不接受这件事,就大家觉得深度学习还是一个炼金术,还是一个黑盒子,大家更相信传统的机器学习的理论,相信 SVM 或者相信一些贝叶斯学派的一些理论。

对,能够及时的转身去做深度学习研究。这件事情现在看起来,开着这个历史的后视镜,都是一个 No-brainer(想都不用想的事),就是你不需要做这样的选择,对吧,你就应该这么去做,但在当时要做出这样的选择。我觉得是需要一些勇气的,所以屠老师其实是我,这也是我另外一个非常非常敬佩他并且我我深深的受到了这件事情影响的这么一个事情,那就是说他其实是很及时的做了这个转身。

所以这个 Deeply Supervised Nets (深度监督网络),就是在这个时代,我们第一个 Deep Learning(深度学习)的一个工作,对吧,所以这件事情,事情也很简单啦。这件事情就是说我们怎么样,你所有的这些神经网络,呢,在之前都是只是一个所谓的 Single Stream(单链结构),都是一个长长的链条,然后有你的输入,然后得到你的输出。然后现在 Deeply Supervised Nets(深度监督网络)。

画面说明

以下字幕短暂出现,与上下文不连贯,保留供回看核对。

[00:47:11] 画面字幕: 但这个 robotics 不是简单的 robotics。

[00:47:11] 谢赛宁: 就是说你现在其实可以有 multiple branches(多个分支),就是说你的一个神经网络,其实可以有多个出口,你在不同的出口上,你都可以施加一个监督信号,这样的话,一个最直接的一个好处就是说。你可以不止从最远端的这个信号,做 Back Propagation(反向传播),回到之前的 early(早期)的这个 layers(层)。

[00:47:34] 张小珺: 反向传播。

[00:47:36] 谢赛宁: 你不需要从最远端做反向传播,一路到最头,你其实可以从中间的一个节点,做反向传播,这样,可以解决一部分这种梯度消失的问题。

[00:47:47] 张小珺: 嗯。

[00:47:48] 谢赛宁: 然后这件事情其实跟后来,比如大家做 ResNet(残差网络)其实也有点神似啊,其实就是或者说在那个时代,大家其实都想要解决这样的问题,那 Deeply Supervised Nets (深度监督网络),就是一个要解决这个问题的一个方式,其实这件事情,虽然很远了,对吧,这已经 again12年前了,但我觉得 research(研究)就是这样,12年之后,其实我们现在的一些论文,又再次用到了同样的这样的设计。

有时候甚至是我们都没有意识到,我觉得这个很有意思,但这我们先不说12年以后,对吧,那我第二篇论文,其实是叫做 Holistically-Nested Edge Detection (HED,整体边缘检测),就是一个做边缘检测的工作。

[00:48:28] 张小珺: HED。

[00:48:29] 谢赛宁: 对,我觉得我对这篇工作,其实还也蛮骄傲的,因为这件事情说白了,把一个 research 问题解决了,呢既是一种幸运,也是一种不幸,就是幸运的是说这篇论文是一个不错的论文,不幸的事情是当这个问题已经解决了之后,那没人后面没人做。所以也没有人去 cite(引用)你的论文了。

[00:48:50] 说话人未确认: 呵呵。

[00:48:51] 谢赛宁: 所以少了很多 citation(引用量),呵呵,呢但是呢,但这个工作,其实本质上就是一个 Deeply Supervised Nets(深度监督网络),DSN(深度监督网络)在一个图像,或者说边缘检测。但其实是一个全局的这种我们叫做 Pixel Labeling(像素级标注),就是说像素级别的这种这种标注的这样,这样 task 上面,的一个实现。

[00:49:14] 张小珺: 嗯。

[00:49:15] 谢赛宁: 然后这件事情,也打开了我很多的思路,因为我会发现原来一个神经网络,它的每一层,其实是有它隐含的这个结构,跟信息在这的你的一个神经网络 again,不只有输入跟输出,你的中间会有很多的这些信息,它代表了,这个世界的一个所谓的 Hierarchical (层次化),就是层次化的一个结构,对于边缘检测来说它代表了,就是说你的初级的这些层,输出的这些边缘,就是更加所谓 Coarse(粗糙的),更加粗糙的这些边缘,对吧然后越往上,你的边缘也就更细致。

所以你最后可以把这所有的这些边缘,融合到一起,得到一个最贴近于人的认知下的这种边缘,的这样的一个输出的结果,我觉得这件事情,其实是也让我对深度学习有了新的认知,它是一个很有趣很有趣的东西。你可以认为它是一个 Black Box(黑盒),但这个 Black Box 的每一个部分,你又能把它打开,接入一些新的灵感,然后达到一些新的目标,我觉得这件事情对我启发很大。

然后这个 paper 当初,对我的人生影响也很大,是因为它是发表在 ICCV(国际计算机视觉大会),然后也得得到了一个奖,这个奖是这个马尔奖,就是最佳论文奖的提名,还不是最佳论文奖,只是一个提名。但其实对于马尔奖来说就是它评选两个论文啦,就是相当于,马尔奖跟马尔奖提名是两个奖项了,所以这件事情让我觉得你要说什么一鸣惊人,我当初确实觉得你看我也是年少成名了。

就现在当然。我们有很多这种中国学生,也在这种世界的舞台上,得的这些 Best Paper(最佳论文奖)可太多了,对吧,但当初对我来说走上那个舞台,或者那个讲台吧,然后去给这个 Award Presentation(获奖感言),去给这个 talk。我觉得对我的触动是很大,我会觉得哇,我的这个人生开始了,对吧然后我会不断的努力,我会有越来越多的 Best Paper(最佳论文),啊很不幸,这是我最后一次拿 Best Paper。

[00:51:23] 说话人未确认: 哈哈哈。

[00:51:24] 张小珺: 这时是博几啊。

[00:51:25] 谢赛宁: 这博二吧,哈哈哈,然后直到现在前两天春节,大家发短信还是说祝你新年快乐,Best Paper 多多,我说已经过去10年,每个人都这么祝我了,再也没有得到了。

[00:51:41] 张小珺: 你还想要吗?

[00:51:43] 谢赛宁: 呢,好问题啊,就我觉得这件事情对我来说也没有那么重要,一方面是我知道了这个流程,我知道其实,呢我得没得一篇 Best Paper,可能不代表这篇工作的好坏,我也知道了当初我得的那篇 Best Paper,Honorable Mention (提名),其实多半也是运气。

[00:52:04] 张小珺: 嗯嗯。

[00:52:05] 谢赛宁: 这是一个巨大的随机过程,一个论文中与不中,能不能得什么样的奖,我觉得这件事情啊,非常非常随机,然后如果一件事情这么随机的话,它不应该是—个 researcher,应该关注的事情。

学术流浪

[00:52:21] 张小珺: 所以你到了博二,感觉到人生终于开始了。

[00:52:23] 谢赛宁: 对,然后人生终于开始了,然后立刻现实就把我打翻在地对吧,呢,呵呵,但也没有那么夸张了,就是说呢,我觉得这也是另外一个我读 PhD,的时候哎呀,又要感恩屠老师,就是他其实又是→个非常非常 open-minded(开阔思想),让我们去探索各种各样,不同方向的一个人。所以我在 PhD 的时候一共实习了5次,我觉得即使在今天看起来,虽然跟学校,跟 industry(行业)已经合作这么广泛的情况下,我觉得也是挺难以想象。

[00:52:55] 张小珺: 你为什么想去实习?

[00:52:57] 谢赛宁: 我就想走出去看看。

[00:52:59] 张小珺: 嗯。

[00:52:59] 谢赛宁: 可能就像我小时候去旅游是一样的我想知道在这个世界不同的地方,不同的组织,有什么样的事情在发生,有哪些人在做哪些事情,我想知道这一切,而且我一方面我跟你说对吧,我一直想做,人工智能,或者想做计算机视觉,但另一方面,我也会问自己,What if I’m wrong(如果我错了呢)。

[00:53:24] 张小珺: 对吧。

[00:53:25] 谢赛宁: What if,就是万一呢,对吧万一,这世界,会有另外一个更有趣的事情发生,那怎么办,对所以我觉得这也是另外一个我的一个 motivation(动力)。

[00:53:36] 张小珺: 你去了 NEC Labs America (美国 NEC 实验室),去了 Adobe,去了 Meta,去了 Google Research 和 DeepMind。

[00:53:42] 谢赛宁: 对,感谢,背景调查,对,是的是这5个地方,然后其实前四个都在湾区了,所以我其实那段时间其实还是蛮开心的就是每年啊,我有一辆自己的破车,然后每年夏天,我要把我自己的宿舍转租出去,开着我的车一路从南加开到北加。

[00:54:04] 张小珺: 嗯。

[00:54:04] 谢赛宁: 8小时的路程,有时候会跟有一两次会跟朋友一起,大部分时候是我自己在路上,我觉得这件事情还还蛮酷的对啊所有的身家就在我的车里,两个行李箱,不带走任何一切,因为我这个房子我也没了,我回来我要再重新找房子,对,呢,居无定所,这种流浪式的研究员的生活,我还蛮开心的。

[00:54:31] 张小珺: 这5家里面你最喜欢谁啊?

[00:54:33] 谢赛宁: 我觉得各有各的特点,像这5家里面就是,所以我最近也跟学生说我有很多学生,然后他们实习,其实没有做出来什么好的工作,然后我就跟他们说我就会拿我自己举例子,我说我做了5次实习,一半都没做出来什么东西。

[00:54:52] 张小珺: 嗯,然后这个实习周期有多长?

[00:54:55] 谢赛宁: 一般都是3个月到6个月,所以我大概一半的一年,一半的时间在学校,一半的时间在湾区,当然低谷的时候在伦敦,然后我觉得没有什么喜欢不喜欢,我会尽量的去 diversify(多元化),咂就是就我会,希望我去的每一个地方都不一样,我希望它是一个更多元的经历。所以 NEC Labs America,它当然是我第一个去的地方,然后我觉得在那里,我也发了一篇 CVPR 的论文,然后那边有很多很好的小伙伴,主要还是华人居多。

[00:55:29] 张小珺: 嗯。

[00:55:29] 谢赛宁: 然后大家中午下班了就一起去,Cupertino 去吃饭,我这是我对它的印象,我非常非常喜欢这个集体,非常喜欢大家做研究的态度,然后我也发表了一篇我自己的论文,所以我觉得我非常高兴这段经历。

[00:55:47] 张小珺: 对,NEC Labs America 当年应该也是深度学习的聚集地余凯博士(地平线创始人兼 CEO)也在那里待过。

[00:55:53] 谢赛宁: 是呀,嗯,是的,当然啊它有两个分部,一个在 Princeton (普林斯顿),个在这个 Cupertino (位于美国加州硅谷),所有做 Vision(视觉),做 Media(媒体)相关的人都在湾区。然后所有做,跟这种传统的机器学习相关的工作的人,都在都集中在 Princeton 这边,对的然后后面可以有些可以跳过,但是反正在 Adobe 我就没做出来,原因是 Adobe 是一个非常非常 artistic(艺术家的),有这种艺术家气质的公司。

[00:56:24] 张小珺: 哦,make sense (有道理)。

[00:56:27] 谢赛宁: 然后我在那时候在三番,然后让我做一些跟 design(设计)相关,跟这种 crowdsourcing(众包),就是说你要在互联网上去写一些这种 Mechanical Turk(亚马逊众包平台),就是一些互联网的这种用户 feedback(反馈)的这种系统吧,对吧,然后一些用户反馈系统。然后用它来指导一些机器学习跟这种计算机视觉的一些任务,比如说 Segmentation(图像分割)。

这件事情,我就没做好啊,我还对我的 mentor(导师)心怀愧疚,当然他们也都很友善,对,但这。这也是一次让我体会到其实 it’s OK,没有做出来什么东西,其实也不是 the end of the world,对吧也不是世界末日,但那段时间其实还是蛮消沉的。

然后这段消沉期,其实一直持续到了我去 Meta 实习,就是在学校里,好像也没有做出来什么有趣的工作,然后到了 Mata 之后,之后然后实习只有可能三个月的时间,我在前两个月基本上也,我在 explore(探索)一些东西,在探索一些东西,也是跟神经网络的架构相关,的一些东西,但也没探索出来什么东西,什么名堂。

然后突然一个转机发生了,这个呢,何恺明(残差神经网络主要发明人)加入了 FAIR,在那个时候,对,所以这大概是我实习的一半的时候,何恺明老师然后加入了 FAIR,然后成为了一个 full-time(全职)的研究员,嗯所以那是我第一次跟恺明共事,那是我第一次,向他学习,对,然后然后那时候也建立了一些深厚的友情吧。

我觉得因为那时候他第一次来美国,他第一次,他有很多第一次是在是在 FAIR 的时候,发生的对吧,他那时候也不会开车,第一次来美国也人生地不熟,我要开着车带着他出去吃饭。然后送他回家有时候,呵呵,但他后来也会自己学车了,然后他也不会用 Linux,嗯这件事情也很有意思,对,因为在微软的时候他们都用,他们只能用 Windows 来编程,对,所以我要教恺明怎么样用这些 Cluster,怎么样用 Linux?

对但你会发现恺明,这个是恺明,不是没有原因的对然后我觉得,我觉得像他身上真的是有这种可以叫它光环,或者我可以叫它某种现实扭曲引力场吧,这其实是 Steve Jobs(乔布斯,苹果创始人)的说法,就是说 Steve Jobs 周围的人受到他的这个影响,都会觉得现实发生了扭曲,对吧有些本来完全做不到的事情。现在慢慢竟然可以做到了啊,我觉得恺明也是有这样的魔力的对然后所以这是我第一次看到说一个真正顶尖的研究员是怎么样做,做 research 的。

与何恺明的友谊

[00:59:23] 张小珺: 你那个时候实习期只剩一个月了,你们为什么能够建立起深厚的友谊啊?

[00:59:29] 谢赛宁: 我觉得一是生活上的交流。

[00:59:32] 张小珺: 他为什么选择你呢?他为什么跟你交流呢?

[00:59:34] 谢赛宁: 因为我在那边是一个 intern(实习生),然后我的我的 manager(主管)就把我委托给恺明了啊,因为反正我做的也很不好,也没做出啥东西,然后恺明来了说哎,恺明你来带一带吧,你参与参与讨论吧,对所以那时候还剩了一个月的时间。然后恺明就说要不我们来一起参加一下,这个 ImageNet Challenge(大规模视觉识别挑战赛),对就打这个比赛。

[00:59:57] 张小珺: 嗯。

[00:59:58] 谢赛宁: 然后然后我说哎,好呀那我们来打打这个比赛,因为恺明在微软的时候,那他做出他这些工作,就是靠打 ImageNet 比赛,对吧,然后然后一步一步打起来的说白了,嗯,然后所以我们也来去,去玩这个 ImageNet,这个 challenge。

[01:00:16] 张小珺: 嗯。

[01:00:18] 谢赛宁: 然后在这个过程中我们就发现哎我们之前想到的一些思路,其实是一个 reasonable 的思路,其实是一个很好的思路,对吧,然后其实这个 idea 我 propose 给恺明,恺明他的魔力在于,他能把所,他能把所有很普通的东西,变成一个金子般,值钱的 idea。

所以我们做了这个 ResNeXt 的这个工作,然后这个也是我们参加 ImageNet 的 challenge 的一个 solution(解决方案),个 submitted solution (交付方案)。

然后我们当初得了第二名,没得第一名,但我觉得我们其实是 effective,应该是第一名,因为第一名的 solution 是一个就是 Ensemble(集成)的 solution,就是把一些之前的算法,做模型融合,融合起来的一个 solution,对,然后我们其实是一个全新的框架。

[01:01:06] 张小珺: 嗯。

[01:01:07] 谢赛宁: 对然后然后那个时候,呢,对我觉得我觉得 ResNeXt 想要讲述的事情,也是在涉及到我们怎么样,去通过一个更改神经网络的架构,去学到一个更加 scalable,对吧,可以扩展化的这样一个 representation(表征),这样一个表征。

这件事情其实也非常好玩,因为这件事情,idea 非常非常简单,它就是说原来,比如说我的 ResNeXt 只是一个串形的网络,对吧,只有一层一层一层的这样的 conv layers(卷积层)。现在我可以平行的扩展成好几个不同的 groups,每一个 group 里面有单独的自己的一个小网络,相当于你是网络,在一个大的网络里面,又平行的分布着很多小的网络。

[01:01:54] 张小珺: 嗯。

[01:01:55] 谢赛宁: 这件事情为什么有意思,因为按现在的话来说,这件事情就是 MoE(Mixture of Experts,混合专家模型)。

[01:01:59] 张小珺: 哦。

[01:02:01] 谢赛宁: 所以所以我们当初在至少在 ImageNet 上面,已经看到了某种 scaling behavior(规模化表现),就是说当你的 group 的数目越多,你的这种神经网络也就越稀疏。然后你的神经网络越稀疏,你的宽度越大,但你就能够在同样的这种 flops,这种计算量下,然后得到更好的结果,它就会收敛的更快,然后你最后的结果也会变得更好,我觉得这件事情,跟现在大家在 MOE export 的东西,也是不谋不谋而合的。

[01:02:31] 张小珺: 这个工作算不算,恺明那个 ResNet 的延伸呀。

[01:02:35] 谢赛宁: 是的是的所以为什么叫 ResNeXt 的恺明说对,这个是 Xie’s ResNet,所以它这个 x 既是 next,既是下一代的 ResNeXt 也是呢,给了我的一些给了我一些 credit 啊。

[01:02:54] 张小珺: 嗯,我觉得。

[01:02:57] 谢赛宁: 恺明是一个很会取名的人,对,给 paper 取名的人,对后面很多这些论文,其实都是他帮我们取名的嗯。

[01:03:06] 张小珺: 他会把人的名字藏进去是吗?

[01:03:09] 谢赛宁: 倒也不会,不是每次都会这样做,但只是说是一个巧思吧,我觉得这也是他的 research taste 的一部分。

[01:03:14] 张小珺: 那为什么要把你藏进去?

[01:03:16] 谢赛宁: 不知道我觉得可能也是啊,我其实不知道我没有问过他嗯。

[01:03:24] 张小珺: 你们那个时候已经共事多久了,你的实习期有延长吗?这都是在那一个月里面发生的。

[01:03:29] 谢赛宁: 对,就是在一个月里面发生的这样的事情不计其数,我很多很好的工作,其实都是同样的节奏,就是一开始怎么做都做不出来。

[01:03:39] 张小珺: 哦。

[01:03:40] 谢赛宁: 然后到最后突然一瞬间有灵感的进发,然后把这件事情收敛,就是 research 从来不是一个线性的发展,或者说一个线性发展的 research,永远不是好的 research,嗯,然后我们很多的工作其实都是非线性的我之后可以给你再讲一些其他的 story。

[01:03:57] 张小珺: 嗯。

[01:03:59] 谢赛宁: 呢对,反正,这时候是是跟恺明,然后我我就结束了,然后就这段时期也就结束了。

[01:04:04] 张小珺: 但是你们友谊保持下来了是吗?

[01:04:06] 谢赛宁: 我觉得是的对。

[01:04:09] 张小珺: 然后去了 Meta,这个是一个有成果的一份实习。

[01:04:13] 谢赛宁: 我觉得是一份有成果的实习。

[01:04:15] 张小珺: 在 Google 呢。

[01:04:16] 谢赛宁: 在 Google,我觉得做的也还不错,因为我开始去了解一些视频是怎么玩的对,这些实习,都跟我之前做的东西都不一样,每段实习,跟我之前做过的 topic 都不一样。所以导致我最后的毕业的论文,其实表面上其实是很散的但我还是能找到一个方式,把它们串起来,然后串起来的方式我等下告诉你。

[01:04:43] 张小珺: 好。

[01:04:44] 谢赛宁: 但是但总之是在谷歌的时候,我去研究了一下这些视频的这种神经网络的这种架构跟训练的流程到底应该是怎么样,我觉得也收获蛮大。

[01:04:55] 张小珺: 哎我有一个疑惑,因为你既然在 Meta 跟恺明合作的很好,然后他又是一个鼎鼎大名的 AI 的 researcher,你为什么不留下来继续跟他合作,我觉得很多人可能会这么选择,你为什么要接着去其他地方,去游览了呢?

[01:05:10] 谢赛宁: 呢,这是这其实是恺明的建议,恺明会建议每一个人,去不同的地方实习,这样才能够去,有最大化的收获,对,所以像我们当初,我啊,包括王小龙啊,大家其实都是实习了一次,然后呢我们当然都愿意留下来,但恺明说你们去其他地方看看吧,也许会有不一样的收获。

[01:05:33] 张小珺: 嗯,但是你博士毕业以后回到了 Meta。

[01:05:36] 谢赛宁: 是的对,我觉得我觉得还有就是在 Google 实习完了之后,紧接着又去了 DeepMind 实习,我觉得那段经历,其实是对我启发是很大的。

[01:05:45] 张小珺: 嗯,DeepMind 那时候还不属于。

[01:05:47] 谢赛宁: Google。

[01:05:48] 张小珺: 还没有收购是吗?

[01:05:49] 谢赛宁: 不不,收购收购。

[01:05:50] 张小珺: 已经收购了。

[01:05:51] 谢赛宁: 但是是两个不同的不同的 organization(组织),因为它呢只在伦敦,对,所以那段时间我去,在做一些 RL 相关的 research,啊,然后原因是我真的不知道这件事情怎么玩的。然后我想去看一看,然后做的也很痛苦,而且伦敦的冬天,那段时间是冬天。

[01:06:10] 张小珺: 好冷。

[01:06:11] 谢赛宁: 伦敦冬天也很冷,我还非常记得非常清楚,我要从伦敦地铁下来,工作到很晚,晚上可能10点11点,然后凛冽的寒风,然后夹杂着雨,打到我脸上,然后衣服帽子挡都挡不住,一步一步回到我那个蜗居的小屋,对,临时的宿舍,其实还是蛮辛苦的对,然后但那段时间对我。我觉得启发也很大,第一,让我觉得我好像不是很喜欢做,RL(强化学习)相关的 research,或者说我不喜欢做机器人相关的 research。

[01:06:46] 张小珺: 机器人,因为。

[01:06:47] 谢赛宁: 其实当初 RL 其实就是在这种虚拟的环境里面,模拟环境里面,去做一些 embodied agent 的 task(具身智能体任务),嗯,但是我觉得我更多的收获,其实是来源于,我对 DeepMind 这样一个组织的认知,是在那个时候 build 起来的。

[01:07:05] 张小珺: 嗯。

[01:07:06] 谢赛宁: 我觉得哇,这个地方好不一样啊,跟我去的所有地方都不同,对,他们会有一个很不一样的管理模式,比如说他们会有很多这些 PM 去协调不同的 research 的 team,之间的这种运作,他们会有这种不同的 working group,就大家还是会有很多 bottom up 的 idea,自下而上的这种 idea。

但是它没有一种 top down 的管理的模式,并且它也是一个层级化的管理模式,一开始纯粹探索性质的这些这些 idea,然后大家可以有自己的一个小的 group,去做一些 early study。然后立刻就会进入一些如果一旦一个东西成型,立刻就会进入一个更加 top down,更有组织性的这样一个管理的模式下,我觉得这件事情非常非常有趣。

然后现在回想起来,对吧我之前在 Twitter 上也跟大家说就是 Demis 跟很多 intern 也都见面。然后大家组织了一个 meeting,然后 Demis 就跟大家说或者说其实是有人问他这个问题,就是说哎,DeepMind 的使命到底是什么这个公司,你们到底最后,想成为一个什么样的公司。

Demis 的回答是 DeepMind 最后会成为一个能拿 multiple Nobel Prizes(诺贝尔奖)的公司,能获得多个,这个要,划重点多个诺贝尔奖的公司。我觉得我们当初都说哇,这个也太 ambitious,啊,是不是有点天方夜谭,只是在做 AI 而已,但现在我们看到他们已经至少实现了一步,我觉得我觉得真的是非常非常敬佩。

其实 AlphaFold 这个整个的 team,就是在我实习的那个过程中,逐渐衍生起来的我其实能看到哪些人在做这些事情。然后一开始,也有一些 intern 在参与这个过程,然后一步一步,它是怎么样从一个探索性的这样一个 idea,逐渐变成一个有组织,讲究 execution(执行),一步一步能够去达到。最后彻底改变世界的这样一个项目的这样的过程。

[01:09:11] 张小珺: 组织问题,我们稍后会,着重的来聊,嗯我在想你是不是实习太多,所以你后面没有 best paper 了?

[01:09:19] 谢赛宁: 嗯,我觉得有可能是这样,或者说我觉得我做的东西,可能太多太杂。

[01:09:29] 张小珺: 实习是从博几开始的。

[01:09:31] 谢赛宁: 就是第一年开始。

[01:09:32] 张小珺: 哦第一年开始,所以这两个一直是。

[01:09:36] 谢赛宁: 一直是交织的嗯对,所以我觉得你说的很对,其实我的时间线其实是被打乱的对,确实会失去一些注意力,但我觉得这也是一个我自己的设计,所以说回来,就是说怎么把这些事情串起来呢。我觉得我的博士的论文题目是呢,这个 Deep Representation Learning with Induced Structural Priors,大概就是说一些结构化的先验,呢,用这些先验,来指导我们怎样能学到一个更好的深度学习的表征。

[01:10:11] 张小珺: 嗯。

[01:10:13] 谢赛宁: 然后这件事情,again 已经过了很多很多年了,但我我发现我现在在做的事情还是这件事,然后并且这个11月还是12月开会的时候,然后有一个 workshop,他们的这个 workshop title,就是 Representation Learning with Induced Structural Priors,大概就是用结构化先验和表征,大概类似这样的一个 topic。

然后我再给了一个 talk 过去,然后我在我 talk 的最后,我就说其实过去的12年,你们这个 workshop 的 topic,虽然现在还是 frontier。我们在讨论它的时候有了一些不同的意义,但是这个也是我当初一开始想要 study 的间题,也是我现在觉得还是没有完全解决的问题。

对,所以一方面,我觉得我的这个读 PhD 期间,时间线有点支离破碎,原因是我在不同的地方在做不同的事情,但另一方面,这也是如果你想要去涉及的东西,是表征学习这个 topic 的话。这也是不可避免的原因是它就像种一棵树一样,你的表征其实是你这个树的树根,这个树长起来之后,它得要有不同的枝芽,对吧,这每一枝其实就是一个不同的,我们叫做 downstream(下游)的这种 application(应用),就是一个新的应用。

所以我做过图像识别,图像分割,边缘检测,视频识别,动作识别,对吧,然后包括甚至后期,有一些这种 embodied RL(具身强化学习)相关的 task,在所有做这些事情的时候,我看到的这些问题,它们都是这些树枝上的一个分叉,它们不是根。

对吧,我觉得有可能你说的对啊,我没考虑过这个问题。我会不会有更多 best paper,呵呵,但我希望还是能够更多的种这棵树,然后我希望能够扎更深的根,而不是去,在这个 branches 上面走的更远,对嗯,然后我觉得 again。我觉得这件事情是 Deep Learning 的核心,就是我们说这个表征学习,Representation Learning,这件事情基本等价于 Deep Learning。

[01:12:17] 张小珺: 给大家解释一下什么是表征学习?

[01:12:20] 谢赛宁: 呢,好问题对这件事情,呢,我觉得我觉得之所以我很喜欢说,我是一个做表征学习的人,是因为这件事情还是蛮难定义的从数学上来讲,你可以认为表征学习就是说你有一个 data,对吧,x。然后你现在要把它 map 到一个一个 space 去,然后现在这个 space,可能会具有一些性质,这些性质,可能这些好的性质,可能会更容易让你在下游的任务上面,取得更好的结果。

对吧,然后所以你要学的这个呢,从初始的这种数据,再到这个具有良好,良好性质的这个空间的映射的这个函数。这就是所谓的表征学习,然后这个函数也不是只是一个简单的映射,它有可能是一个 hierarchical(层级化的),层级化的一个映射,然后我们现在当然这件事情可以用不同的方式实现,那现在主流的实现的方式,就是用一个非线性的神经网络,来实现这个这个函数,对,所以我觉得这是一个定义。

但我刚说我会。我会愿意,说我自己是做一个 Representation Learning 的人,是因为我觉得这是一个永恒的 title,就因为这个领域发展太快了,很多时候我们做很多的事情。

包括我举一个例子吧,这个可能是一个非常非常非常 negative 的 example,就是以前其实,在我我什么时候,可能 PhD 刚毕业的时候,有一个东西非常非常火,叫 NAS (Neural Architecture Search, 神经网络架构搜索),就是叫做神经架构这个这个检索吧。我不知道应该怎么翻译,就是 Neural Architecture Search。

[01:14:03] 张小珺: 嗯。

[01:14:05] 谢赛宁: 呢这个领域里面,很多共识就是说这样→个 topic,耽误了整个领域大概两年的时间,这是一个错误的方向大家在这个错误的方向上面,发了几千篇论文,但最后没有任何的收获。

[01:14:19] 张小珺: 嗯。

[01:14:20] 谢赛宁: 然后所以为什么我说:表征学习是一个很好的这样一个 title 呢,或者说我愿意跟所有人说,我是一个做表征学习的人,是因为这是一个 fundamental(根本)的问题。

如果你现在说,我是做—个 Neural Architecture Search 的人,那这个这件事情就很麻烦,有可能过了2年之后,你就立刻得要改行,你就要把自己网站上说我的 research 方向是 Neural Architecture Search,把这句话删掉,替换成下一个更 fancy,或者说更不一样的一个一个 term?

[01:14:51] 张小珺: 它不是一个永恒的主题,嗯。

[01:14:54] 谢赛宁: Representation 是一个永恒的主题,是一个最 fundamental 的主题,也是一个还没有被解决的主题。

[01:14:59] 张小珺: 嗯。

[01:15:05] 谢赛宁: 所以啊哎,PhD 可能讲的有点长了,呵呵呵但是但还要说就是说我觉得 PhD 的时候,其实也遭受了更多的挫折,包括比如说,我们一开始 Deeply Supervised Nets 这个论文。这件事情也是一开始我们投了 NeurIPS(神经信息处理系统大会),得了一个挺高的分数,大概是886还是怎么样,887的一个分数,最后还是被拒稿了,然后这件事情对我来说也是一个打击,嗯我发现哇,原来发表一篇论文这么难,即使得到了很好的评价,但还是因为一些很离谱的原因。然后被拒稿。

[01:15:42] 张小珺: 离谱是什么?

[01:15:43] 谢赛宁: 离谱原因是因为我们当初,我们的里面有一个数学公式啊,它应该是平方,我们有一个 typo(笔误)啊,把这个平方项落在那了,没有写,纯粹是一个 typo,非常容易 fix。

但 PC 说啊,就是这种 Program Chair,就是负责这种这种会议的人就会说。这件事情导致你的数学上不成立,是一个错误,然后这件事情 rebuttal(审稿)的时候,就是说你在反驳 review 的时候,review 没有看到,所以很不幸,你没有办法被被 fix,那现在我们只能去搞。

现在看起来已经不可想象了,就是因为第一,现在可能大家也不会去检查论文里的公式了,第二,我觉得大家也相对来说更加宽容了,在那个时候,其实大家会非常非常抠这些细节,嗯对,但没关系,反正我们就投了这个 AISTATS。另外一个会议啊,机器学习的会议,然后这个论文,去年得了他们的这个 Test of Time Award,然后就是一个时间检验奖,所以我觉得。

[01:16:42] 张小珺: 这么久。

[01:16:43] 谢赛宁: 对啊,因为所有的时间检验奖都是说你要评价10年以后的在10年者以后的这个节点,评价10年前所有发表的 paper 里面,哪一篇论文影响力最大,对这个领域影响最大,对所以我觉得我突然又释怀了。我觉得确实做研究是一个长期的过程,然后所以这也是为什么我跟很多学生也会说这件事情,然后我觉得其实不要在乎,每一个时刻你的成败吧。

我觉得或者说从数学的角度来描述的话,就是说不要在乎一个 point estimate(点估计),就你不要在这个时间轴上,在每一个点,估计你做的好还是不好。因为所有的评价,它直到最后都会是一个积分,就你需要时间的积累,到最后你看,所有你之前做过的所有的事情,累加在一起,它决定了你是不是一个好的 researcher。

[01:17:44] 张小珺: 但是在那一刻,你还是会很沮丧的。

[01:17:47] 谢赛宁: 很沮丧对,非常非常沮丧。

[01:17:49] 张小珺: 你在那一刻很难想到10年后的事情。

[01:17:51] 谢赛宁: 很难想到10年后的事情。

[01:17:52] 张小珺: 嗯,你在博士毕业的时候,对自己的人生是抱着什么样的期待呀?因为你也发了一些很好的论文,你也是有过5次实习经历了,你觉得你自己是应该往科研方向走,还是往产业走,你有做这个选择吗?

[01:18:09] 谢赛宁: 我觉得那时候一直都不是很自信,那时候我都没有去想过找教职,因为我觉得我不配,哈哈哈因为。

[01:18:17] 张小珺: 你为什么在每一刻都觉得我不配?

[01:18:20] 谢赛宁: 我觉得现在好一点,但是可能这个有点夸张了,也没有觉得真的不配吧,但只是觉得比起我的那些 peer,他们在这个既定的轨道上面,像我说的一步一步通向这个很好的教职,这条路线。我觉得我不在这条路线上。

[01:18:35] 张小珺: 哦。

[01:18:36] 谢赛宁: 或者说你刚说的这件事情也很有道理,如果你最后真的路线,是要找一个教职的话,至少在当初那个时间点上,你不应该去5个地方,做5个实习,做5个不同的项目,这件事情非常不利于,不利于找教职。

[01:18:49] 张小珺: 因为如果你想找教职的话,你留在何恺明的那个团队里面,你可能会能发更多的 paper,你有更多的结果,在那个时间段,它可能能够更加顺畅的通往一个确定的目的。

[01:19:02] 谢赛宁: 对我不知道是不是一个确定目的我真的我觉得还是挺玄学的所有这些决策都是说我只考虑的事情是我应该去做哪里,做我最想做的事情,最好是跟我最想要共事的人一起,共事,我觉得其实这个想法其实非常非常单纯。

所以在当初找工作也是其实我也四处都在找吧,各大厂其实也有不少 offer,对,然后我之前也讲过我当初面试 OpenAI 的经历,其实还是蛮酷的反正在一个小黑屋里面,关了五六个小时,做一道题目,出来的时候天都黑了,对,我觉得我对那个体验也比较奇妙,感觉也比较奇妙,但那时候其实我。

[01:19:44] 张小珺: 谁是面试官在 OpenAI?

[01:19:45] 谢赛宁: John Schulman (OpenAI 联合创始人、Thinking Machines 联合创始人兼首席科学家)。

[01:19:46] 张小珺: 哦对,我看到你在知乎上写过这个经历,对吧。

[01:19:49] 谢赛宁: 呢不在知乎,是在 Twitter 上面,在 X 上面。

[01:19:51] 张小珺: 对知乎转了,那就是。

[01:19:53] 谢赛宁: 是的,对他当初的这个面试题是一张 A4纸,他是手写的铅笔,手写的一行一行的这个面试题,我觉得这件事情,对我也是一个很大的触动,我觉得我觉得太有意思了,这个地方很有意思。然后最后,其实,当然也有 offer 了,但是最后。

[01:20:12] 张小珺: 没有去 OpenAI。

[01:20:14] 谢赛宁: 这就是这个时间线开始,量子力学开始发生了一些变化,那时候是2018年。

[01:20:22] 张小珺: 好早,嗯。

[01:20:23] 谢赛宁: 所以如果我去 OpenAI 可能响。

[01:20:26] 张小珺: 你现在也是 LLM 的一员。

[01:20:28] 谢赛宁: Maybe 啊我觉得可能不会,我不知道不知道会发生什么但那时候其实想都没想那时候我就想去 FAIR,如果 FAIR 给我这个 offer,我一定会去。

[01:20:38] 张小珺: 你想去 FAIR 的原因是恺明。

[01:20:40] 谢赛宁: 呢对,恺明 Piotr (Dollar),Ross Girshick,就是所谓的当初的计算机视觉的三驾马车,他们都不是那种很 senior,比如说大学的教授,或者怎么样都是这种中青年吧,的研究员,但就是最顶尖的三个人,对他们在那。然后他们做的研究就是最最顶尖的计算机视觉研究,所以对我来说没有什么好选的。

所以当初还挺好玩的就是这个 Ilya (Ilya Sutskever, SSI 创始人兼 CEO、OpenAI 联合创始人兼前首席科学家),给我打电话啊就我什么都没说我就把 OpenAI 拒了,他们发给我一个 offer。然后我说我不去抱歉。

两次拒绝了 Ilya

[01:21:12] 张小珺: Ilya 打电话说什么?

[01:21:13] 谢赛宁: 呢,非常生气,然后他问我说:你为什么不讨论一下,就把这个 offer 拒了,是我们给的钱不够吗?

[01:21:21] 张小珺: 多少钱?

[01:21:22] 谢赛宁: 呢,记不太清了,其实非常非常低,可能就呢,可能几十万吧,当初的那个 pay 都是就是一个顶尖的 PhD 的学生,在2008年能拿到的这个工资,大概是可能40到50万左右。

[01:21:36] 张小珺: 美金。

[01:21:37] 谢赛宁: 美金对,然后现在已经至少翻个三倍,但是 anyway,然后那个时候,OpenAI 也是这个 level,没有什么问题,对,然后但是 Ilya 很生气,然后我我也只能搪塞两句。然后跟他说不能去,然后但那时候确实。

[01:21:53] 张小珺: 他生气会说什么呢?

[01:21:55] 谢赛宁: 其实也没有就只是语气非常严厉吧。

[01:21:57] 张小珺: 他为什么要决定打这个电话?

[01:22:00] 谢赛宁: 我不知道那说明他确实对招人很用心吧。

[01:22:03] 张小珺: 他没有被拒绝过。

[01:22:04] 谢赛宁: 呢,不,我不觉得是这样,在2018年的时候,我觉得他应该经常被拒绝,因为那时候的 FAIR,呢不止在 Vision,我觉得在很多方面,对于最顶尖的 PhD 毕业生来说 FAIR 都是一个比 OpenAI 更有确定性,更 open。然后更像一个学术环境的这样一个机构,我觉得至少在那个时间点上,我身边的所有人,如果有这样的选择的话,除非,他们是确实要做一些 OpenAi 已经在做的很擅长的这些事情。我觉得大家还是会倾向于 FAIR 的。

[01:22:40] 张小珺: 你是很顺畅的拿到了 FAIR 的 offer 吗?

[01:22:43] 谢赛宁: 呢也没有那么顺畅啊,我觉得也挺,一路都很都很坎坷。

[01:22:48] 张小珺: 你当时拒绝了 OpenAI,是因为你拿到 offer 了吗?

[01:22:51] 谢赛宁: 是的对,但在 FAIR 的时候,我给了一个 talk,这个 talk 啊,我当初也没有任何经验,我觉得所有人在我那个阶段,好像找工作都蛮有经验的就我啥也不知道,然后给了一个 talk,本来,Talk 的时间是一个小时,那正常大家应该是讲45分钟到50分钟。然后有10分钟提问,然后我讲了半个小时,讲完了,然后大家这个面面相,不知道该怎么办。

当然,我觉得会有很多下面的 researcher,给了我很大的面子,然后提了很多的问题。所以把时间 somehow 撑到了45分钟吧,然后不至于那么尴尬,后来恺明跟我讲,说大家觉得这件事情,第一很不常规,怎么能这么快就讲完呢,第二,我觉得要不以后面试都这样算了啊,半小时讲个 talk 也挺好,省省大家的时间。所以有很多时候,我觉得我做的这些事情,都没有做到尽善尽美。

[01:23:50] 张小珺: 嗯你为什么那么快讲完了,你为什么不遵守它的规则?

[01:23:53] 谢赛宁: 我不知道有这个规则。

[01:23:54] 张小珺: 哦,没有读。

[01:23:56] 谢赛宁: 呢我不知道有这个规则,你像现在比如因为这个规则其实是一个 job talk 的规则,就是没有人告诉我这个规则,对大家说 11点开始有一个 talk,但其实这是一个既定的规则。因为在学术界的面试就是这样,然后 FAIR 在当初其实是一个学术机构,嗯,它其实是一个大学,它的运作的模式其实就是 PI,带着一些小年轻,对吧不管是 intern 也好,还是一些新入职的同学们也好。然后一起做事情。

并且当初我加入 FAIR 的时候,我可能是我不知道是前几个,可能这个陈新磊可能是第一个但我可能是第二个,就是这种 fresh PhD graduate 能够加入 FAIR,一开始咱们不招这种 new PhD graduate 的你如果是只是一个 PhD 毕业生,他们不愿意要,他们只会招这些像恺明一样,已经做得很不错的这种这种研究员,嗯对,所以我也是比较幸运吧,对,嗯,我觉得 FAIR,确实是那个时候的圣殿了,嗯,然后所以我觉得我也没有纠结太多的太多其他的可能性。

嗯然后 Ilya 这件事情的再多多插一句,呢我一共就跟 Ilya 打过两次电话,这是第一次啊,第二次可以之后再聊,他是是24年7月的时候,他 SSI 刚成立。然后他跟我发邮件说愿不愿意来一起工作。

[01:25:26] 张小珺: 你又拒绝了他。

[01:25:27] 谢赛宁: 对。

[01:25:28] 张小珺: 这次为什么呢?

[01:25:30] 谢赛宁: 这次是因为我刚在 NYU 开始我的工作,然后嗯我觉得好几点吧,我跟他聊的时候,呢,我们主要讨论的 topic,这次不是工资什么的都没有聊这些事情,主要讨论的问题是怎么样给未来的人工智能。

[01:25:47] 张小珺: 给予爱的能力。

[01:25:50] 谢赛宁: 讨论哲学,当然我最后问他了,一句话,我说你对多模态这件事情怎么看,你对计算机视觉这件事情,或者你对 general 的这种感知的模型,你怎么看,Ilya 的说法是他觉得这件事情已经解决的很不错了,好那所以我觉得可能 SSI 有自己的基于语言的这样一个路线吧。然后这条路线,至少在现在为止,不是我想要去涉及的路线。

[01:26:24] 张小珺: 这是你们底层的分歧,到底是 LLM 还是视觉。

[01:26:29] 谢赛宁: 对,我觉得之后可以再聊细聊,但是我并不觉得这是一个分歧,我觉得这是一个有机体,然后大家只是在不同的地方,在不同的时间在做不同的事情而已,我一直喜欢说一句,兄弟爬山,各自努力,大家在各个地方做各自的事情。我觉得没有任何问题,不是要拼的你死我活的状态,LLM(大语言模型)跟我想做的事情不冲突,并且没有 LLM 最近的这些发展,可能也没有,现在计算机视觉现在的这种状态。

[01:27:02] 张小珺: 嗯,你们那个话题,怎么赋予人工智能爱的能力,有结论吗?

[01:27:09] 谢赛宁: 结论就是这件事情很重要。

[01:27:11] 张小珺: 为什么呀?

[01:27:12] 谢赛宁: 因为如果没有的话,我们面临的是一个非常不确定,非常危险的未来。

[01:27:19] 张小珺: 但是有爱的同时一定就有恨,就它是一体两面,它不可能只有爱,当它学会了爱的时候,它一定会,它一定知道它的反面是什么?

[01:27:29] 谢赛宁: 对我我完全同意你说的嗯,这件事情就上升到哲学命题了。

[01:27:35] 张小珺: 嗯。

[01:27:36] 谢赛宁: 但我觉得或我想反问一句吧,就是为什么大家会对自己的孩子,会对人这么信任,然后对 AI 这个新的这样的一个智能的实体,会这么担心或者恐惧呢,我觉得这里面我没有答案,但我觉得会有技术上的一些可以去把控的地方,就我们可以通过技术的手段,让 AI 能在未来变得更加可信,变得更加安全,并变得更加 controllable,嗯可以控制。然后其实这件事情侧面也是为什么要做?要做世界模型。

[01:28:18] 张小珺: 他为什么想要找你啊?

[01:28:20] 谢赛宁: 呢,不知道可能他 reach out 了,一千个人,一万个人吧,我猜对。

[01:28:27] 张小珺: 我们那天在一起等餐厅排队的时候,其实我们在纽约的街头一起走了走,我们的话题很自然的就延展到了那些,对你非常重要影响过你的人,就是刚才在你的分享里面,其实人这个因素,占据你的很多选择的非常大的比重,为什么人对你来很重要?而且你自己的个人简介里面,也清楚的写出来了,哪些合作者对你来说很重要,这个非常少见,为什么人对你来说这么关键?

[01:28:56] 谢赛宁: 这件事情少见吗?我觉得一点也不少见,我觉得这就是一个在学术圈里面,大家的一个行为的模式吧,我觉得大家会有这种组织起来,这种 social network,嗯然后这些人决定了你的认知。因为他们可能是你的学生,他们可能是你的老师对吧,但是不是说老师就一定教导学生,有时候也是学生反过来教导老师的所有这些事情都能成立,所以它是一个巨大的一个 graph,人与人之间全都会被联系到一起。

然后我觉得,这也是为什么 research,或者 science 这件事情特别奇妙的一点嗯因为我觉得很多时候,人与人的这种这种彼此的信任,彼此的欣赏,彼此的这种感受吧。我觉得不是通过比如大家非要生活在一起,然后做朋友这样建立起来的很多时候其实是通过 scientifc discovery,这种这种 research 的部分建立起来的人与人的关系。

我觉得这件事情其实是非常有意思的比如说对我很深影响的人,那我可能了解他们的个人,当然我也会尝试去了解他们的个人,对吧但这个对我来说不重要,我似乎在透过他们的论文,了解他们的想法。然后我觉得这才是 research 的意义,我觉得 research 意义不是为了发论文,我我不认为呢,发论文,是这件事情的一个目的完全不是这样。

[01:30:29] 张小珺: 目的应该是。

[01:30:31] 谢赛宁: 目的是什么呢,啊。

[01:30:33] 张小珺: 是对人的游历吗?

[01:30:36] 谢赛宁: 我觉得恺明跟我说这个目的是嗯,其实它的本质的意思是要把这个把 knowledge share 出去,就是你发的论文的目的不是给别人看的是为了让别人看到这个论文之后,别人有事情做,就是你发表一篇论文,别人 understand 了一些其中的内容。然后大家会觉得我自己的视野被打开了。

[01:31:04] 张小珺: 嗯就是对别人有帮助。

[01:31:06] 谢赛宁: 对别人有帮助,对,能够 inspire 别人,或者说能够启蒙别人。

[01:31:10] 张小珺: 哦这个是 research 的目的。

[01:31:12] 谢赛宁: 我觉得这是 research 的目的或者说一个更浪漫的说法,其实是说我觉得这,这句话是这个这个汉娜·阿伦特(政治哲学家)说的,然后她说:我不在乎什么 impact,我不在乎影响力这件事。因为其实在 researcher 圈子里面,大家会说我们发 paper 的目的是创造某种 impact,对吧,对其实在我字典里面,我其实有点对 impact 这个词是有抵触的。

[01:31:37] 张小珺: 抵触。

[01:31:38] 谢赛宁: 有一点抵触。

[01:31:39] 张小珺: 哦,呢,为什么呀?你抵触它的是什么?

[01:31:43] 谢赛宁: again 就是说这个阿伦特,她说的说法是说她说她觉得呢,impact 这个词是一个过于 aggressive,过于男性化的一个词,这对她来说她做这些事情的目的不是创造 impact,而是为了理解本身,她觉得如果能够理解到一个事情,这件事情的感觉是很奇妙的如果你能把你理解到的东西写下来,不管是一篇文章一篇论文也好,传播出去,那你就能够有可能让这世界上更多的人,对这样的一个问题,有跟你一样的这种理解。

然后这件事情会,会一步一步的传导下去,形成一个很大程度上某种共鸣,然后阿伦特的说法是她会在这之中找到一个家人的家人的感觉,她会觉得自己理解了一件事情,告诉别人,让别人能够被理解,那说明这些人也一定程度上理解了我嗯,但我觉得人作为这个社会上的生物,是需要被理解的对。

[01:32:52] 张小珺: 他把影响力这个词,用了一种非常柔软的方式表达了出来,是在谋求理解。

[01:32:58] 谢赛宁: 我觉得是。

[01:33:00] 张小珺: 你更赞同这个说法。

[01:33:01] 谢赛宁: 我觉得很赞同她,因为我觉得,我觉得创造 impact 这件事情没有问题。

[01:33:08] 张小珺: 特别以我为中心。

[01:33:09] 谢赛宁: 嗯嗯。

[01:33:11] 张小珺: 我要创造 impact 嗯。

[01:33:13] 谢赛宁: 对以我为中心,并且是对,你说非常对,我要创造这个 impact,我要改变这个世界,但这个世界的人同意我这样改变他吗?呵呵呵,或者说这个世界上很多的灾难,其实是因为大家要创造 impact,要去改造这个世界啊,所带来的对。

我觉得这件事情,我会倾向于同意这种更柔软的表述,我觉得如果能让在这个世界上的所有的人,因为我们做的研究,能够对问题多了一层新的认识,多了一层新的了解,这个地球上的智能总量就会被提上去,但地球上智能总量提升这件事情,永远不是一件错误的事,它永远是一个对世界来说有利的事。

[01:34:04] 张小珺: 不管是 impact 也好,还是被更多的人理解也好,你希望被更多的人认识和记住吗?嗯你对这种 fame(名声)是有需求的吗?

[01:34:15] 谢赛宁: 我当然没有这个需求了。

[01:34:16] 张小珺: 你没有这个需求。

[01:34:17] 谢赛宁: 但我觉得我觉得我没有这个需求。

[01:34:19] 张小珺: 但真的吗?

[01:34:20] 谢赛宁: 呢我或者说我站在我现在这个角度,我其实是这个某种虚假的 fame,的一个受害者,呢,原因是现在大家会把我们的一些论文,放到小红书上去,去议论然后其实这件事情没有一个或者说大家说所谓什么三大会。然后要宣传工作对吧,我从来没有一次,要求过任何一家这样的媒体,去做这样的宣传。

[01:34:48] 张小珺: 嗯。

[01:34:49] 谢赛宁: 然后我跟我的学生说,你们千万不要去什么去小红书啊,去什么知乎,去宣传自己的工作,你可以去解释你的工作,你可以去评论你的工作,没有问题,不要去宣传自己的工作。

[01:35:02] 张小珺: 为什么在 X 上是可以的呢?

[01:35:04] 谢赛宁: 我觉得×上面,呢,更多的还是还是看怎么叫做宣传吧,我觉得我更 focus 的东西,还是说把这件事情稍微凝练总结,然后告诉大家是怎么回事,更有点像吸引大家去看我的这个工作。我觉得这件事情没有问题,但我说的宣传,更像是你说的 fame 这件事情,因为我真的很不能接受的事情是大家现在会说某某某团队,发表了什么什么工作。

[01:35:32] 张小珺: 哦,会强化那个人。

[01:35:35] 谢赛宁: 强化这个人。

[01:35:36] 张小珺: 某个人的团队。

[01:35:37] 谢赛宁: 会强化这个人,对,如果有这个小编们听到这件事情的话,希望大家以后能够不去说这件事。

[01:35:45] 张小珺: 不能写谢赛宁团队。

[01:35:46] 谢赛宁: 不要把我的照片放在上面,不要把我的名字放在上面,我们需要更加鼓励年轻人,真正做出这个工作的人,让他们有更多的 visibility(可见度)。

[01:35:57] 张小珺: 对吧,那大家可能会觉得你是一作。

[01:36:00] 谢赛宁: 呢对,如果是我是一作的工作没问题,但我不是一作,对吧,我只是这个团队的负责人,然后很多这些工作都是学生做的。

[01:36:08] 张小珺: 对那应该叫什么呢?不叫谢赛宁团队。

[01:36:12] 谢赛宁: 就事论事就好,讲这件事情解决了什么问题,然后它为什么重要,我觉得就够,对,但我觉得这件事情。

[01:36:22] 张小珺: 你很讨厌被别人拿出来当靶子,是吗?

[01:36:25] 谢赛宁: 呢,对啊,因为我觉得这件事情会增加,增加很多的风险吧,我觉得。

[01:36:33] 张小珺: 嗯那你来讲讲那些影响过你的人吧,其实刚才我们已经讲过几个人了,恺明屠教授还有吗?

[01:36:40] 谢赛宁: 哦是呢,我觉得对吧,这个是是在 FAIR 那,其实可以顺着 FAIR 往下讲,那就是说 FAIR 结束之后,我就来 NYU 了,我觉得这又是一个 decision making 的 point。

[01:36:53] 张小珺: FAIR 待了4年。

[01:36:55] 谢赛宁: 待了4年整,对,OK,是的是的也是起起伏伏,对我我刚刚说我很多去的地方,其实都跟这个地方共同成长,可能 FAIR 是一个例外,我去的时候是它的顶点。

[01:37:08] 张小珺: 是高点。

[01:37:09] 谢赛宁: 可能是高点,对然后对也很可惜吧,现在在那里发生的事情,但我觉得也,嗯,对因为我跳船跳的比较早,所以我也不是在在它这个谷底的时候才离开,对哈哈,我觉得我也是看到了一些迹象,对。

[01:37:29] 张小珺: OK。

[01:37:30] 谢赛宁: 然后但是对,然后我觉得如果说影响我的人的话,那在这个过程中去 NYU 的时候,我觉得这又是一个蛮玄学的一个决策的过程,对吧然后那个时候其实决定去纽约,我刚其实也说了,是因为可能我会比较喜欢这个城市。然后但我觉得呢另外一个很重要的事情,也是因为 Yann LeCun(杨立昆)在这,对,Yann 在这,嗯对。

杨立昆和李飞飞往事

[01:37:58] 张小珺: 为什么他在这?你愿意去,你们在 FAIR 共事过。

[01:38:02] 谢赛宁: 呢,他会他经常会说他有 recruit(雇佣)我就是招了我三次对吧,然后第一次是在 FAIR 啊,但那时候,是因为他是这个 FAIR 的总的负责人,他是这个 FAIR 的 director 啊,我没有跟他直接的共事,但也当然也受到了他的影响。

[01:38:21] 说话人未确认: 或者长期以来有交流吗?

[01:38:23] 谢赛宁: 有交流有聊过,对,但没有直接的合作过,嗯,然后去 NYU 是第二次,第三次我们可以之后再聊,嗯,然后在 NYU 这段经历也是,我觉得为什么他在这非常重要,也是因为我觉得他是一个非常有 Vision(愿景)的这样一个人。

所以对,我觉得还是很多很直觉的这种决定吧,比如说 NYU 的教学楼,我们叫做这个 Center of Data Science 呢,就是所谓的这种数据科学中心。这件事情其实是 Yann 牵头,在过去十几年之前,就设立的这样一个组织,对它独立于,比如说传统的计算机系,或者数学系之外,它是一个新的一个 department,所以我们有一栋新楼。

然后第一次我踏入这个楼的时候,我就觉得感觉很好,因为完全都是玻璃门,对,之后有空的话可以带你过去看看,它都是玻璃门,所有东西都非常非常 open,然后学生有点像公司。然后配色又很好,对我刚刚一直说我是一个视觉动物,就这个里面有这种暖色调的,然后橙色的这样一个 floor 啊,然后有各种沙发,然后大家虽然很混乱,有各种各样的机器人,在地上跑来跑去。

然后有各种各样的学生在这个沙发,那个沙发,然后坐着学习啊,然后没有任何隐私,毫无隐私可言,所有的教授的办公室的玻璃门,看的清清楚楚里面发生的事情,嗯对,然后但我觉得哇,这个很有趣,这个环境很有趣,对啊。

现在其实越来越越多的美国的学校,开始有这样的 effort,就是说我们希望有一个嗯这种呢 interdisciplinary,就是跨学科的这种中心,对吧通常来讲,就是说这种 AI 的这种中心。然后然后通过它来吸引人才,通过它来把不同的院系组织到一起,因为 AI 确实承担了一个这种中间层的这样一个身份和位置。

[01:40:32] 张小珺: 连接大家都需要对嗯啊。

[01:40:35] 谢赛宁: 不管你是做科学的对吧,做物理做化学,然后做数学,做统计商学院,然后包括计算机科学,我觉得 AI 是一个很好的一个这么样一个中间的节点,嗯对,但 Yann 的远见在于他十几年前,就把这件事情已经 establish 起来了,嗯。

所以我觉得。我觉得他这个是蛮 visionary 的一个人,嗯对然后所以 NYU 在 AI 的布局上面也很好,所以其实 again,我觉得计算机系不是它的这个学校的强项。但是它有很多 AI 的人才储备,对,它汇集了很多很厉害很厉害的 AI 的这种 faculty,对嗯。

[01:41:22] 张小珺: Yann 是你选择 NYU 的一个原因。

[01:41:26] 谢赛宁: 这也是我觉得有很多很多原因,他是其中之一,因为他需要面试我,然后他需要最后拍板,对嗯,或者说是他选择了我嗯。

[01:41:35] 张小珺: 重要的人,还有其他人吗?

[01:41:37] 谢赛宁: 嗯我觉得还有比如说在 NYU 的这个时间,然后我还跟很多其他的老师也有合作,然后对我影响我觉得很大的一个人,也是可能飞飞老师吧,对啊,我觉得李飞飞老师,呢她写的那本书大家一定要看一看,对就是她的自传。

[01:41:59] 张小珺: 对。

[01:42:00] 谢赛宁: 然后我也读过,但是我觉得跟她深入交流下来,我觉得我的收获又更大,对或者说有时候我会,我会跟她说:我遇到我面临了,这个困境和 challenge,然后飞飞老师会很语重心长的告诉我她过去的一些故事,嗯然后这件事情其实对我是一个极大的安慰。

[01:42:23] 张小珺: 比如说什么样的故事啊?

[01:42:25] 谢赛宁: 具体的事情,可能就不方便讲了,但是总之是她一路成长起来其实也不是一帆风顺,嗯她也是有需要踏遍很多的荆棘,然后一步一步克服很多的障碍,然后到现在站在这种世界的舞台上,变成一个华人骄傲,或者说变成整个这种 research 领域,计算机视觉的一个北极星,让大家能够看到她想的事情。然后能够在某种意义上,制定一些新的这种路线吧,我觉得这件事情,对,她对我的影响都非常非常大。

[01:43:11] 张小珺: 嗯。

[01:43:12] 谢赛宁: 然后我觉得飞飞老师最厉害的点在于,她是一个能够定义问题的人,嗯就这件事情,其实也不是一个很直观的事情,就是说其实大家说这个飞飞老师,最厉害的这个成就,就是 build 的这个 ImageNet,这个 dataset。

但其实事实上这个不只是一个 dataset,这个不只是一个数据集,大家可能很难想象,可能在过去这个时间点对吧,比如2012年或者2011年的时候,图像分类不是一个明确的问题,就是把这个问题定义清楚,远比 build 这样一个数据集,要强的多得多,要重要的多的多。

[01:43:56] 张小珺: 嗯嗯。

[01:43:57] 谢赛宁: 然后我觉得飞飞老师就是说 set 的这个 agenda,把这个间题定义清楚,使得接下来,Deep Learning 可以有一个 playground,有这样一个平台,可以去施展拳脚。我觉得这件事情,是她最厉害的地方,也是我一直想要学习的地方,嗯对,所以我跟她做,有两篇工作,一篇是 Thinking Space,然后这篇论文,主要也是在涉及到这种多模态的元模型里面,怎么样去解决?更好的解决这种呢这种空间智能的问题。

好最近我们又有一篇 paper 叫啊 Cambrian-S,然后这个论文也是涉及到的事情,是说在视频里面,我们怎么样去定义问题,到底哪些问题才是重要的对,我觉得这一部分跟她的合作,也帮我拓展了我 research 的边界。

[01:44:49] 张小珺: 飞飞老师是怎么跟你熟识的呀?

[01:44:52] 谢赛宁: 呢都是很机缘巧合的机会吧,她有有一次来纽约出差,然后我们就一起吃了次饭,然后她跟我讲,跟我讲了很多很多东西,对,然后后来她经常会来纽约,然后因为她也在创业嘛,然后我们会经常一起聚一聚。然后聊一聊,对大概是这样,然后平时我们会在 research 上面,会有一些 meeting。

[01:45:14] 张小珺: 嗯我有一个好奇,我想可能也是很多人对你的好奇。

[01:45:19] 谢赛宁: 嗯。

[01:45:19] 张小珺: 就是你是怎么样从一个非常年轻的开始做学术的研究者,然后慢慢的能够和这些 AI 业内赫赫有名的人,走到一起,并且站到一起的也就是说你是怎么走进 AI 的核心?

[01:45:39] 谢赛宁: 我我还是不觉得我在 AI 的核心。

[01:45:41] 张小珺: 或者走近 AI 的核心吧,嗯因为你刚才说的这些人,肯定很多人都很想跟他们合作,是吗?

[01:45:50] 谢赛宁: 啊当然是了,对我觉得。

[01:45:52] 张小珺: 而且你看你们都是一些机缘巧合,可能恺明是刚过去,你作为 intern 让他打开了自己,然后飞飞老师是,你们也就是吃了一顿饭,你是怎么让他们打开自己的呢?

[01:46:08] 谢赛宁: 我觉得这件事情很难刻意的做到嗯或者说这件事情也有点玄学,我会觉得你可以叫它某种吸引力法则,或者说你可以认为大家想法一致的人,最终都会聚聚聚合在一起,虽然你可能有无数的小溪,但最后可能都会汇聚到一条河流上。我觉得比如说呢我上述列举的所有的人,至少是做 vision 的啊,或者说即使包括 Yann,他可以认为是做 general AI,但他出发点对吧,也是做这种数字的识别。这件事情也是一个视觉的问题。

对,我觉得大家的这个根基,还是非常非常吻合的,所以我觉得我真的没有刻意让这些事情发生,对,然后很多或者说我觉得也不需要很刻意的让这些事情发生吧,大家只是基于这些 research 的问题。然后对这些问题的理解,然后一起合作,对,我觉得我会这么认为认定这个问题就是。

[01:47:12] 张小珺: 从外部看,我会觉得你是一个很有目标,然后很有逻辑的人,但是刚才通过我们聊,我发现你是一个选择上还蛮无序的人,对吧。

[01:47:21] 谢赛宁: 对,我觉得有一点无序啊,嗯但我觉得,这也是一个所谓的 by design 的过程,就是我觉得我选择这样的无序,我觉得我觉得用这个很老套的说法,就是 follow your heart,对吧但我觉得其实很多时候,对没办法,就会说我的很多选择没办法真的优化,一个结果。我觉得这是无序性的来源。

[01:47:48] 张小珺: 那在这么无序的选择之中,一你能把你的这个所有的研究的历程,串成一条线,刚才其实我们已经讲了几个工作了。

[01:47:57] 谢赛宁: 是的是的是的对,我觉得那我们可以一点一点去讲吧,我觉得确实一个好处是我也没那么多 paper,所以也许可以比较容易的去串一串,然后我觉得确实呢,然后我觉得确实,我觉得不能说是这个草蛇灰线吧,但也确实有一条线在背后,指导我一直做这件事情,或者说其实说这些论文,之前,我想说其实计算机视觉发展了这么长时间,对吧我有很多朋友,其实大家开始慢慢去探索新的方向对吧,比如说去做一些 Robotics 对吧。然后做3D 的视觉。

我其实也在尝试向外扩展边界,但回过头来,我发现这条主线上,对吧我觉得这条主线对我来说就是表征学习这件事情上。

[01:48:48] 张小珺: 嗯。

[01:48:49] 谢赛宁: 有太多的问题没有解决对,所以我希望停留在这条主线上,往前拓展我们所做的事情,所以我觉得这一切的起点,可能如果往前数的话,当然是涉及到 Deep Learning,涉及到 Deep Neural Network (深度神经网络),这些 architecture(架构)的 design。

我觉得这一部分,当然跟你的表征学习是有关的嗯然后这也是我觉得在过去,大家努力的一个方向吧,也不只是我对吧,然后所有的人,大家都在做这件事情,怎么样去 design 一个更好的 architecture(架构)?使得我们能够去学到更好的表征,使得我们能去解决,更好的解决问题。

[01:49:24] 张小珺: 嗯。

[01:49:25] 谢赛宁: 对吧,然后呢,再到后面,其实,我觉得事情就会发生一些变化,我们就发现其实 architecture(架构)本身不一定是最重要的它一定很重要,但它不一定是最重要,或者说它不是事情的全部。

所以至少有好几件不同的事情,会交织在一起,对吧 architecture 是一个事情,就是你的架构是一回事儿,然后你的数据也很重要,嗯啊,然后还有就是你的 objective,你的目标也很重要,对吧,我觉得架构决定了,你用什么来训练。我们可以想象这件事情是你有一个巨大的引擎,然后那你可能引擎的这个硬件,其实就是一个 neural network 的架构。

[01:50:10] 张小珺: 嗯。

[01:50:11] 谢赛宁: 但是你只有这样一个引擎的架构,其实是没有用的你没有油,你没办法发动它对吧,所以有数据层面,跟有这种 objective 层面,这种目标函数层面的这种考虑,然后啊,所以。所以我之后的这些 research,其实也是按这条主线,对表征学习的主线,围绕着架构数据 objective 往前走。

嗯,然后咂,那其实在 FAIR 的过程中,我觉得 FAIR,这个正式工作,full-time 工作的这个过程中。我觉得一个核心是我跟恺明一起,然后恺明在 lead 一些这种自监督学习的这样的工作。

对,然后其实 again,现在大家会说这个 Scaling 是一个是一个已经是一个 buzzword(流行词),就 Everybody’s talking about scaling,嗯对吧,但其实第一个人真正有人跟我说:我们要 scalable 这样的 model,就我们需要把模型做的大大大,这是恺明的原话。

[01:51:15] 张小珺: 大大大,对是。

[01:51:18] 谢赛宁: 是恺明告诉我的。

[01:51:19] 张小珺: 哪一年告诉你的。

[01:51:20] 谢赛宁: 呢就是大概可能18年19年这个时间,对然后所以他从一开始对这件事情的认定,就是说我们一定需要把模型变得更大,把数据变得更大,这样就能够得到一个就能推演到一个更好的结果。我觉得恺明很早很早之前,就有这样的一个 vision。

[01:51:41] 张小珺: 嗯。

[01:51:42] 谢赛宁: 呢然后所以我们也,在这条路上有一些努力吧,然后所以我觉得一开始大家讨论自监督学习,包括 Yann,呢,他是一个 big advocate(坚定拥护者),就是说他是他是非常在乎这个自监督学习。

他有这个经典的这个蛋糕的这个 analogy,这个比喻,对吧,就是底层是你的蛋糕的这个 body,这一部分必须是 Self Supervised Learning,在上面你可以有一个 Supervised Learning,对吧,这一部分是它的 lce cream on the cake,就是你蛋糕上的这些奶油吧。然后再往上有一个 Reinforcement Learning,它只是 Cherry on top,它只是上最上面的一点樱桃。

[01:52:24] 张小珺: 嗯。

[01:52:26] 谢赛宁: 这个蛋糕上面的每一层其实都很重要,但是它没有主次之分,嗯,如果你没有蛋糕的这个底座啊,你是没办法只靠着上面的一个 Cherry,能够通向这个智能的。

[01:52:39] 张小珺: 嗯。

[01:52:40] 谢赛宁: 对所以因为我们在 FAIR,因为我们做 vision,所以其实我们很早就在关注这件事情,但这一部分 research 的进程是这样的就是说大概在15年16年的时候,大家已经开始知道自监督学习,其实是 vision 的一个未来。

所以那时候,大家会 design,就设计各种各样的,我们叫做 pretext task(代理任务),或者说它是一种代理的这种 objective 代理的目标,就是一些代理任务吧,就是说什么是自监督学习呢,就是说我现在没有一个 label 直接给你对吧不像 ImageNet 一样,我有1000个 classes,那我可以直接去训练,—个 supervised 的 classifier。然后通过这种方式拿到这个 reputation。

在过去的时代,其实大家做的都是这件事,通过1000个 class label by the way,这一千个 class 里面有两百个狗的不同的这个种类,即使这样,这是为什么为什么 ImageNet 这么强?对吧即使是这样的分布,它还是能让,我们的神经网络学到很好的表征,我觉得这件事情非常非常厉害。

一但是大家也能看到这件事情的局限性,一旦你所有的事情都只是 Supervised Learning,很多东西你是没办法去刻画的嗯。

因为它学到的东西,比如我们现在坐在这里。我们看有这些椅子,对吧,然后我们现在有大量的这些图片,有不同的椅子,有些椅子可能比较正常,是在我们这种 studio 里的椅子,有可能是在家里的椅子,有可能是一些这种设计师的椅子,对吧,或者说是一个 avocado chair,一个长得像牛油果的椅子,那对于监督学习来说你需要把所有的这一切,映射到一个 label,这个 label 就叫做椅子。所以你的 network 其实要学的这个映射,其实是非常非常困难的对。

[01:54:33] 张小珺: 而且它是无穷的映射。

[01:54:34] 谢赛宁: 它是无穷的映射,嗯,所以它只能要么去 memorize,要么去记忆,背诵下你见过的所有的椅子,要么就,这个通过一些我们叫做 spurious correlation,就是一些假的一些相关性,来告诉你是一个椅子,比如说它也许没有看这把椅子。但是看的是椅子背后的背景,然后或者说它觉得所有的椅子都会在一个桌子旁边,所以它基于这个来有一个决策的分界,然后说哎,这是一把椅子。

但这件事情不是我们想要的,我们想要做到的事情,是从这种非常 diverse 的 visual knowledge 里面,visual observation 里面去能够有某种 common sense,有某种这种直觉。

[01:55:22] 张小珺: 嗯直觉。

[01:55:24] 谢赛宁: 对或者说某种常理,所以这是一开始大家为什么想要做,所谓的 Self Supervised Learning,或者 Unsupervised Learning,一个常见的过去的误解是因为是说我们要做 Unsupervised Learning,是因为给这些数据打标签这件事情,太难了太贵了。我们需要雇人,需要去打 label,花钱花时间,我们不想这样做。

但只是这只是其中的一个很小很小的问题,大的问题是在做计算机视觉的人看来,啊,很早之前大家都知道只通过这条路径,是没办法给予 AI 系统这种 common sense 的。所以1516年的时候,大家非常非常有创造力,那段时间,其实还是一个蛮有创造力的时代,大家会设计出来,各种各样乱七八糟的任务。

这些任务,比如说你把一张图,转个90度,或者转180度,或者转270度,你不给这些图一个标签,但因为你设计了,你设计了怎么转这些图,对吧然后这些图,这些图,以及它所旋转的角度,可以形成一个 Valid pretext task(有效的代理任务),你就能够去预测这些被转过去的图,到底转了多少度,这就变成了一个所谓的一个代理的任务。

[01:56:39] 张小珺: 嗯。

[01:56:40] 谢赛宁: 类似的代理的任务还有包括,给一张图,然后我们把它变成一个灰度的图,把它的颜色全去掉,但是我又通过我一个神经网络,去重构我原来的这个颜色,相当于从一个灰度图,怎么去 predict 啊,怎么去预测每一个 object,它的颜色到底应该是怎么样,嗯,然后还有还有类似的例子,这个数不胜数。

比如说还有另外一个最后一个例子,再举一个例子,说这个所谓的 Context Encoder(上下文编码器),就是说我现在把图中间挖掉一块,把它变白,我现在怎么样去训练一个神经网络。然后去把这一部分的这个空,给它填进去。

[01:57:16] 张小珺: 嗯。

[01:57:16] 谢赛宁: —所有这些 pretext task 的依据都是说,我们现在觉得人其实这件事情是可以做的人之所以能做这件事情,人之所以知道哎,你这张图片到底是转了90度还是180度,你这张图片上面的一只蝴蝶,一个房屋,它得有什么颜色,或者你可以去预测中间缺失一块的信息,这些事情,是因为人,基于对于这个物理世界的某种认知,他有这个 common sense。所以他就能够去猜出来,这些被 corrupted(破损的)的这些信号,被已经损失掉的信号,应该以什么样的方式被重构出来。

[01:57:54] 张小珺: 被遮掩的信号。

[01:57:55] 谢赛宁: 对,但当初的问题是百花齐放,有各种各样的 paper,嗯,然后但是没有一个能打的所有的结果都其实很差,都比 ImageNet 的这种 Pre-training (预训练)要差,大概可能15-20个点,百分点啊。

所以大家在 make 一些 progress,大家在一步一步往前走,但是这个距离,呢 ImageNet 能够通过这种 Supervised Learning,在 Large Scale 这种数据止面学到的这种这种 label,呢,有 label 的情况下学到的这种 representation,还是差的太多太多,对吧,所以我们当初做了一件事情。然后这个跟恺明一起做,然后这个这个架构叫做叫做 MoCo。

草蛇灰线:“表征的世界”

[01:58:39] 张小珺: 嗯。

[01:58:39] 谢赛宁: Momentum Contrast。

[01:58:41] 张小珺: 动量对比学习。

[01:58:42] 谢赛宁: 对,这个中文名字听起来都很有趣,对是的是的动量对比学习,呢其实我觉得其实不用深究它里面,具体的这些技术细节,因为现在看起来,已经很多东西已经不重要了,但它总之,它是第一个把这种叫做对比学习的这样的一个框架,嗯把它真正做 work 的一篇论文。

然后什么是对比学习呢,也很简单,就是说我们现在在这个 Representation Space (表征空间),这个表征的空间里面,有不同的点,这些点可能是同样的一个 object,有可能是完全不一样的 object。

比如说我有好几张关于这个椅子的图片,对吧,然后也有一些可能是桌子的图片或者是一只猫猫狗狗的图片,这些图片都不一样,但在这个空间里面,我们能够去度量它们的距离,或者说我们知道这些所有的不同的椅子,它的这种图片应该离得更近,它的 representation (表征)应该离得更近。但是一个椅子跟一只猫,他们距离应该更远。

[01:59:47] 张小珺: 嗯嗯。

[01:59:48] 谢赛宁: 所以这就是一个对比,学习的一个基本的一个逻辑,然后这件事情,其实也不新,这件事情,其实也已经做了很多很多年了,By the way,这件事情,初期的一些论文,其实还是 Yann 第一个跟他的学生,一起做到的对很有意思,当然在解决的问题,不直接是 Representation Learning 的间题,而是一些 Metric Learning(度量学习)的问题,一些度量学习的问题。

但是没关系,这大概是2019年的时时候,我觉得我们又赋予了这个对比学习,一些新的意义,但,这件事情也不是这个横空出世,其实在之前,整个领域已经慢慢在往这个方向去拓展,比如说有一篇 paper 叫做 CPC,还有一篇 paper 叫叫这个这个 Memory Bank,这两篇 paper 已经是在朝这个方向就是通过对比学习来做,自监督学习这条路线上已经走了几步。

对啊然后这,我就不得不佩服恺明的本事了啊。我觉得我觉得这也是一个时间点让我觉得哇,这个一个顶尖的研究员,然后或者说我觉得不能说顶尖的研究员吧,我觉得恺明在我心里面,就是最牛逼的研究员,他到底平时怎么做事情的。

[02:01:10] 张小珺: 嗯好。

[02:01:11] 谢赛宁: 我觉得我觉得有好几点吧,我觉得也许我们可以简单聊一聊,就是我觉得他是有某种极致的专注力,然后这个专注力能够让他有某种心流,叫做这种 mind flow,对吧他能够沉浸在这个问题上,不需要考虑这个世界上发生的所有的其他事情,嗯,然后我觉得这件事情我特别特别佩服。然后另外一件事情是。

[02:01:40] 张小珺: 他的专注会怎么体现呢?

[02:01:42] 谢赛宁: 我觉得我觉得他专注体现在嗯,他每天除了这一个问题之外,不会想其他任何的东西,他会抓着跟他一起合作的人,去聊这件事,也会抓着其他人去聊这件事,反正就是这件事情是一个他思维的这样一个主体,哦,然后他大部分的这种 mental cycle(心理循环),都会被 allocate(分配)到这一个具体的问题上,哦。

[02:02:09] 张小珺: 这个是很难的。

[02:02:10] 谢赛宁: 我觉得非常非常难。

[02:02:11] 张小珺: 对因为哦,念头很多时候自己很难控制。

[02:02:14] 谢赛宁: 是的是的是的哎对,这个跟世界模型有关系,念头很难控制,这个话说的好,但恺明其实是一个非常非常有这种决策能力,能够专注的人,嗯,其实我觉得有好几点吧,我觉得一个 top 的 researcher,他们都或多或少需要这样的能力,他们需要有足够多的专注力,他们需要有足够好的这种 research 的品位,这个怎么定义。我们等下可以聊。

[02:02:41] 张小珺: 嗯。

[02:02:41] 谢赛宁: 然后他们还需要能够有一定的坚守,就你不能说只是随波逐流,然后去做别人感兴趣的事情,然后当然,你还需要有很强的这种工程的能力,research 的 sense 啊,包括你看文献的时候,你知道哪些事情重要,哪些事情不重要。

[02:03:03] 张小珺: 这个很重要哦。

[02:03:04] 谢赛宁: 你也知道就这件事情,其实也是一个学术界,其实蛮莫名其妙的地方,就是大家。

[02:03:11] 张小珺: 你要会画重点。

[02:03:12] 谢赛宁: 对,主要的原因也是因为大家不讲重点,你知道吗?有时候要么是大家不会讲重点,要么是大家有时候不愿意讲重点啊,要么是有时候,大家其实没有意识到重点是什么但恺明的能力在于,他能够把这些重点啊抽丝剥茧,然后提取出来。然后告诉你,然后建立这种在这种高维度的抽象空间中的这种联系。

[02:03:36] 张小珺: 哦。

[02:03:36] 谢赛宁: 我我觉得非常非常厉害,对所以很多时候,其实恺明的每一个 idea,不是坐在这个 back of the room(偏僻的房间)对吧,在家里面拍脑袋想出来的其实是基于不断的探索,基于大量的阅读,基于大量的思考,一点一点衍生出来的。然后这件事情,其实我觉得真的是非常深刻,的影响了我做研究的方式,以及我现在跟我的学生说大家应该做研究的方式。

[02:04:07] 张小珺: 是应该增加输入。

[02:04:08] 谢赛宁: 增加输入,并且我觉得这里面其实是有一个范式存在的嗯就这里面,范式这也是恺明教育我的对吧他就说其实这些所有的 idea,你不能坐在那想啊,因为如果你要想出来一个 idea。

[02:04:23] 张小珺: 嗯。

[02:04:24] 谢赛宁: 这个 idea 一定不是一个好的 idea,这个 idea 有无非有凡种可能性,第一种可能性,你比世界上所有的人都聪明,所以你想出来一个特别特别厉害的 idea,其他人什么人都都想不出来,但我觉得这件事情的概率极小。所以更大两个可能性是第一,在你想这个 idea 的同时,这世界上100个人,1000个人,1万个人在想同样的 idea,所以你要面临跟他们竞争,你的手速可能不一定比他们快,第二个可能性,这是一个非常差的 idea,别人已经试了很多次了。

[02:04:59] 张小珺: 不成功。

[02:05:00] 谢赛宁: 嗯,那你可能也没必要去试下来,嗯所以所以我觉得恺明对我的最大影响是他教会我怎么样找到一个 research idea。

[02:05:09] 张小珺: 嗯怎么找?

[02:05:10] 谢赛宁: 我觉得这是一个求索的过程,所以现在我有学新学生进来,我会跟大家跟大家说一个 research 的周期,呢当然我希望它会更长一些了,但是在现在的这种竞争的环境下面,可能最多有6个月时间,也就是说从6个月一开始,你要开始想一下 idea。然后再到后面,你要把这个 idea 写成 paper,publish 出来,这个整个的周期大概是6个月。

这个流程是怎么样的呢,是你需要有一个 general 的方向你得知道你要干嘛,你也不能完全什么也不知道。然后就说我要做 research 也不行,这件事情,可以通过跟你的老师一起去聊,然后或者说跟你的 peers,对吧你的周围的同学一起去讨论,或者你自己通过你自己的阅读,有一些 general 的这种 direction,这种方向性的认知。

[02:06:02] 张小珺: 嗯对吧。

[02:06:04] 谢赛宁: 但是一定要给自己足够多的时间跟空间,去 explore 好,然后这个 explore,这种探索期,我觉得至少要有一到两个月的时间。

[02:06:17] 张小珺: 探索期应该做什么呀?

[02:06:19] 谢赛宁: 探索期,好问题探索期做什么事情呢,不能坐在那想问题,你要探索的事情就是说我现在要不断的去 hack(破解)一些东西,啊,就是你要真的像像一个 hacker(黑客)一样,去 play with 啊,去玩一些东西,就把 research 当做一个游戏,当做一个玩具去玩,嗯这个东西比如涉及到。你可以去推一推公式,你可以去读更多的论文,可以找一些联系,当然,可能更重要的事情还是要动手去做事,去写代码。

但是你写代码的时候,要注意的是你写的代码,不是一开始你的出发的这个 idea,或者这个 direction (方向),而是一个探索的过程。所以你写的代码,可能是简简单单 reproduce 一个 baseline(复现一个基线模型),拿一个别人的 paper 在做的事情,然后现在我们把它重现一遍。然后还有可能是在这个 baseline 的基础上,去有一些某种拓展。

[02:07:19] 张小珺: 嗯。

[02:07:19] 谢赛宁: 然后这里面最重要的事情,是要找到一个信号,就是说你现在还是跟你刚刚说的有点像,所有这个决策的过程,其实是一个蛮无序的探索的过程,它是一个我们叫做随机梯度下降,对吧,这是一个所有机器学习的基石,但它同样 apply to 这个 research 本身,以及我们的人生,就是大家在追求这个最终目的的过程中,其实都在都在进行一个 stochastic,gradient descent(随机梯度下降)的一个过程,嗯。

然后我觉得 research 的部分也是一样,对你来说对 research 最重要的事情,不是从 a 点通到 b 点,比如 a 是一个 idea,b 是一个 paper,而是这个过程中,你到底能找到什么样的 signal(信号),你的 gradient,你的梯度到底在哪。

对所以恺明的说法是这个梯度本身。这件事情才是你真正的 idea 的来源,就是当你经过不断的探索,你试了很多东西,有可能不成功,有可能成功,by the way 不一定是一个成功的实验,才能给你这个梯度。有时候一个错误的实验,会给你更大的梯度,对吧,就是说你只要,最怕的事情是你不知道往哪走。

[02:08:32] 张小珺: 嗯。

[02:08:33] 谢赛宁: 所以一个好的结果,一个坏的结果,都是好的结果,对于 research 来说一个 surprise,一个令人惊讶的这样一个 observation(发现),永远是一个 researcher,对一个 researcher 来说最幸福的事情。

[02:08:47] 说话人未确认: 意外你观测到的东西。

[02:08:48] 谢赛宁: 对,你看到了某些意外。

[02:08:50] 张小珺: 嗯。

[02:08:51] 谢赛宁: 所以他说:就是经过这样的探索之后,在这个过程中,你发现的这些 idea,才是真正属于你的 idea,一开始你想的这个 idea 不是你的 idea,这个东西不属于你探索中的 idea 才是属于你的 idea。然后 research 这个过程,就是找寻属于你自己的这个 idea 的这个过程。

[02:09:13] 张小珺: 但。

[02:09:14] 谢赛宁: 这个词,你要看到它是属于这个东西,真的是是你自己的。

[02:09:20] 张小珺: 就上天给了你一个灵感,注入了你的脑袋里。

[02:09:23] 谢赛宁: 对一方面上天给你了一个灵感,另一方面,它又是基于大量的实证跟实践,得到的对吧,它这里面没有 free lunch(免费的午餐),有可能你真的是一个天才,或者说你真的极端走运,上帝握着你的手,写下了这一个公式,有可能发生,大部分时候大部分的进展,甚至大部分对这个这个领域产生很多影响的工作。我觉得还是一步一步啊发生的总能够追根溯源,找到它的起点。

所以我也跟学生说其实最差的 research 是什么样的 research,就是一开始你定义好的一个问题,你说这是我的 idea。最后你发了一篇论文,这个论文的 idea,跟你一开始想的 idea 完全一致,你没有遇到任何的障碍,你没有遇到任何的困难。

[02:10:14] 张小珺: 它为什么是最差的?

[02:10:15] 谢赛宁: 因为这件事情说明,你的这个 idea 是一个 boring idea(无聊的想法),你发表论文也是一个 boring paper,对,我觉得这件事情,我这么多年观察下来,确实非常非常准确。

所以我觉得这件事情也是为什么要跟学生说呢?就是因为大家其实有时候没办法接受这个事实,大家总会觉得我一开始应该想到一个小妙招,然后我现在实现它把它做 work,发一篇 paper,我成功了,我 move on 去做下一件事情,但这件事情能够给个人的积累,其实是非常非常有限的。

[02:10:49] 张小珺: 探索的过程其实非常难,很多人不会探索。

[02:10:52] 谢赛宁: 探索非常难,而且这是为什么所有这些论文在我看来都是非线性的这个非线性体现在两点,第一点是你6个月的时间,然后到第5个月的时候,比如说我刚刚像跟你说。

[02:11:07] 张小珺: 心态就崩了。

[02:11:08] 谢赛宁: 这个 ResNeXt(残差网络)的这个 story,一方面大家听起来哇,你最后一个月的时间重新改方向把这件事情做好,那这个时间周期这么短,你竟然能做成这件事情,好像听起来很不可思议,但你知道这件事情发生的太多了之后,发现这件事情真的是有迹可循啊。

[02:11:25] 张小珺: 你经常是这样啊。

[02:11:26] 谢赛宁: 我经常是这样,或者说我最好的工作都是这样发生的。

[02:11:29] 张小珺: 那你前5个月怎么保持自己的心态啊?

[02:11:32] 谢赛宁: 呢那就没办法,你得要接受这个事实,你得要能够告诉自己,这是一个常态化的 research 的过程。

[02:11:42] 张小珺: 那前5个月你会想到换一个方向吗?我可能去选那个 boring idea。

[02:11:47] 谢赛宁: 我觉得会,而且,换方向这件事情非常非常重要,就是你一定要学会 pivot(转型),因为我刚刚说最差的工作是你一开始 idea 就是这个 idea,最后的也是这个 idea,最好的工作是你在这个过程中已经弯弯绕绕,跳来跳去,走了很多很长的路,才走到这个节点。

[02:12:08] 张小珺: 嗯。

[02:12:08] 谢赛宁: 这条路虽然非常崎岖,但你总能从最后的这个终点,一步一步,找寻回最开始的起点。

[02:12:16] 张小珺: 最后才能把它连成线。

[02:12:18] 谢赛宁: 最后才能。

[02:12:18] 张小珺: 但是你在过程中是不行的。

[02:12:20] 谢赛宁: 是的你在过程中,我觉得你在过程中,因为你不知道你没法预测未来,所以这永远是一个探索的过程,所以我觉得有两个月这样的探索,逐渐形成一个 idea,然后逐渐去拓展,然后去 scale up,对吧,然后把实验补充分,这个东西,可能再花个两到三个月的时间,到最后把 paper,写出来然后花一两个月时间,这是已经是一个非常非常顺利的一个 research 的流程了。

[02:12:47] 张小珺: 嗯。

[02:12:48] 谢赛宁: 然后我觉得,这件事情 again,我觉得在现在这个时代,面临着很多的很多的 challenge,大家会受到各种各样的压力,对吧我觉得现在的竞争压力太大了,竞争压力太大了啊。然后我觉得会让大家觉得一定要追赶最前沿的东西,然后把事情尽早的做完,抢占先机,嗯,把坑占住。

但回过头来说,我觉得就像我刚刚说的,我觉得飞飞老师最厉害的地方,是因为她是一个能够定义问题的人,如果失去了定义问题的能力,基本上也丧失了很多创新的能力,基本上也丧失了做 research 的能力,而且这件事情。我觉得我刚说 research 的非线性,这是时间上,但从结果上来讲,其实也是非线性的。

[02:13:40] 张小珺: 嗯。

[02:13:41] 谢赛宁: 就是说这个其实是 MIT 的教授 BillFreeman,他有一个非常经典的这样,一个 plot(图示),就是一个 illustration(示意图),这样一个插画,他经常做 talk 的时候会讲,就,这个插画有一个横轴,一个纵轴,横轴的起点是一个很差的工作,一个还不错的工作,一个非常好的工作,一个非常非常厉害的工作,这是它的横轴,它的纵轴,是对你的整个职业生涯的影响,这篇论文对你职业生涯的影响。

所以你可以猜一下,这个 curve(曲线)到底应该是怎么样的对吧它不是一个 linear 的 curve(线性的曲线),它不是说一个很差的工作啊,就对你比如职业影响可能很差。然后到最好的工作,或者说比较好的工作,已经给你很不错的这个回报,然后一点一点往上,是一个线性的过程,它不是线性的它是说基本上一个很差的工作,其实也不会怎么伤害到你 nobody cares,嗯,没人会注意,还不错的工作,也没人注意,能给你带来的收获也很小。

[02:14:47] 张小珺: 嗯。

[02:14:48] 谢赛宁: 但是有时候,你做出来一篇非常好的工作,特别厉害的工作,每个人都知道的工作,你的这个 impact,我好像说我不喜欢 impact 这个词。

[02:14:59] 张小珺: 到顶点了。

[02:15:00] 谢赛宁: 这个东西,这个一下就会冲到顶点,对吧,所以说我们经常说学术界里面,大家衡量的是所谓的代表作,或者说另外一个说法,是说大家 optimize 的目标不是一个 average,不是你所有之前的工作的一个平均,而,你 optimize 东西是你的工作的一个 max。

[02:15:22] 说话人未确认: 对就是最高点。

[02:15:24] 谢赛宁: 我觉得这件事情也体现出来,research 这个游戏的非线性的一个特征。

[02:15:31] 张小珺: 嗯,所以最高点是好还是不好。

[02:15:33] 谢赛宁: 当然好啊,就是说你只需要就你这辈子只需要成功一次就好了,然后这件事情,其实我之前 CVPR 的时候给了这个 talk,我叫 research 这个无限游戏,嗯对吧,这件事情,大家反响还是蛮强烈的其实我觉得我很少给这种 non technical,的 talk。因为这这个东西更多的是一些哲思,跟一些总结吧。

[02:15:55] 张小珺: 那个讲的确实挺好的。

[02:15:57] 谢赛宁: 然后但里面其实也,包含了我上面讲的所有的这一切,因为你想其实 research 这个职业,—个 researcher,这个职业,它的本质到底是什么哦,它不是一个下棋的棋手。

[02:16:15] 张小珺: 它。

[02:16:16] 谢赛宁: 也不是现在冬奥会的一个运动员,因为对于一个棋手和一个运动员来说你最后的成就取决于你最差的一步,to some extent(某种程度来说),你要保证你的每一步,你的动作得要标准,你如果中间出了一点点差错,你下棋中间出了一点小错,落子错了一次。

[02:16:35] 张小珺: 就输了。

[02:16:36] 谢赛宁: 你就输了,对吧,所以这是一个有限游戏,在这个过程中,总有赢家,总有输家,但 researcher 更像一个发明家,说你这辈子,真的只需要成功一次就够了,嗯,如果你足够幸运,你可以成功几次,两次吧但你不需要成功100次。

[02:16:57] 张小珺: 两次就到顶点了是吗?

[02:16:58] 谢赛宁: 我觉得我觉得是的哦,所以我觉得,这件事情其实挺好玩的,所以我觉得整个这个领域慢慢往前走,我觉得也需要反思吧,我觉得现在原来的学术界,其实它的社会责任也好,或者说它在整个这个 research 的这个 landscape(版图),下面的定位也好,都是制定这个游戏规则的人,都是制定接下来我们去哪的人,对吧,现在完全不这样。现在制定这个去哪的人,是 OpenAI,啊,可能是 Google,或者是 Meta 或者其他各大厂。

[02:17:38] 张小珺: 对他们是有限游戏。

[02:17:40] 谢赛宁: 他们彼此之间是有限游戏,但导致他们把学术界也带成了一个有限游戏的这种决策的一个链条。

[02:17:50] 张小珺: 对吧。

[02:17:51] 谢赛宁: 所以你就会看到很多时候大厂发一个工作啊,不管它叫它什么系列也好,GPT 什么系列也好啊,Nano Banana 系列也好,一个特定的这样一个工作,一个产品的 launch(发布),紧接着学术界的所有人都会蜂拥而至。然后说我们怎么样在这个范式下面,用这像叫做 peanuts of resources,就像花生米一样少的这种资源。

[02:18:18] 张小珺: 嗯。

[02:18:18] 谢赛宁: 然后尝试去追赶。

[02:18:20] 张小珺: 哦追赶。

[02:18:22] 谢赛宁: What’s the point(这有什么意义),复现是吧,或者说可能大家也不相信自己能,大家可能也对你说的对,就可能也追赶不了,所以就变成了某种某种意义上的复现,或者在它上面通过一个。我觉得这样的 research 的过程,其实是非常非常痛苦的,因为我还有一件事情没说是因为我在 NYU 的最近两年,其实我还在 Google 兼职。

[02:18:47] 张小珺: 嗯。

[02:18:48] 谢赛宁: 做 part time,然后这件事事情。

[02:18:51] 张小珺: 在 Nano Banana 团队。

[02:18:52] 谢赛宁: 对在 Nano Banana 团队,就是 GenAl 里面的团队,然后这件事情持续了两年,所以不知道当讲不当讲,讲吧有时候跟跟一些朋友说我之所以去 Google 做这个工作,原因是我想看看 Google 大家在做什么这样我就知道我在学术界不做什么。

[02:19:15] 张小珺: 哦。

[02:19:16] 谢赛宁: 就是我要知道你们在做什么,所以我不做什么,因为我知道如果你在做这件事情的话,我为什么要跟你一起做呢。

[02:19:21] 张小珺: make sense(合理)啊,因为它有更多的资源啊。

[02:19:23] 谢赛宁: 它有更多的资源。

[02:19:24] 张小珺: 没有必要再跟他卷。

[02:19:25] 谢赛宁: 是的是的是的,所以这也是一个指导我们对这个我不想太爹味啊,By the way 这个 disclaimer (声明),这些我所有的东西,只是基于我在 NYU,一个不那么成功的这样一个经验的一些分享,完全不代表这个世界 research 的多元性,跟复杂性,而且回过头来,我还可以说有些 paper 我确实想想想跟大家分享一下,但回过头来说我并没有做出一篇。我认为真的有价值的工作。

[02:20:03] 张小珺: 你说这句话就是为了告诉大家我还没有到最高点,我还没有到达那个 Max。

[02:20:08] 谢赛宁: 你说的对,我还年轻。

[02:20:11] 说话人未确认: 呵呵呵。

[02:20:13] 谢赛宁: 还可以再努力努力。

[02:20:14] 张小珺: 嗯。

[02:20:15] 谢赛宁: 但确实是这样,因为我昨天在想这个问题,我想可能有大概这个20篇左右吧,二十二三篇 paper,然后深远的影响了整个深度学习,跟 AI 的进程,那这个世界有20篇 paper,或者25篇 paper 吧。

[02:20:32] 张小珺: 那。

[02:20:33] 谢赛宁: 我一篇都没有我还有什么理由不继续努力,继续做下去呢,我觉得这是一个目标。

[02:20:41] 张小珺: DiT 不算吗?

[02:20:42] 谢赛宁: 听我觉得算0.25吧,或者说 DiT,更像是在这个 research 的边界的切线上面,往前 push 了一小步,这件事情不是我们做,也会有其他人做,它没有 complete 属于你对它没有完全属于我。

[02:21:05] 张小珺: 嗯。

[02:21:05] 谢赛宁: 你说的对,是的,但这些或者说我觉得 Diffusion Model 当然算,包括,可能 DDPM 算。

[02:21:16] 张小珺: 对。

[02:21:17] 谢赛宁: 然后我不知道,我们也许可以列举一下,我觉得这个可能还蛮有意思的,我觉得 LeNet 算,我可能数不全啊,好我们随便数一数。

[02:21:26] 张小珺: 影响过 AI 进程的论文对吧,对。

[02:21:30] 谢赛宁: 或者说我觉得在我看起来,这件事情是是能真正称得上代表作,或者说我差的还很远的这些工作,对吧,我觉得啊,LeNet 当然算,AlexNet 当然算,嗯然后 ImageNet 当然算,ResNet 当然算,嗯,这个 R-CNN 或者 Faster R-CNN 这个 detection 的部分,当然算,恺明已经好几次啊。

然后还有什么 Transformer 当然算,Attention is all you need,当然算,GPT-3当然算,Bert 当然算,我觉得 CLIP 也算,ViT 我觉得也算,Vision Transformer。我觉得也算,还有 GAN,我觉得也算,好,数不全,大概是这些 level 吧,包括3D 里面,NeRF(神经辐射场),Gaussian Splatting(高斯泼溅)。我觉得都算,都会算。

所以各个领域吧,都有他们的这些工作,这些工作的意义在于,大家本来是渐进式的通向一个方向啊,突然有这样的一个论文横空出世,彻底改变了我们刚刚说这个 stochastic gradient,descent 的过程。所以你看它的收敛的曲线,有一个 drop。

[02:22:55] 张小珺: 嗯。

[02:22:55] 谢赛宁: 这是我定义的这件事情,然后我觉得假设这个漫漫的历史长河,是说这条曲线还在继续往前,对吧有一次一次的这种让大家不管是跳出之前的 local optimal,还是进入下一个阶段这样的论文的出现。但是我觉得还差得很远,这条路还远远没有收敛,我觉得之后还有很多事情可以走,我希望我觉得不需要是我自己,我希望至少我能够参与到这件事情上。

对我希望假设有下一次 revolution(革命),我希望回过头来,对吧,我说可能不是创造某种 impact。但是是因为我个人的经历,我身边的这些合作的模式,然后我自己的认知,我自己的思考,然后我能够理解一些东西,我理解的这些东西能够 somehow,对这个世界的或者 AI 的发展有一定的影响吧,嗯,我觉得这件事情,是我现在很关注的事情。

[02:24:05] 张小珺: 嗯,LLM 是不是没有这个希望了,下—个 revolution?

[02:24:11] 谢赛宁: again,我觉得完完全不是没有希望或者我会说 LLM 终将凋零,不对不对,LLM,永不会死,但终将凋零,老兵不死,终将凋零,对吧。

[02:24:28] 张小珺: 为什么终将凋零?

[02:24:30] 谢赛宁: They won’t die,They will just fade away,就是说这个东西一定会有它的价值,它是一个很好的工具,我现在会天天使用 LLM,但它不是我们构建一个 universal,一个通用智能系统的基石,它不是这个世界模型的这种这个大厦的地基。

[02:24:49] 张小珺: 世界模型,我们稍后再聊,你的工作,你还要展开吗?

[02:24:52] 谢赛宁: 你都已经,我就再讲一讲,有时间吗?

[02:24:54] 张小珺: 有你都已经说没有达到 Max 了。

[02:24:57] 谢赛宁: 是是对对,这样说起来,好像这些工作也没有什么好聊的了,但我觉得还是有一些意义的,因为就像我刚刚说这个 non-linear(非线性)的 research,对吧在一篇论文里面,我们会先做一些事情。然后逐渐的有一些储备,然后在最后一个月里面,找到一个新的方向 deliver,最后的结果。

嗯我觉得当我看我之前所有的这些工作的时候,我心里面也会有这种感觉,就我现在还处在一开始迷茫的探索期,但谁知道啊,也许今年,也许明年,也许啊,我突然这个对吧灵魂开窍。然后就能做出来一些更有意义的工作。

嗯啊,但我觉得这里面的根基在于,像我刚刚说的它得要能够串起来一条线,或者说它其实不是一条线,它是一个 graph,它是有不同的节点,不同节点跟节点之间,每个节点是一篇论文,它们之间都有彼此的联系,你后续发的论文,都会受到前面所有这些论文的影响。

嗯对,所以后面,比如说 Contrastive Learning(对比学习)这件事情,做 work 就是说。我们第一次在视觉的这些 task 上面,看到 MoCo,这样的工作,尤其我们有 V1 V2,V3对吧,然后在 V3,我们用 Transformer,然后我们去 scale up,呢,其实已经比 ImageNet 能得到的 representation,在各种各样的 task 上面都要好很多了。这件事情对我们来说其实是一个重大的 surprise。

[02:26:22] 张小珺: 嗯。

[02:26:23] 谢赛宁: 嗯啊,其实那个时候,在那个时间点上,我会觉得哇,一切又是欣欣向荣,我们的问题基本上可以找到答案,那我们找到了一个方式,自监督学习,可以 work,接下来,我们只需要 scale up 我们现在做的事情,那,就是一个无比光明的未来,但又很不幸。这件事情也没有发生,对吧,但在这个之前,我们又有另外一篇,也是 MoCo 跟 MAE by the way 都是恺明 lead 的的项目。

其实大家说什么叫做 lead 一个项目。我觉得恺明也真的这个 leadership,就是说他真的承担了百分之八十九十的一作,加这个 last author,就是末作这种 corresponding,通讯作者的这个职责,他需要自己写 baseline,需要自己跑很多很多的实验,需要最后把 paper 写完,去讲这个 story 去 present,所有这些事情,基本是恺明一个人单枪匹马。然后做到了。

[02:27:23] 张小珺: 那其他人呢。

[02:27:25] 谢赛宁: 其他人,我们当然也有参与也做出了贡献,但我只是说,这件事情是恺明主导的一个路线,对啊我们在这加快了这个事情的进度,可能会让结果也变好了很多。

[02:27:40] 张小珺: 嗯。

[02:27:40] 谢赛宁: 但不影响这件事情的实质,对,所以这是恺明,到现在比如说前两天他还跟我说:他非常 enjoy 这种 IC 的 work 就是 individual contributor,就是个人贡献者,的这样的一个身份。

[02:27:54] 张小珺: 嗯。

[02:27:55] 谢赛宁: 他并不 enjoy 管理一个大的团队,让大家一起,只是做一个 manager 来指导方向他不喜欢这样的事情。

[02:28:02] 张小珺: 他现在管多少人啊?

[02:28:03] 谢赛宁: 他有很多很多人,他现在有很多本科生,来 visit 他,然后他现在也做很多很多很好的工作,所以我其实不相信他我跟他说:你其实也是一个很好的 manager,至少我虽然你没有真的 manage 我。但是只要我在你的身边,我就能感受到自己做事情的效率,就觉得我自己变聪明了,我觉得我如果想要有一个 manager 的话,我希望得要有这样一个 manager,对吧,他能够 empower(赋能)身边的人去变得更好,对,我觉得这是恺明。

所以 MAE,反正就是说 Contrastive Learning 这条路我们走了走,发现它不能 scale up,所以我们想要换一个方向那我们又回过头来,用了一个更简单的方式,就是某种去噪的 Autoencoder,就是这种自编码器,就是 Masked Autoencoder(带遮挡的自编码器),这个方法就更简单了,反正大家可以回去看 paper。

但是总之是就是通过把一些 image,做一些 corruption(破坏/扰动)的方式,然后去再去重建,这些 noisy 的这些 image(带噪声的图像),或者 crop 的 image(裁剪过的图像),mask 的 image(被遮挡的图像)的方式,去学 representation。

[02:29:14] 张小珺: 嗯。

[02:29:14] 谢赛宁: 这件事情,跟 ContrastiveLearning 根本性不一样,但它的结果也很好,虽然它会有很不一样的特点,比如说他不会去 explicit(显式)的去 model 这种某种 environments(建模某一种环境),这种不变性,导致它做这种 linear probing(线性探测)的时候,结果会稍差。

但做 untuned fne-tuning(未调参的微调),这是两种不同的测试 representation 的方式,对那时候效果就会好很多总之他们会有不同的性质,他们学出来 representation 也长得也不一样。

然后这些事情,到后面也会有很深远的影响,我们可以再聊,但是这是 MAE,那时候我们就觉得哇 MAE 好厉害,MAE 至少能拿个 best paper 吧,后来也拿不了,MAE scale up 就能解决所有的问题吧。后来发现也不 scaleup。

对,其实我听,你跟祥雨(阶跃星辰首席科学家》之前是聊过这件事情,因为他其实也关注过自监督学习,他其实也,讲了很多为什么自监督学习不能 scale up?的一些原因,其实我就不赘述了,欢迎大家回去重听节目。

但是总之是当初其实是有点这种大起大落吧,啊家一方面得到了很好的结果,但另一方面这些 paper 又只是一个 paper。我们从来没有能够真的 deliver 出来一个实际的对吧像 GPT 一样,能够通通向一个完全不一样的 scalable 的未来的这样一个范式,嗯对,我觉得这件事情,到那个时候就有点,告一段落。

当然那时候我还做,了一些其他的工作,比如说我把自监督学习,可以说是第一次拓展到了,比如3D 的领域,在 Point Cloud(点云)上面也做了一些工作,这些叫做 Point Contras(点对比学习)。

但这些工作可能更多的就是说证明了 representation learning。这件事情,不只是一个 image domain 的问题,它是一个很普世的一个方法,或者说一个方法论,它不止在 image 上面成立,它也在3D 空间,到后面,很多人去试各种各样的 medical imaging(医学影像),还有包括这种 robotics 的这种 task,各种 domain,它都成立。

所以这件事情,我不认为它是一个失败啊,因为它确实在影响很多很多不同的就超越我们现在关注的比如说计算机视视觉本身的领域,但另一方面,它也仍然没有达到像 LLM 的这样的这种影响力。

[02:31:45] 张小珺: 嗯。

[02:31:47] 谢赛宁: 所以啊,做完了这些事情之后又做什么呢,啊对,好像又开始回到了,探索期了。

[02:31:56] 张小珺: 这些都是在 FAIR 实验室。

[02:31:57] 谢赛宁: 都是在 FAIR 做的。

[02:31:59] 张小珺: 你在那个阶段待了4年。

[02:32:01] 谢赛宁: 待了4年。

[02:32:01] 张小珺: 嗯,这时候 FAIR 这个周期就结束了吗?

[02:32:06] 谢赛宁: 没有结束,还早还早,这可能是前面的一到两年时间吧,对,还有个很好玩的事情是再吹一吹恺明,哈哈哈,这个当初其实资源永远是一个问题,GPU 总是不够的,然后当初 FAIR make 了←个 decision,说我们试一试这个 TPU,这个东西好不好玩,Google 一直在用,他们也全面转型使用 TPU。

所以我们买了大概5000张 TPU,的这个芯片,不是买就是租吧,就是在 Google cloud 上面好,然后一开始是为了做 language model 人准备的大家去玩了一琉啊。后来发现哎呀太难用了,实在是不好用。

好,恺明上来说我来,所以他真的是 single handedly,就是 again,单枪匹马,从头到尾,在 TPU 上面 build 了一整套 infrastructure,使得我们能去做,之后的一系列的工作,包括 MOCO,包括 MAE,包括后面的这个 DiT,都是在上面,在 TPU 上面发生的。

所以这件事情对我来说也是一个很重要的 guidance 吧,就是怎么总结呢,就是工欲善其事,必先利其器,嗯,恺明教我的一件事情是说你的 research 的止限,其实取决于你 baseline 的好坏。

[02:33:40] 张小珺: 哦。

[02:33:41] 谢赛宁: 就如果你的 baseline 很差的话,你可能很容易自欺欺人,哦,你是做不出来什么东西的你如果没有花足够大的心思,去在 baseline level 上面,去把这个 system 搭建好,把工程也做到极致,你是没有一个平台,让你去做真正的探索的。因为你可能会发现一个有趣的有价值的一个信号,但有可能这个信号完全是错的原因是因为你的 baseline,你的基准本身就不够好。

[02:34:11] 张小珺: 嗯。

[02:34:13] 谢赛宁: 所以这件事情也蛮反直觉的,因为大家总说我的 baseline 要是差一点那我能受出来的这个 performance gain(性能提升)就会多一点那我可能更容易发 paper,对吧但是其实恺明不这样想。

[02:34:25] 张小珺: 嗯。

[02:34:26] 谢赛宁: 他会想我们怎么样,把 baseline 做到高到不能再高,这时候在这个基础上,我们做出的新的事情,那是 groundbreaking(划时代的)的事情,那是真正的 breakthrough,对吧,你在一个弱的 baseline 下面,做的任何的提升,可能只是一篇灌水的 paper 而已。

所以这件事情,我觉得对我来说也是一个启发,包括他们做 Detection 的时候,这一部分工作我没有参与还在读 PhD。

但所有的这些 Fast R-CNN Mask R-CNN,Focal Loss 等等一系列工作吧,这些工作都是因为他们包括 Ross Girshick,包括恺明,包括吴育昕,他现在在 Kimi,他们做了大量的工作去搭建这个 Infra。然后去 build 这样一个 codebase,使得 baseline,这些方法的 baseline,就已经远超于这些所有的乱七八糟的 CVPR 的 paper。

[02:35:22] 张小珺: 嗯。

[02:35:23] 谢赛宁: 就我们的 baseline 已经比你强了,那我再往上走一步,那我当然要比你走的更远。

[02:35:29] 张小珺: 嗯。

[02:35:30] 谢赛宁: 所以我觉得我也是一直有这样,一个方法论在这的,我觉得我会比较重视,这种我觉得我不想叫它工程吧,因为它还不完全是这种只是 codebase 的这种事情,它不是一个在产品公司里面打造一个 codebase,这样的一个关系,它更是个 research 的 breakthrough 的脚手架,你的脚手架如果不稳,你什么都做不出来。所以这件事情,也影响到我们现在做的东西,但 anyway 就是说恺明在搭这个脚手架的方面,真的也是非常非常厉害。

[02:36:06] 张小珺: 我觉得你好幸运啊,因为你很早就有人告诉你很多正确的做法,所以其实在很多事情上,你少走了很多弯路。

[02:36:16] 谢赛宁: 我觉得我非常幸运,但我也希望但我觉得很多东西真的是一方面是 common sense,但像你说的一方面,对于一个学生来说,这件事情可能不那么 obvious,不那么显然。

[02:36:29] 张小珺: 嗯。

[02:36:30] 谢赛宁: 像这个脚手架,我们在 FAIR 的时候,会有一个这样的 running joke(老梗)吧,其实有点开玩笑性质,就是说大家进到 FAIR 实习的第一课,你猜猜是什么嗯。

[02:36:43] 张小珺: 第一课。

[02:36:44] 谢赛宁: 是要用一个工具,你猜这个工具是啥。

[02:36:47] 张小珺: 不知道。

[02:36:48] 谢赛宁: 这个工具是 Excel 表格,呵呵,这件事情也很也很有趣,就是我们会有一整套这样的 track experiments(跟踪实验),当然了这件事情有可能有点过时啊。因为现在可能会有更好。

[02:37:03] 张小珺: 有飞书。

[02:37:05] 谢赛宁: 有很多更好的工具,但那个时候,我们会精细的去构建这样一个 template(模板),这个 template 就是一个 Excel,所以有时候我们有点像文职人员啊,我每天做 research,过程中不是满满屏幕的代码。我们在写一些什么 fancy 的东西,而是盯着这个 spreadsheet(电子表格),这个 Excel,的表格,去看每一行它到底代表什么。

这里面关于 research 部分,就是你怎么设计这个表格,你怎么能保证,你的每一个实验都能给你像我刚刚说这个梯度,对吧,因为你总会有可能有两个极端,一个极端是你做的实验做的太少了。所以你的信号不明确,啥也不知道。

另一个极端是我完全不 care 我在做什么实验,我就瞎跑实验,对吧,我有这么多资源,我就 maximize 我的资源,就 run 所有的 job,把所有的结果全都这个 dump 到就直接放到这个表格里。然后我就觉得心满意足,我觉得我的 research 已经做完了,这两种情况都是一个比较差的学生的 research 的一个 pattern。

嗯,但当初其实通过看恺明,怎么样去 build 这样的一个 spreadsheet(规格表)?我觉得我学到的特别多,对,因为其实你就会要去去 make 一些决策,这些决策就是说我的这个我到底应该关注哪些 metric,对吧,我到底应该记录哪些内容,就有哪些 column,哪些列,还有就是说我到底应该有哪些行,我到底有哪些实验的结果,应该放到这个表格里面,哪些实验的结果我可能就不放了,或者说我隐藏起来。

因为你放进去的这一行,是需要跟其他的这个表格里面的其他的行发生关系的,然后这种对照式的对比,这个是 research 的流程,这个东西,again 再次给了你一个这种梯度的信号。

[02:38:57] 张小珺: 嗯。

[02:38:58] 谢赛宁: 对吧然后这件,事情其实有时候是非常非常 subtle,非常非常微妙的,因为它并不是说你的结果越好,你就,一定是通向正确的道路。

[02:39:10] 张小珺: 那应该是。

[02:39:12] 谢赛宁: 就是还是说你看你哪一个对照能给你最大的这个信息量,maximize the information,比如说我举个简单例子,如果你做了一个实验,这个实验给你了,这个差了,比如说你的 performance 掉了10个点,对吧,这时候如果你是一个悲观的人,你就会说哎,这个实验废了,完全不成功,那要不就算了。

但如果你是有这种方法论,的人。你会觉得哎,这个方向可以掉10个点,那我往这个方向的反方向去设计我的算法,那是不是我就可以涨很多点了,因为你最害怕的事情是它的 performance 停留在原地不好也不差对吧。

[02:39:53] 张小珺: 它不好不差就没有信号。

[02:39:55] 谢赛宁: 没有信号,嗯,一个 negative 的信号的反方向就是一个正向的信号,一个 positive 的结果的正方向也是一个好的信号啊,所以这件事情,也是一个非常非常有趣的事情,还有一件事情,恺明用这个表格经常告诉我们的事情,也是说你要学会做预测,在你跑每一个实验的时候,你要预测,这个实验的结果应该是怎么样。

[02:40:19] 张小珺: 为什么呀?

[02:40:20] 谢赛宁: 因为你要猜,你想的对还是不对,如果你想对了,说明你前面的这个思维链条,是可以往前继续延伸,往前继续推的。

[02:40:32] 张小珺: 嗯。

[02:40:34] 谢赛宁: 如果你想要想错了 again,这也是一个 surprise,也是一样的也给了你一个信号,那你就会怀疑说哎,我为什么想的不对,对吧,我哪里想错了,我可以尝试去解释背后的原因。然后或者我可以去重新去审视我自己的思路,这些东西都是有价值有意义的信号,这个可能说的有点具体了,但是确实这些事情。

[02:41:02] 张小珺: 这个很有启发,对很多人很有启发。

[02:41:06] 谢赛宁: 对。

[02:41:06] 张小珺: 因为他们可能没有你幸运,不能在他身边工作。

[02:41:09] 谢赛宁: 是但恺明其实他也是我说的好像恺明是一个这种无所不能的机器,研究机器,其实他不是,他也是一个很真诚很有趣的人。

[02:41:23] 张小珺: 他是有生活的人吗?

[02:41:24] 谢赛宁: 他的生活很干净很纯粹,但是我跟他一起工作的几年时间里,我也跟他一起打了几年游戏。

[02:41:33] 张小珺: 打什么游戏?

[02:41:34] 谢赛宁: 哈哈,他是这个魔兽世界的忠实玩家,然后我们一起那时候会打炉石,炉石传说是一个棋牌室的这么一个游戏,也是对战的我跟他有时候会这个一起联机,打几盘游戏啊,然后有时候上线发现哎,恺明也挂在上面打游戏啊。

[02:41:56] 张小珺: 你们会一起打多长时间?

[02:41:57] 谢赛宁: 没有一起打很久,对,但只是平时线下会讨论游戏,一般是比如我们讨论一个小时,或者两个小时吧,前一个小时讨论 research,后一个小时讨论游戏。

[02:42:11] 张小珺: 讨论什么呢?

[02:42:12] 谢赛宁: 就是说这个我遇到的哎你最近玩的怎么样,然后我给你讲一下,我上次这个12连胜,发生了什么就类似于这样的事情,挺无聊的挺好玩的事情。

[02:42:23] 张小珺: 从打游戏身上,能学到什么 research 的方法吗?

[02:42:27] 谢赛宁: 倒也没有但是发现凯恺明游戏的也比我打的好,他天梯爬的也比我高,我就觉得哎呀这个没办法,各个维度上被碾压,对啊呵呵呵,但是我觉得确实,恺明也是一个蛮有趣的就是他会,如果,你是真的是跟他一起工作的话,他会很愿意跟你去交流很多东西,并且这些东西,包含我刚刚说的这些 research 的方法论,也包含有些虚无缥缈或者说很 broad 的这些内容,他最喜欢聊的东西其实是进化生物学,他本科学物理的还有物理。然后包括量子啊,还有包括,哲学。

他一直劝我们的事情是说赛宁你们在美国读博士,你们的 title 可都是 PhD 啊,对吧,是 it’s a doctor of philosophy,是哲学博士。

[02:43:33] 张小珺: 嗯。

[02:43:34] 谢赛宁: 但为什么你们培养出来的人,一点哲学都不懂呢,嗯灵魂拷问。

[02:43:39] 张小珺: 哦他不是在美国读的。

[02:43:41] 谢赛宁: 他不是。

[02:43:41] 张小珺: 他在香港。

[02:43:42] 谢赛宁: 对,但这个也不只是美国,香港应该也是 PhD,PhD 只是变成一个代号,但他说你们一定要多读点哲学,所以哎呀,这件事情也是挺好玩的事,就是他其实每个人或者至少给我吧,一开始入职的时候给我一本书。然后这本书是不是教你怎么做 research 的这本书是 《金刚经》,哎呀我是不是透露的过多了哈哈哈。

Research taste 与《金刚经》

[02:44:17] 张小珺: 《金刚经》跟 research 的关系是什么?

[02:44:19] 谢赛宁: 呢,我觉得这个涉及到 research.taste 的问题。

[02:44:22] 张小珺: 对这个也是我很想问你的,因为研究员圈,现在我觉得说的最多的词,就是 research taste,一些人在说你的时候,就会说你是 research taste 好的人,谢谢,那什么是 research taste,什么来决定它呢?

[02:44:35] 谢赛宁: 我觉得你看,你用这么一个很高大上的词,还要用用英文来说说明这些东西很难被定义,它真的是一个。

[02:44:47] 张小珺: 研究审美。

[02:44:48] 谢赛宁: 对,我觉得包含我其实上述所说的所有的这些事,具体怎么做事情,我觉得这些事情都包含在之内,但也涉及到一些更高 level 的这种哲学,部分的这种考量,像恺明送给我《金刚经》。我觉得他因为《金刚经》里面说所有事情如梦幻如泡影,然后其中一句话也是凡所有相皆是虚妄,若见诸相非相即见如来。

[02:45:24] 张小珺: 嗯。

[02:45:25] 谢赛宁: 这件事情扯远一点其实跟西方的哲学里面的某些观点,其实也蛮像的比如康德去讲所谓的物自体,然后到叔本华讲,作为意志跟表象的这种世界,对吧,其实大家想要表达的事情,我不懂哲学我也不想高谈阔论。

但是以我粗鄙的认知,我觉得他们想讨论事情都是说你看到的东西,不是这个事情的本体,你看到的事情世界也不是实质,所以当你看一篇论文的时候,重要的事情是打破这个论文给你的一个幻象,去追问一下,这个论文背后,到底隐含着什么样的一个实质性的东西。我觉得 researcher taste 的来源就在于,大家能不能真的抛开所有的这些虚无的相,然后一直去通往这个真理的道路,一直去求索。

[02:46:27] 张小珺: 嗯。

[02:46:28] 谢赛宁: 我觉得恺明这件事情做的是最好的,这件事情如果你想的长远一点就是说我到底应该用什么样的方式,指导我怎么样去选择一个题目,到底做什么样的事情,对吧,这件事情又会涉及到你在做 research 的过程中,具体每一步该做什么。我觉得所有事情都是一致的嗯。

然后我觉得 research taste 不够好的一个问题在于,可能大家会沉迷于这个相,这个相可能是一个 paper 的 acceptance,可能是外界像你说的某种 fame,可能是你可以很快去把这件事情做出来,能够得到的这种一时的这种称赞,和这种追捧,对,我觉得对于恺明来说。这件事情完全 completely out of his world model (完全在他的世界模型之外),他完全不 care,我觉得对。

但你要问我具体 research taste 有如下 a,b c,d 几点。这件事情就比较比较难讲了,这件事情,因为涉及到的东西也很多,因为其实 research 本身就像我说:也是一个创意流程,也是一个写作过程。

从你的写作的 by the way,恺明也是写作能力最强的人。他也非常鼓励我们说一定要开始早点开始写作,这件事情,非常非常不幸,到我现在都已经一把年纪了,还是做不好,就是恺明,所有的论文,都是在 deadline 前一个月做完的至少在 FAIR 的时候是这样的。

[02:48:01] 张小珺: 嗯。

[02:48:02] 谢赛宁: 就是当其他人都还在为了 deadline 通宵奋战,然后获得巨大的满足感的时候,恺明你知道吗?就是那种闲云野鹤,然后一个月把事情已经做完了,然后开始把它一遍一遍的 polish(打磨),然后观察着你们去赶 deadline 吧,我是以一个非常 chil 的方式,把这件事情做到尽善尽美。

[02:48:27] 张小珺: 他是一个月前全部做完,全部做完。

[02:48:31] 谢赛宁: 就 paper 要写完,啊,不是说这个结果得到是 paper 全部写完,这是一个已经 publishable(可发表)的一个不错的工作。

[02:48:37] 张小珺: 那,这意味着他是要在什么时候开始写?

[02:48:41] 谢赛宁: 那就是提前两个月开始写。

[02:48:43] 张小珺: 他只用写一个月。

[02:48:45] 谢赛宁: 不,一个月很长了,对,当然他后面还会继续写,在 deadlline 之前的这一个月,会,polish 每一个表格,每个,字吧,每个标点符号,啊。

比如说这件事情,也影响到我比如说我现在就有这种 OCD,就是这种应该怎么说强迫症,也是恺明时期带给我的就是说你的一行论文,不能有一行有小于60%的文字,占住什么意思,就是说如果你有一行,你有大半行是空的这个看起来不好看,你得把这一行占满,或者占的大概有六七成满,这样你 paper 看起来才比较优雅,优雅或者 uniform(统一)。

[02:49:33] 张小珺: 哦。

[02:49:34] 谢赛宁: 这也是我们现在每一篇 paper,最后我都会让大家所有学生,对你们好好看,你如果有一个什么 trailling word,如果大家不注意的话,你会有一个词,单独占一行在一个地方,很难看的懂。

嗯,而且,恺明想这件事情的时候的想法是说这个 paper 不是给你自己看,这个 paper 是给别人看的。所以你要在乎的是别人的观感,嗯,你怎么样能够 paper 只是一个载体,我怎么样通过这样一个 knowledge 的载体,使得大家可以比较顺畅的 get 到你自己的这个想要表达的这个内核。

[02:50:16] 张小珺: 这个沟通界面要赏心悦目。

[02:50:18] 谢赛宁: 哎你总结好好对,沟通界面要赏心悦目,所以保证你 paper 也不能太难看对吧,你这个细节要做好啊,所以所有这一切,你可以认为它也是某种 research taste,但我觉得这件事情,其实是一个 general 的对于生活,或者对于这宇宙一切的某种审美。

[02:50:38] 张小珺: 嗯。

[02:50:39] 谢赛宁: 我觉得这件事情在我看来都是相通的对吧,这也是为什么,我们很在意我们自己的论文,怎么样能够比较 unique?比较有自己的这种独特性,我们可以有自己的网页的设计,我们会自己录一些视频。

[02:50:59] 张小珺: 录视频。

[02:51:01] 谢赛宁: 但是有很,多人觉得为什么你们要搞这些事情,这些事情,跟这个 research 一点关系都没有这难道不是一个 distraction(分心)吗?为什么你要花额外的精力?去 polish 这些东西,你是不是就为了炒作营销啊,啊我希望大家不这么觉得吧,因为我觉得有你自己的一个风格,这件事情其实是非常重要。

[02:51:25] 张小珺: 嗯。

[02:51:25] 谢赛宁: 然后这也是为什么,我们所有的 paper 都会用一套这种模板,我们会有一些自己的设计,然后间接的我也希望把一些我的 taste again,我不能完全保证他们都很好。但是 somehow,至少跟我的学生一起讨论吧,大家可以一起去把这件事情,至少一起能够去构思,一起去想一想对我觉得这件事情也是在我看起来,这个大的 research taste 的中间的一部分。

[02:51:54] 张小珺: 嗯它包含了很多很具体的小的细节。

[02:51:57] 谢赛宁: 非常非常非常多的细节,对,但我觉得这也是为什么做 research 很有趣的点,我昨天跟你说过,我这个从小的梦想其实是当个导演。

[02:52:07] 说话人未确认: 嗯。

[02:52:08] 张小珺: 从小的梦想。

[02:52:09] 谢赛宁: 没有没有。

[02:52:11] 张小珺: 从小什么时候破灭了?

[02:52:12] 谢赛宁: 很快就破灭了,很不幸,但我还是会看很多电影吧,但是我觉得到后来我会发现 research 的过程跟拍电影过程,其实没什么不一样。

[02:52:26] 张小珺: 为什么呢?因为电影也需要发现一个主题,它也是经过探索,我有一个我想要拍的故事,它也不应该是我站在此刻,我就觉得哦,我这个故事就是这样了,然后我直线通往彼岸,也不应该是这样的。

[02:52:40] 谢赛宁: 你也应该去拍电影,我觉得会有很好的直觉,对,是的 exactly 对吧,最差的电影就是说我是个流水账对吧,我有 a,中间没有什么冲突,然后通往 b,然后事情结束了,我就,放给你啊,一个好的电影其实是说或者说为什么我们写 paper 的时候,大家说哎,他讲的故事讲得很好啊,虽然这件事情可能甚至有点 narrative,storytelling。

[02:53:04] 张小珺: 嗯。

[02:53:05] 谢赛宁: 电影是一个 storytelling 的过程,有一本书,其实我之前还跟学生推荐,我学习恺明,跟大家推荐一些这个不搭尬的书,我给大家推荐一本书,就叫 Story,是这个麦基的这本书,这本书。

[02:53:20] 张小珺: 这是新闻学所有人都要的。

[02:53:21] 谢赛宁: 啊真的吗?OK,I see I see I see,因为他里面讲对吧,你真正的这个故事本身不是人物的背景,而是人物在特定时候的选择,这件事情带来了冲突,然后带来了对这个世界的变化,推进剧情的发展。我觉得 paper exactly 就是这样,你写的这个 paper 本身 technique 当然重要,这个 knowledge 当然也很重要,但是也许更加重要的点是你到底是怎么到达这的你到底中间做了哪些决策。

[02:53:58] 张小珺: 嗯。

[02:53:59] 谢赛宁: 你的 decision 到底是 How did you make the decision。

[02:54:03] 张小珺: 嗯。

[02:54:04] 谢赛宁: 为什么这个 decision 很重要?为什么读者读了这个 decision making 的过程之后,也许他们自己也会受到启发,也许他们自己也能去做一个完全不一样的事情,但 somehow,又能跟我们 present 的这个东西串起来。我觉得这件事情不就是拍电影吗?然后。

[02:54:24] 张小珺: 已经把 research 进化到了艺术的层面。

[02:54:28] 谢赛宁: 哎呀不是这个 Peak(季逸超,Manus 联合创始人兼首席科学家)说了吗?他不喜欢艺术家,对,我觉得我完全不是我其实没有什么艺术的见解,也没有什么艺术的修养,更没有什么艺术的能力。

[02:54:42] 张小珺: 嗯。

[02:54:42] 谢赛宁: 但我还是觉得这世界上的每一个人,不管你是不是经历过这样的训练,有一些非常非常 common 的非常非常个人化,比如说 Martin Scorsese (美国导演)说对吧,最有创意的东西其实是最个人化的嗯,我觉得每个人都太不一样了,你怎么样在做 research 的过程中,也能,发掘出来你心里面的那团火对吧,你自己不一样的地方,用它来指导你的 research taste。我觉得这件事情才是在我看起来,一个 scientific 的道路上面,很重要的一环。

[02:55:17] 张小珺: 嗯,其实人在选择自己偏好,或者相信自己偏好这件事情上,是非常难的,因为大多数人都愿意走一条,我们一起走的路,因为它更安全,就包括你说的做 research 的探索的过程,也是一种更加愿意相信自己某种偏好,的一个过程。

[02:55:36] 谢赛宁: 对,我觉得这件事情是这样,而且这件事情对 research 来说还蛮重要的嗯,还是有点玄学,但是其实这也是在 ACM 班,俞勇老师在我们本科时候跟我们说过一句话,他说不是因为看见所以相信。因为相信所以看见。

[02:55:55] 张小珺: 嗯。

[02:55:57] 谢赛宁: 如果你不相信这件事情的话,你可能完全看不到这件事情,按你设想的方式去发生,对,哎我觉得不能太玄学,但是就这里面。

[02:56:10] 张小珺: 我们有点虚了。

[02:56:11] 谢赛宁: research 还是一个科学的过程,我们每一次的 decision,得要基于事实,不能完全只是因为你相信一件事情,你就往那走,这件事情肯定是错的,但是 somehow 还是有一点这个的成分,大家还是有某种属于自己的这种精神的力量,能够去改变啊,你在 study 的间题,或者你在看待这些问题的方式。

[02:56:37] 张小珺: 嗯我要拉回来我们飘出去了。

[02:56:41] 谢赛宁: 飘出去太远了。

[02:56:42] 张小珺: 对,你说 research,更重要的是你怎么做决定的那你这个做研究的这个历程,你刚才还是没有讲完,后面的决定是怎么做下去的?

[02:56:54] 谢赛宁: 其他可能可以比较快讲一讲,因为其实有了现在铺垫,很多事情也蛮好讲了,其实很多时候,我觉得有好多点,来指导怎么做事情吧,第一是可能要有某种质疑精神啊,这件事情我觉得应该不用讲吧。但是有时候,在现在的这种竞争的环境下,大家可能会慢慢丧失这种都很难,有点难。

然后还有就是说,我觉得还是要,我在我那个无限游戏的 talk 里面讲,You are,the genius of yourself,你是你自己的天才,希望你自己,能够去做一个不一样的事情,be different 这件事情。我觉得也是一个很 high level 的一个指导,的原则。

[02:57:41] 张小珺: 嗯。

[02:57:41] 谢赛宁: 所以往后说那像我们我跟我当初的这个实习生,刘壮,他现在也是一个很强的 researcher,他现在是普林斯顿的一个教授了,我们一起做一个工作,叫 ConvNeXt。这件事情你可以看到对,跟这个 ResNeXt 也是一个映照。

[02:58:01] 张小珺: 嗯。

[02:58:02] 谢赛宁: 然后这个 paper 的 title 非常 ambitious(有野心),叫做 a ConvNet for the 2020s,就是2020年代的这个卷积神经网络。

[02:58:12] 张小珺: 嗯。

[02:58:13] 谢赛宁: 可以猜一下这个名字谁取的。

[02:58:16] 张小珺: 恺明。

[02:58:17] 谢赛宁: 呵呵呵对,其他人也不敢取这种名字啊。

[02:58:21] 张小珺: 又有 X。

[02:58:23] 谢赛宁: 然后恺明取的这个名字,然后我觉得我们做出来,但这个 paper 其实很简单,就是说大家认为在 Vit 里面,就是 vision transformer 里面,最重要的东西是 self attention,但我们我们质疑这件事情到底是不是真的。

然后通过这样的质疑,我们去,去铺叠这样的实验,对然后最后发现其实这件事情没有想象那么简单,self attention 可能是最不重要的一环,整个的这些 global 这种 architecture design,以及这些宏观跟微观 design,才是决定,这个 performance 的一个更加至关重要的地方。

对所以这件事情。我觉得对,也是当初跟刘壮一起,但还有其他的同事一起,我觉得我们能够去提出这样的问题,有所质疑,然后刘壮做了大量大量的实验,把这件事情最后梳理清楚,对吧,然后我们有这样一个一个一个 fgure,有这样一个 plot 在在 paper 里面,就是说我们现在怎么样从一步一步,从一个卷积神经网络,通向一个这种层次化的这种 transformer 架构,它每一步哪些实验重要,哪些实验不重要,对吧,就是一系列的 application study。

然后这个图现在也变成了这个 paper,呢我觉得还不错,就是它可能也配得上它的题目,就是在此之后,也没有人设计卷积神经网络架构了,基本上啊,然后还有这个 fgure,这个配图。现在变成了一个经典的配图,所以在各种各样的 paper 中,都能找到它的痕迹,这个图,也是我当初花了很长时间手搓出来的。

对然后这件事情对我的启发也很大,我觉得对吧,就是其实大家是知道。因为这个图本身,它在讲关于这个 paper 里面的一些逻辑,但它所涵盖的这种怎么样去精细的做 application,并且控制变量的这样的一个方法,这件事情,是可以被应用在很多很多不同的 paper,不管你的 topic 是什么的对所以我觉得这件事情也很好玩。

[03:00:28] 张小珺: 嗯。

[03:00:28] 谢赛宁: 然后后来,可能可以谈一下,比如 DiT 对吧,然后但这个 paper 也是这个 paper,又是一个。

[03:00:38] 张小珺: 这就到 NYU 了。

[03:00:39] 谢赛宁: 没有没有没有这个也是也是 FAIR,是 FAIR 的最后一个工作。

[03:00:42] 张小珺: 哦。

[03:00:43] 谢赛宁: 然后 FAIR 那个时候已经开始有一些 culture shift (文化转变),因为那时候 ChatGPT 刚出来,OpenAI 啊然后 DeepMind 也做的也非常好,OpenAI 作为一个新兴的这样的一个 research 的力量,嗯然后其实做了很多在 FAIR,大家想都不敢想呢,即使想了也做不到的事情。

对然后大家就开始在思考,这个组织模式上到底出了什么问题,是不是要进行大的改革,其实已经进行了很多次,reorg(组织架构重组)。这也是一个 trigger (触发器),为什么我觉得当初已经不是一个好的事件,我继续留在 FAIR 了。

[03:01:23] 张小珺: 已经开始下滑了。

[03:01:25] 谢赛宁: 倒也不是下滑,只是说大家的 focus 已经不在 research 上面了,大家会,有开这种好几个小时的这种 research 的 alignment 的 meeting,这种对接的这种会议。

[03:01:40] 张小珺: 对齐会议。

[03:01:42] 谢赛宁: 然后这个会议的唯一的 topic 就是说,我们到底应该做啥,但这样的会议,这个持续了,比如说好几个星期的时间,还是没有办法确定,因为没有人会知道自己要要做什么,因为这件事情是完全反我刚刚说的这个 research 的正常的这种 bottom up 的逻辑的。

嗯对吧,现在变成是说。我们要坐在一起,讨论我们接下来一年两年的时间,应该做一个什么样的 research project,这件事情在我或者在恺明,或者在很多研究员的心理的看起来都是都是反 research 的。

对,所以那时候也受到了很多的影响吧,比如说当初我在做这个 DiT 的时候,Diffusion 也是刚刚起步啊,还没有人,FAIR 还没有一个人,在做 Diffusion Model (扩散模型)相关的研究,但我觉得哎,这个东西好像很有趣。我觉得应该去尝试尝试,然后 Bill Peebles,他是我当初招的一个 intern(实习生)。

[03:02:41] 张小珺: 嗯。

[03:02:41] 谢赛宁: 然后他现在是 Sora 的 head 啊,也在 Sora 的这种各种生成的视频里面,他也是主角,嗯对,他是一个非常非常 sharp 啊,或者或者在我看来,是一个我觉得完美的 PhD 学生吧,就是在各个方向呢,至少是六边形战士的这样一个学生。

对但 anyway,当初我们的起点,其实不是要做 Diffusion Model,也不是要做 DiT,在前两个月的探索,完全也是集中在表征学习这件事上,就是说我们想要看一看,你一个 Diffusion Model 学到的这个表征,到底跟一个正常的 SupervisedLearning(监督学习),或者说一个 Self-supervised Learning(自监督学习)学到的表征,到底有什么不一样,其实,后续在这个方向还有很多很多的工作。

但我们开始的这个做了一段时间的感受就是说这个东西好像也还行,也就那样,他能学到一个不错,一个生成模型能学到一个不错的表征,但这个表征,要比你的自监督学习的表征,要差的多得多得多,嗯,就完全不能打对。

所以我们就放弃了,但是在这个过程中,到了最后一个月的时候,我们发现哎,by the way 这个东西,前提是说因为 DiT,我们需要在这个表征的 level 去跟比如说 ViT based(基于 Vision Transformer) 的这种表征的系统要做一个对比。所以那个时候是我们为什么我们不用 U-Net?要用 ViT 来做这个 Diffusion Model,这个是出发点对吧。

然后后来我们发现哎,这件事情在表征的这个角度,好像没有什么太大的价值,但是好像我们的这个新的 architecture,它确实更加 effcient。然后确实更加 scalable,比 U-Net 要更稳定。

并且从代码的角度,我会非常 care 这些事情,就从你的代码的角度,我们叫它这种 Minimal Description Length (MDL, 最小描述长度),就是说你代码其实还是很重要的你是能体现出来一些事情的。

如果你的代码的长度很短,就能够去达到同样的目的那你这个方法 typically 会优于一个比如说写了好几千行代码,一个非常非常庞杂的系统,即使他也能做同样的事情,但你的前一种这种更 elegant solution(优雅的坚决方案),更 simple solution(简单的解决方案)一定是更好的。

我觉得这也是某种意义上的 research taste,所以我们发现哎,这件事情又简单又能 work,又 scalable,然后又 efficient,那好像这件事情,才是应该我们去 pursue 的 direction(追随的方向)。所以也是提前一个月,然后然后去做这件事。

[03:05:11] 张小珺: 嗯。

[03:05:11] 谢赛宁: 然后那时候也要竞争很多的资源,大家就说哎呀你这个做这个事情干什么呀,我们现在要把资源集中到一起,然后我们要做一些更有意义的更大的 project,比如说 nobody knows,大家所以要有这种对齐,会议里面讨论嘛。但是至少 Diffusion Model,不会是在这个 critical path 中的一个重要的就在这个核心路径上的重要一员,对,所以大家会有很多的反对,但我觉得我能看到这件事情,其实是一个很重要的事情。

因为我觉得这这件事情从架构,我做,我做架构做这么长时间,我觉得这是 Diffusion 架构的未来,对,它不是 Diffusion Model,全部像我说的 data 架构,还有还有 objective,都是很重要的对但是在在架构上。这件事情是绕不过去的一环。

所以这是为什么,我们最后一个月就朝这个方向去 push,最后结果也很好,然后我们能 show 出来,这种真的很好的这种 scaling behavior。然后我们投了 paper 到 CVPR 啊,然后我觉得都非常开心啊,然后 paper 被拒了。

[03:06:14] 张小珺: 嗯,对 LeCun 好像写过这个 Twitter。

[03:06:17] 谢赛宁: 是的,就是 novelty 不够所谓,你们可能做的这个东西,咂对吧,你没有大段的数学,你没有大段的这种复杂的这个结构,你弄了一个很简单的这样一个结构,虽然得到很好的结果。但是嗯 reviewer 不买账。

嗯对,这也是另外一个 lesson,但到那个时刻,其实我已经慢慢回过神来了,我发现这个 research paper 这件事情,其实这个在这个巨大的随机过程里面,中或不中,一点一点都不重要。所以我们接下来又投另外一个会,那什么也没改,那又中了一篇 Oral Paper,嗯所以再次证明,这个完全是一个纯粹的随机过程。

但之后发生的事情比较有趣,就拿到这个 paper 之后,我发现这件事,在各个维度上,都比一个 U-Net based 的 system 要好,why not 你就应该用这件事,对吧你统一了你的底层的这个逻辑,在至少在架构上面统一了这个逻辑。你可以 share 很多这种 infrastructure,它又这么 efficient,结果又好又 scalable,你可以创更大模型。

所以我们就想,这件事情,这个 paper 发出去那一定会有很多关注,which by the way,确实有很多关注,就是推特上很多人讨论。但是我们发现哎,好像没有人真的用它干任何事。

[03:07:32] 张小珺: 哦。

[03:07:34] 谢赛宁: 然后我们开始就开始跟大家聊,比如说我们去找 Stable Diffusion 的人啊,By the way 我觉得 Stable Diffusion,LDM 也是一个在我看起来属于那二十几篇 paper 里面,的一个但我跟他们也有一些人也在在去聊。然后我们跟一些其他的大公司也有在聊,我们相当于在学校里面,那时候我已经就相当于这篇 paper 是是刚好落脚在我在 FAIR 的最后,和我在 NYU 开始。

[03:07:58] 张小珺: 哦这两边都署名是吗?这样的话。

[03:08:00] 谢赛宁: 对对对哦其实不是其实是只署了 NYU 的名字,和伯克利的名字,因为 FAIR 不让我们署名。

[03:08:06] 张小珺: 为什么?

[03:08:07] 谢赛宁: 因为第一是他们觉得这边 paperit’sOK,it’s a paper 第二是那你已经离开了,不要署我们名,不要不要借我们 FAIR 的名声,给你呵呵呵,增光添彩哈哈哈。然后 anyway 吧,其实本质上还是一些 legal 的原因吧。

[03:08:26] 张小珺: 嗯。

[03:08:26] 谢赛宁: 反正就没有署名所以是署的 NYU 名,但这件事情,是一个在 FAIR 完整的做完的事情。

[03:08:32] 张小珺: 对世界总是这么讽刺。

[03:08:34] 谢赛宁: 有点讽刺对,嗯然后后来,反正发生的事情大家也知道那就是 Bil 跑去 OpenA 那,说好你们都不买账,那我自己来做这件事。

[03:08:43] 张小珺: 哦是这个原因。

[03:08:44] 谢赛宁: 是这个原因,对然后或者说那时候他也在跟我讨论,说到底应该去找什么工作,他有好多不同的 offer,然后有些 startups 有 OpenAI,然后也有一些大公司。然后那时候他才第三年,然后他也是这个,我觉得也是有一个非常好非常好的这种可能比我强多了的这种预测模型吧,啊,我觉得他是能看到说要早点加入 OpenAI,啊,OpenAI。现在不得了。

[03:09:13] 张小珺: 那是哪一年。

[03:09:14] 谢赛宁: 呢是这个22年啊,22年年底。

[03:09:21] 张小珺: 对22年年底,那个时候不是 ChatGPT 刚出来吗?

[03:09:27] 谢赛宁: 是呀。

[03:09:28] 张小珺: 他就加入了,对。

[03:09:30] 谢赛宁: 就是他加入。

[03:09:31] 张小珺: 这个工作就做完了吗?

[03:09:32] 谢赛宁: 做完了。

[03:09:33] 张小珺: 你们不是在 ChatGPT 之后做的吗?

[03:09:35] 谢赛宁: 呢,不是因为我是23年1月就已经到 NYU 了,哦,所以这个工作其实是上一年,22年的暑假开始的一个工作。

[03:09:45] 张小珺: 哦所以是在 ChatGPT 之前就做了。

[03:09:47] 谢赛宁: 之前对,所以这是为什么 OpenAI 我觉得也很厉害,就它能够意识到比如 Bil 的才能。

[03:09:57] 张小珺: 嗯。

[03:09:57] 谢赛宁: 并且能够让他们有一个包括 Tim Brooks,对吧然后让他们能够有一个这样一个很 bottom up(自下而上),在我看起来,其实是一个蛮 research 的一个 effort,给他们足够多的自由度跟资源,让他们做一个在之前大家想都不敢,想的事情。这件事情就是 Sora,对吧,我觉得这件事情至少在在当初 FAIR 是没有这个基因的大公司也不会有这个基因。

[03:10:22] 张小珺: 就如果你们没有离职还在 FAIR,他们依然不会用 DiT。

[03:10:28] 谢赛宁: 呢,那,那我觉得也不见得倒不是用不用的问题,我觉得更多的是怎么样能催生出这样新的这种创新的呢这种这种结果,嗯对,然后我觉得或者说这个架构只是其中的一部分,我觉得它一点都不重要,它只是它只是一个选择,嗯。

[03:10:46] 张小珺: 但它 bet(赌)这件事情。

[03:10:47] 谢赛宁: 对 bet,或者相信这件事情能做成,我觉得这件事情不是不是所有人都能相信得了的嗯,我觉得这件事情其实是非常厉害的。

[03:10:56] 张小珺: 嗯这其实在讲的是 Sora 的诞生很多前序的故事对吧。

[03:11:01] 谢赛宁: 有点是是是。

[03:11:03] 张小珺: 嗯。

[03:11:03] 谢赛宁: 然后对。

[03:11:05] 张小珺: 我觉得你见证了好多。

[03:11:07] 谢赛宁: 对我觉得见证了一些人,一些事吧,呢,但也错过了很多。

[03:11:13] 张小珺: 错过了什么?

[03:11:14] 谢赛宁: 那比如当初没去 OpenA 啊,或者说之后还有很多其他机会,我就不说了,但总之是有点,我我觉得我看对了很多事情,和很多人,很多人但也有一些时候,比如说某些创业公司在非常非常早期的时候,然后跟我聊。然后想要想要说哎,就我可能是第一个看他们的 demo 的人,也许可以说吧,就是这个 Aravind,Perplexity 的 Aravind (Perplexity AI CEO)。

[03:11:42] 张小珺: 然后。

[03:11:44] 谢赛宁: 他从 OpenAI 出来,在 Palo Alto 的这个 Blue Bottle 的这个咖啡店,这也是一个硅谷,很多事情发生的一个地方。

[03:11:54] 张小珺: 啊很小。

[03:11:56] 谢赛宁: 我可能是至少第一,第二个看到他的一个 demo 的这样一个人,他拿着一个电脑给我看一个一个浏览器,然后说我们要革了 Google 的命好,然后我说:哇你这个好厉害,但我心里面觉得这个是什么东西啊,这个不就是 GPT 套了一个壳。然后 why are you doing this。

[03:12:20] 张小珺: 对吧。

[03:12:21] 谢赛宁: 所以他说哎,要不要一起来做啊,我说:我还是比较 enjoy being at NYU,去继续做 research,但后来确实,我觉得我对创业者的这个认知,在过去的几年也发生了一些变化。然后我觉得,这件事情跟 research 还真的不一样啊,有很多相通的地方,但也有一些不同的点。

[03:12:46] 张小珺: 嗯。

[03:12:48] 谢赛宁: 对然后但 anyway 就是这个又扯远了,然后工作上,我觉得我们可以快速再讲一讲后面的一些东西吧,因为我可能可以最后总结一下。

[03:12:59] 张小珺: 对除了 Perplexity 还错过了谁?

[03:13:02] 谢赛宁: 呢,其他的其他的不说吧,其他的有可能是刚错过,或者还我还不知道是不是错过的一些地方。

[03:13:09] 张小珺: 嗯呵呵呵。

[03:13:11] 谢赛宁: 对,但其实没有什么错过,或者说我在现在这个时间点里,我并没有后悔任何的决定,我觉得每一个决定都是比较忠诚于我的内心,然后在做我想做的这件事情,有可能这些决定很傻,有可能从一些维度上来看,其实是一个错误的决定,但我现在会觉得第一很知足,第二。我觉得像你说的这是属于我的一条路,这条路还能通向更远的未来,我还会在这条路上继续走,所以我觉得非常非常感恩。

对反正 DiT 之后,然后我们又做了一个工作,然后就是把这个 flowmatching,就是把这个新的 objective。然后在 Transformer setting 下面也把它拓展起来,然后这个每次也是都是当笑话讲了,也是先投稿,然后又被拒了啊,然后同样的原因啊,但是 again,经过这样的次数多了之后,我觉得我就基本上免疫了。

或者这件事情其实还是蛮,呢,叫做反脆弱的这个塔勒布有一本书叫做这个反脆弱,对吧然后我觉得我当初讲无限游戏的时候,我其实也提到这些这个观点,就是说我觉得 research,其实必须得要是一个反脆弱的系统。

这个反脆弱是什么意思,就是说一个组织,或者一个人,或者一个事情,它如果是反脆弱的就是 Anti fragile,它的意思是说一个可能的这样的一个 random 的 event 啊,某种黑天鹅事件,或者说某种 shock,就一种这种这种令你感到惊讶的一个事件的发生。这件事情如果对于这个组织,对于这个人,或者对于这个事情来说你的收益要比你的损失要大,那你的这个组织,就是一个反脆弱的组织,但如果你立刻被这个 shock 击倒了,那你就是一个脆弱的组织。

[03:15:09] 张小珺: 嗯。

[03:15:10] 谢赛宁: 所以我看起来就是说这个 research,这件事情其实是一个怎么样让大家变得越来越反脆弱的这样一个事情,嗯,然后所以 paper 被拒了,也没那么伤心了,然后但后来。我觉得就是像,像 DiT 然后 SiT 都会变,变成一个呢,相当于学术界的一个一个 baseline 吧,然后让大家可以继续在它上面,做各种各样的事情,然后我觉得它的这个任务也达到了。

[03:15:40] 张小珺: 对。

[03:15:41] 谢赛宁: 所以这是在 Diffusion 上面,当然,我们后来还做了很多其他的事情,但是我可能想说一下,我们最近比如说有一套另外的事情,叫做这个 Cambrian 对吧,Cambrian series 寒武纪,对啊中文叫做寒武纪。

但是这个寒武纪这个东西,我也我也讲了,什么是寒武纪,对吧就是说这个这个 leading theory(主导理论),说 vision 的演化带来了物种之间的在 Visual 能力上面的这种军备竞赛。然后导致了这种物种大爆发,然后所以大家有时候会觉得寒武纪是一个视觉的起点。

对啊然后说到这个寒武纪了,那可能再插一句,就是说其实如果你看整个地球的历史,我们把尺度放的更远一点从538个 million years ago 一直到现在对吧其实所谓的 modern behavior,这种 behavioral 呢,modernity 就是所谓的这种行为现代化这件事情是在过去的3万到5年,5万年前发生的。

所以如果假设从寒武纪大爆发,然后开始,地球上开始出现这种这种物种开始,一直到现在如果我们把它缩短到一天,对吧,假设,所有这一切都只是在24小时内发生的好那其实有语言的部分,有这种 behavior modality。然后大家可以有某种 abstract thinking,某种 symbolic reasoning 啊,这一部分的过程,其实在这一天中只占了最后,你猜猜大概多长时间。

[03:17:26] 张小珺: 3个小时。

[03:17:28] 谢赛宁: 嗯高估了,高估了啊。

[03:17:31] 张小珺: 3分钟。

[03:17:32] 谢赛宁: 还是高估了。

[03:17:33] 张小珺: 3秒钟。

[03:17:34] 谢赛宁: 呢大概是8秒到10秒吧,具体怎么算,所以在这个历史的长河里面,其实我们有语言,的时间其实是非常非常短暂的,然后但是由于我们是人,我们总会从从人的角度去思考这个事情,去看待这个历史。所以我们会觉得好像语言,自然而然就是人的智能的一部分,然后这也是区别于人的智能,跟其他动物智能的一个主要的区别,但 anyway,就是这个可能又扯的有点远了,我们等一下可以 come back to this。

但我想说的是这个 Cambrian series 之所以取这个题目,就是因为我们当初觉得。现在这个多模态大模型这么火热,但我们又像,有点像当初 Convnext 的时候一样的视角,我们希望能够去检验一下,现在正在发生的事情啊,然后以一个比较 solid,比较 scientifc 的方式去研究一下,到底什么重要,什么不重要。所以这是这个 camera model 的出发点。

然后这件事情在之前还有另外一篇 paper,叫做 Eyes Wide Shut(大开眼戒)啊,这边有这个导演朋友,对这也是库布里克的一个电影。所以那篇 paper 里面讲的事情是说对于这个 vision encoder 来说其实 clip 可能不是最优的它有可能会有它自己的缺陷,因为它有这种太多的这种这种语言的 shortcut,导致他对视觉的理解方面,有可能出现一些偏差。

所以 Cambrian 1其实是这个 paper 的某种意义上,一个延续,是说我们怎么样训练一个,我们自己的这样一个系统,然后在每一块上都做足够充分的 study。然后但是我们只有一块不碰,就是我们的 LLM 的部分我们不碰,我们不管它啊,然后但我们去 study,比如说我们的 data 的构成,我们去 study visual representations,对吧然后这种这种表征。然后以及后续的这些比如说各种各样的架构,这种视觉处理的架构,等等啦一系列东西。

对所以它是一个蛮大的一个 effort,所以很多时候有工业界的朋友问我说:哎你我很好奇你们是怎么组织,组织起来这么多学生,然后做这么大的一个 collaborative project(协作项目)的对吧,然后其实我也没有答案,那非要问我的话,那就是学生给力,对大家大家愿意去探究这个问题,并且能够以比较好的方式在一起合作。

对然后当然还这里面会有一个基础。这件事情蛮好玩的可以分享一下,就我刚刚提到说恺明当初不是在 TPU 上面,去 build 的这个 infrastructure,然后这个从无到有,我们有了自己的资源。然后啊,他 lead 了比如说像 MoCo MAE,还有这个 DiT 这样的工作,所以很自然而然,然后到了后面在 NYU 的时候,我就在考虑说我们到底能不能去,也在 TPU 上做一些事情。

因为 Google,其实还是对感谢 Google,Google 也是一个非常这个这个 generous 的 company(慷慨的公司),然后他有一个 program 叫做叫做 TRC 啊,就是 TPU Research Cloud,他无偿的给学术界的学生,还有老师们去用这部分计算机资,计算资源。

对但这部分资源极其难用。因为还是面临一样的问题,就是没有这个 ecosystem,所以你没有这个 infrastructure,对没有没有这个基础架构,也没有这个 Codebase,很多东西 PyTorch 放在上面不 work。

[03:21:10] 张小珺: 嗯。

[03:21:10] 谢赛宁: 这里面其实,就我们一开始面临的这样一个抉择,一方面我们从 Google 拿到了一些资源,我们可以有更多的算力,绝对的算力去做我们想做的事情,另一方面,这件事情实在是太难用了啊。所以我跟学生说,你们一定要去试一试,我也给他们讲了,比如恺明的这个 story,嗯,呢但是他们试了大概可能一个星期,然后回过来说老师实在这个受不了了,我们能不能买个两台 H100的机器,还是用 GPU 吧。

好,然后我跟他们说。这件事情还是要沉得住气,如果比如说你们试了大概3到4个星期,然后发现这件事情确实有技术上的障碍,我们确实因为我们不在 Google,没有这一套 infrastructure。所以有些事情我们确实做不了,或者我们解决不了,那我们可以 give up(放弃),然后我们可以去,换下一件事情去做。

但是如果只是因为暂时的这些阻力,你只是试了一个星期。然后然后发现哎,这件事情有困难啊,那我觉得我们一定要尝试去走出自己的舒适区,去解决一些这些 infrastructure 的 problem,即使这是一些可能一开始跟 research 无关的问题,反正学生就,被我劝回去了。然后继续开始,在 TPU 上面 develop 我们,我们自己的 infrastructure。

[03:22:39] 张小珺: 为什么不用 GPU 呢?

[03:22:41] 谢赛宁: 没钱呀。

[03:22:42] 张小珺: OK。

[03:22:43] 谢赛宁: 学校很惨的这个这个又要吐槽学校,北美的学术界是一个非常非常啊,我觉得哎,就处在一个很难的一个境地吧,对。

[03:22:54] 张小珺: 为什么?

[03:22:55] 谢赛宁: 主要还是就第一,资源不够,然后举个简单例子,比如说我们要申请 funding 对吧,美国的这个 funding system,可能又要飘的有点远,但是美国的这个 funding,system,其实在过去的几十年里面,都没有没有什么增长,虽然有很高的通通胀对吧,所有东西都变得很贵,学生的学费也变得很贵,但政府的资助,以及各个公司有这种他们这种 proposal 这种这种 program 对吧,有些资助的项目,其实还是维持在一个很低的水平。

然后大概就是说因平均,比如像 NSF 这样的美国的政府机构啊,能给到每一个单独的这种 PI 的这种这种总共的资助大概就是50万这个级别。

[03:23:44] 张小珺: 每年。

[03:23:45] 谢赛宁: 五年,每年大概10万,对,然后大量的公司啊,其实已经变得少了很多了,again 因为 ChatGPT,因为 LLM 的时代到了,然后大家慢慢的变得收缩,这个我们之后可以再聊。但是总之是也有更就是其实这种工业界,资助的机会也变得越来越少,并且一旦,如果有时候有一些这样资助的机会,一般会给你比如10万到15万美元,就是这么就是一次的一次性的给你这么多钱作为资助。

但你知道吗?大概有100个学校,同时100个老师,或者更多的老师去 compete for 这10万块钱,10万块钱可以干什么呢,可以养一个学生一年,作为学费,还可以干嘛呢,可以买半个 H100或者上百的 cluster。

[03:24:32] 张小珺: 嗯。

[03:24:32] 谢赛宁: 或者可以买个3-4张卡,所以这件事情是做不了事情,然后当然这也不是只是我在吐槽,我们所有的其实就是所谓的在美国的这个青年教师,都是生活在水深火热之中的大家都要通过自己的方式,去找不同的资源。所以这也是为什么有点像创业,就是你在一个非常 constrained(受限)的 resource(资源)的情况下,要去从不同的地方找到不同的资源,你要融资对吧,小珺,你这是《商业访谈录》,我说我这一点也不商业。但是其实某些地方,可能还是有有一些共性的啊。

然后包括跟 Google 的人,我们当初我有一个我的合作伙伴在 Google,然后他也很特殊了,他从来不去公司上班,然后说哎,他说我们可以聊一聊。然后我说好啊,那我去聊一聊,飞过去湾区去找他啊,然后他说我们可以聊,但我们不要在办公室里聊,我们一起去呢,这个 Google 旁边的这个 trail(小径)上面 hiking(徒步),嗯去徒步,嗯边徒步边聊。

嗯所以我大夏天啊,跟着他这个徒步了一个小时。然后跟他讲了讲,我们在 TPU 上面做的一些 infrastructure 的这些这些 contribution 啊,这些贡献,然后包括为什么 building 这,这样一个更长期的 collaboration 的这样一个合作伙伴的这样的关系,对 Google 来说对我们来说都是一个好事,对所以我觉得哎呀这不就是一个融资的过程吗?所以到后面。

[03:25:54] 张小珺: 就化缘了。

[03:25:55] 谢赛宁: 就化缘,化缘的过程,对对对,对,确实是因为,因为其实这样的资助其实是不求回报的对所以我觉得我也非常感谢 Google,但 anyway,我觉得更更应该感谢的还是应该是我这几个学生,然后他们一点一点。然后突破了重重的困境,像我我有几个学生,像这个 Peter Tong(童晟邦),Boyang Zheng(郑博阳),Shusheng Yang (杨澍生),然后很多人吧。然后他们都在 TPU 上面,做了自己的很大的贡献。

[03:26:24] 张小珺: 嗯。

[03:26:24] 谢赛宁: 对然后好,这是这个前提,就是说我们现在有一些卡可以用了,然后现在我们就可以做一些稍微有一点跟大模型靠的更近的一些事情,所以这是为什么我会做这个 Cambrian 的这个工作,对呢,然后当然了,所有这些 narrative,这些 story,都完全还是我过去这么多年的这些逻辑,就是说呢,第一表征非常重要,第二不管你在解决的是一个普通的计算机视觉的任务,还是我们到了一个多模态大模型的时代。然后通过这种 VQA 的方式,去解决这些问题,我觉得这些都是像。

[03:27:06] 张小珺: 都是像。

[03:27:07] 谢赛宁: 对然后背后,背后还是有一些实质性的东西,我们要去构想对,然后这这一部分,反正关于语言跟视觉,我们可以等下聊,然后我然后我们后来又有一个叫做 Cambrian-S 的 paper,这 paper 可能就是更进一步。我们不只做 image level 的 VQA 的 task,我们希望能够去还是涉及到 video,去涉及到视频。

对然后这件事情,其实真正让我真的觉得想要做这件事情的原因,又要说回到电影啊,还跟这个这个我喜欢的两个中国的导演,还蛮有关系的这个贾科长啊,贾樟柯和这个毕赣,都是中国很很著名的两个导演,对毕赣他路边野餐里面,大量的运用这种长镜头。这件事情让我觉得 OK,虽然在他来说是一种视觉的工具,但这件事情对于人来说又是一个视觉理解的一个很重要,很重要的一个媒介,就因为什么是长镜头,人活在这个世界上就是长镜头。我们的眼睛就是我们的相机。

[03:28:19] 张小珺: 嗯。

[03:28:20] 谢赛宁: 我们不停歇的在这个世界上面,做各种各样的事情,对吧,然后我们看到的东西,这个介质都是 video,都是视频,对吧,但是我们又能看到这个视频的这些像素,背后的一切东西。我们能推理因果,我们能感受到空间,对吧。

然后贾樟柯说了一句话我觉得我非常认同,他说这个电影之所以很有意思,这还是他在纽约的时候跟我说:他说这个很有意思,是因为你如果只看这个 timeline 的话,这是一根时间轴,它是一个线性的时间轴。但是在这个时间轴的每一个点上,你需要一个空间去扩展它的时间。

就像我们现在在说话,虽然是一个静态静止画面,但是假设你现在有一个长镜头,或者说对,你现在在纽约街头啊,然后在 Dumbo 大桥下面,Dumbo 下面,对,其实你看到的还是一个又一个的 frame,嗯对吧,但它背后其实体体现出来的东西,是这个世界的状态,是整个空间的这种全局的信息。这件事情是完全超越你的呢这个镜头所 encode 的这种这种单独的单一的每一帧每一帧之外的。

我觉得我觉得这件事情非常有道理,所以这件事情让我觉得接下来还是得要做视频,即使视频难做,即使视频需要处理海量的数据,但还是要做。

所以 Cambrian-S,我们就做这件事情,然后这件事情它有点像一个 position paper,position paper 就是一些应该怎么,翻译应该就是一个观点式的论文啊,就是我想要提出这样一个观点。

所以在那里面,我们讲某种 super sensing 的概念,就是说超感知的概念,然后我们还会,它还是一篇关于数据的论文,它是一篇关于这个结构架构的论文,然后它也是一个关于这个 Spatial intelligence 的一个论文。所以飞飞老师也帮我们提供了很多很多宝贵的建议,嗯,但核心是说我们想要定义一个范式,是说接下来多模态到底应该往哪走,对吧。

然后所以你如果一步一步看这个问题的话,就是说我们。我们可能是一个不恰当的比喻,但你可以拿无人驾驶里面来类比,你可能有一个 LO 的系统啊,就是什么都没有的系统,这个东西就是一个老城市 model,它完全不能观测到这个世界,所有的这种 visual 的 knowledge,它看不到图片。它也看不到视频,对吧,但是它能够通过语言的方式,像柏拉图洞穴寓言一样,能够侧面的了解这个世界,这件事情没问题,我们叫他 LO。

L1是现在的多模态系统,稍微具备了更好的能力,它能够所谓的 show and tell,就是说你给它看一个东西。然后它能够告诉你关于你给它看东西的一些答案,对吧,你间它一个问题,它回答一个答案啊,这可能是 L1。

然后 L2我觉得是我叫它 streaming event cognition(流式事件认知),就是说现在这个东西,不只是看一张静止图片了。你会有一个连续的 streamable 的这样一个 visual stream,就是视觉流,你的智能系统,需要能够了解这个视觉流,然后能够去 process 就处理这个视觉流。然后并且能够回答一些问题,能够去 understand,What’s happened。

对吧然后再下一个 stage,呢我叫它 spatial cognition,就是这件事情是我刚刚说的是你在这个时间的序列上面的每一点怎么样去能够看到超越他的当前?真的背后的就是这些这些像素背后的这个空间,对吧,这件事情也是一个人非常非常深,非常 unique(独特)的本领。

啊到最后,其实,我觉得终局就是说,我们需要一个 predictive world model (可预测的世界模型),对有某种预测性的世界模型。这件事情才能告诉你关于你 observe 的这种 real world 的一切,对我觉得我想通过这个 paper 想要讲的事情是说,我们在 build 一个阶梯。然后一步一步,通向一个世界模型的未来。

[03:32:47] 张小珺: 嗯。

[03:32:47] 谢赛宁: 呢我们虽然可能不知道应该怎么 define 这个世界模型,至少在这个 paper 里面,我们不会去做这样的 defne 的工作,但是我们可以去知道有哪些 capability 是我们必须得要有的对,所以这是这个 paper 的核心。

然后这个 paper,呢然后我们也拍了一小段视频,这个我还发到了 Twitter 上,也是一些学生,就是我们也没有花任何的钱,也不是为了宣传,就是一些学生拿着摄像机。然后在纽约的街头上面拍了一段,呢我们也没能很不幸,没能拍出来毕赣式的长镜头,但是边走边拍,然后算是一个写给纽约的情书吧,然后但是很多人不理解,说你们拍这个东西于什么这个东西跟你们 paper 有关系吗?

[03:33:34] 张小珺: 嗯。

[03:33:35] 谢赛宁: 我说当然有关系了,我们这个 paper 的本身就是在讲,一个活在这个真实世界里面的智能体,它是怎么能够去摄入这种连续的视觉流的信号,并且能够去感受到这个世界在发生的事情,他们可能会被一些事情触动,对吧,会 surprise,会感到惊讶,但更多的时候,它的大脑会有一个某种自发运作的这种世界模型,在指导大家做自己,就指导大家活在这个世界上。

对我觉得这个这篇 paper 其实还蛮有意思的。因为我其实也以前也没有做过这种有点像,希望想要 set-个 agenda,就是定义问题的这样的工作,所以所以说也是希望向飞飞老师多学习吧,就是飞飞老师经常说北极星对吧,那我一直在问的问题也是到底什么是视觉的北极星,嗯到底这个间题到底是什么啊,应该怎么去解决它对所以这是这个 paper。

[03:34:36] 张小珺: 你有找到答案吗?

[03:34:37] 谢赛宁: 呢,找不到答案,找到答案我就不坐在这了,我觉得这是一个终极问题。

[03:34:41] 张小珺: 嗯。

[03:34:42] 谢赛宁: 我觉得这不是一个计算机视觉的问题,或者说其实我想说的是其实计算机视觉这个这个 term 也很有趣,它叫 vision,那 vision 有两重意思,它是一个非常有歧义的词语,vision 既指你的视觉,又指你对未来的预判,对吧就你说你一个人很有 vision。

[03:35:03] 张小珺: 有愿景啊。

[03:35:04] 谢赛宁: visionary 愿景对,呢所以我觉得 computer vision,其实,我完全不会,咂这个我可以说我是一个做 computer vision 的人,对但在我定义下的 computer vision,它是—个 perspective,它不是一个具体的任务,它甚至也不是一个具体的领域,它是一个 perspective,perspective 就是它是一个观点。

对或者说它是。我觉得智能就它蛮本质的它是智能一定要解决的一系列间题的总和它是个总和对啊我说具体一点就什么是 vision,或者 vision care 哪些问题呢。

[03:35:49] 张小珺: 嗯啊。

[03:35:49] 谢赛宁: 不一定能说的清楚,让我想一想呢,第一它 care 处理的信号是连续空间的高维度的有噪音的信号。

[03:35:58] 张小珺: 嗯。

[03:35:59] 谢赛宁: 对吧这是 computer vision 要解决的问题,计算机要解决的问题,不是在纸上写了大量的文字,我们现在要能够演化出某种智能,它不解决这个问题,它 address 这个 market,它的它的 target 的这个市场,就跟 language 完全不同,对吧,连续高维度有噪音的信号,这是 Vision 要解决的问题。

第二从做 Vision 第一天起,从我刚刚说我的第一篇 paper,DSN 或者 HED 这个 HED 开始,我就知道或者说我就有这样的一个 bet 吧,就是 vision,其实最重要的事情,就是要学会这种层次化的表征,京就 hierarchical representation。

这件事情是非常非常重要的如果你的表征没有层次的话,你是没有办法去解决这个世界上,很多很多的问题的层次化的过程就是一个抽象化的过程,抽象化的过程,就是一个所谓的泛化的过程,是一个 generalization 的过程。这件事情跟 language model 又很不一样,因为 language model,是纯粹在语义的空间里面,去思考这个问题的。

所以当然还有一些其他特点,比如说我说 vision as a perspective 呢,比如说我想它又是这种大规模的并行化。

我们现在能看到很多很多的东西,我们大脑的皮层有很多地方在 fre,对吧然后我们在并行的处理,很多很多的不同的 object,以及它们的因果规律,然后 into the physics 它们的物理变化,这些事情是在不同的时间。然后在不同的空间,都在同时发生的,然后我们能够有一个方式,能够 capture 所有的这些变化,我觉得这件事情,也是视觉的一个很重要的一个特性。

呢,然后最后可能还有一个就是某种呢,我不知道应该怎么样去 define 这件事情,某种特征的共享吧。这件事情意思是说比如说我看到就这件事情涉及到的语义的部分,或者或者真正的 understanding 部分,可能会会更多一点就是说我现在看到一个小孩画的一只狗,和一只动画片里面的卡通狗,和一只真实世界里到处跑的狗。

对吧然后我是怎么把所有的这些不同的 visual 的这种 entities 能够 connect together 对吧,让我们有构建这种抽象的认知,说哎它们都是狗对吧,虽然他们千差万别,在这种 you know, data 的角度上面,他们差的太远啊,每一个 Pixel 都没有可比性。

所以我想说的是呢,vision 要解决可能会有更多了,我这个我其实也没有仔细想过,对,反正它会有一些这样的共性,这些特点,对吧层次化结构,然后这种 continuous domain(连续空间)的模型呢,continuous domain 的 modeling。然后还有这种这种大规模的并行和大规模的共享,我觉得这些事情,都是智能体的一部分,这件事情,不能够简简单单把它们归约为只是—个 computer vision system,要解决的一小块问题。

嗯,所以这是为什么我会觉得 computer vision 这件事情。我觉得我觉得,我觉得虽然现在越来越少的人去做,这个方向啊,学生也越来越少,申请的学生也越来越少,大家在本科时候,选择的这个方向的时候,也越来越不愿意选择,对吧一个一个东西叫 computer vision。

咂然后然后 faculty 招人的时候也是。我们可能也越来越少的招一个做纯粹的 computer vision 的老师,但我觉得这件事情是就是如果你认为计算机视觉,是一个 perspective 的话啊。我觉得这件事情是一个智能的本质。

[03:39:52] 张小珺: 你看过去这几年,ChatGPT 来了之后,CV 以前其实是人工智能一个非常中心,占据一个非常中心的位置,当然这是在你就入行之后发生的呢这几年 LLM 兴起了,CV 被退回到一个比较边缘的位置,在这个过程中,你觉得你们这些人沮丧吗?

[03:40:12] 谢赛宁: 呢,我觉得我不沮丧啊,我觉得完全不沮丧啊,我觉得像我说的我要感谢这个 LLM,对啊,没有 LLM 的话,Vision 也没办法拓展到现在这种真正的多模态智能的这样一个大的 scope 啊。

就其实在视觉的发展史看来,其实也也有两根轴,可以画这根轴,是说在古早时期对吧,在最 early 的 stage,计算机视觉所要 handle 的事情,永远是这些最单一,最具体最简单的任务,比如说 MNIST 的数字识别对吧,1234我要把它显示出来到底是数字几。

然后到后面有一些小的数据集,像 CIFAR 这样的数据啊,是一个32*32的像素,上面的十分类的问题,是猫是狗,是汽车是飞机,然后再到后面啊,像有 ImageNet 这样的 dataset 出现,它变成了一个在256乘256的这种这种 level。然后啊做 classincation 的问题对吧,呢,但这些时候,还比较相对来说比较可控。

然后再到后面,会有呢 detection segmentation,就是这种更结构化的这种这种认知的过程。然后这些是 composition。

然后再到后面对吧,这根轴继续往前推演就会到比如说这种 Multimodal large-scale model 兴起,当因为多模态的介入。我们可可以很容易的放弃很多这些具体的比较固化的这种这种 task 的 design,这种任务的 design,然后那我现在就可以拿着一张图,问各种各样的问题啊,suppose 这件事情,语言作为一个很好的 interface,它是可以或者语言作为一种很好的界面,它是可以去帮你解决很多很多问题的对吧。

所以你可以看到这个时间,呢这个轴,这这根轴,是从 task 从简单到复杂的的这样一根轴,但也是一个语言开始,慢慢介入到 compute vision 的一根轴,那么,这里面会有两个问题,第一件事情是语言进入到 vision 之后,带给我们巨大的好处,让我们可以很自由的定义问题。我们可以问任何事情,然后我们可以得到任何答案。

[03:42:26] 张小珺: 嗯。

[03:42:27] 谢赛宁: 但第二个很重要的风险在于,语言的介入导致,你对语言的依赖也变多了,嗯,所以导致所谓很多的多模态的时候,这些任务其实跟语,跟视觉没有什么关系,纯粹是一个语言的问题。

[03:42:43] 张小珺: 嗯。

[03:42:44] 谢赛宁: 然后从这这个角度来讲,呢那我当然是觉得对哎,vision 好像变得边缘化了,嗯对吧,但我当然不会觉得沮丧,我会觉得这是一个巨大的机会,因为等到最后,就是如果你现在解决的问题,比较简单的时候,那无所谓你用语言能解决的问题,那就用语言去解决就好了,对吧呢,虽然我没有看到我没有办法做所谓的 grounding,就我没有办法知道你描述给我的这个红色的苹果,到底什么什么叫做红色,到底什么叫做苹果,但 somehow 通过这种啊统计信息,在语言里面,我还是能够去完成一些决策的任务。

这件事情你们无可厚非,我觉得没有问题,但这里面暗藏的巨大的机会是说等到真的有一天,我们需要去 deal with 这种真实世界里面,真实的 task,去 build 某种真实的 intelligence,啊,那现在这种不够完美的这种这种视觉的表征,就会是一个重大的缺陷。

所以杨立昆的说法是,现在大家都是只是拄着拐杖,这个拐杖就是语言模型本身,对吧虽然你可以走走路,然后你会觉得哎,我还走的挺好的,但是你可能跑不起来,你也没有办法去参加这个奥运会,对因为你有一根腿,这部分是所谓视觉的表中的这一根腿。现在还是还是不够好。

[03:44:12] 张小珺: 为什么你说是真实的 intelligence?LLM 为什么不是真实的 intelligence?

[03:44:16] 谢赛宁: 因为我觉得 LLM 是虚拟的 intelligence。

[03:44:23] 张小珺: 但是我们的智商,所谓的智智力,不也是虚拟的吗?

[03:44:26] 谢赛宁: 哦我觉得可能虚拟这个词不对,我定义的真实,是说是跟真实的世界要发生交互的对,这个意思是什么就是说你看,现在 LLM 能解决的很好的这些问题,大部分还是在 digital space 发生的。

[03:44:41] 张小珺: 嗯。

[03:44:41] 谢赛宁: 嗯比如说呢它能够记忆下来,所有的这些 factual knowledge,它可以去知道对吧,我们可以把所有的维基百科的这些 article,全都存在里面,可以告诉我们想知道的一切,它可以做很好的这种法律顾问啊,它可以去,甚至可以去帮忙去总结知识。然后去做 education,去做教育,大量这些东西,对吧。

然后我觉得 LLM,呢当然是是革命性的,但是这件事情跟我刚刚说的 vision,as a perspective 要解决的问题,其实完全不是一个市场。

就是如果你现在要 handle 的东西是 continuous,space high dimensional,noisy 的这种 domain 的话,那这些比如说机器人,这些 space 不只是机器人,by the way 机器人是其中一个很好的例子,我等下会说啊,这些事情是很难被 tokenized 的他们已经脱离了这个这个 Virtual 的 space,脱离了这个 digital 的 space,对吧这件事情涉及到什么样的 task 呢,你说非常对。

我觉得机器人是一个也会有很多的这些 industrial 的 application 对吧,industrial 的 process 的 control,就是说一些所有的这些涉及到 sensory,modeling 的这些信号,有很多不同的这种 Sensor,对吧这种传感器。

然后它会感知到这个世界里面,在发生什么事情,然后你现在要有一个统一的算法,去 model 这个 environment,这个 system,使得你再去,perform an action 或者 intervention,就是说你在你在你在有一个动作或者你有介入的时候,你能够去预测出来,这个系统,接下来会发生怎么样的变化。这件事情是 LLM 很难做到的。

[03:46:28] 张小珺: 嗯。

[03:46:29] 谢赛宁: 然后这件事情你说非常对,我觉得在我看起来其实是有两个极端,一个极端是 LLM,非常擅长在数字化空间里面,做很多很多的事情啊,并且也非常擅长,通过用 coding 这样的 interface,对吧,通过 agent 的方式,去介入到我们的物理生活之中。这件事也会发生,也没有问题,但总归是它还是基于一个离散的 token,token 的这样的一个一个 position。

啊,最右边是 Robotics,这个 Robotics 是真,必须得要是真,真正的 general-purpose robotics,就它能够 generalize 到就泛化到一定程度,使得它能够做人能做到的一切,嗯它有自己的一套决策系统。然后它有自己的一个自己的大脑。

嗯然后我现在感觉就是说这两级,对吧然后然后从 LLM 怎么样,一步一步推演到这个 Robotics 啊,我觉得这才是计算机视觉,或者在新的时代下面,视觉智能所要解决的问题,对,然后我觉得这件事情也是多模态的未来。

[03:47:47] 张小珺: 嗯。

[03:47:48] 谢赛宁: 因为很明显现在 robotics 还不 work 啊,然后我经常跟学生说或者跟我身边的人也说其实,我最想做到的事情,是通过不做 Robotics 的这个方式去解决 Robotics 的问题。

[03:48:07] 张小珺: 为什么呀?嗯因为你觉得 Robotics 的方式解决不了 Robotics 的问题吗?

[03:48:11] 谢赛宁: 倒也不是就因为我觉得我们每个人就,我觉得 Robotics 进展也太快了,对吧,现在这个春晚上面这些宇树科技什么的对我觉得我觉得都令人有点目结舌,但另一方面,我觉得还是要有人 focus 在预训练的部分,就是所谓的这种机器人大脑,到底是什么嗯,或者这个大脑包含了你的视觉系统,对吧在控制的部分,在硬件的部分,这部分又是说兄弟爬山各自努力。

我觉得我不需要去,过早的介入硬件,然后去去做这些事情,对,我觉得现在有 fundamental 的 research 的问题,在软件层面没有解决,在这种大脑的构建上面没有解决。我们需要先专心把这一部分解决好,当然这里面很多人会 argue 说你必须得要有一个相当于一个闭环,你得要有某种合作的方式,你得要在你的机器人上面去做验证,不然的话,你现在 build 某一个算法,某一个模型可能用不上。

[03:49:11] 张小珺: 啊。

[03:49:12] 谢赛宁: 这件事情我也完全认同,但我觉得这件事情,可以通过某种 partnership 的方式,对我只是不想这个买回来,我也没钱,我也买不了那么多机器人,机器人也有自己的硬件的 scaling,by the way,就你需要买很多的机器人,才能做好一个硬件的。

[03:49:29] 张小珺: 嗯。

[03:49:30] 谢赛宁: 对我想 focus 在大脑的部分,然后我觉得这件事情,是计算机视觉需要解决的问题,是表征学习需要解决的问题,也是我觉得到最后世界模型要解决的问题。

[03:49:44] 张小珺: 你看恺明那么早就开始想就是要大大大。

[03:49:48] 谢赛宁: 嗯。

[03:49:49] 张小珺: 为什么 LLM 的 ScalingLaw(缩放法则/规模法则)比 CV 要早那么多?

[03:49:54] 谢赛宁: 呢好问题,对我觉得首先不能说早那么多,因为 cV 现在没有一个 Scaling Law,对吧,然后其实之前我是,我们都很绝望了,我说哎呀,这个 vision,怎么始终没有这样一个 Scaling Law。现在可能还行,现在比如说这些 video diffusion,有一定的 Scaling Behavior(缩放行为/规模效应),就所谓 Scaling,是你能把数据吃下来,对然后你能够能够你能,你能够得到更好的结果。

对吧,或者说这个更形式化的刻画,就是说你 Scaling Behavior,就是说你现在如果有一个 Transformer system,那我现在满足这个 C=6ND 的这样一个配比,就是说你的你的你的 compute 基本上等于你的6倍的你的 tokens 和你的你的 number parameters 的乘积。然后我想我想借用这个这个形式化的定义来说这件事情,是因为我现在觉得越来越觉得 vision 不需要要一个 ScalingLaw。

[03:50:52] 张小珺: 哦那为什么?

[03:50:54] 谢赛宁: 因为 again,vision care 的事情,跟 language care 的事情完全不同,我的一个不能说暴论吧,但是是一个观点,长期的观点,并且有很多做 NLP 的人,其实都认同这个观点,就是说 language model,其实不是一个自监督学习的过程,它其实是一个 strongly,Supervised learning 的过程,就是说它是一个强监督的过程。

这件事情看你怎么看,什么叫做有监督或者没有监督,对就是这里面的逻辑是这样的通常来讲,我们讲说你有没有外部的这种 annotation,外部的 label,这件事情决定了你是自监督,还是这个还是这个强监督学习。

对吧但语言这个东西太特例了,什么是语言,语言,是人在过去这么几千年的 civilization。然后经过不断的演化,不管是社会学的意义上,还是每一个人单独的个体的意义上,然后 process,所有的关于这个世界的一切,然后以一个 tokenize 的方式,把它存储下来。

恰好我们有了一个东西叫互联网。然后我们把这些 knowledge,全都 upload 到了互联网上面去,所以恰好对于所有的 LLM 的 researcher 来说,这件事情是 for free,但一个东西免费不代表它没有 label,那一个问题就,是说假设我们现在没有互联网,那你现在要训练语言模型,你还能做得到吗?

[03:52:22] 张小珺: 把书训进去。

[03:52:24] 谢赛宁: 是的,或者说假设你没有书,对吧是的 exactly 就是这种这种 knowledge upload,这件事情,本身是一个 supervision construction 的过程,对吧,所以这件事情跟视觉是不一样的。所以有点像 language,呢想要解决问题,始终停留在这个 target 的这个 y space。

就我们通常讲,你有一个 x 到一个 y 的一个映射,是所有的机器学习。你可以通过某种不管这个 x 跟 y 在哪在哪里,反正你可以去去这么去定义这个问题,然后 y 通常大家讲讲是 supervision,是 label 然后 x 是你的数据,对吧,你可以认为这个 language model,其实只在刻画这个 y space 上面的事情。

[03:53:08] 张小珺: 嗯。

[03:53:10] 谢赛宁: 嗯但这件事情是对,回到刚才的问题,就是说这件事情其实不足以代表,这个世界的全部,有很多东西,你是没有办法去通过语言,去描述跟刻画,或者说这件事情既是 language 的好处,也是 language,可能最后像我说的可能会逐渐凋零,或者说 LLM 不会作为这个整个世界模型的根基,的一个原因,原因是就是它的好处是。这件事情你不需要做任何事情,就可以跟人有某种对齐,因为你写下来的每一句话每一个文字。

[03:53:50] 张小珺: 都是人写的嗯对吧。

[03:53:53] 谢赛宁: 你写下这件事情就,language 是什么 language 是一个 communication 的 tool,language 不是一个思考的图,language 甚至不是一个你 decision making 的 tool,它是一个 communication,其实它是一个交流的工具,嗯,所以如果它是一个交流的工具的话,你总要 make some trade off,你总要牺牲掉一些东西。

所以啊然后然后我觉得,我觉得我想说的事情主要是对,它作为交流的工具,跟人对齐的很好,但另一方面,它也失去了很多本来它就是一个智能系统,应该去 model 的东西,嗯对。

比如说我们现在我有一杯水,我有一个杯子掉在地上碎了,其实这是一个语言,那我们之所以这么说是因为这就是我们最适合我们沟通的一个一个东西。我们只在乎这个事情的结果和状态,对吧,我们不在乎一个杯子掉到地上,它到底是怎么碎的对吧它满足了哪些,这种物理定律,它背后的这种动力学规律,到底是怎么样,对,所以它 dynamics 到底是怎么样,这些事情我们都不 care,对,所以我觉得这也是它的一个局限。

[03:55:14] 张小珺: 嗯,LLM 的人会抱怨说加入视觉以后,有可能会影响他们的智商。

[03:55:22] 谢赛宁: 啊为啥真的吗?

[03:55:24] 张小珺: 对他希望像杨植麟就是说加入多模态,他们希望不要是一个傻的多模态。

[03:55:30] 谢赛宁: 啊是我同意,当然不应该用一个傻的多模态啊,但会我觉得是如果不加入视觉,你一定会很傻,然后但我觉得这件事情,其实间题的根本在于,到底怎么定义聪明和傻。

[03:55:49] 张小珺: 对就是对智能,智能的定义是不一样的。

[03:55:53] 谢赛宁: 对智能的定义是不一样的,然后或者说到底怎么去定义,什么是一个简单的任务,什么是一个难的问任务。

[03:56:01] 张小珺: 嗯。

[03:56:02] 谢赛宁: 在过去的几十年的时间里,所有的这些人工智能的 researcher,会不断的去撞到这个这个所谓的这个 Moravec’s paradox,这个 Moravec’s 悖论上好,这个悖论说的事情是说你的对于机器简单的事情,或者说 the easy problem is hard,the hardlproblem is easy,这是一个悖论,就是说对于机器简单的事情来说对人其实是难的对于机器难的事情来说对人其实是简单的。

[03:56:35] 张小珺: 你在 NYU 好像还有几篇工作。

[03:56:37] 谢赛宁: 呢对。

[03:56:38] 张小珺: 我觉得从 V*开始哦。

[03:56:40] 谢赛宁: 呢 V*其实只是只是一个工作,我觉得蛮有意思,可以讲一下,因为我们是第一次觉得想要在一个 multimodal system 里面,去 building—个 system two,所谓的这种可以去,在 test time 做 scaling 的这样一个模型。

就是说我们。我们看我们周围的世界的时候,比如我现在要问你一个问题,对吧,这个比如说比如说你周围的这个旁边有个垃圾桶,是什么颜色的你不会直接像语言模型一样,直接告诉我一个答案,你一定会去先去想一想哪里有这个垃圾桶?你可能会回下头,发现那有一个冰箱,也许这个垃圾桶在冰箱旁边,然后你会 localize 这个物体,然后找到这个物体,对吧然后告诉我一个答案,所以你是有这个 visual 的推理在这,对吧某种视觉推理在这。

然后这件事情,完全是一个推理过程中的一个 behavior,对吧,然后然后然后这件事情,我们当初就做了这样一个系统,然后这也是呢,比如说就是在这个 o1之前,很长很长一段时间,对至少隔了几个月吧。然后我们开始做这件事的嗯对,那时候这种 test time scaling,还完全不是一个 buzzword (时髦词语),还 nobody has been talking about this (没有人在谈论这个)。

[03:57:51] 张小珺: okay 对吧。

[03:57:52] 谢赛宁: 然后我觉得这件事情可以聊,是因为这件事情其实对于我来说其实是一个鼓舞,我觉得它既是一个,我觉得它是一个 bittersweet(苦中带甜),的这么一个 lesson 吧,就是说它苦涩的一点在于,我先给你讲发生了什么就是说我们有这个 paper 之后,我们有了自己的一个 benchmark。

然后我们找了,就是我有两个朋友,这个 Alex Kirillov,他也是这个 SAM 的这个作者,然后还有程博文,他俩在 OpenAI 工作,嗯所以我跟他们聊了很长的时间。我们告诉他,我们这个工作做了什么事情,我们这个 benchmark 现在在这,你可以拿去玩一玩,并且我也讲,讲了一些关于这里面背后的逻辑,对吧就是说你怎么样能够去做这种 visual.thinking。

然后后来,Alex and 博文就 drive(主导)在 OpenAi 里面,drive 这个 project,这个 project 就叫 think with image (图像思考)啊。

然后后来隔了大概可能一年多的时间,对吧,然后这个 product launch (产品发布),嗯然后这个 product launch 之后就叫做 think with image。然后里面其实很多 example 或者他们 Benchmark,其实就是我们这个 paper 的 Benchmark。

哦,所以我觉得它让我觉得很幸福的一点在于,这是第一次。我觉得哎,我们其实可以有办法,真的走一条不一样的道路,这件事情可以 somehow,启发在 OpenAI 的 researcher,去 improve 他们自己的模型,嗯,我觉得这件事情至少让我觉得在学校里面有事情可以做。

嗯,但另一方面,又比较比较 bitter,是因为这个这个你像在那个时候 OpenAI 对吧,在 Sora 的时候,我 DiT 之所以大家能够去接受,也是因为 DiT,呢,会在 Sora 的这个 block post 里面会被 cite 啊,或者说 Bil 的名字在上面,让大家能够去找到这个逻辑,和背后的线索。

[03:59:41] 张小珺: 嗯对吧。

[03:59:42] 谢赛宁: 但很不幸,我觉得慢慢,最近的几年时间里面,其实 industrial 的这些 research lab,变得越来越 close,所以一开始大家发论文,后来大家不能发论文了,可以写一些 blog post,可以加一些 station,也可以把每个 team member 的名字写在上面,再到后面,可以发一个 blog post,但已经不能有署名了,只能有一个 OpenAI team 或者 Gemini team,就结束了。

所以我觉得这件事情,嗯,会导致我不知道接下来的这种本来可以很良性的学术界跟工业界的这种交流的这种渠道嗯,是不是会被打断,嗯对吧,就我们做 research,本质上还是一个为爱发电的过程啊,就我们为了探究这些问题。我们也不是为了真的它能够 deliver(交付)什么产品,或者赚多少钱。

但另一方面呢,某种 credit assignment(贡献归因),就是让大家知道谁做了什么事情。我觉得这是在过去的几十年里,支撑学术界能够往前走的一个机制,但现在这个机制慢慢被被被 LLM,这一代的模型,以及这一代模型背后的这种组织结构,我觉得慢慢打破了。

[04:01:01] 张小珺: 它变成商业竞争了。

[04:01:03] 谢赛宁: 它变成了一种商业竞争,嗯是的对然后 quickly conclude (快速总结)一下,我觉得还有两篇,我觉得我想迅速提一句的这个这个论文就是说这个 REPA,这个东西叫做 representation alignment (表征对齐),你看又有一个 keyword(关键词)representation。

所以这是我为什么非常喜欢这篇论文,但这篇论文也是经历了这么长时间,然后所有过去的这些工作,以以一种奇怪的方式组合到了一起,形成了某种化学反应,嗯然后开启了至少啊,一个小的这个 research domain(研究领域)吧。

然后做的事情很简单,它本质上是个 Deeply Supervised Nets,就是说你现在一个模型,不只有最上面有一个 diffusion 的 loss,就是你 fnal 的 objective,你中间还会拉出来一些其他的这些 object。你可以有其他 object。

我们用的这个 objective 是说我希望能够让我的一个 Diffusion Model (扩散模型),它是一个生成模型,by the way,让它的 internal representation (内部表征),能够跟外面的一个自监督的一个模型的 representation,能够 align(对齐)到一起。

嗯,这里面,again 讲的事情是说表征是最重要的事情,它不但对像 Cambrian 1这样的 system,做 multimodal understanding 重要,它对一个生成模型,生成图片,生成视频也很重要。

对所以啊。这件事情,我觉得是一个对我来说一个蛮大的启发,但这件事情还没有做到位,你就是说我们为什么要用,这种 Deeply Supervision 的方式,一个非常间接的方式去做 alignment 呢,啊,what if,能不能直接用这种很强的这种 representation,作为你的生成模型的一个 encoder(编码器),或者说作为它的一个 foundation(基座),嗯对吧,然后这件事情又是再往前推了一步。

我们也得到了很好的结果,这个 paper 叫做 Representation Autoencoder(表征自编码器),对它也涉及到表征啊,也涉及到 autoencoder。

但 anyway 啊,这件里面,你这这件事情里面的逻辑。我觉得 again 我不想说太多的这个 paper 的 detail (细节),但我觉得有一有一件事情,这个马毅老师(香港大学数据科学研究院创院院长)当初我去香港的时候,我觉得他说的非常非常对,他说:有学生就会问说哎,你这样做这件事情对吧,你的 autoencoder,你的表征层现在会变得非常高维。

因为它是一个表征了,它不是原始的简单的这种 pixel 的 representation(像素级表征),也不是一个低维的 VAE 的这样一个 representation,它是一个高维的表征,你想要在这个高位的表征上面去做,去噪去生成图像。这件事情其实是一个很难的事情,对吧然后有学生当初就提问说啊,这个维度太高了,可能不一定是一件好事啊,然后可能会让我们的学习系统变得更复杂,或者说训练更难啊,首先我们的结果,完全是相反的结论。

但是马毅老师就很激动,他站出来说我要语重心长的告诉大家说,你们一定不能害怕高维度,高维度是所有机器学习里面,非常非常重要的一个基石。

呢包括,不管是之前的所谓的这种核学习的方式,kernel method,还是现在为什么一个 Transformer 里面,我们得要有这种 Up Projection Layer (上采样投影层),对吧你要有一个低维的向量进来。然后把它变成一个 4倍大4倍宽的这样一个 Fully Connected layer (全连接层)。

然后所有这些事情,都是在讲述这样如下的事实,就是说你在一个高维的空间里面,很多问题,原来在低维空间里面解不了。现在可以解,很多问题,很多信息原来在低维空间里面没有,现在可以有,然后你也会有更好的 effciency(效率),啊,这是这是传统机器学习理论,为什么你要做?升维之后,使得事情,使得你的 data points(数据点)可以变得线性可分,都是同样的逻辑。

但我觉得我我受到很多的鼓舞,是说你不要惧怕高维,我觉得这件事情用词很好。因为很多时候大家会觉得会害怕,对,会害怕,不只是高维度的 representation 表征,这件事情,也是害怕逃逸出当前的某种 local optimal (局部最优),就是说我们现在就我们之前做的很多事情,都是为了要跳出这个 local optimal 所做的嗯,像 VAE,就是当前这个时代,里面的一个 local optimal。

我们希望用一个表征学习的方式,把所有事情串联起来,然后这件事情,其实是一个很自然的事情,然后现在也有很多人做相关的这些论文,有很多同期的工作,也都非常好,但另一方面,这又是一个没那么自然的事情。因为你需要去跳出原有的框架,去做一个新的事,对但当你能够跳出这个 local optimar,对但当你能够跳出这个 local optimal,去做一个新的事情的时候,我觉得你你就会感觉你的世界被打开了。

因为 RE 之于我们或者对于我的 research 来说,我觉得还是一个蛮重要的工作,因为它告诉我一件事情,或者说让我能够去 make a bet,或者说我们能够预测一个未来,这个未来是什么或者对还是不对。我们可以过几年之后再来看,所以这件事情也跟语言相关,也跟 Diffusion Model(扩散模型),像最近很火的 Seedance,Sora 都有关系。

[04:06:26] 张小珺: 嗯。

[04:06:27] 谢赛宁: 我现在的 bet 是说这个世界上只有一件,事情是重要的就是怎么学,学习到这个表征,这件事情是重要,当你有一个足够好的表征之后,在上面处理其他的问题都是简单的你的 Language:Model (语言模型),会逐渐会退化到一个简单的 communication 的 interface(交互接口),它不像现在一样,所有的这些多模态的智能,都是通过大语言模型驱动的你的表征层只是提供一些简简单单,一点点 context 进去。

[04:07:01] 张小珺: 对吧。

[04:07:03] 谢赛宁: 大部分的这些所谓的 heavylifting,就是这些脏活累活,都是靠大语言模型来做到的。

[04:07:08] 张小珺: 嗯。

[04:07:09] 谢赛宁: 我要 make 的这个 bet 是说未来的事情不会是这样,未来你会有一个很好的 foundation(基座)。

[04:07:17] 张小珺: 嗯。

[04:07:18] 谢赛宁: 它是一个但它也是一个很好的世界模型,嗯然后它什么叫做这个世界模型,这件事情我们可以再聊,但是这个 foundation 本身,它可能不是一个 checkpoint(神经网络权重),它有可能是一个 neural modular(神经模块),connected together (连接)的 multiple components (多重组件),的一个 cognitive architecture(认知架构)。

哎呀说的好复杂,但本质上就是你的一个大脑,它有不同的区域在 handle 不同的事情,对吧,语言 LLM 层,会慢慢退化成这个你的本质的这个表征,或者说你的这个世界模型的这个 foundation,的一个接口,嗯嗯,它还是很重要,它永远不会消失。因为人需要通过一个 Large Language Model,你要,提出问题,然后回答问题,对吧。

[04:08:05] 张小珺: 要去跟它沟通。

[04:08:07] 谢赛宁: 需要跟它沟通。

[04:08:07] 张小珺: 是一个沟通界面。

[04:08:08] 谢赛宁: 对啊,另外就是说你还有一条线,是说你的 Pixel Generation 本身,就是你怎么样生成一个图片,一个视频本身,这件事情,通过 REPA,我们之前一些的这些工作,可以看到它也需要基于一个足够好的这样一个表征的基础,啊,或者说你可以认为它它是一个世界模型,呢,again 在我这里面,在我的定义下,表征就是一个世界模型,最重要最重要的一个部分。

[04:08:38] 张小珺: 嗯。

[04:08:38] 谢赛宁: 它不是它的全部,它才是最重要的一部分,但当我们有这样的一个 foundation 之后,你可以认为,我们可以把它轻易的 decode 成语言。

[04:08:46] 张小珺: 对吧。

[04:08:47] 谢赛宁: 然后我们可以轻易把它 decode 成一个 Pixel,然后生成视频,我们也可以把它 decode 成某种 action,某种动作,所以它可能就是某种,现在的这种 VLA 的类似物,嗯,但它是基于基于一种更强的表征,更强的世界模型的一个架构。

[04:09:03] 张小珺: 现在表征包含哪些部分,语言是其中之一?

[04:09:06] 谢赛宁: 呢我觉我觉得是其中之一,然后但这件事情也有争议,就是像你刚刚说植麟,可能说他不想让视觉来污染语言,啊。

[04:09:16] 张小珺: 他们还是会做多模态,但是要想怎么让多模态变成一个聪明的多模态,对,不会让整个大脑的这个智能水平降低?

[04:09:25] 谢赛宁: 是的是的是的哎这件事情,但我又要讲了啊,这件事情,真的取决于你怎么定义这个问题,但我先把前面一句话说完,就是说哎,呢这个你说比如说语言在其中的这个位置,对吧,我觉得我们也会有自己的担心,就是说语言其实是一个毒药啊,或者语言其实是一个鸦片,你加多语言,你总是会觉得更幸福的。

[04:09:51] 张小珺: 哦嗯,那说明它有用啊,这个拐杖。

[04:09:54] 谢赛宁: 它有用,但它是一个 shortcut (捷径),如果你一个人,如果一直这么吸鸦片,你就废了啊,如果它是一个拐杖,拄着拐的话,你也没有办法训练,你的大腿的肌肉。

[04:10:06] 张小珺: 嗯。

[04:10:07] 谢赛宁: 好好。

[04:10:07] 张小珺: 这是你跟植麟的两个 perspective (视角)。

[04:10:11] 谢赛宁: 对所以我非常担心语言对于,视觉的污染,嗯,这件事情对我来说非常非常担心,而且,这个污染已经在发生了,这个这个污染的发生的状态是这样的这个污染的发生的状态是整个 Large Language Model,有一个巨大的这样一个价值链条,从工业界一步一步传导到学术界。

这个价值链条是说。我们在最上层有一个 narrative(叙事),这个 narrative 是 whatever AGl Scaling Law,The Bitter Lesson(苦涩的教训 l) LLM,这些叙事的逻辑。

[04:10:46] 张小珺: 现在的圣经啊。

[04:10:48] 谢赛宁: 对啊,等一下我们给你讲一下 The Bitter Lesson,因为我完全不觉得 Large Language Model 是—个,这个 The Bitter Lesson 的一个展示,嗯,Large Language Model 其实是反 Bitter Lesson 的。

[04:11:04] 张小珺: 最后哪些表征会是足够通用表征,它的终点是什么呢?

世界模型是什么

[04:11:08] 谢赛宁: 啊终点,我们可以叫做就是世界模型,所以也许我们可以讨论一下,在我定义下,或者在于这个表征的这个 context 下面,世界模型到底是什么意思。

[04:11:16] 张小珺: 什么是世界模型?

[04:11:18] 谢赛宁: 对。

[04:11:18] 张小珺: 这也要马上进入到你创业的话题了,我们先,从多模态到世界模型。

[04:11:24] 谢赛宁: 嗯对,嗯是这样,就是严格定义上来讲,世界模型就是说你现在给定一个系统,或者一个环境的状态,呢,这个环境状态,可能就是比如说呢,你可以认为它是在当前时刻的一个状态,但世界模型,也不一定只是做所谓的 temporal 上的 prediction(时间序列预测),但我们先不管这些事情,总之是你先有一个系统或者一个环境,你有一个状态 S_t,对吧。

然后你有一一个 intervention(干预)或者 action(动作),比如说我们叫它 a_t,在当前时刻,你对这个系统施加一个动作,你现在希望能够学到一个 predictive function(预测函数),或者 transition function(状态函数)F,使得它能够 take 你的 action,跟你当前的 state,这个环境 state,能够去 predict 下一个 state,对吧就是下一个时刻的 state。

所以这是最基础的一个 general 的这种这种世界模型的一个定义,然后这个定义本身其实又无比的直接,或者说甚至有点 trivial(微不足道),因为这件事情不是一个新的概念啊。因为其实1943年的时候,有一个这个生理学家吧,叫 Kenneth Craik(苏格兰哲学家和心理学家)。

[04:12:41] 张小珺: 嗯。

[04:12:41] 谢赛宁: 他第一次提出了这个概念,他就说人在脑子里面,是有这样一个世界模型的,这个世界模型能够告诉我们当我们去做某一个动作的时候,接下来会发生什么样的后果。

[04:12:56] 张小珺: 嗯。

[04:12:56] 谢赛宁: 我们因为能够预测我们的动作,我们的 action 带来的后果,所以这件事情能够指导我们到底应该去 take 什么样的 action,和做什么样的决策我如果我知道我把手伸到火堆里面,我会疼我就不会,把我的手伸到火堆里面,这件事情,这种 prediction 的这种结构啊,其实也是过去,包括 control theory,这个在六七十年代,大家怎么样把一个这个月球探测器送到月球,或者送到送到什么地方,对吧,然后其实大家也需要基于这样的控制系统。

比如说一个经典的算法,叫做 Model Predictive Control (模型预测控制),这里面也涉及到一个 Model,但这个 Model 其实也就是某种 Word Model 啊,这个算法其实也非常非常简单,就是说你现在需要讨论,我到底应该施加哪一个 control signal (控制信号),给这个系统,使得它能够去完成,我既定的一个任务。

嗯对吧,然后那我要做的事情是说我在当前的时刻,通过我的模型去 rollout,去滚动输出接下来的这个 k steps 的 action,个 action 的 sequence (动作序列),就是说我现在要要输出,我接下来的一个 action sequence,动作的一个序列。

然后我要通过这个动作的序列,用我的这个 Model 去得到下一个时代,或者说每一个 step 上面的一个 state,然后最后我也会有一个呢,某种 cost function,一个度量函数。然后告诉我我执行了这个动作序列之后,我离我最后的这个目标,距离到底有多远。

所以这个算法就非常简单,就是说你不断的去 sample(取样)你的 action sequence(连续动作序列)。然后跳回到第一步,然后找到这个 Cost 最低的这个 action sequence,执行它的第一步,然后重复迭代的去做这个动作,再 rollout 下—步的 action sequence,对所以在每一次你都要做一个决策。然后这个决策的来源,都基于你对未来的这个这个预测。

[04:15:06] 张小珺: 嗯。

[04:15:06] 谢赛宁: 对这是所谓在这个 Model Predictive Control 里面,大家怎么去用这个 Word Model,然后再到后面,比如说在 Model-Based RL (基于模型的强化学习)里面,Reinforcement Learning 里面,其实大家也意识到说一个 Word Model 其实是非常重要的好,这里面有一个经典的论文,是 Dyna,这个 paper 其实是 Richard S. Sutton (强化学习之父) 的 paper。

[04:15:27] 张小珺: 哦。

[04:15:28] 谢赛宁: 对所以 Richard Sutton 自己写了这样一个 paper,然后他讲了,啊,一个很有趣的观点,或者一个 framer,他讲其实人的智能体系,可能可以分两种种叫做 reactive 的 policy(反应式策略),一种可能叫做啊,某种更智能化的 model-based 的 policy(基于模型的策略)。

对吧,这件事情,其实呢,这个类比是这个所谓的 System 1 System 2这种 analogy (类比),对吧就 human cognition(人类认知),也有所谓的 thinking fast。

就是对于很难的间题。我们可能要需要更多的 mental cycle(思维循环),然后去 study 这些问题,嗯啊,但对于一些问题来说我平时或者说我们开车对吧,我们刚学开车的时候紧张的不得了,我左看右看。然后需要做很多的决策,当你真正会了开车之后,你就会把这些决策内化,成为你自己肌肉记忆的一部分,它就变成一个 reactive(反应式)的 policy 对吧。

所以 Richard Sutton 在 Dyna 的 paper 里面,说了一个很有趣的事情,他说呢,what is Reinforcement Learning,Reinforcement Learning 是—个非常 primitive,是一个非常基础的没有模型的没有这个世界模型的个 learning 的 algorithm (学习算法),啊。

所以 Richard Sutton 自己其实也是有点反 pure,Reinforcement Learning,至少在当初的那个时间,在他的这个 paper 里面,他讲一个更好的系统,当然是说如果你有一个足够强的,这个世界模型。你可以基于当前 state,去预测下一个 state,对吧那这件事情,你就有这种所谓的 planning 的 capability 在里面了,就是 planning,就是所谓做计划的能力。

嗯啊,然后 planning(规划)其实跟 reasoning(推理)也在某种意义上,也是同样的概念,reasoning 现在在 Large Language Model,很火但事实上呢。我们需要的这种 planning,然后以及这个 planning 对于 decision making(决策)的这种意义,其实是在当初很早很早在 Control Theory,Reinforcement Learning 其实大家都在讨论的。

所以我觉得这是一个 world Model 的历史,所以如果从这个角度出发,World Model 的实质是怎么样去刻画一个系统和一个环境?使得你能够在这个系统里面去做预测,并且这个预测能够指导你的你的 action 的 sequence,以及你的自己的决策。

[04:17:40] 张小珺: 大语言模型是 predict next word,这个是 predict next action。

[04:17:45] 谢赛宁: 是基于这个 action,predict next state,对。

[04:17:49] 张小珺: 怎么理解 state?

[04:17:51] 谢赛宁: State 是最少的信息可以描述,一个系统的所有状态的这么样,一个信息的来源吧,可以这么认为就是一个 state,是说比如说,这件事情,也涉及到一个很有趣的事情,很有趣的另外一个事情。我们得要讨论,就是这件事情跟表征的关系到底是啥。

[04:18:16] 张小珺: 嗯对吧。

[04:18:18] 谢赛宁: 呢我们为什么说是一个最小信息的一个刻画单元呢,是因为假设我们现在就是说,我们现在这个物理世界,对吧,我就说我地球吧,啊或者我先不说那么远,我们先说我们这个屋子,对吧,这也是一个环境了,对吧,那刻画这个环境的 state 是什么对吧这个 state,如果你不追求这种所谓的最小信息,或者 minimal descriptions,那它就是可以是比如说我们现在把整个的这个 space,全都重建起来,对吧。

然后我们精细的去刻画,这个系统里面的所有的参数,包括这个桌子上的纹理,包括我们声波,包括。我们这个桌子的质量,这个话筒的这种各种各样的 physical 的这种 parameters(物理参数)。

[04:19:05] 张小珺: 嗯好。

[04:19:06] 谢赛宁: 但我们不会这样去刻画这个系统的对吧,因为很多这些信息,对于我们的决策来说不重要,对吗?因为其实如果假设我们现在一个智能体,活在这的目的是,我们现在要要聊天啊。

[04:19:21] 张小珺: 嗯。

[04:19:22] 谢赛宁: 那我只需要知道一些基本的这些事实就够了,比如说我的这个话筒可以在这个桌子上可以放住,然后我不会去关心每一点的这个光照,也不会关心,这个桌上的每一个细节的纹理。

[04:19:37] 张小珺: 嗯对吧。

[04:19:38] 谢赛宁: 这些事情都不重要,所以这个 state,其实啊可以包含很多很多的信息,也可以包含 enough 信息,就是足够多的信息,这件事情,是取决于你要解决什么样的任务的那这件事情是什么就是怎么样去,去构建这样的一个 state 呢。这件事情,其实也跟表征学习是直接相连的。

[04:20:02] 张小珺: 嗯。

[04:20:03] 谢赛宁: 表征学习,像我刚刚说的对吧,我们要有一个层次化的这种表征,这种层次化 hierarchy 的 representation,其实目的就是说,我们怎么样能够去慢慢 develop(构建)出来,这种一层又一层迭代上去。然后越来越抽象,越来越对我的 decision making,越有意义越有价值的这样的 representation。

[04:20:24] 张小珺: 嗯,它不会精细到每一点。

[04:20:26] 谢赛宁: 它不用精细到每一点。

[04:20:27] 张小珺: 那怎么抽象呢?嗯。

[04:20:29] 谢赛宁: 而且我们也不能精细到每一点。

[04:20:31] 张小珺: 就做不到。

[04:20:32] 谢赛宁: 对,因为这件事情很显然,对吧,就比如说我们现在要造一个飞机,这个飞机,比如说我每比如我们要 model (建模),这个飞机的一个动力学系统,对吧我要知道这个怎么样,它能够比较省力省油对吧,啊,我们当然可以去,从一个最 lowlevel(低层)的角度出发。我们可以说哎,这个每平方每立方厘米可能有10的十几个次方的这种分子,然后我们去模 model 每一个分子的碰撞,对吧,然后我们通过这种方式,来去刻画我们这个系统。

这件事情当然不会 work,这是 totally stupid way(完全愚蠢的方法),对吧我们做的事情,是说我们怎么样去能够在统计的意义上,去 study 这个问题啊。所以这才有所谓的流体力学,然后才会有所谓的这个 Navier-Stokes 方程,然后一系列这样的 setting,对吧大家变得越来越抽象,然后但是我们能够去这个刻画的世界,也越来越广阔。

[04:21:34] 张小珺: 嗯,其实语言就是以某种意义上的抽象。

[04:21:37] 谢赛宁: 语言是某种意义上的抽象。

[04:21:39] 张小珺: 但是它是一种就是已经被证实过的抽象,它是高度凝念的就是它是一个已经存在的抽象。

[04:21:46] 谢赛宁: 它是一个存在的抽象,那。

[04:21:49] 张小珺: 你们现在想构建的是一个新的抽象,在语言之外。

[04:21:54] 谢赛宁: 它是一个对,它是一个有点,它一定是一个 latent 的 representation(潜在表征)。

[04:22:01] 张小珺: 嗯。

[04:22:02] 谢赛宁: 然后这件事情,人可以通过侧面的方式了解到你到底学了什么样的一个 representation,或者说哪些 representation 的哪些 representation 是有意义的。这件事情都没有问题,它不是一个完全的黑盒子,但它不是一个受限于语言的句法,跟逻辑的这样一个东西,这是我为什么说 LLM 完全不够 Bitter Lesson。

就 Bitter Lesson 是说你应该尽可能的减少 human knowledge(人类知识),对吧,把你的这种所谓的人类的傲慢,和他所谓的这种自大,这种这种傲慢,和他的所谓的这种聪明才智,以及这些所谓的比较 clever 的这种 structure(巧妙的结构),尽可能减少。然后尽可能的多,用 search(搜索)跟 learning(学习)的方式去找寻答案。

对吧但你可以想象,如果现在我们讨论的是怎么样,去刻画这个世界的话,啊,语言就是这样一种 structure,语言是一个人类极其聪明的产物,嗯,它有精巧的设计。

[04:23:08] 张小珺: 它本身就是它都不是多和少的问题,它全都是。

[04:23:12] 谢赛宁: 它都是对嗯,所以所以我觉得这件事情代表着这种语言,它有它自己很强的地方,而且它一定会在未来的智能,所有的这种智能体系里面,占据一个很重要很重要的地位。

[04:23:28] 张小珺: 但是它可以 CoT(思维链)。

[04:23:30] 谢赛宁: 嗯,但 CoT 是另外一回事了,CoT 也是另外一个呢我觉得怎么讲呢,是一个阶段性的产物吧,对。

[04:23:39] 张小珺: 哦 CoT 也是阶段性的产物。

[04:23:41] 谢赛宁: LLM 的所有的一切,都是一个蛮阶段性的产物。

[04:23:43] 张小珺: 哦。

[04:23:44] 谢赛宁: 这也是为什么 LLM 这件事情,我也蛮同意 Yann 的就是 LLM 这件事情,其实它也不 controllable,它也不 safe,因为它没有这样一个真正的世界模型,甚至我们把 LLM 当做一个世界模型在用,但它是一个 fundamentally flawed,就是一个有缺陷的世界模型,对,然后呢。

这件事情是说其实就是说嗯,现在的所有的这些 controllability 或者 safety,你一个 LLM 怎么去做这个完全是通过 Fine-tuning(微调)的方式来来设计的来实现的你需要喂给它大量的数据,让它知道什么事情该做,什么事情不该做,或者他也不能做事情,什么话能说什么话不能说对吧,什么什么样的话可能会带来危险,什么样的话,可能是是比较友好。

所以这叫做 alignment,但所有这一切都是基于某种 Post-training 或者某种或者 Fine-tuning 的 alignment 带来的。

[04:24:40] 张小珺: 嗯。

[04:24:41] 谢赛宁: 对但真正的世界模型,其实你不需要这样做,因为你可以预测,你的 action 会 lead to what consequence,你可以你的你的这个行为会带来什么样的结果,你就可以在 inference 的过程中,去尽量避免这样的行为嗯。

你可以加一些 external constraints (外部约束),就告诉我说哎。这件事情你真的不能做,比如说我有一个机器人拿着一把刀在切菜,对吧,然后我现在怎么样保证,我这个机器人拿着刀,不会这个向后一转,把你砍了呢,这件事情怎么保证,对于一个 Language Model 的思路来说你你能做到这件事情的方式就是通过喂,给他大量的数据,嗯,对吧但他得要能看到这些事情。

[04:25:25] 张小珺: 世界模型不是吗?

[04:25:27] 谢赛宁: 世界模型,不一定需要世界模型,它因为你能够去预知这个结果,就是我能够去,有一个动作,我可以去 understand,我现在这个刀如果转过来,产生了一定的危险会造成的结果。

[04:25:41] 张小珺: 你怎么让他知道呢?

[04:25:43] 谢赛宁: 这就是你的训练的一部分。

[04:25:46] 张小珺: 关于世界模型,现在好像它的定义是没有收敛的比如说你们定义的世界模型,和李飞飞他们团队定义的世界模型,的区别是什么呀?

[04:25:55] 谢赛宁: 啊对,所以我刚刚阐述的其实都是在我们定义下的时间模型,但我觉得现在遇到很多的问题是说这个时间模型不好定义,原因,其实是因为它不是一个技术路线,它不是一个算法,它是一个目的。

[04:26:10] 张小珺: 嗯。

[04:26:11] 谢赛宁: 就是我们所有人,不管你在做 LLM,还是做什么 Video Diffusion Model (视频扩散模型),还是做这个 Gaussian Splatting(高斯泼溅)。我们所有人,都在通往世界模型的道路上,所以我说:有时候这些竞争,或者说这些这些 arguments,我觉得再过不了多久,可能过1到2年时间,都会显得异常可笑,因为因为我们其实都在往这条路线发展,每个人也都知道。这件事情是应该通向应该是正确的道路,只是大家从不同的方向在思考这个问题。

那比如说在我们定义下,或者说我先说其他人定义吧,比如说对于一个 Video Diffusion Model 的 company 啊,比如像,像 Sora 啊,像 Bytedance(字节跳动)的模型,像 Genie (Google DeepMind 开发),对吧然后所有这些模型啊,包括 Runway,Luma。

每一个做这种生成模型的公司,都在做这件事情,都在 position themselves as a World Model company,但他们其实还是主要聚焦在构建一个世界模模型的模拟器上,一个世界的模拟器上,所谓的 world simulator,嗯。

他们的目标还是能够渲染出来足够好看的视频,使得它能够有某种一致性,能够有足够长的这种内容,等等并且你可以在在上面施加控制,嗯你可以选择,像 Genie 一样,对吧,向前走两步,你要保证你有一定的 memory,或者 whatever。这件事情,是他们的这种 world,world simulator,或者说这种生成派的 world simulator,想要解决的事情。

然后飞飞老师那边,在 World Labs 里面,我觉得它更像是一个 Frontend(前台),个 asset(资源)的一个 interface(接口)。这件事情也很重要,因为它是一个强3D 的 representation,所以 By the way,也要恭喜,他们最近不也刚刚融资成功,如果你可以看到他们融资的这些 lead investor (领投方),他们在讨论的人,比如说我看到新闻,Autodesk 给他们投了2亿美美元。

[04:28:16] 张小珺: 嗯。

[04:28:17] 谢赛宁: 那,Autodesk 是一个什么样的公司,Autodesk 是一个做3D(三维建模和可视化)CAD(计算机辅助设计),或者 whatever design 这样一个公司。

[04:28:25] 张小珺: 是吧。

[04:28:26] 谢赛宁: 所以在这个场景里面,你需要有一个非常非常具象化的3D 的一个一个你也,可以叫它表征,它也是某种表征,但它是说你这个东西,不是一个抽象的概念,对吧它不是藏在你的参数里面,它得要有 explicit(显示)的3D 的这种形式在那,这样的话,你才能够在这个空间里面,去掌握某种空间智能,你才能够在这个空间里面去探索,并且你能够 one hundred percent 的确定,你不会出错。

对于一个 World Simulator,Generative World Simulator 来说。这件事情,不一定对吧虽然你可以通过更长的 context,有更好的 memory,但它是它是不能不能保证的嗯,然后我们想要做的事情,其实更像是要去打造这样一个 predictive brain(预测性大脑),对就是我们我们看待这个问题的核心,还是说怎么样去提升,智能本身。

[04:29:24] 张小珺: 对那这意味着,你觉得 LLM 是不够智能的。

[04:29:28] 谢赛宁: 我觉得 again,LLM 是这个智能体中,至关重要的一部分。

[04:29:33] 张小珺: 它是一个模块。

[04:29:33] 谢赛宁: 但它不是全部。

[04:29:34] 张小珺: 它不是全部。

[04:29:35] 谢赛宁: 对,我再举个例子,比如说为什么 LLM 做世界模型来说它是 fundamentally,有问题的比如说我们还是回到视觉这个问题上,对吧我们现在坐在这里。

从下载互联网,到下载人类

[04:29:47] 张小珺: 嗯。

[04:29:47] 谢赛宁: 我们稍微头稍微扭,比如说5度10度,就会生成几百帧,其实这个 frequency(频率)是非常非常高的人的这个这个 FPS(刷新率)其实是可以感知到比如说一百赫兹啊,这种频率的变动的非常非常厉害,对吧,如果按一个 LLM 的方式去处理这个问题,会发生什么呢。

[04:30:09] 张小珺: 嗯。

[04:30:10] 谢赛宁: 至少按现在的这个这个方式去处理,会发生的事情是我要 tokenize (编码)每一个 frame(每一帧),我们把它拉平,串成一个非常非常长的序列,每一帧啊,我可以做一些 downsample(下采样),或者没关系 whatever。然后我们把它串起来。

对吧比如说我有256个 token for one frame,现在可以有32个 frame 或者128个 frame,把它串到一块,那你就有256乘128这么多个 tokens。然后你把它塞到 Large Language Model 里面,拿它跟语言做对齐,然后最后回答一个问题,但这件事情 make sense 吗?完全不 make sense。

[04:30:46] 张小珺: 嗯。

[04:30:47] 谢赛宁: 因为其实你把一个这种世界的这种 representation,嗯,在它的背后,其实是有某种 global 的 state 的对吧,你把它序列化,成了一个非常非常余的 token。

[04:31:03] 张小珺: 嗯。

[04:31:04] 谢赛宁: 然后 Transformer,其实大家说它没有什么 Inductive bias(归纳偏置),它其实还是有一些 Inductive bias,它 Inductive bias 就是说它得要 pay equal attention to every single token,哦,那这件事情本身就不合理,对吧,这件事情代表的事情是说语言模型的 modeling 的这个 technique,不能够解决对这种连续,空间信号的这种认知的问题。这件事情是不成立的。

所以这是为什么对于我们我们要 build 的这个世界模型来说,我觉得需要具备如下几个特征,对吧它需要去,这个能够能够去 understand the physical world,就这里面的定义,是说得要是 physical world 啊。

虽然这 world model application 也会延伸到比如说这种 digital agents (数字智能体)去,比如你打游戏的 agent,当然也会 benefit from World Model,但。我觉得它首要的任务,是要解决 physical world understanding(对物理世界理解)的问题。

然后它得要有足够大的 associatememory(联想记忆),Memory 也是一个很重要很重要的对于这个 World Model 为基础的这样一个系统的中间的一环,嗯,然后它能够 reason,能够 plan,嗯,我们刚刚讲 planning,能够能够做这种 counterfactual(反事实),或者这种 causal 的这种 inference(因果推断),也非常非常重要。

最后一点就是说他得要足够的 controllable and safe,它得是一个安全的系统,对我觉得所有这些事情,也是我抄 Yann 的这个这个说法了啊,但我觉得这几点其实还是非常非常精辟的对不多不少。

[04:32:41] 张小珺: 嗯,它和大语言模,型不是衍生关系,是替代关系。

[04:32:44] 谢赛宁: 呢,我觉得也不叫做替代关系,我为什么刚刚说其实我们现在领域,每个人都在往世界模型发展,往前走呢,原因是。

[04:32:56] 张小珺: 大语言模型也想往世界模型发展。

[04:32:58] 谢赛宁: 其实不是这个意思,是说之前没有大语言模型的时候,我们压根谈不了什么世界模型,你有一个纯粹的 RL 的 system 的话,你纯粹是在做 overftting(过拟合),当前 environment 的事情,Large Language Model,让你具备了一定对这个真实世界的认知的能力。

[04:33:16] 张小珺: 它构成了一个元素。

[04:33:17] 谢赛宁: 嗯它构成一个元素,但这件事情,像我说是 fundamentally flawed (有本质缺陷),因为它的这个认知太间接了,啊,语言能带给你的东西实在是太少了,嗯对,而且语言还会有其他的问题,就是它是一个本质上是一个 communication tool (交流工具)。

所以我们在使用语言的时候,除非你说一些这个做梦了,说一些梦话啊,大部分时候,你用语言是带着一个 intention(目的)的你是要传达一个目的的,所以说 LLM 更像是一个在我看来更像是一个 search engine(搜索引擎)的延伸,对吧,或者 chatbot 更像是一个 search engine 的延伸。我们总要带着我们心里面的这个目的去间一个问题,然后 expect(期待)一个答案。

[04:34:00] 张小珺: 嗯对吗?

[04:34:02] 谢赛宁: 然后但是这件事情不是这个 World Model 啊,的实质,就像我刚刚说的,我们大脑里的 World Model,是在我们的这个 background 做了很多很多的工作的甚至就有很多心理学,一些反直觉的认知,就是说甚至你大脑已经替你做好了这个决定,在你决定要。

比如说我桌子上有三个按钮,在我知道我到底想要按哪个按钮之前,我已经能够监测出来,我的大脑,已经做好了这个决定给你这个实验,好像叫什么贝利特实验还是什么是一个有争议的实验,但它体现出来的事情是有很多东西是在你的 background,在你大脑里面已经在发生的。这件事情是你的 world Model 一部分,Language Model 不是这样,language 只是一个 communication tool (交流工具),你永远带着目的抛出一个间题,想得到一个答案。

[04:34:53] 张小珺: 它也是一个推理的 tool。

[04:34:54] 谢赛宁: 对啊,它也是一个推理的 tool,Of course 但只是 symbolic level (符号层)的推理的 tool。

[04:35:00] 张小珺: 所以你们想构建一个像人类的大脑一样的世界模型。

[04:35:04] 谢赛宁: 我觉得要越来越看看人,嗯其实不只是人吧,各种各样的动物,它的智能到底是怎么样发生的。

[04:35:14] 张小珺: 嗯对啊。

[04:35:15] 谢赛宁: 我我先我先 conclude(总结)一下,我刚刚说的那段话,就是说为什么大家一步一步都在通向通向这个 WorldModel 呢,原因是语言模型,已经侧面有一点这个 World Model 的 behavior (行为) 了,虽然它没有 action,它没有一个对真实世界的 understanding,它其实也不能够真正的 reason and plan。

因为它通过 CoT 的这个 planning,还是 CoT 的这个 reasoning,还是很不一样,跟我刚刚描述的比如说这种 MPC,level 的这种 planning 啊。它也会带来 CoT 自己的一些问题,但这些都 OK。

但再下一步,你会看到比如说大家做这些不管 DiT 也好,或者 whatever 模型也好,但大家开始做生成模型。这件事情已经让事情变得有些不同了,对吧,嗯这也是为什么很多人,大家做 video generation 会说自己世界模型,我觉得也无可厚非,虽然,我不同意他们做的这个 yideogeneration,model,就是一个最后的 end game(终局)的世界模型,但它确实比 Language Model 要往前推了一步,对。

[04:36:19] 张小珺: 它是怎么做到的呢?在 Language Model 的基础上。

[04:36:23] 谢赛宁: 呢,我觉得现在所有这些系统,其实也是要依赖于 Language Model 的对吧,它还是要通过 Language Model 帮你去做 prompt,rewriting 然后去帮你去,当做一个 conditioning,丢给你的这个视视频生成的模型。

其实 Language Model 也会变成了一个就是你看,这个历史的进程就很有趣,原来 Language Model 是主体。现在 Language Model 变成了一个 video generation model 的前期的一个准备工作,的一个脚手架。

原来 Language Model 里面,你 model 的是 P(y),对吧,你这个 y 就是还是在这种 semantic space,某种 label space 的这个信息,嗯到现在你 video generation model 的时候,你 model 的是 P(xly)的概率,这个意思是说你现在 model 的东西已经是 x 了,x 是你的数据本身,你的 y 变成了你的一个条件这件事情已经很不一样了。

好,为什么很不一样呢?是因为当你有一个 low dimensional (低维)的这个 y,space 的时候,你再,你再去 model 这样一个分布的时候啊,你的 probability density(概率密度),只会在你的 y 的分布下面竞争,就是说你 assigned(分配)的这个 likelihood(可能性),我这个说的有点过于 technical。

但是总之是或者说我们先不说语言模型吧,我们先说比如说一个1000类分类的这样一个模型,你可以认为这几个 label 也是一个语言的前身,它也是一个 low dimensional 的一个 vocabulary,对吧,然后如果你要做这样一个分类问题的话,那你的所有你需要去做的决策是我这个东西如果是一只猫,它不能是一只狗,对吧,我这个东西是受限于我的这个 label set(标签集合)的。

[04:38:00] 张小珺: 嗯。

[04:38:01] 谢赛宁: 但是你当你开始 model 的是 P(xly),你做一个生成模型的时候,这件事情你 assigned 的这个 likelihood 是说这个世界上到底有哪些现象,哪些东西是更可能存在的这个事情就很很不一样了,对吧因为你现在要学到的东西,你的这个智能的信息量,是远远大于你的 P(Y)的 modeling 的你需要知道为什么在这个世界上,一只四条腿的猫,要比一只三条腿的猫更常见。

[04:38:31] 张小珺: 对吧。

[04:38:32] 谢赛宁: 为什么我要生成一个视频?比如说我现在有一个 I don’t know,一个跑步的视频,为什么我有这样一个一个 smooth 的奔跑的状态,要比突然产生出来一些幻觉有三条腿,四条腿,这样的状态更可信,更可能是吧,在概率空间里面,更可能这件事情已经是有巨大的信息量,你已经要 model 的东西,要远超于你在 language Space(语言空间),或者 label space(标签空间)里面需要刻画的东西了,对吧,你需要对这个世界有一定的认知了。

所以这已经是更加在我看来,有一点 Bitter Lesson 了,就是说你抛弃了更多的语言空间中的这种认知,跟它的逻辑,跟它的句法结构,开始去 model Pixel,开始模型,这个这个像素本身啊,但再推演一步,像素本身可能也是错的像素本身也不够 Bitter Lesson。

[04:39:29] 张小珺: 嗯。

[04:39:31] 谢赛宁: 像素是什么像素是人为定义的一个 regular grid(规则网格),就是一个一个框框,上面每一个框里面可能有有8个 bit information(8位信息)。然后你可能有这种这种 lattice,就是你有一格一格一格,这是一个像素,这是我们看到的每一帧的图像,对吧,这件事情也是一个接口。

[04:39:55] 张小珺: 嗯。

[04:39:56] 谢赛宁: 这件事情也是给人看,对吗?就是 world simulator,为什么大家觉得 Genie?这个好酷啊,因为我们造出来一个视频,我们造出来一个游戏,这个是给人看的但再往前推演一步,真正的 Bitter Lesson 是说我不需要给人看,我为什么需要给人看呢,对吗?

[04:40:18] 张小珺: 它给谁看呢?

[04:40:21] 谢赛宁: 它给你的这个系统看,它给你的这个世界看。

[04:40:23] 张小珺: 嗯。

[04:40:24] 谢赛宁: 它取决于你到底想要什么它可以给人看,但是给人看这件事情,不是 World Model 的核心,而是 World Model 的接口,World Model 本身,它在自发的去,学到更好的表征,去做更好的预测,对吧,但这件事情本身,跟你是不是要生成一个很酷的视频,其实是无关的跟你能不能回答,关于你的 input space(输入空间)的一些信息,其实也是无关的。

所以 again,就是我重复我刚才刚刚想说的事情,我们每个人,都在这个世界模型的道路上往前走,世界模型是一个目的不是一个具体的路,呢不是一个具体的算法,或者说是一个技术路线。然后总有一天,我们会有一个更好的世界模型,嗯,语言模型会在此之上,它也会变得更强,我们会有更好的多模态的模型,它能够更好的理解这个世界,我们也会有更好的 video 生成模型,嗯,然后我觉得 RAE 就是这个过程中的一个雏形。

[04:41:34] 张小珺: 嗯啊。

[04:41:35] 谢赛宁: 所以现在还有很火的一个说法,是所谓的 Unifed Model (统一模型)或者 Omni Model (全能模型),大家试图把所有的数据,全都堆叠到一起,使得我们能够让一个系统,既能做 understanding,又能做生成,大家讨论的问题也是说我到底是理解能够帮助生成,还是生成能帮助理解,嗯。

我觉得都不重要,理解和生成是一体的它都需要一个真正的 World Model,作为它的基础,对,一旦有了这个好的 World Model,它能够做某种 prediction,能够做某种 planning and reasoning,上层的解码。这件事情其实是非常非常简单的。

[04:42:15] 张小珺: 所以你觉得他们都是你们的上层,世界模型,是这个底座。

[04:42:18] 谢赛宁: 对,你可以认为,我们想做的事情,或者表征派想做的事情是是这个蛋糕最底下的这个底座。

[04:42:27] 张小珺: 表征派,表征怎么统一成一样的表征?

[04:42:31] 谢赛宁: 统一成是指那个跟 language。

[04:42:34] 张小珺: 最终统一成某一种表征,抽象成某几种抽象的表征。

[04:42:39] 谢赛宁: 所以还是要有 scaling 对吧,还是要有。

[04:42:42] 张小珺: 现在可以看到的除了语言还有什么 scaling 呢?

[04:42:46] 谢赛宁: 语言的 scaling,我们刚刚说说到这件事情,就语言的 scaling 本身,我觉得又是一个有点说不太清楚的事情,因为我们也知道有一个理论,是所谓的这个 compression is intelligence,对吧,就是压缩即智能。

[04:43:01] 张小珺: 压缩即智能。

[04:43:02] 谢赛宁: 是的但这里面讲的事情是说你的语言模型,其实是一个 lossless 的 compression(无损压缩)的过程啊,或者说语言模型,模型变大能让结果变好,不是因为它死记硬背,背住了所有的所有的这些内容,而是它就是一个更强的模型了。所以它能有一个更好的压缩率,去压缩你所有的 input 的这些信息,它带来了某种泛化能力,我想我同意这个观点。

但我想后撤一步,我想说其实因为语言模型在意的问题本身,导致其实它的 Scaling Law 里面,其实是有水分的就是这个水分是说它并不需要真正用最小的模型,去通过真正理解这个世界的方式,去回答问题。

而且我们所有的这些 benchmark(基准),以及 human 在使用 Large Language Model,在达到的目标上,或者这些任务上,也需要他能够 retrieve 出来,对吧就是能够能够检索出来这些 factual 的 knowledge(事实性知识),如果一个模型,对吧他没办法告诉我比如说 Wikipedia 上面有一个具体的人名,他过去做了什么事情,那这是一个很差的个 Large Language Model。

所以所以我想说的事情是说语言模型的 Scaling Law,是基于一个对 knowledge 的这种 representation,所得来的这样一个 Scaling Law。所以这是为什么它可能会有一个相对 balance 的配比,就是说你的你的 number token(token 数量),你的数据和你的 parameter(参数量),需要大概1:1的方式,是这样的一个方式。

[04:44:47] 张小珺: 对吧。

[04:44:48] 谢赛宁: 然后去 scale up,世界模型尤其是基于这种 visual intelligence(视觉智能),世界模型,我觉得它会有一个非常非常不一样的 Scaling Law,它会有一个 Scaling Law,但它这个 Scaling Law 的斜率可能完全不同,或者它的这个配比可能完全不同,我现在的直觉是这样,它的模型不会很大,它模型不需要 training parameters (训练参数)。

因为你不需要记住,如果你要做 videq generation,那是另说但它不需要记住你能看到的这个世界里面的所有这些细微的细节,它不需要通过解一个什么确定的方程,在一个巨高维的空间里面的方式,去判断一颗苹果是不是落下来。

[04:45:29] 张小珺: 嗯。

[04:45:29] 谢赛宁: 它不需要做这些事情。

[04:45:30] 张小珺: 它不需要人类的智商,人类最高级的智商。

[04:45:34] 谢赛宁: 我们讨论一下到底什么是人的智商,但是总之,它不需要这些事情,它不需要把这些 knowledge 全都记,下来,它需要通过很好的 understanding 能力,去和 lter information,就把信息过滤掉处理掉。然后因为最后,真正重要的东西还是决策本身。

[04:45:52] 张小珺: 嗯。

[04:45:52] 谢赛宁: 对所,所以这件事情跟人会越来越像,因为人就是这样的人有很多很重要的事实,对吧,比如说人的视觉系统,或者说人所有的这些 sensor 统一,包括听觉视觉嗅觉,触觉这些这个这个东西其实是非常非常高带宽的这个带宽可能要达到比如说10亿个 bits per second(每秒10亿比特),1亿到10亿这个级别。

[04:46:19] 张小珺: 嗯。

[04:46:20] 谢赛宁: 但我们现在说话的时候,其实这个带宽极低,这个带宽只有十到十到一百个 bits per second。

[04:46:28] 张小珺: 嗯。

[04:46:30] 谢赛宁: 所以到底发生了什么对吧,我们大脑是怎么样一个模型,能够在二十瓦的功率下面,把十亿 bits per second 的信息,通过我们眼睛,还有各种各样的感官输入进来,转化成我们10个 bits,per second 的一个行为模式。这件事情是 World Model 本身。

[04:46:51] 张小珺: 它过滤大量的无用信息噪音,对它有很多的余性。

[04:46:55] 谢赛宁: 它知道什么东西是重要的什么东西是不重要的。

[04:46:58] 张小珺: 所以过滤系统很重要。

[04:47:00] 谢赛宁: 对当然,这个东西也是一个层级的过滤的系统,嗯,嗯确实是这样。

[04:47:06] 张小珺: 那这个世界模型怎么训呀?呢语言模型好训,是因为其实互联网信息就在那里,所以它可以训呀,那世界模型看起来,我都不知道怎么下手。

[04:47:16] 谢赛宁: 对我觉得这是一个 biggestbet,因为事情啊,越通向智能的本质,事情也会,难走很多嗯对,我觉得像你说的,我们经历了去 dump 整个互联网,去训练模型的这样的一个一个时期。我觉得接下来,呢,我其实也不知道这条路能不能成功,我有足够多的信心,但是你要让我说一定100%成功,也不一定原因还是数据层面,我们到底能不能把这件事情做到做到极致。

[04:47:49] 张小珺: 需要多少数据啊?需要什么数据?

[04:47:52] 谢赛宁: 我觉得过去的时代是 dump 这个啊,或者 download 吧,Internet 的时代,现在时代是 download,human 的时代。

[04:48:00] 张小珺: 嗯。

[04:48:01] 谢赛宁: 我们要把人类下载下来。

[04:48:02] 张小珺: 嗯。

[04:48:04] 谢赛宁: 就是我们现在每一个 again,对吧大家 process 这些 knowledge,我们有一个东西叫 lnternet,把它 upload 上去,我们可以 train 一个 Transformer,everything is good。

但对于真正的我们对一个世界的理解,一个4岁的小孩,他看过的视频 Yann 也经常举这个例子,就比现在所有的用来训练世界,这个大语言模型的所有的这些 token 还要多,对吧,四个月的小孩,他看过的视频的量,要比30个 trillion 的这些最好的这些大语言模型的数据的量,还要大对吧。

所以这个量级实在是太大,所以我刚说要 download human 是说那我人眼看到这些东西,这些数据到底我们怎么能采集过来呢,对吧,我觉得视频还是这是为什么之前,我还是非常希望去多做一点可能视频,相关的研究。我觉得这是现在这个全村的希望对嗯,哦这件事情可能有很高的门槛,但我觉得不一定成功不了,我觉得可以分几个阶段走,第一可以先从互联网的数据开始,先从 YouTube 开始。

[04:49:11] 张小珺: 嗯。

[04:49:12] 谢赛宁: 好像我刚刚说不管是什么全部的这些训练的 token,几十个 trillion 的 token,还是四个月小孩,看到了这么多的信息,所有这个数据量,等于30分钟的 YouTube upload,YouTube 上面有海量的数据在嗯。

[04:49:30] 张小珺: 这个有版权问题吗?

[04:49:33] 谢赛宁: 呢,所有人都知道有版权问题,所有所有人都在继续,继续这么做。

[04:49:38] 张小珺: 嗯啊。

[04:49:39] 谢赛宁: 我觉得 at some point 一定会有很很大的版权问题,或者说这个东西不是一个版权的问题,因为可能 YouTube 不 own 这些视频的版权,但是一个 terms of service(服务条款)的问题,YouTube 是禁止你去爬取这些数据的。所以导致这些数据现在非常非常难爬,基本上爬不下来啊,你爬几个视视频,YouTube 就把你的 IP 禁用了,然后你就得换一个 IP。

对所以有点有点,现在我觉得呢,这些数据公司跟这些这些这些平台,有一种这种道高一尺魔高一丈的感觉,嗯,一方,一方要严防死守,禁止你爬数据,另一方,另一方要想尽办法要爬更多的数据,嗯对,我不知道最后会终局是怎么样,对。

[04:50:23] 张小珺: 哇字节好有优势啊。

[04:50:25] 谢赛宁: 字节好有优势,并且字节也不 care,对吧,但是他们也收到了很多律师函,所以我不知道,我觉得我觉得之后可能会有更多的对但我觉得,这件事情就涉及到人类社会,里面啊更多的这种政治的优化吧。

[04:50:41] 张小珺: 嗯对好,第一步是视频。

[04:50:43] 谢赛宁: 第一步是视频,然后接下来,其实 parallel(并行)的运作就是说,我觉得这样的世界模型,或者这种很 vision centric(视觉驱动)的世界模型,会有一些非常好的这种应用的前景。

因为我觉得只有 research 也是不够的 LLM 之所以成功,也是因为 chatbot 这样的一个 interface,实在太成功,太自然了,它依赖于,互联网,依赖于这种这种移动移动设备啊,但它是一个很好很好的接口,一个非常非常好的 product。所以 OpenAI 自己的人也没有意识到对吧。

但,当我们讨论世界模型的时候,尤其是我们刚定下的这个世界模型的时候,这个最终的这个 product 到底是什么,我觉得这件事情,这可能才是一个真正的难点。

[04:51:33] 张小珺: 嗯。

[04:51:33] 谢赛宁: 可能是一个比数据还要更难的问题,所以现在如果拍脑袋想啊 again,拍脑袋想的想的 idea 可能最终都是错的,但是至少有两个出口,一个是比如说这种 AI glasses(智能眼镜),这种真的 personal assistant(个人助手)。这件事情需要一个 World Model,这件事情只有语言模型,不够,只有语言模型的话,它还是一个带着屏幕,可以有语音交互的这么一个 ChatGPT。

[04:52:03] 张小珺: 对吧。

[04:52:05] 谢赛宁: 他没办法走出这个产品的形态,比如我现在经常跟大家举一个例子,我现在带了一些这种这种 wearable devices(可穿戴设备),它们不是真的 AI 的 wearable devices,对吧,但 somehow,他们具备了一些我觉得世界模,型的特点。

[04:52:21] 张小珺: 嗯。

[04:52:21] 谢赛宁: 原因是他们是一个 always on 的这种 device,就它一直开着,一直在监控你的身体体征,对吧,也有大量的信息,因为每秒,对吧我不知道有多少多少频率,它是以什么样的频率采集这些信息,但我一直在心跳。所以它一直能 track(跟踪)这些信息,然后这些信息放到哪里去,对吧,这些信息本身对我来说是没有意义的我知道我某个时刻心跳频率,BPM 是怎么样的对我来说没有任何意义。

所以它需要有一个智能决策,告诉我说:你好像 under too much stress,对吧你现在压力太大了,你需要缓一缓,然后说你过去几天时间睡眠都不是很好,你可能要需要考虑一下,一些补救的措施,或者说你今天应该 take a day off (休假),对吧,我觉得这件事情其实蛮蛮世界模型的只不过,这是一个最最最最 basic 的世界模型。因为它能 get 的这个信息实在太少了。

[04:53:18] 张小珺: 嗯,它是一个很垂直的信息。

[04:53:20] 谢赛宁: 对非常非常垂直,嗯对吧,但我觉得这件事情,是一个未来的世界模型,在 AI wearable 上面的一个缩影,嗯,因为如果假设真的有眼镜,或者说对,我知道你不喜欢戴眼镜。但是假设有某种 wearable devices,它能够真的是 always on(永远开启)啊,我们不知道这个功耗问题怎么解决啊,先不管硬件问题,我们先不管啊。

但它能够实时的看到。我们所能看到的一切,对吗?有这种完全 alwayson,然后 infinite(无限)的这种 tokens,进入到这个系统里面,嗯,我觉得这件事情,其实是会有很大很大的潜力的。

然后第一,我会很想要这件事这个东西。因为我想知道我几点喝了一杯咖啡,然后是不是这杯咖啡喝的早了一小时,晚了一小时,导致我晚上可能睡眠没那么好了,或者说我是一个运动员,他想要指导我的每一个动作,或者说我在医院工作,我希望给养老院里面的每一个老人,都配备这样一个 wearable(穿戴式设备),使得我知道他每天的这个行为模式是怎么样的他吃了什么药,做了什么事儿,啊,他的心情怎么样,对吧他的状态怎么样。

[04:54:28] 张小珺: 嗯啊。

[04:54:28] 谢赛宁: 然后跟我背后的这些医疗记录挂钩,然后提供更好的智能决策,我觉得有很多很多类似这样的例子,对但这件事情也是基于现在的 LLM,现有的多模态的智能,其实是我觉得是做不到。

[04:54:42] 张小珺: 嗯。

[04:54:44] 谢赛宁: 然后另外一个出口,我们刚也聊过,那我觉得就是 Robotics,我觉得 Robotics,面临的问题是其实还是大脑不够,嗯,然后即使它可以武术,它可以表演啊,当然,也不能否认。这也是一个很好的 vertical domain(垂直领域)了,对吧文娱市场啊,可能也挺大,那机器人就去表演节目吧,我觉得也行啊。

但这件事情离 general 的 purpose 的 robot 能够走进千家万户,能够背着年迈的老人上下楼,照顾他的饮食起居。这件事情,距离实在是太大了。

[04:55:20] 张小珺: 嗯能干活的机器人都是荒漠。

[04:55:22] 谢赛宁: 呵呵呵是的是的哦然后我觉得这一部分你可以看,机器人,其实是个很好很好的一个 downstream 的 application (下游应用),因为不管有任何上游的这些新的。我们讲泛世界模型的这种这种眼镜。

[04:55:39] 张小珺: 啊。

[04:55:40] 谢赛宁: 机器人都能够 benefit from it。

[04:55:42] 张小珺: 嗯。

[04:55:42] 谢赛宁: 比如 LLM 出来了,我们就有 VLA 对吧,然后火了一段时间,现在这个 video diffusion 做的很好,action condition video diffusion 做的很好,对吧,这种生成派的这种 world similar 做的很好,那我们也在讨论,机器人怎么样去用这些模型,去做一个啊,做一个更好的这种 action 的 planning,对有大量这样的工作。

所以啊像我说的,我觉得这里面还有很长的路要走,然后但我觉得在网上看机器人,在春晚上看机器人,和私下里,跟从事机器人行业的这些 researcher 聊,我觉得感受是很不一样的。

[04:56:23] 张小珺: 怎么说后者是?

[04:56:24] 谢赛宁: 后者会愿意跟我说真话。

[04:56:26] 张小珺: 哦。

[04:56:27] 谢赛宁: 不代表,他们平时在说假话,只是说后者会更愿意告诉我,现在的系统的缺陷到底在哪里,为什么这件事情听起来好像是啊?现有的这些模型实在是解决不了的。

[04:56:40] 张小珺: 刚才其实讲了,你长达十多年的研究历程啊,你是怎么跳跃到世界模型来的呀?

[04:56:45] 谢赛宁: 嗯,我觉得其实没有跳跃,就像我一直刚刚说的,我觉得我觉,我觉得所谓的 representation learning,表征学习,世界模型以及整个 AI 的发展,其实还是一个蛮啊 smooth 的一个 transition(平滑的转变)。

然后我其实不是很喜欢这个世界模型这个这个 word 了啊,我觉得听起来有点 hype(炒作),然后并且现在它变成了一个啊,回袋一样的一一样一样的一个称呼,然后所有人都在 claim 自己做世界模型。我觉得这件事情啊,一方面我觉得对,我觉得肯定不是一个比较呢,-个 researcher,会享受 enjoy 的这样一个过程吧,但另一方面,我觉得可能一个领域往前走,可能还是需要一些这样的这样的 buzzword(流行词)。

然后我觉得非要说的话,我可能会喜欢世界模型的一点就所谓 World Model,的一点是这个这个是 Jitendra Malik 伯克利的一个教授讲的他说:他唯一喜欢 World Model 这一点是因为它能告诉大家我做的是 World Model,而不是 WordModel,word 是 wORD。

[04:57:56] 张小珺: 单词。

[04:57:56] 谢赛宁: 单词啊我做的是世界模型,而不是单词,单词模型,那单词模型就是 LLM,我还蛮蛮同意的啊,所以我觉得啊,像我一直重复的我觉得,我觉得世界模型,是所有人会抵达的一个终点啊,它是它是一个目标,对。

[04:58:16] 张小珺: 嗯其实,随着你要开始做世界模型,你也做了一个非常重大的决定,就是你要,创业了这是一个非常大的跟你之前的 research 的生涯非常大的不同的一个选择,你为什么做这个选择,以及这个选择是怎么发生的哦?

和杨立昆创立 AMI 始末

[04:58:33] 谢赛宁: 这个选择也是一个玄学选择。

[04:58:35] 张小珺: 玄学。

[04:58:36] 谢赛宁: 哎呀,这个大家可能觉得我这个太玄学,但是确实是,因为之前有很多湾区认识的朋友,些,也是对我帮助很大的一些 mentor 吧,然后大家可能有投资人,的身份啊,有这种其他创业者的身份啊,他们就说赛宁你应该也尝试去去创业。

[04:58:56] 张小珺: 嗯。

[04:58:56] 谢赛宁: 啊因为在学校里面,像我刚刚说的资源紧缺,对但并不是学校一无是处,我觉得学校其实是一个很好很好的平台,它让我有足够的空间,去真的找到我想要做的事情,但我突然觉得好像现在是一个时间点,似乎,我想要探索的东西,探索到了一定的地步,再往后有可能会陷入,我叫它一个中等 paper 陷阱,哈哈哈就像中等收入陷阱。

就是说你会发一些不错的论文。但是由于这个这个 resource 的限制,导致你没办法真的把你的你的这些 idea 推广成一个某种意义上一个新的 breakthrough(突破),对所以我觉得这,这可能是是一个好的时间点。然后所以我有一个 manager 问我那时候还蛮有趣的时间点,可能大概是去年,可能年终吧,或者说可能是秋天的时候。

[04:59:59] 张小珺: 25年年终,嗯对。

[05:00:01] 谢赛宁: 25年年终,然后他就说你去问一问 YannLeCun,他好像最近在 Meta 待的不是很顺心,但那个时候其实还没有这么动荡,还没有 Alexander Wang (Scale AI 创始人, 加入 Meta 出任首席 AI 官)。然后比如说 FAIR 的 layoff(裁员),然后这么多动荡的事情。

我的第一的直觉是说啊这个怎么可能呢?对 Yann 对吧,我们等下可以再聊一下,Yann 是怎么样的一个人,但至少在那个时候,我会觉得他还是一个对吧 godfather of AI,然后他是一个纯粹的 researcher,怎么可能会拉他一起创业呢?

然后结果我们有了这个对话,之后的第二周的周一,我们刚好有一个 one-on-one meeting,就是一对一的一个 meeting,跟 Yann LeCun,yeah。然后还没等我说什么,然后 Yann 就跟我说哎,赛宁你先不要告诉别人,但我已经决定了,这个我现在想要做的事情,我觉得应该在外面做,我想要去创业开一个公司,然后我就我就问他说:你想做什么事情啊?这个背后的 business model 是什么呀,嗯,后来发现哇,这件事情跟我想象的事情完全一致啊,嗯非常有趣。

对然后这件事情是什么呢,我觉得你可以,你可以叫它世界模型啊,或者说这部分的出发的逻辑在于。我觉得在我想做的这件事情上,在现在的这个不管是世界上任何一个国家,我觉得都做不了啊,包括在湾区,在硅谷也做不了。

那这个这个事情是什么就是说你还是有一定的这个 research 的程度啊,对吧,它不是完全的说哎。我们现在要 Large Language Model,我们要 deploy 这个 system,然后我们要 push to product,然后去,去 get some revenue,其实 not like that,对吧,然后我觉得。这件事情有很强的这种 research 的这种倾向性。

[05:02:06] 张小珺: 嗯对吧。

[05:02:07] 谢赛宁: 但是它又不是在纯粹的学术,学术的这个 setting 下面,它不是过去的 FAIR,也不是 NYU,它不是学校,也不是过去的那个传统的 FAIR,但另一方面,它也不是湾区的这些大厂和现在的很多这些 neo labs,处在一个完全封闭的情况下。

[05:02:28] 张小珺: 封闭是什么意思?

[05:02:30] 谢赛宁: 封闭意思是说你不开源,不能发表论文,然后像我说的这个 blog,嗯,上面也不能署名啊,也不能署,呢署名,然后像我其实我在 Google,在 GTM 的时候,我在 GenAl,只有我一个人是有这种相当于脚踩两只船,有一个 double affliation(双重任职),还在学校在做事情啊,大家其实对学术界,对这种纯粹的探索性的 research,其实是有点抵触的啊,这是湾区。现在的一个状态,对,抵触。

[05:03:03] 张小珺: 怎么理解,是谁抵触?

[05:03:06] 谢赛宁: 抵触意思就是说第一我觉得大家瞧不上,这个学术界在做的工作,不觉得学术界的做的东西能够真的啊,能够能够产生怎么样的影响,第二,他们因为也不 publish 导致,很多东西你也不知道他们在干嘛,对吧即使在这些大厂里面,其实有些大的公司,有有这种 research 的部门。然后也有这种偏 product 的部门。

但即使是这两个部门同一个公司,两个部门之间也有一个很大的隔阁,因为 again 就是做这边,比如说核心模型,训练的这些公司的的这些部门,必须要在这个 highly competitive(高度竞争),这个赛道上面,嗯,走到最前面,这是他们唯一的目标。

[05:04:00] 张小珺: 这是军备竞赛。

[05:04:02] 谢赛宁: 是一个军备竞赛,嗯。

[05:04:04] 张小珺: 然后。

[05:04:04] 谢赛宁: 这件事情就会压榨你的 research 的空间。

[05:04:08] 张小珺: 嗯。

[05:04:09] 谢赛宁: 你会,你会抽走这个这个环境,里面能够给你充分的 freedom,去做 research 的这样的氧气。

[05:04:17] 张小珺: 嗯所以你没有想过加入任何的 lab,你没有办法忍受这种没有氧气的感受,是。

[05:04:25] 谢赛宁: 我觉得这也是一个很有意思的现象,这个现象是说当初确实有些机会,我也在有一些其他的考虑,然后但我想了想之后,我觉得可能这件事情,如果你真的想要做,这种完全前沿的探索,你想要去定义问题的话,可能还是得在一个自己的 Startup 做,才会成立这件事情。

[05:04:48] 张小珺: 嗯别人的 Startup,就是他定义的问题,然后你来做执行。

[05:04:53] 谢赛宁: 是其他 Startup,当然首先,我不认为在这个其他 Startup 里面,有任何一个 Startup,或者一个大公司,在 focus 在我们在做的这个事情上,所谓的 building the predictive brain 这件事情,对吧,在你可以认为是最 foundation layer(基础层),或者说最 upstream layer(上游层),做一些事情。这件事情其实是不存在的啊。

更有意思的是其实很多我的朋友,在我跟他交流的时候,大家都会意识到,这件事情其实是必须的就我刚说这件事情,一方面有点所谓的这种反共识,对吧就是有点 contrarian view,但另一方面,其实又在过去的一年里面,我觉得又逐渐变成了一个共识。所以我说的东西也没有什么新鲜的没有什么新鲜的嗯。

但是我刚才简单提到了,我觉得现在在整个 AI 行业里面,有这样一个巨大的 AI 的这样的一个 value chain 这样一个价值链条,在最上层这个价值链条就像我刚刚说的有 Bitter Lesson,有 AGI 有 LLM 这样的一个叙事逻辑。这件事情定义了一系列的 benchmark。

[05:06:02] 张小珺: 嗯。

[05:06:03] 谢赛宁: 对吧就是说你要打榜。

[05:06:05] 张小珺: 嗯嗯。

[05:06:06] 谢赛宁: 那你就打打的这个榜可能是 LLM,Arena 啊或者说其他的这些榜单,对吧有有一系列这个 benchmark,人,这个 benchmark 定义了 resource 的 allocation,就是说你你怎么样分配资源。

[05:06:20] 张小珺: 嗯。

[05:06:21] 谢赛宁: 对吧因为我的目标,如果是在榜单上得到第一名,那我只能投入最多的资源—,使得我能够处在这个位置上去竞争,然后 resource allocation 决定了,其实这件事情,已经跟 researcher 觉得什么是对,什么是错已经有一点脱离了,虽然有些,很强很强的 researcher 知道。我们可能需要做一些 research,但是在这个价值链条下面啊,resource_allocation 决定了,他们不能做这一部分的 research。

所以比如说我会觉得哎,这个视频,理解这件事情其实蛮重要的但现在好像不管学术界也好,工业界也好啊,做的不多,或者说大家做这件事情但没有 fundamental,从 World Model 角度去 approach this problem,去解决这个问题,但为什么会这样啊,但你这个很有很有意思的现象,你就会看到不是没有人不愿意做这件事,不是没有人没有这个能力做这个事。

[05:07:19] 张小珺: 嗯。

[05:07:20] 谢赛宁: 是他们全都无一例外啊,不管在哪一个公司里面,无一例外,被发配给了一个做视频生成模型的 team。

[05:07:31] 张小珺: 嗯。

[05:07:32] 谢赛宁: 因为这是在这,个价值链条下面的唯一,一个可以间接,参与到这个价值链条里面的二个 position,ASM,虽然他们都知道,我们这件事情没有解决,我们需要一个更好的像我刚刚说的 —个 World Model,based video understanding model,并且这件事情,可能是一个真正训练出这个 World Model 的一个很重要的一个前提条件,但大家不会有空间去做,这样的 exploration,嗯。

所以当初我在我在 Google 时候,也会有这样的困扰,包括我们做 RAE 这样的论文,这篇论文,其实前前后后这个学生跟他一起,跟郑博阳一起。我们可能做了快一年的时间,因为这个学生中间可能也,有一些身体的原因,反正 anyway 吧,可能有一些 gap 在里面,对吧,反正完成这个工作,我们花了一年的时间。

[05:08:27] 张小珺: 嗯。

[05:08:28] 谢赛宁: 当我们发表这个工作之局,我其实还有点担心,我会说哎,这个会不会有 Google 的 researcher,过来找我说:为什么你会发一篇 paper?我们也在做一样的事情啊,怎么把我们的机密暴露出去了。

[05:08:42] 说话人未确认: 嗯。

[05:08:43] 谢赛宁: 结果是有。

[05:08:44] 张小珺: 哦。

[05:08:45] 谢赛宁: 有好几个 researcher 找我他们给我的反馈是,我觉得这件事情是对的我做了这件事情做了两个星期,但是我的 manager 说你不能做这个事情了,我们接下来有有 product cycle one(第一轮产品开发周期),product cycle two(第二轮产品周期),product cycle three(第三轮产品周期) 对吧,这些产晶的发布的这种这种 timeline,需要完成。

[05:09:08] 张小珺: 他们现在的驱动力是不一样的。

[05:09:10] 谢赛宁: 驱动力是不一样的,所以就又说回来,我觉得还是要回到一开始我们讨论这些事情,就是在这样的有限游戏下,在这样的强竞争的环境下,每一个公司,都都似乎失去了他们定义问题的能力,比如说其实你看之前像 OpenAI 对吧,它其实是具备这样的能力的。

[05:09:36] 张小珺: 嗯。

[05:09:37] 谢赛宁: 很多这些问题都是他们定义的对吧,包括包括 GPT,包括像 CLIP 这样的模型,对吧,或者说他们一开始从成立的第一天起,作为—个 research unit,他们也有他们自己探索的过程。我觉得还是很 research 的很 research 的。

[05:09:54] 张小珺: 但是现在 research 已经变成了一个产品间题,变成了一个商业问题,你必须竞争,不竞争怎么办呢?

[05:10:00] 谢赛宁: 啊那当然是逃出来,然后我们来一起啊,创造一个更好的更 friendly,researcher,friendlly 的这样一个 organization 吧,这样一个团队吧。

[05:10:10] 张小珺: 所以你们要逃离硅谷的叙事。

[05:10:13] 谢赛宁: 呢对,我觉得我觉得双向选择吧,我觉得可能对,互相那个互相 diss 一下。

[05:10:20] 张小珺: LeCun 见你那次,他跟你说了什么?

[05:10:23] 谢赛宁: 他也没说什么他只是讲了,他说的这件事情,就是说我刚刚说,我觉得我跟他的想法非常一致的,这件事情,就是世界模型是什么,我们可以有一个定义,在这部分上,我跟它的定义其实非常非常吻合啊。然后包括他做 JEPA(联合嵌入预测架构),在 NYU 也经历了一些过程,这个过程是我从我从质疑 JEPA 到理解 JEPA,到成为 JEPA,经历了这个人生的三个 stage,我等一下,可以再展开聊一下这件事儿。

但他具体跟我说的事情是说这个公司,它不是一个 non-proft,它不是一个纯粹的 research lab。所以我们是要有一个 business model 的嗯 again,这件事情可能不是他的原话,或者可能更像是我理解他说的事情,嗯,的话,是说我觉得世界模型是世界,需要一个世界模型。

嗯,在硅谷之外,在 LLM 的叙事之外,有一个隐形的世界,这个世界里面有很多人,大家想要解决这个物理世界,的物理世界里面的很多很多的问题,他们可能是一个农场,可能是一家医院,但他们拿着 LLM,不直接能够解决这些问题,他能解决一部分问题,但有很多涉及到真实世界的 physical,understanding 的问题,他们是解决不了的。

[05:11:46] 张小珺: 嗯。

[05:11:47] 谢赛宁: 所以大家其实都很焦虑,大家都害怕说哎,这个 A 的浪潮要来了,我我是不是连上这个牌桌的机会都没有对吧,然后所以我觉得这一部分隐形的世界,是在这个硅谷的叙事逻辑下面,不可见的。

[05:12:02] 张小珺: 嗯。

[05:12:02] 谢赛宁: 但我觉得这是一个很大的市场,嗯这是我跟很多人聊天的体会啊,然后我觉得这个其实我现在最 enjoy 的这个时光,不是跟一些 researcher 聊天,是跟完全不在 AI research 这个 feld 里面的人聊天。

[05:12:23] 张小珺: 嗯。

[05:12:24] 谢赛宁: 我觉得我每次都会得到很大的启发。

[05:12:26] 张小珺: 比如说。

[05:12:29] 谢赛宁: 就是怎么讲呢,这个这个也是其实有两个人跟我说同样的话,嗯,第一个还是侯晓迪,呢第二个是这个张涛,是 Manus 的张涛,涛哥,他们都跟我说:你如果想要做一个好的产品,你首先得要热爱生活,你得知道这个生活里面的人,他们在做什么事情,他到底需不需要这个东西,哦,你不能把某种 AI,某种智能强加于人的头上,你需要理解他们的需求。然后你需要通过这件事情,不管是做你的 research,还是打造你最后的产品。

嗯,所以我觉得这里面很重要的一点是说这个世界上有大量的人,他们生活在这个世界里面,他们是这个问题的定义人,嗯,这些问题,不是 researcher 坐在实验室里面想出来的。

[05:13:26] 张小珺: 对吧。

[05:13:27] 谢赛宁: 我觉得如果真的,我们要做一个能够汇集所有人类的这样一个 AI 系统,这件事情不应该是一个一个某种独裁的状态,不应该是头部的几个公司强加的一种能力,我们得要去知道这个世界上到底在发生什么。然后大家有哪些需求,嗯对,所以这是对这是我觉得为什么呢?

这是是第一点这是啊,或者说前一半,其实我想说的是其实世界是需要这样的 World Model 的嗯对吧,LLM 不能解决所有的问题,第二点是说 World Model 也需要这个世界,这个世界有两部分,第一部分是定义问题的能力,对,就是问题的定义,对吧,我希望这件事情是从生活来的从人的真实的需求来的或者说是从工业生产中的需求,来的然后这些事情对于硅谷的或者 LLM 的叙事来讲,也是隐形的。其次涉及到你刚说的数据的问题。

[05:14:36] 张小珺: 嗯嗯。

[05:14:38] 谢赛宁: 就是虽然我们第一步,可以从互联网上去拿到这些数据,可以去训练这些模型,但最终,还是得要去在真实的世界里面,去淘金的这些数据也是不可见的大家不会把这些数据传到 YouTube 上面,YouTube 上面的数据,还是一个跟人类非常非常 align,跟人类的价值观,或者跟人类的这种 for entertainment(娱乐)的需求,非常 align,这样一个数据的分布吧。

然后我们还只是在讨论这个 visual 的数据,但这个世界里面有大量的非 visual 的对吧非视觉的还是在连续 domain 的 high dimensional,高维度的和和 possiblynoisy,有可能是有噪音的这样的信号。

这样的数据的对这些数据。我觉得现在 again 对于训练一个世界模型来说至关重要,我们的世界模型,也不只是一个 vision 的 model,对,因为这个世界也不只有数据,但另一方面,这些数据现在是不可见的。我们需要从一些地方获得这个数据,对吧,所以这是我跟 Yann 聊的一些这个 high level 的这样的一些感受。

[05:15:46] 张小珺: 嗯啊。

[05:15:47] 谢赛宁: 然后到后面,其实这件事情跟 business 有什么关系呢。

[05:15:51] 张小珺: 就等会你说不只是数据,视觉模型。

[05:15:54] 谢赛宁: 不只是视觉对。

[05:15:56] 张小珺: 还有什么呢?还有哪些模型?

[05:15:57] 谢赛宁: 比如说我现在可以有一个飞机引擎,一个飞机引擎里面可能有1000个,Sensor,这1000个 Sensor,在不断的记录这个飞机引擎的数据,我怎么样,能够训练一个飞机引擎世界模型,能够知道我这个飞机引擎,可能哪里有设设计缺陷,哪里可能现在有有这个错误对吧,等等一系列这些非常 long tail(长尾)问题,对。

[05:16:22] 张小珺: 但这个是一个就是飞机引擎的世界模型。

[05:16:25] 谢赛宁: 这是一个飞机引擎的世界模型,但它会基于一个 universal 的世界模型的预训练,对。

[05:16:32] 张小珺: 所以你们会训一个通用的世界模型。

[05:16:35] 谢赛宁: 这是我们的目标。

[05:16:36] 张小珺: 这个是预训练,然后上面可能会有很多的垂类。

[05:16:39] 谢赛宁: 很多的垂类,嗯嗯,像我说的 Language Model 也是上面的一个垂类,video diffusion 也是上面一个垂类,action 对吧,然后 planning。然后 robotics 也是一个垂类,但这个东西可以非常非常多元。

[05:16:54] 张小珺: 你这个预训练的数据量会有多大呀。

[05:16:56] 谢赛宁: 啊这些事情,就是说这是 research 的部分,对,我们现在其实有有一个很很好的 roadmap(路线图),然后我们也招了很多很多的人,大家其实都会很在意,怎么把一件事情落地不只是简单做做 research,虽然 research 非常非常重要。然后现在如果能要达到,我们最后想要达到的那个目标的话,我就要做很多很多的 research。

但另一方面,我们要找到一个 balance,对吧我刚刚说它既不是一个纯粹的 research lab,但它也不是一个像 xAl,GDM 或者 whatever Meta TBD 一样的一个相对来说比较封闭啊,在现有的 Paradigm,这个现有的范式,下面去竞争的这样一个 lab。

对吧我觉得我对它的定位可能是 Somewhere in between (在中间的某个地方),可能甚至超过50%,这一定超过50%,可能有60%,70%更像一个现在的 ne.lab。然后但是它会有20%30%的这种完全自由的啊,然后这种非常前沿的 research component(研究核心模块)。

[05:17:55] 张小珺: 其实我理解,现在的这些 frontierlab 竞争这么激烈,是因为现在的 LLM 的范式是相对,已经是确定性的是的是的所以说他们都在争一个商业的输和赢的问题,相当于说你们不想在这个范式下卷了。你们去提前想去找下一个范式,给我的感受是这样的。

[05:18:13] 谢赛宁: 啊是这样,对所以对对,《商业访谈录》,但是我我我先要说我真的不懂商业啊,然后我也没有做过 Startup,我没有成功过,也没有失败过,对吧嗯,所以这件事情既让我感到焦虑,又让我觉得有种无知者无畏的这种冲劲。

[05:18:32] 张小珺: 嗯,我会有一个疑惑,对就是 LeCun,他本身就是一个 research 背景的人,他为什么创业,他是第一个找到你吗?为什么他又找一个 researcher 呢?

[05:18:41] 说话人未确认: 啊其实有很多 researcher。

[05:18:42] 谢赛宁: 因为 again,我觉得 research 是这个公司的 focus,这个公司最后最重要的 product,是十个 research breakthrough (研究突破),所有的这些各种各样的。我们刚说涉及到数据,涉及到问题定义,涉及到这些跟各种各样的 industry 有 partner。

对吧,这些所有事情的逻辑都建立在,我们能够 support 我们的 research,能够 make another breakthrough,就是下一个下一个这样的新的 AI 的革命。

[05:19:13] 张小珺: 嗯。

[05:19:14] 谢赛宁: 你可以叫它世界模型的革命,或者 whatever you want to call it,但是它跟 LLMfundamental 不一样,但它至少是一个 Transformer,或者 ChatGPT level 的事情,对这是我们的梦想啊,落到实处要一步一步走,但回答你的问题,就是说其实不止找 researcher。

比如说我们的 CEO。我是这个公司的 cofounderand chief,science officer,啊我非常喜欢这个 title,因为我觉得我希望我自己的定位,还是在 science 上面啊,我不是一个好的 CEO 啊,至少现在不是我也不是一个能够去,管理一个大的 team。然后去 launch 这些 product,这种公司的一个角色。

[05:19:54] 张小珺: 嗯你不想当 CEO,跟 Peak(Manus 联合创始人兼首席科学家)一样。

[05:19:56] 谢赛宁: 啊呢,呢对,哈哈哈对对,有点有点像,对啊,然后对,当然我们两个公司,跟 Manus 可能还是会有会有很大的不同了。

[05:20:09] 张小珺: 当然嗯。

[05:20:10] 谢赛宁: 啊是的是的,我觉得我们这边,主要我还是期待的事情,看到的事情,还是怎么把 research 这件事情做好,然后这件事情也是我现在看起来,我们能够吸引人才,能够让大家一起来工作的一个一个真正的这种精神源头吧。

[05:20:30] 张小珺: 算是硅谷的避难所吗?

[05:20:32] 谢赛宁: 不能叫做避难所,哈哈哈,但是确实是一个不一样的地方啊,这个不一样的地方,我觉得很多人过来,对吧我们有从 OpenAI,有从这个 GTM,有从各个地方过来的小伙伴啊,大家不是为了要赚多少钱。然后说 IPO 要上市怎么怎么样。

大家心里面也非常非常的纯净,就是想要做 research 啊,并且大家觉得,我们有机会能够去成为一个某种意义上的影响这个 AI 进程的人,嗯这件事情我觉得其实,大家很多时候,其实都因为现在这个行业的行业的变化啊,我觉我觉得心态也会发生一些很微妙的变化吧,对。

[05:21:20] 张小珺: 什么意思?

[05:21:21] 谢赛宁: 意思是说现在大家会有点过于,走到一个极端,是说哎,我们要 lower,everybody’s ego (降低自我),everybody is part of the team,就是都是这个团队的一员,但事实上在发生的事情是他们确实变成了这个团队一员,但它同时也变成了这个巨大的 machine,这个机器中的一个可以轻易被替换的一个螺丝钉。

[05:21:45] 张小珺: 嗯。

[05:21:46] 谢赛宁: 嗯,我完全同意 researcher 如果有太强的 ego,这件事情不利于团队的协作,但是我还是希望给予年轻人有足够的 visibility(可见度)。

[05:21:59] 张小珺: 嗯。

[05:21:59] 谢赛宁: 因为我觉得,这件事情能让他们有他们自己的人物,弧光,能够让他们真的成长起来,变成一个现在对吧在外面有很大声望的这些这些 leading 的 researcher,对吧,但我觉得现在这样的这样的 pipeline 收的越来越紧了,或者说这样的上升的通道越来越少。

[05:22:25] 张小珺: 嗯。

[05:22:26] 谢赛宁: 然后所以这件事情是至少是我们的一个招人的 strategy,是说我们会真的真的非常希望这种 mission driven(使命导向)的年轻人,加入到这个公司来,大家一起来做成一件事情。我们其实不想把一些很 established(权威),这些已经是 superhero 一样,超能英雄一样的这些 researcher 聚拢到一起,然后希望大家有某种化学反应,我不相信这件事情。

[05:22:51] 张小珺: 为什么?

[05:22:53] 谢赛宁: 呢。

[05:22:53] 张小珺: 就不能这个团队里有多个你是吗?

[05:22:56] 谢赛宁: 完全不是这个跟我自己的 ego 没有任何关系,我的感觉是呢,一个人很难被不不,首先我这样的人我们可以招很多我不觉得我是一个完全不是啊,这个千万不要误会我,但是我说的是可能那些我们刚刚说的 25篇,改变了 AI 历史的这些 paper 的这些作者。

然后我觉得相比于他们,我会倾向倾更倾向于招一些有很好的 reputation,有很强的能力,但 somehow 还大家不知道的这些人,对,我觉得要问我为什么的话。我会觉得一个人很难被闪电击中两次,如果,你已经发了这二十几篇 paper 中的一篇,你再发下一次类似这样的 paper 的概率,我觉得会低很多。

[05:23:50] 张小珺: 这就是为什么你一直要说我在这20篇之外?

[05:23:53] 谢赛宁: 对,哈哈哈那不是这个目的,但是确实我在这个之外。

[05:23:58] 张小珺: 嗯。

[05:23:59] 谢赛宁: 但这件事情真的不关乎于我,我觉得我希望,然后我觉得这件事情也是啊,by the way 这个公司是我唯一的一个机会,能够 keep 的 NYU 的 affliation (从属关系),能够建立一定的 academic engagement(学术参与),我还,是会全职的投入到这件事情上,但至少,我不用很抱歉的跟我的学生说对不起,我刚把你招过来,招了一年。现在我要走了啊,你们自求多福啊,我当初其实有一点这样的计划跟筹备,但后来我发现我做不到。

[05:24:35] 张小珺: 为什么?

[05:24:38] 谢赛宁: 不知道我觉得我的学生,我都我都很爱他们他们都是特别优秀的人,他们啊,比如说有几个学生吧,他们通过他们 project,然后做完这一套下来,我也,在各个公司也有一些这个经验,我也跟不同的人打过交道。

但我觉得我有几个学生,比我见到的所有的这些 leading,research lab 的这些研究员都更强啊,从成熟度,从工程能力,从 research taste 来讲,他们都更强,嗯,但 somehow,他们在学校里面没有一个渠道,能够真正的啊,做一个在在充足的资源的情况下,去做一个不一样的事情。

对啊,倒不是说这些学生都会加入这个公司。我觉得肯定不会,还是会有一个清晰的 boundary,但只是说 in general,我希望我们的这个公司,我们叫 AMI Labs,对吧,它能够承担起一定的这种定位,它能够联系起学术界里面,想做事情的年轻人,让他们能够参与到这个历史的进程来。我觉得这一部分的这个渠道在现在的很多这个 lab 里面是不存在。

[05:25:49] 张小珺: 如果 LeCun 不从 Meta 离职,你会创业吗?

[05:25:54] 谢赛宁: 我觉得可能也会,但可能会纠结一段时间。

[05:25:58] 张小珺: 你会自己做 CEO。

[05:26:00] 谢赛宁: 呢,我觉得我不知道对我觉得对,如果,如果这么决定的话,也是另外,一个玄学决定,对吧,但至少我现在不知道。

[05:26:10] 张小珺: 你会做这个方向吗?如果是那样的话。

[05:26:12] 谢赛宁: 我会再想或者说我现在在公司里面,我们讨论的问题就是 exactly,我一直在想要做的事情。

[05:26:19] 张小珺: 嗯。

[05:26:19] 谢赛宁: 然后这件事情,所以有一点不谋而合,而且 again 这件事情,有一点我不懂商业啊,所有的这些逻辑,但是有一些点我觉得很有趣。

[05:26:28] 张小珺: 就是。

[05:26:28] 谢赛宁: 我们想要 build 这样一个反向的 OpenAI。

[05:26:31] 张小珺: 什么叫做反向的 OpenAI?

[05:26:32] 谢赛宁: 什么叫反向 OpenAI,就是正向的 OpenAI,是说我现在有互联网,作为我的数据的发源地我把数据 download 下来,train 个 Transformer,train—个 GPT model 好。

我们现在有一个智能,然后这个东西你们可以叫它 AGI,但 anyway,我也非常反对这个词,我觉得 AGI 是一个完完全全的伪命题,但 anyway 呵呵呵,这个你有这个逻辑之后,我们现在有了这样一个模型,有了这样一个 intelligence,我想要把这个东西 push 到我的 market,对吧然后不管是 TqC,或者一些 ToB 的 application 都没问题。

然后什么是反向的 OpenAI 呢,是说要做这个 model 本身,这件事情,没办法直接从互联网上 download 下来,哦我们没有这个 shortcut 可以走。我们需要走一条更加艰辛,并且我们不能自己走这条路。

[05:27:25] 张小珺: 嗯。

[05:27:25] 谢赛宁: 啊,所以这是我刚刚说 world model needs the world (世界模型需要世界),所以我们希望反过来说是说会有很多的这些有点草根联盟,的感觉你知道吗?就是这些不愿意,就是在在 AI 的浪潮面前有点 FOMO(害怕错过),就是在在 A 的浪潮面前有点 FOMO(害怕错过),然后有具体的问题要解决,有很多的数据,类似于这样的公司,大家可以一起携手,通过某种合作伙伴的方式,一起去共建这样一个模型,对吧,然后你可以形成这样一个闭环。

我们可以有初始的世界模型,我们可以 deliver 这样的世界模型,去创造价值,大家拿到这样的模型,可以得到一些回报,然后可以产生更多的数据,来重新去反哺我们自己的这个 Foundation,的这个世界模型。

[05:28:09] 张小珺: 你需要从这些生态里收集多少数据啊?你需要哪些类别的数据?

[05:28:13] 谢赛宁: 这个就是这个公司接下来,我们要讨论的事情,对嗯,我觉得现在能够看到的事情是说,因为 Yann 其实有他的名望在这,然后他作为一个真真正正的世界人吧,他有一个非常 neutral 的 face,一个中立的角色,他不是一个他是一个美国人,但他也是一个法国人。然后我们又不在硅谷,对吧所以其实能吸引很多很多这样的 potential 的这种 partner。

嗯对,然后遍布全球啊,我们这个公司第一天就会有四个 office,总部设在巴黎。但是也会有纽约,Montreal,蒙特利尔,然后还有新加坡四个 office,目的也是说怎么样把这样的一个联盟能够打造起来啊,大家一起在这个 research 道路上面,往前走然后这件事情其实我还有一个很有趣很有趣的故事,或者一个比喻,就是你知道这个 Mastercard 是怎么来的吗?美国家用信用卡有 Visa,还有 Mastercard。

[05:29:20] 张小珺: 是不是反 Visa 啊?

[05:29:22] 谢赛宁: 对是反 Visa,exactly 但这个 story 还蛮有趣的啊,这也是我一个很好的朋友,和我的一个 mentor (导师)告诉我的他说 Visa 一开始是这个 BOA(Bank of America,美国银行),这个银行创立起来的对吧在此之前,没有人有这种信用卡模式的。然后 BOA build 了 Visa credit card,然后 push to market,然后赚的盆满钵满。

然后他还藏着掖着,还不告诉别人,别人问了就说哎呀我们这个是赔钱的生意,这个东西一点都不赚钱,直到过了一两年。这件事情藏不住了啊,因为财务上你已经能看出来了,其他人就慌了,你知道吗?其他人就说这个怎么办,这个你现在已经把这个 market(市场)已经 dominate(主导)了,我们每一个小的银行,我的体量又打不过你这个 bank of America(美国银行)。然后这个我们现在单独发一张信用卡,我又抢占不过市场。

怎么办呢,那他们就说不如我们把所有的这些 local bank,组织起来,变成一个联盟,我们一起推出一张信用卡叫 Mastercard(万事达卡)。

[05:30:26] 张小珺: 嗯。

[05:30:27] 谢赛宁: 对这是怎么样,反 Visa 然后或者说没有真的反 Visa 吧,但至少能够跟 Visa,有分庭抗礼的一个方式,我并不是说,我们的这个公司真的要走这样的模式,但我觉得在某种意义上会有这样的相似之处,对,但我觉得这也是为什么 World Model(世界模型)是一个嗯,很挺不一样的这样一个叙事,这个叙事的逻辑,他更加 decentralized (去中心化),更加分布化。然后然后也天然的怎么讲呢,resist(抵抗)某种垄断吧,对,我觉得还是挺有意思的。

然后这也,这也是我们开放性的来源,这也是为什么,我们会能够更 open minded(思想开放的),去讨论这些合作,不管是跟学术界,还是跟这些 industry partner (产业合作方)。因为这件事情,是 research exploration (探索性研究) 的一部分。

[05:31:24] 张小珺: 嗯。

[05:31:24] 谢赛宁: 当然我们也不是说,我们所有的 research 都会开源,或者怎么样,这还是一个正经而严肃的一个创业公司,但是我觉得我们可能可以做的不一样,但我觉得想要做成这样的不一样的事情,还是蛮难的。因为像我说的我一直在强调,其实我们在寻找一种平衡,这个平衡是说它既不是一个纯粹的 research lab(研究实验室),也不是一个现在的封闭式这种大模型公司。

嗯,然后这种平衡也在于,比如说像我个人,也是一种平衡,就我既不是一个非常 senior(资深)。然后已经所谓功成名就的这种这种大教授,但我也不是一个十八九岁的年轻人,可以卷着铺盖跑到深圳的工厂里面,然后然后扎下来,去做这些数据采集,或者 whatever,我都不是嗯。

[05:32:23] 张小珺: 有一部分数据来自于深圳的工厂。

[05:32:25] 谢赛宁: 是的,有人在做,我刚刚说的这个例子是是一个具体的公司,他们有一个公司,叫 build.ai 阿,我还挺佩服这个小孩的叫 Eddy,他就是带了几个人从哥大 quit(退学)了。然后去了深圳工厂里面住下,啊,然后来,build 这样一个 startup (创业),我觉得好厉害,对,我觉得我觉得这件事情既是找平衡,但我觉得对我来说有难度,但也是一个新的机遇。我觉得说不定呢,说不定,这个时代,呢,可能既不属于老登,也不属于小登,而是属一个属于中登创业的时代。

[05:33:01] 张小珺: 你对 Ilya(SSl 创始人)两次 say no,然后你对 LeCun(杨立昆)say yes,这是为什么呢?在你眼里他是一个什么样的人?

[05:33:09] 谢赛宁: 啊对,Yann(杨立昆),在网上是一个斗士。

[05:33:13] 张小珺: 对吧,其实坚决的反对 LLM(大语言模型)派。

[05:33:17] 谢赛宁: 呢不止是反对 LLM,其实他不反对 LLM,从来没有说他反对 LLM,他非常他还说自己用 Gemini,他完全不反对这,LLM,他只是反对,大家觉得 LLM 可以通往一个 human level,intelligence (人类级智能),人类级别的智能的这个叙事啊,这是他要反对的。

[05:33:35] 张小珺: 嗯。

[05:33:36] 谢赛宁: 他完全不反对 LLM,但 anyway 他在网上是一个斗士,然后四处开战,但我觉得他私下里是一个很好很好的人,是我一个打心眼里崇拜或者敬佩的一个人。

[05:33:52] 张小珺: 你们之前熟吗?

[05:33:54] 谢赛宁: 我们合作合作过一些 paper,但是肯定不像在一个 start up 里面,作为 co-founder 的这种形式,这么,这个 work closely。

[05:34:03] 张小珺: 就之前没有你跟恺明熟。

[05:34:05] 谢赛宁: 肯定没有嗯对,是的,但我觉得我觉得 Yann 是一个人,真的是对,他也能够去扭曲这个 reality feld(现实场域),我觉得他非常非常厉害,每次我开始对一些事情有所怀疑。然后我都会愿意找他聊一聊,他很容易就让他身边的人,至少我是这么感觉的感受到某种宁静,感受到觉得哎,这些 challenge 不是 challenge(挑战),前方的路一片光明,对他是有这样能力的。

[05:34:37] 张小珺: 嗯。

[05:34:37] 谢赛宁: 然后而且,当然,他的 research 的 vision(愿景),我也非常敬佩,敬佩,就我刚刚说的很多比如说什么是 world model,为什么要 lter(筛选)这个信息?

这个本质也是 JEPA(联合嵌入预测架构),他提出的这个 JEPA 思想的一个内核,就是说你不能做 general model (通用模型),你不能把所有东西都记住,都重建出来,你需要在一个 abstract representation space (抽象表征空间),一个抽象的表征空间里面去做预测。

[05:35:03] 张小珺: 嗯。

[05:35:04] 谢赛宁: 这是 JEPA 的内核,但我想说这件事情是 Yann 我觉得还是蛮知行合一的他这个人本身蛮 JEPA 的就是他一以贯之的在坚持他的很多这个这个逻辑,和他认为正确的事情。这件事情,是不受到外界的任何事情的干扰,但这件事情不代表,他完全是一个固执的听不进去任何话的人,其实也不是这样,他有些时候他错了,有些时候他对了,他大部分时候是对的但他其实是能听进去大家说的话的。

嗯并且他也说过,就有一个之前有一个新闻稿是说是 Yann,can’t be moved,就 Yann LeCun 永远不能被移动,对吧谁也不能这个移动他欧,就是说他固执是吗?就是说他太固执,Yann 说我完全可以被 move,完全可以被移动,但我需要基于事实来被 move,而不是一些人告诉我应该怎么做,我去怎么做,我才会 move。

所以当初在 Meta 的时候其实,嗯,也有很多人告诉他说:我们现在 Meta 要去做 Large Language Model (大语言模型)。我们要做很多这些事情,你不能在外面再说这些话了,对吧,你不能说天天 diss 这个 Large Language Model 不 work (可行)。

Yann 完全不能接受,Yann 说我作为一个科学家的正直,my integrity as a scientist cannot accept (以科学家良知而言,我无法接受这一点)。所以我觉得这件事情我也很敬佩,我觉得他真的他说的话,嗯,不是因为现在什么东西,成为了一个热点,然后他才去这么说的都可以追根溯源,包括他在讲 world model 这件事情,也不是最近 world model 火了才说的也是很多很多年前他就已经在提这件事了。

然后他还有一个这个很好的论文,我我真的推荐给我身边的每一个人去看,就是叫做这个 《A Path Towards Aufonomous Machine Intelligence》(通向自主机器智能之路),对,就是他一个 position paper(立场论文),也是一个观点性的一个论文。

然后这时候你就会发现他思想里面还是有很多的 layer(层次)的这个 layer(层次)其实又是以一种非常工程化,可实现的或者说数学化的表达把它罗列在这了。所以你看他别人问他说:Yann 这个 world model 到底是什么的时候,他从来不会说一些比较 high level (高深莫测)的这种这种相对来说比较比较虚无的这种概念,他永远要给你写公式的呢,他永远会。

[05:37:53] 张小珺: 现在也会。

[05:37:54] 谢赛宁: 而且,他现在每个星期也会有一天在 NYU,然后还是要带自己的 group(小组),还是会开组会的开组会的时候,就是要走到白板面前来,给大家推公式,点一点。

[05:38:07] 张小珺: 嗯。

[05:38:08] 谢赛宁: highly technical (高度技术性),very very technical,对。

[05:38:12] 张小珺: 你们两个的分工是什么?

[05:38:14] 谢赛宁: Yann 是 executive chairman (执行董事长),所以他其实更像是我们这艘大船的船长,我跟他这件事情,我也,我也跟他聊过。

[05:38:24] 张小珺: 谁是船长?

[05:38:26] 谢赛宁: 不我不是聊谁是船长,我不想当船长,对对对但他讲,一方面讲说呢,他很不喜欢希望管理这些 operationlevel(运营层面)的事情,他不是一个好的 CEO,但一方面我觉得你也不是对我可能也不是但我又觉得他是一个很有智慧的一个管理者。

他给我举这样一个例子,他说:他的管理的思路就像在在划帆船一样。这件事情,By the Way(顺带提一下)是他的一个 hobby(爱好)之一,我等下可以聊聊,他的这个其他的有趣的事情,但他有一个 hobby (爱好),他马上3月,又要去加勒比海上面去划帆船。

[05:39:01] 张小珺: 了。

[05:39:02] 谢赛宁: 他说他的管理模式是说给予每个人足够多的信任,让他们做自己该做的事情,但是一旦出现了一些波折,对吧,一旦我们需要校正一些东西的时候,他会及时的呢,as early,as possible 尽可能早的去做这样的调整,对吧,但在此之前,trust everyone to do their work (信任每个人做好自己的工作),就是相信每个人,去做他们擅长做的事情。

嗯对我觉这就是 Yann 的定位,它是这个公司的一个一方面是某种精神领袖,但另一方面也是这个这大海航行,靠舵手。他也是也有这种船长的身份在这,对然后但我觉得我对他的,我觉得真正让我觉得我很喜欢跟这个人共事,还是更多 personal (个人) 的原因,我们看也聊了很多这些 decision(决定)其实不是纯逻辑性的决定。有时候还是要看气场是否相投。

[05:40:06] 张小珺: 嗯,都是人的原因。

[05:40:08] 谢赛宁: 对,像 Yann 我觉得他虽然真的是大佬,但你会经常看到他在会场上面,拿着一个手机,跟所有人拍一张自拍,拍张合影,然后私下里面,他也是一个蛮纯净然后温暖的人,对,然后跟他在一起,主要是我不会有这种畏惧感吧,虽然他可能高高在上功成名就,嗯然后但我不会担心我说了一句错话,惹得他不高兴。

这件事情我觉得其实还是蛮难得的尤其在他的这种身份跟地位,来看,然后我可以或者说包括这个公司里面所有的人,都可以很直白的告诉他说:这件事情我是怎么思考的,我觉得你说的对或者你说的不对,但我们一起来讨论,应该以什么样的方式进行下去,可以对这个公司,最有利。我觉得这件事情其实也非常非常难得对。

[05:41:09] 张小珺: 你们介绍一下你们到目前为止,在资本上,在团队上的进展,当然我们这个时候发的时候,就已经是你们 announce(宣布)之后了。

[05:41:18] 谢赛宁: 呢是的对,我觉得资本上,呢,这个没办法,我的世界模型,不是以支持我给这样的预测,但是我们 target (目标),可能会是差不多一个 billion(十亿美元)吧,对,如果不对的话,我们只能剪掉了。

[05:41:33] 张小珺: 哈哈哈。

[05:41:34] 谢赛宁: 然后人员的配比上面,然后我们会有很多小伙伴,志同道合的伙伴一起加入这个公司,所以我们一开始会有25人左右的一个初始的团队,嗯然后我们希望逐渐去 grow(壮大)这个团队。我们不想太快,但也不希望太慢。

然后这里面其实就有很多,我觉得这也是一个我觉得创业的魔力吧,因为我之前比如在大厂里面,也会呢,refer(推荐)一些我过去的朋友,我的学生,然后一起到这个公司里面,但完全不是一个一一个一个事情,大家去了不同 team(团队)做自己的事情,但,来创业之后,我会发现真的可以把大家聚拢到一起,哦,然后找到这样一个 mission(使命),嗯,然后这件事情我觉得太有意思了。

[05:42:27] 张小珺: 嗯。

[05:42:28] 谢赛宁: 然后这件事情其实我自己也很很感动,因为我们有好几个朋友,然后他们其实比如说都有好几千万的这介 OpenAI 的 unvested stock(未归属股票),如果他们从 OpenAI 来,然后会有在比如说在 Google,也有好几个这种呢,不是在 Google,在 Meta,也有这种15个 million(百万美元)到20 million(百万美元),这样的 offer。然后大家好像想都不想,然后就放弃了,加入我们。

为什么我觉得还是说我们脑子可能都缺根筋吧,觉得好像,你总之是你要,你要考虑的是一边是 research(研究),边是某些 fnancial outcome(财务回报)。

对当然。我觉得一个创业公司最后做成的话,它的 upside(上行空间)也是很大的嗯,fnancially (从财务角度看),至少现在开始,我觉得大部分人还是很 mission driven(愿景驱动),对然后大家还是相信,这是唯一—个地方。我们可以做这件事情。

[05:43:32] 张小珺: 你们现在已经开,开始考虑商业模式了吗?

[05:43:35] 谢赛宁: 呢,我觉得我觉得之所以要融这些钱,可能也是希望能够减少一点这些压力,但是当然了,这是一个 serious 的 company (正经的公司),所以我们的 CEO,COO 都在每天花很大的精力去考虑,商业模式的事情,嗯,对然后哎,我能不能回过去再讲一讲 Yann。

[05:43:56] 张小珺: 好啊。

[05:43:57] 谢赛宁: 啊对,之后看怎么调整下,但,我觉得我刚刚说其实这个气质相投这件事情,其实完全不是一个商业 decision(决定),对然后我觉得。

[05:44:07] 张小珺: 嗯符合你的玄学一贯选择方式。

[05:44:10] 谢赛宁: 啊当然,当然考虑就是比如说同时比起来我也会有一些其他的机会,这些机会,可能也会有 much better (更好),这种 short-term(短期)的 fnancial (财务),这种 retum(回报),嗯,就又会有更高的工资更高的回报,但我一直考虑的这个这个方式是说有些人劝我说:你先去赚两年钱,赚够钱了之后回来再创业不好吗?

嗯,partly agree(部分同意)但是我又会担心说对吧我现在作为作为现在这个人生的这个 stage(阶段),还有没有两年的时间,可以让我在一个足够好的精神状态,去做这件完全 exploratory research(探索性研究),嗯,我觉得不好说有可能在你有钱了之后,你的 lifestyle,你的生活方式会变化。然后然后然后这件事情,也可能导致你失去了,最开始的一些勇气吧。

[05:45:11] 张小珺: 哦。

[05:45:11] 谢赛宁: 然后我觉得这只是对我个人而言啊,我觉得现在我有很多很多的朋友,他们在 Meta,尤其在 Meta,对吧大家大家其实都赚很多很多钱,他们也很卷,他们每天工作我觉得也是加班加点。然后大家基本上都搬到公司旁边,然后每天加班一个星期工作七八十个小时这种昂,我觉得也相信,他们一定能够做出一个很 Frontier model (前沿模型),但我也想对他们说当你把这个 model(模型)做完之后,嗯可以来我们这儿看看。

[05:45:43] 张小珺: 哈哈哈。

[05:45:44] 谢赛宁: 我觉得 yeah,hopefully it’s not too late (希望还不算太晚),但我觉得其实我认识的所有这些人,大大家都是有这个 mission-(使命)的。

[05:45:51] 张小珺: 对,MetaTBD(MetaAI 实验室)的招人策略,跟你的招人策略是一致的吗?

“硅谷被催眠了”

[05:45:55] 谢赛宁: 呢我觉得肯定不一致啊,我们哪有钱像 MetaTBD 一样招人呢,肯定不一样,嗯对,然后或者说像 thinking machine (原 OpenAI CTO Mira 创立的前沿 AI 研究),包括像 xAI。我觉得我觉得都很不一样,对我觉得虽然我们可能融资规模上面,其实还是蛮不错的对啊,至少也能排进历史前几名对吧。

[05:46:15] 张小珺: 前几估值多少?

[05:46:18] 谢赛宁: 不知道不知道估值,我们一直没变,还是3个 bilion 的 pre-money 的 Europe(30亿欧元的投前估值)。

对,然后嗯但是钱其实还是不是很多对吧这个 capital money,其实还是非常非常宝贵的它不像在 Meta,在 Google 你真的有一个印钞机在那,你不能 print money(印钱),it’s okay you can do,whatever you want (没关系,你可以做任何你想做的事)。我觉得在创业公司里面,我们还是要非常非常谨慎的去布局吧。

[05:46:46] 张小珺: 我觉得你们是刻意不选去硅谷创业,是吗?

[05:46:50] 谢赛宁: 呢对啊,我觉得 sillicon vally again,itls very complicated (硅谷是很复杂的),就是大家经常说啊,就是说已经深陷于,已经被 large Language Model (大语言模型)催眠了。

然后然后我觉得,我觉得呢,但这件事情我觉得不会持续很久啊,被催眠的人总有醒来的一刻,然后我觉得那时候我们,我们完全不排除去硅谷设立公司,我觉得到最后,或者说可能很快。我们的公司 location(位置)一定是哪里有人才,我们公司就在哪里啊,有一个有一个 ofhce(办公室),这也是一个很很正常的事情。

[05:47:26] 张小珺: 嗯。

[05:47:27] 谢赛宁: 对,哎呦再能,让我说回 Yann 一下嘛。

[05:47:30] 张小珺: 好哈哈哈。

[05:47:32] 谢赛宁: 没有我想说的事情是,我觉得 Yann,其实还有很吸引我的一点是他真的是一个斜杠青年,或者说挺文艺的这么一个人,或者按恺明的说法,Yann 是一个16岁青春期,一直延续到65岁的这样一个人。

[05:47:48] 张小珺: 哦那很幸福。

[05:47:49] 谢赛宁: 哦我觉得我觉得他应该挺幸福,但他经常就很骄傲的说他有四大爱好啊,第一个爱好是造模型飞机,第二个爱好是拍天文摄影,所以他你看 Zoom 经常讲 topic(话题)背后,他那有一个星云对吧,有个 Nebula(星云) 的这样一个桌布,桌面,其实就是他自己拍的在后院拍的。然后第三个兴趣是搞电子乐,然后搞一些 Jazz(爵士),什么这些事情。

[05:48:20] 张小珺: 嗯啊。

[05:48:21] 谢赛宁: 然后你看他的网页上面,这也是宝藏,我经常时不时会去看一看,就他会讲说在纽约有哪些这些 Jazz club(爵士吧),对啊这些爵士乐比较好,有哪些乐手比较好,然后他又讲说这个通常来讲,法国人是瞧不起美国的流行文化的 Jazz 除外。所以来讲什么 Charlie Parker(查理·帕克),等等一系列人吧,然后这些伟大的乐手怎么怎么样,我觉得好有意思,嗯啊,然后他还有一个爱好是就我刚才已经说了,这个帆船。

所以我觉得这样的人对我来说其实是很有很有吸引力的,因为我觉得他的世界其实是很大的他的世界不只局限在 research(研究)一小块,然后我们都要做世界模型了,我希望 you know(你知道),这个大船的舵手是一个有格局,热爱生活的人,哈哈哈。

然后对还有一个很有趣的例子。我们接下来3月,也许这个节目播出的时候,我们还有另外一篇 paper(论文)要放出来啊,这个 paper 叫 solaris,叫索拉里斯星(斯坦尼斯拉夫·莱姆 1961年出版小说),这个东西其实是一个科幻小说莱姆的一个小说然,后后来被塔科夫斯基改编成一个电影。

然后我们之所以取这个名字,是因为我们在做一个所谓的这种 video 生成的模型,然后这个电影讲的事情也是说有一片海洋,这个海洋,可以读取人的潜意识里的记忆,最后把一些东西具象化生成出来。

然后这件事情我觉得非常好玩,当然,塔可夫斯基在他那部电影里面,讲的事情是说其实我们最大的敌人,不是什么外星文明,或者这些不可知的海洋其实是人自己,是人自己的苦难和自己的记忆。所以这片海洋只是人对自己的投射而己,我想提这件事情是说,我觉得这个电影跟 LLM 发生的事情也太像了,我觉得 LLM 其实可能没有在理解人,他只是人的一个投射,只是一个反射而已。

但我想说跟 Yann 的关系是在于,我有一天跟他讲说哎。我们这个 paper,你觉得叫这个名字怎么样,然后我想看他知不知道这个电影,然后他说矣,你知道这是一个电影的名字吗?我说对啊,我就是因为这个取得这个名字啊,他问我说那,你看的是哪一部。

[05:50:42] 说话人未确认: 哈哈哈。

[05:50:43] 谢赛宁: 是1975年的一部,还是二零零几年的一部。

[05:50:47] 张小珺: 对觉得我找对人了。

[05:50:49] 谢赛宁: 是塔可夫斯基拍的还是这个索德伯格拍的对吧,然后我说 OK,我觉得嗯,我不光 research(研究)服你我在电影上好像你也比我懂得多。

[05:51:00] 张小珺: 嗯啊。

[05:51:00] 谢赛宁: 我觉得这是一点蛮有趣的可能对很多人都不重要,但对我个人来说蛮重要的一个人格魅力的体现吧。

[05:51:14] 张小珺: 有一个中国的投资人曾经跟我说过,所有含着金汤勺出生的创业,都没有成功的几乎没有吧,你怎么看?

[05:51:22] 谢赛宁: 呢,不懂什么叫金汤勺。

[05:51:25] 张小珺: 融资金额巨大。

[05:51:27] 谢赛宁: i see(明白)。

[05:51:27] 张小珺: 非常的有名,作为 founder(创始人)就是已经功成名就,而且是非常高的功成名就。

[05:51:34] 谢赛宁: 嗯,啊我们没有含着金汤匙,就像我说我们是完全一个不说草台班子吧,是一个草根联盟的一个创业模式。

[05:51:43] 张小珺: Yann LeCun 怎么可能会是草根呢?

[05:51:46] 谢赛宁: Yann,不是草根,但他现在整个 A 的行业,或者在互联网上,包括在投资人面前,很多时候是一半支持一半反对的。

[05:51:58] 张小珺: 一半支持一半反对。

[05:51:59] 谢赛宁: 我不知道这个比例是多少,但总归是他不是众星捧月的那种英雄,他是一个坚守自己,然后永远尝试做下一件事情,但这件事情还没有做成功,的这么一个人。

嗯对吧,然后我觉得,这件事情导致我们不是含着金汤匙。我们没有金汤匙,我们完全没有这种感觉,我觉得我们是一个 underdog(草根),就是 underdog,我们其实,是在某种这种行业的压迫下生存的这样一个公司,对吧,凡尔赛了,不没,没有凡尔赛。我们可能会有很多的融资,但比起 LLM 现在撬动的资源来看,这简直,我不知道是百分之几差太远。

[05:52:45] 张小珺: 你们融资难吗?

[05:52:46] 谢赛宁: 有 Yann 在这确实不难,对,但是我我觉得 seed round 也只是 seed round (种子轮),我觉得要看后面,对吧,我觉得要看后面呢,还是说我们到底能不能 deliver(交付)我们这个 mission(愿景)。我们能不能把这个 research(研究)的 breakthrough(突破)做出来,这才是对我们来说最关键的事情。

但反正我会觉得我非常 enjoy(享受)这种 underdog(草根)的这种身份,尤其作为一个创业者。因为我觉得做 researcher(研究员)也是一样,你们越不相信我我越 happy。

[05:53:18] 张小珺: 你有感受到谁对你的不相信,在开始创业之后?

[05:53:23] 谢赛宁: 嗯我觉得很多人啊,很多投资人的 feedback (反馈)。

[05:53:25] 张小珺: 不相信更多,还是相信更多。

[05:53:28] 谢赛宁: 呢,我不知道比例是怎么样,我们有很多很多人相信我们,我们有很多人不相信我们嗯我们很多的人,或者在硅谷里面大部分人不相信我们在世界其他地方大部分人相信我们,所以综合起来。我不知道呢,但没关系,我觉得我最期望看到的事情就是说对吧,你们可以不相信我们但那我们就 let’s see(拭目以待),对吧这个啊,这条路我现在已经 all in 了啊,你跟不跟。

[05:53:59] 张小珺: 嗯,你觉得创业跟你做 researcher(研究员),有什么不一样?

[05:54:06] 谢赛宁: 我觉得有很多相似的地方,然后但也有很多不同的地方,嗯我觉得创业的话小珺滑雪吗?

[05:54:14] 张小珺: 我不会。

[05:54:14] 谢赛宁: 不会是吗?

[05:54:15] 张小珺: 我不喜欢运动。

[05:54:16] 谢赛宁: 我以前也不会滑,但我最近滑雪,我觉得我还受到蛮多的这个这个感受的,我觉得第一是滑雪是一个讲究平衡的运动,你掌握了平衡,你才能滑的起来,第二是你要无所畏惧,的把自己的肩膀朝向山下。我觉得这件事情太这个反直觉了,就人总是害怕的人,你面对山下的这个坡度的时候,你总是想要往回靠。

[05:54:44] 张小珺: 嗯,反本能。

[05:54:46] 谢赛宁: 对你反本能,然后你一旦从跟从你的本能做事情,你向后倒,那你就完全失控,然后完全摔倒,对吧,你只有完全不具备这个这个你你只有足够的勇气,然后不害怕任何事情,然后把自己的肩膀向朝向山下的时候,你反而变得更稳定,对吧,然后你反而你更能控制你的速度。所以这个我有一句话我很喜欢对吧这个可能是哪里的 JoJo’s 里面的动漫里面的《JoJo’sBizarre Adventure》(JoJo 的奇妙冒险)它讲人类的赞歌就是勇气的赞歌。

〔字幕缺失,见文首说明〕我觉得这也是我的一个对于创业的认知,我觉得我觉得需要勇气,但你刚刚问这件事情,在学校是不是也是一样,我觉得他需要更多的勇气,但我在学校做的很多这些决定,嗯我觉得也是一个蛮有勇气的决定,对吧,然后并且还有一句话是这个。我觉得你永远不会独行吧,嗯嗯,会有很多人帮你一起,嗯,也正是因为你有身边的人,所以你才变得更加勇敢。

[05:55:54] 张小珺: 嗯,你刚才说了你对 research 的 taste,你觉得你对人的 taste 怎么样?

[05:56:05] 谢赛宁: 首先,我不觉得应该对人有什么 taste,我觉得对人的 taste 这件事情,好像还是一个居高临下的说法,昂。

[05:56:15] 张小珺: 识人能力怎么样,我换一个说法?

[05:56:19] 谢赛宁: 是但我觉得这也是一个相互的过程,嗯啊我觉得 again 我觉得是有某种吸引力,把能够一起共事的人聚拢到一起,然后我们只需要遵循着这样的吸引力,去找到这些人,跟他们在一起就好了,对,我好像不会,当然也会有一些具体的这些 metrics(考量框架)的吧。我们当然有一些比如我们现在要面试,我也不能说那个你不用面试了,嗯我有一套玄学逻辑可以用来招人,我觉得也不现实。

[05:56:54] 张小珺: 嗯。

[05:56:54] 谢赛宁: 但确实我会比较在乎,昂,一些事情吧,我觉得我会在乎,你到底是不是真的有这种想要解决一个问题,想要去理解一件事情的这样的勇气,和这样的执着,我觉得这件事情对 research(研究),对创业来说都是很重要哦。然后我招学生,其实也会也会需要有这样的能够看到这样的性格的人。

嗯,然后就这个到底是什么意思呢,就是在做 research 的角度来讲,就是说你现在如果有一个问题摆在你面前,这件事情也是恺明跟我说的应该是他讲说你一天起床要想这个问题,吃饭的时候要想这个问题,洗澡的时候要想这个问题,睡觉的时候可能可以不用想那可能带着这个问题睡觉,就你到底有没有这样的 passion (热情),对吧,这样的热情去一直思考这个问题,还是你只是把这件事情,当做一个工作来看待。我觉得这件事情,我觉得是一个可以区分人与人的一个一个标尺。

[05:58:12] 张小珺: 你现在有这个问题吗?

[05:58:15] 谢赛宁: 昂,什么样的问题。

[05:58:17] 张小珺: 嗯就是每天带着它的问题。

[05:58:19] 谢赛宁: 有啊有啊,那当然有了,但我现在问题是,这也是为什么我觉得呢在在学校我觉得待时间久了啊,有点难,因为在学校里面其实作为一个发挥,你需要做各种各样的,我们叫做 context switching (上下文切换),就是你需要切换这种上下文对吧。因为你有好多这种 part(部分),要管理,然后要一起合作。

我觉得在创业公司还是蛮好的我现在可以 focus(专注)一件事情,我可以想我们到底应该组建什么样的团队,这个团队需要什么样的人。我们应该在接下来1个月,3个月6个月,一年解决什么样的问题。

[05:58:56] 张小珺: 嗯。

[05:58:57] 谢赛宁: 这件事情我可能想的不对,但没关系,只要整个这个 team(团队)齐心协力,对吧大家可以 fail together(一起面对失败),pivot together (一起转向),那我觉得这个公司不会失败,我不能保证,我现在的每一个设想都是对的。我觉得 Yann 可能也没法保证,嗯,但我还是相信人,像你说的我还是相信把这些人,有理想有热情,然后想要闯出一番新的天地的人聚合到一起,一定能做出来一个了不起的事情。

[05:59:34] 张小珺: 你是当场就答应他了吗?LeCun。

[05:59:37] 谢赛宁: 没有没有没有这个中间隔了很长很长的时间,也不是 Yann 第一个找的我反正后来,Yann 来负责 recruit(招募)这个团队,那他也要思考说每一个人到底应该有什么样的角色,对我觉得后来我们一起在讨论,一起在协商,而且。我觉得是一个蛮长期的一个过程,然后我觉得大家最后都找到了合适自己的位置。

[05:59:57] 张小珺: 你纠结了多久啊,就从他第一次,告诉你。

[06:00:01] 谢赛宁: 纠结了可能一个星期吧。

[06:00:02] 张小珺: 在纠结什么?

[06:00:04] 谢赛宁: 就是说到底应不应该去创业,去做这件事,到底应不应该跟 Yann 做这件事,嗯,然后或者说是不是去寻求一些新的机会,嗯对吧,然后后来,但我没有纠结很久,对我觉得我觉得 OK,Yann 用他的魔力,我跟大家说其实跟 Yann 说话有点像,他有点像给你就是 casting spells (施法),就是哈利波特一样,给你施一些咒语,嗯说一说一些话。然后你就,不会想其他的了。

[06:00:38] 张小珺: 嗯他对你施了什么咒语?

[06:00:40] 谢赛宁: 没有啊,他只是讲了他的愿景,他只是讲了,为什么这是一个更好的选择?对于我是一个更好的选择,对这个公司也是一个更好的选择,为什么在这里?我可以有足够多的 agency(能动性)跟 autonomy(自主性),就是所谓的自主决断的这种能力吧,然后去打造一个 team,然后去帮我们去设计这一整套的这种执行的 roadmap(路线图),我也,非常非常 grateful(感激),非常感激 Yann 能够给我这样的信任。

对,但我们公司有好几个其他的 co-founder(联合创始人),大家人都非常非常好,一共有6个 co-founder。

[06:01:13] 张小珺: 哦这么多。

[06:01:14] 谢赛宁: 是的。

[06:01:15] 张小珺: 还有一个 CEO,还有什么?

[06:01:16] 谢赛宁: 有一个 CEO,对。

[06:01:18] 张小珺: 还有一个 COO。

[06:01:19] 谢赛宁: 有一个 COO,对然后还有一个 VP of world models,然后还有一个,现在暂时的 title(头衔)叫做 CRIO,他也是一个中国人,by the way 她叫 Pascale,Pascale Fung (冯雁)。

[06:01:34] 张小珺: 这是什么职位?

[06:01:35] 谢赛宁: 呢,更多的是某种介于 research(研究),纯粹 research(研究)跟 product(产品)中间的这种 alignment(对齐)层的这样一个角色,是负责我们的 innovation (创新)的她也之前有很多的创业的经历,嗯,然后我们的 VP of world model,就是 JEPA team 当初的呢这个这个这个 director(负责人)Mike。然后 COO 是当初 Meta 的整个南欧区的 VP。

[06:02:01] 张小珺: 嗯。

[06:02:02] 谢赛宁: 大概是这样的一个组合,所以完全不是一个纯 researcher(研究员)背景的组合。

[06:02:06] 张小珺: 嗯,你们会去探索 to C 的产品吗?

[06:02:11] 谢赛宁: 呢会的而且最后的目的一定还是会有一个 toC 的产品,但我们希望,我们不会受到任何的压力,因为我们还是希望先要把这个 worldmodel,不管你怎么定义它先要做出来。

[06:02:24] 张小珺: 你们现在这个 roadmap(路线图)能规划到几年啊。

[06:02:27] 谢赛宁: 几年当然都很不现实了,对吧我觉得如果能规划到一年,已经很不错了,对,然后我觉得我们不需要更长期的规划。

[06:02:36] 张小珺: 嗯,伟大不能被计划吗?

[06:02:38] 谢赛宁: 呢对啊,就是我不是就跟做 research 一样,我觉得你要有一个探索的过程,开始先探索,先动手做事情,嗯然后逐渐的找到属于你的 idea(想法),我觉得这件事情,对于 startup(创业公司)也是成立的。

[06:02:52] 张小珺: 你觉得现在你们的 idea 进展到哪一步了。

[06:02:54] 谢赛宁: 我觉得进展到了,我觉得我们现在有事情可以做,并且我们还觉得会有一些很快会有一些很 promising(有前景的)结果的这样一个地步,但这件事情,具体的是什么,我们可以过几个月之后,可以再聊。

但是话又说回来,就是这件事情,其实外面的人对这个公司,对于 Yann 还有一个错误的认知,就大家其实不知道什么是 JEPA(联合嵌入预测架构),嗯对,然后其实我个人也经历了好几个阶段,我从质疑 JEPA 到理解 JEPA,再到成为 JEPA,这样人生的三个 stage(阶段)。

[06:03:29] 张小珺: 嗯。

[06:03:30] 谢赛宁: 然后这件事情我觉得也蛮好玩的,因为一开始质疑 JEPA,是因为我们刚开始做 self-supervised learning (自监督学习),做 MoQo(动量对比学习)做 MAE(掩码自编码器)。然后我觉得 algorithm(又一个自监督学习算法),thatis it(就这么简单)。

然后后来慢慢理解 JEPA,是因为觉得 JEPA 其实,比我们想象的走的要更深,它里面会有很多背后的逻辑,有很多数学的原理,并且我们也需要有人在这条路线上,继续坚守下去。因为我们当初发现东西,Scale up(规模扩展)不起来,然后就不做。

[06:04:04] 张小珺: 嗯然后。

[06:04:04] 谢赛宁: 但后来 JEPA,比如说包括我举个简单例子,比如最近有篇 paperl 叫了 LeJEPA。

然后他们就以一个非常严格的证明说如果你要有一个很好的 representation(表征),如果你想要让这个 representation(表征),agnostic to your downstream task (对下游任务无偏好),那它一定是一个 an isotropic Gaussian distribution (各向同性高斯分布),这有点 technical (技术层面),它本质上就是说它是对这种表征的某种性质的一个刻画。然后我发现,这件事情其实还是有它的道理。

真正成为 JEPA,是因为我觉得 JEPA 不是一个模型,JEPA 不是一个具体的算法,JEPA 是整个一套的 cognitive architecture (认知框架),就是一套认知体系。这件事情,是 Yann 在他的2022年的 paper 里面,写到的事情,所以这个认知体系在我看来,是通往一个智能,universal(通用)的智能体的一个在我现在看起来,一个很合理的道路。

所以它需要付 JEPA,JEPA 不止是 Self-Supervised Learning (自监督学习),它需要有这种 world understanding(理解世界)的能力,它需要就是理解世界的能力,它需要能够有做 prediction(预测)的能力,它需要有能做 planning(计划)的能力,嗯对吧,预测跟计划,对,我觉得这件事情让我对 JEPA 有了新的认知。

然后我发现 JEPA 其实不是一个具体的像大家外面说的一样,好像说 Yann 有这样一个方法,然后他一定要基于这样的方法,然后把它做成一个什么样的事情,不是这样的 JEPA 是一个非常非常广阔的海洋,在这个海洋里面可以有好多好多的船,在上面,开。然后最后,这个整个一套系统会有很多的协作,并且 LLM 也是其中的一部分。

嗯,所以这件事情让我觉得嗯,这个公司可以做,并且有很大的机会可以做成功,原因他不是把事情做小了。现在很多 LLM 的 setting(配置)下面,大家是把事情往小里做,但 Yann 的公司是刻意的把事情做大,嗯他有是够的空间让我们去做探索,让我们去做 scale up,直到最后。我们可以有一个某种新的 breakthrough(突破),这件事情到底什么时候来,会不会发生,我们没办法判断,但我觉得这,是一条我愿意投入我的生命去,去走的路。

[06:06:33] 张小珺: 创业以后感觉怎么样,真实的感受,有变忙变累?

[06:06:38] 谢赛宁: 当然是有了,嗯我觉得会有很多 ups and downs (起起伏伏),就是会有很多繁琐的事情,但是也会因为看着这个公司一点点成长起来,看着一些因为我们有4个 office (办公室),有这么多的这个 legal problem(合规问题),whatever(无论如何),这么多的这种 internal friction(内部摩擦),慢慢就是这种本来的内部的摩擦,慢慢变得润滑,这个过程其实也是蛮开心的。

然后在这个过程中,我们也得到了很多很多人的帮助,所以暂时看下来,我觉得我做了一个正确的选择。

[06:07:16] 张小珺: 嗯,跟你预期也许还是会有一点不一样的可能更乐观。

自大的人类

[06:07:21] 谢赛宁: 嗯,对我觉得。

[06:07:24] 张小珺: 跳下来那一刻就恐惧消失了。

[06:07:26] 谢赛宁: 嗯对,我觉得只要有勇气,一切都好说,然后我觉得在这个公司里面,啊,对我是能找到这样的勇气的。

[06:07:35] 张小珺: 嗯,你刚才说 AGI 是个伪命题,你这个能展开一下吗?

[06:07:44] 谢赛宁: AGI 是伪命题,这件事情也是 Yann 经常说的,他之前不是跟 Demis(DeepMind 创始人) 有一个辩论嘛,对吧他就说到底什么是 general intelligence(通用智能),general intelligence 到底存不存在。这件事情我可能也就不赘述,但其实他的这个逻辑也很数学,也很 Yann。

他说的事情基本上,就是说这个人,比如说有200万个视觉的神经纤维,嗯这件事情可以去 model(建模)的所有的可能的这种视觉的函数,其实是非常非常大的它是 2的2的200次方这么多的这种函数,但人能够真正去 process(处理),能够看到的东西,其实基本上啊,趋近于0,对吧,我们受到我们的意识的限制。我们受到我们自己的神经的这种 bandwidth 的限制,我们看不到这世界上发生的一切的事情。

[06:08:38] 张小珺: 嗯。

[06:08:39] 谢赛宁: 所以人的智能是一个非常 specialized(特殊的)的智能,他只能,人只能认知到自己能看到的东西,嗯,然后后来我又补充了一个 Twitter,就是说我看了一本书,are(《我们是否聪明到是以了解动物的聪明程度?》,就是我们到底是不是够聪明,让我们知道动物有多聪明。

[06:09:01] 张小珺: 嗯。

[06:09:01] 谢赛宁: 然后我是觉得看了这本书之后,我会放弃更多这种人类的自大,我觉得这种智能演进,是一个连续的过程,它不是一个说人啊就真的是独一无二,对吧很多时候我们说人很有智慧,是因为人会使用工具,但动物一样会使用具。然后有些人说人其实有这种某种对自我的认知跟意识,一个实验室说人能够看镜子,然后能意识到这个镜子里面的人,是自己而不是另外一个实体。

[06:09:38] 张小珺: 狗是不是也可以啊?

[06:09:40] 谢赛宁: 对很多动物都可以。

[06:09:42] 张小珺: 哦对吧。

[06:09:42] 谢赛宁: 因为有些动物不行。

[06:09:43] 张小珺: 狗狗还蛮喜欢在镜子里看自己的。

[06:09:46] 谢赛宁: 哈哈哈对,反正有很多动物,确实不行,但有很多动物可以嗯对吧,然后也有很多很有趣的事情,比如说像黑猩猩对吧,然局这个作者,这个这个德瓦尔他还写过另外一本书,叫《黑猩猩的政治》(1982年出版,动物行为学经典)。然后就讲这个有四只黑猩猩,怎么样去做这种权力的博弈?就很像这种纸牌屋,或者怎么样这种有很多斗争,然后你怎么样拉帮结伙,然后有一些权谋然后上位,等等一系列故事吧,我觉得这件事情也很有趣。

然后还有一个我觉得我印象比较深的事情,是说比如说它们,其实这些动物,包括黑猩猩也有某种 theory of mjind(心智理论),就它也能有自己的 world model (世界模型),并且它们 world model 还挺强的。

比如有一个例子是说这个实验人员在一个房间里面,然后它有两个 box(盒子)。然后这个 box(盒子)里面比如一个放了香蕉,一个放了苹果,然后我们把这个给黑猩猩看一眼,然后把盒子扣上,然后这个实验人员就把黑猩猩拉出去了,然后过了很长很长时间,再把它带回到这个 room(房间)里面,然后这时候黑猩猩看到第一件事情,是一个实验人员在吃香蕉。

然后黑猩猩,直接,径直就去打开那个装有苹果的盒子,把苹果吃了,看都不看这个香蕉一眼,所以黑猩猩也有某种这种推理的能力,对吧,然后虽然确实语言是独一无二的语言是只有人类有但不代表其他动物不会交流,如果我们它们有它们的语言,包括,像鲸鱼也有自己的语言,反正这件事情还是蛮有趣的我很推荐那本书。

然后包括还有我看到那个叫什么某一种鸟(灌丛鸦),我忘了叫什么就说它们很会,就如果它在埋一个食物,它把一个食物要埋到地底下,如果它发现有它的同伴看到了这件事情,它会先埋在底下,等到这个同伴走了之后把它挖出来,换一个地方重新埋下去。所以我觉得还蛮有意思的,然后当然我们也知道狗的嗅觉很灵敏,然后蝙蝠会基于听觉,我觉得智能的界限是很广泛的大家现在说 jacked intelligence(参差不齐的智能)。

[06:12:09] 张小珺: 那你们的 world model,会先朝着哪一种生物的智能去做呀。

[06:12:15] 谢赛宁: 目标当然是人类的智能,人类智能肯定,还是在至少在一个 dimension(维度)上肯定还是最强的或者说它也是能够最能 benefit(受益)这个世界的嗯,所以我们还是希望 build (建立) ←个 world model,通向 human like intelligence ((类人智能)。

[06:12:30] 张小珺: 嗯。

[06:12:30] 谢赛宁: 但我只是想放弃人类的这样的自大,然后这件事情其实我最近很受启发,是因为看了这个 Rich Sutton,他在这个这个 podcast 上面的一个理论,因为其实我之前,我也不知道我该怎么 address(解决)这件事情。因为大家说 LLM 不是很厉害嘛,LLM 现在可以写 code,可以拿到 IMO(国际数学奥林匹克)IOI(国际信息学奥林匹克)的金牌,可以帮我们去月球去火星。这件事情太伟大了,然后我觉得我没法否认这件事情,这件事情确实很厉害,对吧。

然后但 Rich Sutton 这个他的回答,我觉得就,很好他回答是说你觉得这件事情很伟大很厉害吗?很难吗那你就这么觉得吧,因为我不这么觉得,我觉得能够打造出来一只松鼠的智能,这件事情才是难的问题。

一旦你有了一只松鼠的智能,一旦你能够去 build 一个松鼠的智能,能够让它在这个真实的世界活下去,它有自己的 goal (目标),它有自己的目标,它有自己的像你说的这种 intrinsic reward、(内在奖励),它知道饥饿,它有自己的 emotion(情感)。然后他能够有一定的社群的活动,后面的写 code 上火星上月球,这件事情都是再容易不过的事情。

好,我现在慢慢觉得我非常认同这个观点,如果抛下人类的自大,打造松鼠的智能,其实是一个更难的问题,但对人来说不是这样,对人的认,对于我们的认知来看,好像不是这样,但这件事情完全是因为人类的自大。

[06:14:03] 张小珺: 你们也要做人类的智能啊。

[06:14:05] 谢赛宁: 啊是啊,但就是说这个人类的智能有很多很多点,人类的智能不只是语言模型,人类的智能有很多智能,不能通过语言模型,或者语言本身所决定,对我觉得这是一个核心的观点。

[06:14:22] 张小珺: 你对智能的定义是什么样的?

[06:14:24] 谢赛宁: 嗯所以说刚刚说这个 Rich Sutton 讲这件事情,他觉得松鼠的智能才是真正的智能,我觉得他的定位有点不同,他定位不是站在人类的视角,以人类中心的视角看待这件事情,他是站在宇宙,跟造物主的视角看待这件事情,在这个角度,那当然,能够重新去造出一只松鼠这件事情,要比你的你的人类文明在这530个 millionyears。最后的8秒创造的东西,要伟大的多啊,在这个意义上,我觉得又升华了,我觉得上价值有道理。

但怎么样定义智能这件事情,我觉得我不会想要去给它一个定义,我觉得就是不同的动物有不同的智能。然后人有 human level intelligencel(类人级别智能),嗯,然后我希望鼓励大家的事情是说不要只关注那些,我们每一个个体做不到的事情,关注一下我们现在做的很好的事情,关注一下一个4岁小孩,或者说几岁小孩就能做的很好的事情,这些事情,其实是我们接下来世界模型,需要着重去解决的问题。

嗯所以这件事情也是为什么 Robotics(机器人产业)是一个最后?非常合适的出口,因为在你谈论什么 AGI(通用人工智能),这个 super intelligence(超级智能) 之前,能不能先有一个足够 reliable(可靠),足够 general (通用)的 robot(机器人),能够在我们的家庭的环境里面,帮我去解决一些家务。

对吧因为一个几岁的孩子,其实能做很多很多的家务,这个有一个列表。你可以去网上搜一搜,一个12岁的孩子,基本上可以做所有的家务了,但现在到底有没有一个机器人,能够像一个12岁的孩童一样,去承担这些家务。

[06:16:12] 张小珺: 当然没有谭捷 DeepMind,谭捷,他也说就是机器人发展是极不平均的极不平衡的他跟一个小孩的成长的轨迹,是不一样的嗯嗯比如说,现在机器人的四肢的发达能力已经比,他强了已经比人强了,嗯,但是很多其他能力都还不如一个小孩。

[06:16:32] 谢赛宁: 因为大脑,没有人做大脑这件事,没有人构建机器人大脑,所有的机器人创业公司,包括在大厂的机器公司,都没有去解决这件事情。

[06:16:43] 张小珺: DeepMind 不算吗?

[06:16:44] 谢赛宁: DeepMind 现在完全也是基于 Gemini,所以他也是在 VLA 的框架前去做。

[06:16:49] 张小珺: 是。

[06:16:50] 谢赛宁: 所有东西收敛到 Gemini,哦,但这件事情需要一个预训练的下半场。

[06:16:57] 张小珺: 嗯。

[06:16:58] 谢赛宁: 按姚顺雨的这种经典说法,哈哈哈我觉需要下半场,但我觉得这是一个预训练的下半场。

[06:17:05] 张小珺: 嗯。

[06:17:05] 谢赛宁: Jim Fan 其实最近也发表了同样的观点,那这个预训练就是 world,model,预训练这件事由谁来做,这件事情对我来说是不清晰的如果我知道有另外一个地方也可以做这件事的话,那我可能真的还可以考虑一下,我也不一定非要在。现在这个 startup,自己做这个事。

对吧,robotics startups (机器人创业公司),没有任何的精力去做这件事,他们需要把自己的资源,投入到所谓的硬件,Scaling Law (规模定律),就是你需要买更多的机器人,去 deploy(部署)这些机器人。

然后或者在 simulator(模拟器)里面去做这些这些 imitation learning (模仿学习)的方式,能够让你有一个足够好的能够在短期内解决一些这种具体问题,创造价值的这样的机器人团队。

[06:17:52] 张小珺: Pl 呢(Physical Intelligence,机器人公司)。

[06:17:53] 谢赛宁: VLA 对吧,PI 也是一样,Pl 已经是一个非常非常 researchy(研究导向),然后做的已经非常非常不错,而且有启发性的一个公司了,但 again(同样的)他们不会做预训练,他们不会做 pre-taining (预训练),他们会拿这个 language model (语言模型)作为他们的 foundation(基础)。

[06:18:11] 张小珺: 昂。

[06:18:12] 谢赛宁: 对吧。

[06:18:12] 张小珺: 你们的预训练下半场怎么理解啊?就它输入什么输出什么?

[06:18:17] 谢赛宁: 不知道至少第一步就是长期来看,就是输入的是所有的像我刚刚说的连续空间,高维度的可能有噪声的信号,嗯,那一开始可能可以还是 video(视频),但我们也可能会有一些多模态的 encoder(编码器),去 handle(处理)不同的这种除了视觉之外的信号。然后输出的东西,这是 research(研究)的问题,这是还不知道 Self-Supervised(自监督)的那个问题。

[06:18:41] 张小珺: 我。

[06:18:42] 谢赛宁: 不一定不知道,但是可能之后会更清楚,嗯,但是这件事情,我觉得肯定没有那么容易了,但我觉得这也是 exciting(令人兴奋)的地方之所在。

“42”

[06:18:58] 张小珺: 我还觉得挺有意思的,因为我们第一次见面,你就说 you are not the chosen one(你不是天选之人),you-are just the normal one(你只是个普通人),你为什么这么喜欢说这句话?

[06:19:08] 谢赛宁: 没有你看我这个一路我们也讨论了我这些这个成长历史,我我其实没有预料到我们会聊这些,但是我觉得肯定不是那种天选之子,然后这句话其实也是我喜欢的一个球队,对吧就是利物浦。然后我是一个 KOP【利物浦安菲尔德球场的传奇看台,也是狂热球迷的代名词),已经20多年了,然后我觉得也有点气质相投,然后最喜欢的一个教练,这个克洛普,Jurgen]Klopp (利物浦教练, 绰号 The Normal One)。

然后他其实是有点半开玩笑的跟大家说就当初另外一个教练,José Mourinho 穆里尼奥,然后说 l am the Speciallone(我是那个特别的人)。我是特殊的一个,然后克洛普说 I’m not the special one (我不是那个特别的人),Im the normal one (我是个普通人)。

然后我觉得这件事情,一方面他自己又非常朋克,他又是那种摇滚气质。然后呢,他又经常跟大家说他觉得他在团队里的定位,就是一个电池的作用,他希望能够通过自己的 passion(热情),自己的能量去 you know,让其他的人啊,给其他人的发电。

[06:20:14] 张小珺: empower(赋能)。

[06:20:15] 谢赛宁: empower 其他的人,嗯对,我也想成为这样的人,我也想成为一个团队,不管这个团队是在学校,还是在创业公司的一块电池,我觉得这件事情其实不容易,因为有时候,每个人都会有沮丧的时间。

[06:20:31] 张小珺: 嗯。

[06:20:31] 谢赛宁: 我也想这个多吐槽,然后抒发一下情绪,但我现在慢慢觉得在学校比如在学生面前,然后在创业公司的团队面前,需要能够有人有这种电池的作用,或者说我觉得 Yann 是一个巨大的电池,他感召了我但我希望把这个电力通过我也输送下去。

[06:20:57] 张小珺: 你最近一次感到沮丧是为什么呀?

[06:21:02] 谢赛宁: 我天天都感到沮丧,我觉得这个已经变成了一个,这也是 researcher 的一个宿命吧,我觉得大家这个底色都挺悲凉的原因是 research 的求索过程,就是在一个暗无天日的这样一个一个地方去摸索的过程。

[06:21:21] 张小珺: 嗯。

[06:21:22] 谢赛宁: 你看不见光亮的时候,你总是会感到感到迷茫跟沮丧,然后大家真正感受,到这种快乐的时候,无非就是你真正把东西做出来的时候,但这一部分的时光,又是非常非常短暂的对吧可能也许只有5%10%,恺明好像也说过类似的话。

所以长此以往,对吧以后这个大家大家心理状态也很堪忧,但我觉得还好,我觉得呢,我觉得现在这个时代,还是跟原来不不那么一样了吧,就是我觉得现在会有更多的讨论,我觉得这也是这个 AI 这一波带来的好处,就是至少,大家不会觉得自己是在一个幽闭的空间里面,独自的探索,至少大家可以刷刷小红书,刷刷微博知乎,看看大家是怎么讨论这件事的。我觉得这件事情有时候还是挺解压的但有时候也挺增加压力的被人骂的时候你就不这么想。

[06:22:22] 张小珺: 你们公司有创业者人格的人吗?有创业者人格,一般还蛮乐观的。

[06:22:28] 谢赛宁: 我觉得 Yann 本身就很乐观,非常非常乐观。

[06:22:32] 张小珺: 他为什么不是 researcher(研究员),这种悲凉的底色?

[06:22:35] 谢赛宁: 哎我不知道,因为他经历过悲凉,然后成功了吧。

[06:22:41] 张小珺: 哦。

[06:22:42] 谢赛宁: 他经历过这个 A 的寒冬,然后告诉所有人,他是对的你们是错的如果我经历一下这件事情,我可能也没那么悲凉,他还是蛮乐观的,我觉得这件事情,或者说他过去的这些经历,也让他更有信心。然后他经常说的一句话是,这件事情,跟过去 deep learning neural network (深度学习神经网络)发生的事情,一模一样。

[06:23:04] 张小珺: 哪件事情。

[06:23:05] 谢赛宁: 就是现在 world model,或者你不管怎么叫它,现在的系统,现在智能系统搭建,他说总有一小群人,大家能够清晰的看见这个世界发展的脉络,这个科技的进程,但是他们只是一小人,大部分人看不见,对,因为大部分人都在忙着做其他的事情。

那可能 deep learning(深度学习),之前那可能就是做一些 whatever,嗯其他东西,traditional machine learning (传统机器学习),嗯那现在你这个东西就是。你可以嗯,不说了想一想哈哈,然后我觉得他其实还是蛮乐观的或者说他有是够的 confdence (信心),然后说我能看到的事情是重要的事情,我能看到的这条路线,是一个清晰的路线。然后在这件事情上,我还蛮相信他的。

[06:23:59] 张小珺: 你有怀疑过他吗?

[06:24:01] 谢赛宁: 呢,我说了嘛,我质疑 JEPA,然后理解 JEPA,成为 JEPA,所以当然有过怀疑,但我觉得对人的信任,和对一条 research 主线的信任,这件事情是需要时间的我前两天还在跟学生说 Yann 每次出去给 talk (演讲),会给一模一样的-个 talk,就是他那个 slide(演示文档),也是说实话挺难看的哈哈,然后但是又有他个人化的风格。

就风格跟 design(设计)。这件事情也很有意思,就有些东西本来很丑,但你用的多了,等到时间发生了变化,它又变成了新的时尚。

但,他每次给这样一个同样的 talk,我最近体会就特别特别深,我就说我这个 talk,已经翻来覆去看了至少10次,20次了但每次都有新的收获,每次我都会觉得好像我更加 understand(理解)他到底是什么意思。然后这件事情的这个更多的 understanding(释义),不是因为我看了10次20次同样的内容,得到了这个新的 understanding(启发),而是因为我自己在做我自己想做的事情。

[06:25:09] 张小珺: 嗯。

[06:25:11] 谢赛宁: 然后我能找到就是我在看他 talk 的时候,每次都会去做这种翻译工作,跟联想工作,我会发现原来他说的这件事情,在我现在的认知体系下,是可以这样解释的他跟甚至现在的 large languagemodel 的范式,多模态的范式一点都不冲突,所有的东西,Yann 说的话都可以被很清晰的 map 到。我们现在在做的具体的事情上。

并且指导我们可以走出也许某种 local optimal (局部最优),然后也许可以通向一个不一样的未来,嗯所以它变成了一个 inspiration(灵感),对吧,它不只是 knowledge(知识),它是一个 inspiration(鼓舞),嗯,所以这件事情我觉得也很奇妙,嗯。

[06:26:01] 张小珺: 我们刚才聊了很多世界模型,你对这个真实世界的世界模型,有什么新的思考吗?在过去一两年。

[06:26:09] 谢赛宁: 我觉得就是说这件事情一定要,超出这种 research 的局限,researcher 的局限,一定要走到真实的生活里面去,然后要,了解到这个真实世界发生的事情。

但是我觉得纽约很不一样,我就每天上班。首先我不用开车,所以已经开始进入到从一个从一个铠甲脱离出来,进入到真实生活开始,开始步行,这件事情,我觉得也有很多很奇妙的这种反应,比如说我每天有时候其实还是压力蛮大的。有时候遇到一些事情,还是蛮沮丧。

但每当我穿过这个从我家到我学校办公室,会有一个公园叫 Washington square park (华盛顿广场公园),华盛顿公园。然后里面形形色色的人,什么人都有啊,大家都在过自己的生活,有弹钢琴的艺人,有跳舞的有这个推着婴儿车的妈妈们,有下象棋的老大爷,然后有坐在台阶上什么也不做,发桌的年轻人,也有拿着电脑学习的 NYU(纽约大学)学生,我觉得我每天最解压的时光就是这大概5到10分钟的路。

我会发现这个世界比我们想象的要大得多,不是所有人都关心什么叫做 AI,他/她们可能不 care 这件事情,然后他/她们有自己的生活,这个世界很大,但另外一方面,也许 AI 在未来某一天,确实会影响到他们的生活,那我们到底应该做什么。我们作为一个 researcher,有没有某种社会责任。

但这个可能说的有点远,但我只是觉得多跟人接触,多跟生活在这个世界里面的人接触,让我对什么是 A,应该怎么样去做下一代的 AI,会有一些新的认识,于是这件事情,正是 lya 当初给我打电话的时候,他想要跟我聊的东西,但我那时候还没有这些感悟。

[06:28:25] 张小珺: 有了什么新的爱好?

[06:28:27] 谢赛宁: 新的爱好,在纽约吗?

[06:28:29] 张小珺: 对。

[06:28:31] 谢赛宁: 没有什么新的爱好,我觉得滑雪算一个吧,其他大部分时候,可能还真的是没有时间,但是在纽约的好处是你知道你出门之后,就能够去找到一个新的爱好,这件事情本身对我来说已经足够开心,不管我有没有时间真的走出门去。然后做这些事情,嗯,有这样一个机会在这,我觉得还是蛮不一样,跟湾区也很不一样。

[06:29:05] 张小珺: 能分享一下,除了工作以外,你有什么喜欢的音乐,喜欢的书,电影喜欢的游戏,现在?

[06:29:13] 谢赛宁: 昂,这件事情还蛮难想一时半会儿我就不太,我觉得还是通过 A 来讲吧,我觉得最近看了什么东西,我想想啊,嗯,我还挺爱看电视剧的,所以可以推荐一些电视剧,可以给大家看一看。

嗯,有个电视剧叫 POI,也是一个很老的剧,好像 Person of Interest (《疑犯追踪》),这个我很多年前看,在那个里面,大家讨论了什么是一个 super intelligence(超级智能),你有一个好的 super intelligence,和一个坏的 super intelligence,他们之间的竞争,跟对这个人类社会的威胁。

然后我觉得这件事情,我就不剧透了,但是还是挺多模态的而且这件事情有可能有,我觉得有一定的预言性,我觉得还挺挺神奇的嗯对,本质上它就是怎么样,从一个在一个盒子里面的语言模型,或者说一个可以写代码的这样一个 agent,一步一步跳脱出来,变成一个多模态模型的一个过程。我觉得大家可以看一看。

然后到后面当然还有我很喜欢的比如说像万神殿(Pantheon 美剧),这也是一个,我觉得是一个某种 A 的预言,对他是一个动画,他的作者是这个刘宇昆(美籍华裔科幻作家)。他也是我的老乡,然后但他也是一个当过什么律师,当过码农,然后最后变成了一个小说家,的这么一个人,非常非常厉害,我非常非常敬佩他,然后他的书我也很爱看,对,但这部剧之前也被 SamAltman 推荐过。所以很多人也都看了。

还有最近当然就是这个很火的这个同乐者,叫做我觉得这件事情也是一个 AI 的预言,现在有一点麻烦的事情在于,这些流行文化被 AI 渗透的太多,导致所有事情好像都跟 AI 有关系,有点受不了。

但是作为一个那可能只是因为我是一个 AI 从业者,所以有时候,会有不一样的感觉吧,但我觉得其实这些事情还是蛮有启发性的包括我之前说的这些科幻小说包括这些老的电影。我觉得他们可能都是某种现实的预言吧,但通常来讲,这些影视作品,都没有去指向到一个很光明的未来,通常来讲结局都是挺惨淡的。

[06:31:42] 张小珺: 嗯。

[06:31:43] 谢赛宁: 啊我最近还看一个电影,好像叫 No Other Choice,可能翻译过来叫别无选择,朴赞郁(韩国著名电影导演)的一个电影,然后他讲的也是 AI 对人的异化,他全篇这个电影,没有讲任何关于 AI 的任何事情,直到最后,但通篇都在讲。因为 AI 的到来,人到底发生了什么样的变化,人的心态,人与人之间的关系,到底发生了什么样的变化,我觉得这些事情也很有借鉴意义。

然后说到电影最后说一句,就是欢迎大家来纽约,在纽约,以前我会参加一个电影节,就是纽约电影节,会有很多这些电影可以看。现在我会参加两个了,第二个是这个 Runway 每年举办的 AI 电影节,然后我觉得也很酷也很有趣,要推荐的话,跟我们刚刚说的这些事情都很相关的一个今年的得到他们大奖的这个 AI 电影叫做 Total Pixel Space,叫做中文可能叫做全像素空间。

然后我也不剧透,反正,这是一个很有趣的一个 A 的短片,然后它其实讲了很多,我们刚刚讲到的关于世界模型,或者说为什么人的 intelligence,不是只是简简单单的或者不是 purely general (纯粹通用)的这种 intelligence 的一些 argument。我觉得很好玩。

[06:33:10] 张小珺: 嗯我们的每一位嘉宾,都会给我们的观众推荐一个人生之书,就是希望它是真的影响过你改变过你你的会是什么呢?书吗嗯。

[06:33:20] 谢赛宁: 好难啊你得让我想一想。

[06:33:22] 张小珺: 嗯。

[06:33:23] 谢赛宁: 一本书,我猜大家可能都经常推荐,然后但,这本书之所以对我的人生改变很大,我觉得不能说对人生改变很大,但是是我在本科的时候,一个群体性的记忆,就大家会看,这本书叫做《GEB》,你有听说吗?就是《哥德尔、巴赫、艾舍尔》,中文名叫《集异璧之大成》,里面讲了很多关于哲学,关于数理逻辑,然后以及这三个人对吧,哥德尔巴赫跟艾,舍尔对吧,一个数理学家,一个音乐家,然后有作曲家。然后以及一个画家嗯,他们之间是怎么样能够他们到底有哪些哲学的共同点,可以这么说。

[06:34:21] 张小珺: 对。

[06:34:21] 谢赛宁: 然后这件事情很有趣,是因为我们本科的时候,这本书有这么厚,我们组团在学习这本书,这也是我们老师推荐的,所以大家组团学习这本书,然后其实当初大家也看不懂,但是到后面可能越来越觉得这件事情,嗯有点道理,嗯,这本书。我觉得如果没有时间去仔细看每一页的话,也可以稍微读一个精简版,或者某种 summary(总结),它里面有些观点,我觉得非常非常有意思。

然后还有一本书是那这个也是可能是本科的时候看的叫做《禅与摩托车维修艺术》,还是叫摩托车修理,《Zen and the Art of Motorcycle Maintenance: An Inquiry into Values》,好像叫这个名字,对,然后这本书也是一个内心求索的过程,嗯他讲的就是一个人骑着摩托车。然后有一个这样可能又剧透了,有一个想象的中的这样,一个哲人,但其实这个哲人就是他自己的投射。

嗯我觉得我看这本书的感觉是我也,其实并没有完全看懂他到底在说什么对嗯,但是有些书有些电影会把你装满,有些书或者有些电影会把你掏空,我看完这本书的感觉是他有点把我掏空了的状态。

[06:35:52] 张小珺: 哦~。

[06:35:53] 谢赛宁: 然后让我让我感觉到了一些嗯,对这个说起来又虚了,然后反正让我觉得呢,让我让我感受到这个世界里面到底什么重要,什么不重要。

[06:36:10] 张小珺: 对于你来说什么重要,什么不重要?

[06:36:17] 谢赛宁: 我不知道,我觉得永远在找这个平衡吧,我觉得嗯,我觉得人与人之间的真诚交流是重要的也许其他都不重要,但我在某一个时间点上,你要问我这个问题,那可能我觉得,我会说创业很重要。我会说 research 很重要,但归根结底,我还是相信,人与人之间的交流这件事情很重要。

[06:36:44] 张小珺: 听起来你想做 research 也是为了交流。

[06:36:47] 谢赛宁: 呢对啊,我觉得是啊,而且我觉得 research 本身也是一个 deeper connection(深度链接)吧。

[06:36:53] 张小珺: 嗯。

[06:36:55] 谢赛宁: 这件事情,其实我们在融资的过程中,还帮到了我们。

[06:36:58] 张小珺: 为什么呀?

[06:36:59] 谢赛宁: 就有一个投资人很愿意投我们,然后他的原因,原因是原因是他认识的一个很强的一个创业者,也是一个研究员,然后他说喉,你们一定要投赛宁,然后我们不管以什么样的方式,都要帮到他我跟这个人只在开会的时候见过一次,谁啊然后后来这个。

[06:37:22] 张小珺: 谁呀?

[06:37:22] 谢赛宁: 呢,谁啊,这个 Robin,Robin Rombach,就是他是这个 Latent Diffusion Models》 ),是现在 Black|Forest Labs(德国开源图像生成模型公司)的 CEO,对,Flux 对吧。然后这个我觉得投资人跟我说:其实他之所以会这样,就是这种信任关系,是建立在你的学术工作之上的这种信任关系,甚至有时候会远超于你真正的 personal (个人)的这种 connection (联系)。

[06:37:57] 张小珺: 哦。

[06:37:57] 谢赛宁: 大家通过一你的一篇作品了解你,然后这件事情会,传承下去,甚至可以走的很远。

[06:38:06] 张小珺: 你怎么看现在这个 Seedance 啊?

[06:38:09] 谢赛宁: Seedance 非常厉害啊,Seedance 这个真的让,让我们这个今天的摄摄制组的朋友,也可以来讲一讲,我觉得非常强,然后我听说他们也是一个很大很大的模型,而且是一个 MoE 的模型,不知道这个小道消息是否属实。

因为在此之前,我知道大家没有人能在这种 Diffusion Model(扩散模型)里面,把 MoE 做 work,如果他们真的能够做到 200个 billion parameter (十亿参数),并且是一个 MoE 的架构,并且他们能够把这些数据吃进去。我觉得非常非常了不起。

[06:38:40] 张小珺: 嗯。

[06:38:41] 谢赛宁: 然后但是所有这些生成模型,90%还是一个 data 问题,架构不重要,90%或者我再说95%吧,都是一个 data 的问题。

[06:38:55] 张小珺: 嗯他的 data 本身就多。

[06:38:57] 谢赛宁: 他的 data 本身多,但多不够。

[06:39:00] 张小珺: 嗯。

[06:39:01] 谢赛宁: 他们应该做了大量的工作,去清理这个数据,去做 captioning(描述生成),去校对这些数据的分布,他们 Diversity-Quality (多样性-质量),以及他们和语言的这个 prompt alignment (提示词对齐),程度,我相信,这里面应该有大量的人参与这个工作。然后做了大量的事情。

对,但是一旦你把这些事情做好了之后,后续的事情,就变得简单很多但我觉得我觉得 seedance 很厉害,我觉得包括 Sora,包括 Veo,想要超越。我觉得不一定那么简单。

[06:39:42] 张小珺: 我们的工作室叫语言及世界工作室,当你听到这个名字的时候,你在想什么啊?我看到你给我写了一句话叫放,呢叫那个。

[06:39:51] 谢赛宁: 放开维特根斯坦,哎呀你这个结尾是不太好呀,我又要开始吐槽了。

[06:39:56] 张小珺: 对没事,你吐槽我说放开维特根斯坦。

[06:39:58] 谢赛宁: 是说你不要大家不要拿着维特根斯坦,然后来使劲,把它作为一个语言的边界,就是我世界的边界的把这句话拿来当做一个 LLM,或者语言决定论的背书,所以这件事情完全是很离谱的。然后同样的话,也有其他的话,比如说大家说这个费曼讲 what I cannot create,I do not understand (我不能创造的我就无法理解)。这件事情,拿来当做一个 unify model (统一模型)的背书,我觉得这件事情,这两件事情都让我实在是接受不了。

第一件事情是什么呢,第一件事情是维特根斯坦对吧,他当初讲的这个语言的边界,就是我世界的边界,是有强烈的前提的他在这个《Tractatus Logico-Philosophicus》,什么《逻辑哲学论》里面讲的这件事情,是说你的他指的语言针对的是可以被命题,刻画的这个世界的边界。然后这件事情不代表 general(普遍)的整个我们所说的这个世界,然后所以这件事情,第一就是他说的这个语言和他说的世界,本来就跟我们现在 LLM 里面说的语言,跟世界有区别。

第二维特根斯坦在后期的时候,已经完全推翻了自己之前的这个一整套的这种哲学体系,他后来不再说这句话了。然后他讲的事情是语言其实是一个游戏,所谓这种语言游戏这样的一个概念,就说语言本身没有意义,这些 symbol(符号)本身没有任何意义,它之所以发生意义,是因为它跟真实世界的实践,发生了关系。

[06:41:34] 张小珺: 嗯。

[06:41:35] 谢赛宁: 然后这件事情就很世界模型了,就是我们并不是说语言就能够去完完美美的去 represent(表示)整个这个世界,我们说的事情是说这个世界的实践,这个世界的 action 决定了语言这个游戏,它的内涵跟外延,嗯,again,我不懂哲学,我也不懂维特根斯坦,但我只是不喜欢看到大家 paper 里面,开篇先拉一句话放在这。然后我觉得这件事情不符合我的审美。

包括费曼那句话也是一样,嗯他说:what I cannot create,I do not understand,这句话本身没错,但他说的这个 create 跟 understand 是说比如说我们有一个世界。我们要认识这个世界,我们要改造这个世界,我们要通过改造世界的方式,去认识这个世界,whatever,他说的这些事情,还是在一个真实的具体的世界里面,要有某种 action 的嗯即使是你是上课,你去你去做一个 PPT,你还是一个创造的过程。

但现在很多人会把这句话,拿来去做这种呢,某种简单的 unihed system(一体化系统)的一个背书。这件事情逻辑上也是不成立的,我们不能简单把 create 这件事情,归结于一个 diffusion model (扩散模型),它反向传播的这么一个 loss(损失)。这件事情完全是离谱的。

[06:43:04] 张小珺: 嗯对吧。

[06:43:04] 谢赛宁: 所以我不知道,我觉得就跟我可能也是我小时候,写作文这个名人名言用多了吧,现在看到这些事情有点 PTSD,然后我觉得像恺明讲的大家可以多读读哲学,我觉得这件事情还是蛮有意思的。

[06:43:25] 张小珺: 嗯你一开始就说你相信命运,而且越来越相信,你现在感觉命运在把你往哪里推?

[06:43:32] 谢赛宁: 啊,我觉得我不知道啊,命运在推我吗?好像也没有,我觉得好像没有被命运推着走的感觉,嗯只是嗯在下一次需要做选择的时候,希望上天保佑吧。

[06:43:55] 张小珺: 这个世界是一个巨大的世界模型吗?

[06:43:58] 谢赛宁: 这个世界当然是一个巨大世界模型。

[06:44:00] 张小珺: 那你能预测命运吗?

[06:44:02] 谢赛宁: 呢我觉得不能。

[06:44:04] 张小珺: 为什么呀?

[06:44:06] 谢赛宁: 嗯,因为我们资源不够。

[06:44:09] 张小珺: 哦。

[06:44:09] 谢赛宁: 你需要用地球这么大的一个计算机啊,或者说你要有一个整个宇宙作为你的计算机,才能告诉你一个关于生命,关于宇宙,关于任何事情的答案,这个答案最后可能是42。

结尾

最后一条对白字幕出现于约 06:44:26,之后为收尾画面。