陈天奇:机器学习系统,长期主义,初心,XGBoost,MXNet,TVM,MLC LLM,OctoML|WhynotTV Podcast #3
说明
本文由视频画面中的硬字幕逐条提取,按说话人合并成段,保留口语原貌与字幕自带的括号释义,仅补充标点、区分说话人,未作改写。时间戳为该段发言开始的时间;同一人连续发言拆成多段时,续段不重复姓名和时间。
- 主持人: 泰然(WhynotTV Podcast 主播)
- 嘉宾: 陈天奇
- 视频时长: 02:40:10
- 来源: https://www.bilibili.com/video/BV1s6pgzLE3y
开场 [00:00:00]
↓ 以下
[00:00:00]~[00:02:26]是片头预告与主持人开场白,与正片内容重复,非正片对话。
[00:00:00] 陈天奇: 我们刚开始做MXNet的时候,完全不会担心Tensorflow能够对我们产生什么样的竞争。你去做一件比较平庸的问题和一个重要的问题,花的时间几乎是一样的。时间是有限的,所以一定要做想要做的事情。我觉得很多时候,你的勇气可能是你过去的自己给你自己的约定。其实最后你开始startup(创业)之后,开始想要做的东西和你后面要做的东西肯定是不一样的。
所有东西都是必须要能够reinvent yourself(革新你自己)(如果) 还是继续抱着我们原来的技术路线,就是继续去优化ResNet,这个我觉得最后我们会输得很惨。这段经历会让我觉得我会更现实,怎么样能够通过现实的方式去更好的实现理想。我还在一直写代码,我现在还在一直写代码。失败也没那么可怕,然后要接受可以失败这个事实。
其实我觉得现在的我,最难的事情还是要保持初心。
[00:00:59] 泰然: Hello大家好,如果你学过机器学习,那么你对以下几个名字不会陌生:XGBoost、MXNet、TVM、MLC LLM。而在这几个项目名背后,有一个共同的名字,它就是本期嘉宾陈天奇。过去15年,陈天奇把让机器学习模型更轻、更快、更易部署做成了一条清晰的技术主线。陈天奇不仅仅是AI领域一个响亮的人名,他还影响了我对机器学习和科研最早的认知。
2019年,陈天奇写下知乎文章「机器学习科研这十年」,收获上万点赞。转眼6年过去了,陈天奇在机器学习这条路上已经走了快20年。从最早的大数据,再到深度学习,再到今天的大模型,从陈天奇的视角看,这20年的激荡会是什么样的风景?
在这期节目,你会听到会把他的每一个开源项目都拆解清楚,也会走进陈天奇的个人经历:他年少如何与计算机相遇,高二的时候如何自学写编译器,在交大ACM班打下系统功底,在UW的科研突破,到最后同时走向创业和教职两条路。我们还聊到了陈天奇的底层价值观:长期主义如何落地,如何在不确定性中坚持,敢失败的勇气。
在科研、创业、教职三条路都获得成功后,陈天奇在筹划着什么样的下一步?这里是WhynotTV Podcast,现在请和我一起进入陈天奇的世界。在童年的时期,在接触计算机和机器学习之前,那个时候的你,对什么事物最感兴趣?
在童年时期对什么事物最感兴趣 [00:02:28]
[00:02:33] 陈天奇: 我觉得关于就是去大学之前的嘛,我觉得最有趣的经历,开始接触计算机的那段经历。就是我的高中是在一个浙江省的一个小县城的县中,而且它现在就是排名不是那个县最好的中学。原因是因为我母亲她是那边的高中老师,然后我们当时觉得就是自己在自己地方上学也挺好的,于是就在那个叫松阳二中。
然后在那个时候,其实在初中的时候,我们当时就是一开始的时候,我开始有点想要接触计算机,原因是因为当时觉得哎,这个就是有电脑,然后你可以上网,有很多人可以做网页,非常的酷。于是我当时就找到了当时我们计算机的一个启蒙老师,他叫何老师,然后他这个你能不能教我学计算机?当时我的想法是我可以马上学会做这个做网页,然后做很多炫酷的东西。然后他给了我一本C语言编程入门。
[00:03:41] 泰然: 那时候你多少岁?
[00:03:42] 陈天奇: 那时候应该是上初中吧。刚上高中的时候应该是00年左右?对,差不多。应该不是00年,我是06年上的大学,03年左右。03年左右,对。然后就是当时就是就开始学习编程这条路,但是基本上在高中生涯中都没有学会做网络和做游戏,基本上就是差不多是这样子。
然后而且我当时觉得比较幸运的是,其实就是当时其实信息竞赛在网上已经有非常多的资料了,就是你可以找到那个OJ(在线评判)。当时有一个Forum(论坛)叫做大榕树,现在已经大概不在了。大榕树?对,叫大榕树,是做OI(信息学奥林匹克竞赛)的一个论坛。
然后因为其实我的启蒙老师他本身不是做比赛这方面,他只是就是教计算机,所以其实当时我们在一个县中并没有任何的资源可以去就是入门这个东西。但是因为当时网上有online judge(在线评测),然后有公开的资源,所以基本上我就在那个时候就开始自学这个编程和开始打比赛。
当时就是,然后然后当时就是学完之后,其实在高二的时候,因为我当时开始比较晚了,就高二的时候去参加NOIP就省赛。当时我记得比较清楚的是初赛没有过,然后后来somehow还是去tag along(跟着一起去)去参加了一下那个最后的那个省选。哦不是省选,应该是省里面那个比赛。然后最后发现最后就拿了二等奖。当时然后后来第二年的时候,高三的时候是拿了一等奖。
就基本上全部是自学这个东西。然后所以我就那段时间的经历,其实对于我后面选择计算机这条路,其实非常的有很大的影响。而且我觉得当时就让我感觉到,其实因为有互联网,它可以让我们比较自由地接触到这些信息,可以就是让我一个相当于草根选手也可以慢慢地进入到这个领域里面来。我觉得that’s really amazing(这真的很棒)。
然后另外一个比较有趣的事情就是,可能因为当时我一开始的时候就不是特别的,就有点初生牛犊那种感觉,就是其实我在高二的时候,当时就因为自己兴趣嘛,当时就尝试开始自己写编译器。当时就是就是觉得哎,这个东西很酷。因为当时我们做那个online judge(在线评测)的时候呢,其实是大部分的编程语言,在我高中的时候,主流的竞赛语言是Pascal,然后我自己是写C语言。
[00:06:24] 泰然: 当时为什么你写C,别人写Pascal?
[00:06:27] 陈天奇: 因为可能纯粹就是因为我的我当时入门的时候就学了C,就只有C语言。因为我没有正规的,比如说我如果说是在一个正常有竞赛教练培训的学校,估计当时大家都是all go Pascal(都用Pascal),因为that’s the standard(那是标准),对吧?但是因为我是自己就是野路子出家,然后当时就看了C语言。
[00:06:46] 泰然: 其实你学这个计算机竞赛是自学的?对,基本上是自学的。但当时你是出于自己升学的角度考虑,还是你纯兴趣?
[00:06:55] 陈天奇: 一开始纯兴趣,纯兴趣就是当然,然后有人建议说你为什么要不要去打打看比赛?I think that that’s very(我认为这很)然后其实一个小孩子当时刚开始做这个东西的时候,发现你可以这个就交OJ(在线评测),你可以就那个,还是非常有reward的experience(有积极反馈的体验),所以就是开始get into it(入门)。
而且当时因为做OI(信息学竞赛),其实还是有一些online community(在线社区)的嘛,就大家有论坛,大家可以交流,对吧?我觉得这个会非常的好。
对,然后就是另外一个,就是当时我就开始自己学写编译器,就当时因为有这个,主要的语言是Pascal,然后我自己写C,所以当时有一个想法,就是是不是写一个编译器,它是transpiler(转译器),其实就是你把一个Pascal transpile(转译)成C。然后就是自己吭哧吭哧的搞了一个暑假,最后搞出来一个能用的版本。
就是这个是可能是一个契机,让我开始去对,就是比较深入的做计算机有这样的兴趣。
[00:07:56] 泰然: 所以你对计算机的兴趣在这之前有什么影响吗?因为可能很多人都喜欢计算机,但最后都打游戏玩电子游戏去了,你为什么会开始自学编程?
[00:08:06] 陈天奇: 首先我也喜欢玩电子游戏,对我其实我一直都打游戏。OK,然后而且学计算机的一个motivation(动机)就是能够自己创造游戏。当然这个motivation(动机)一直没有实现对吧?但是就是这是一个契机,就是觉得希望能够自己创造游戏。一开始的时候,然后当然学进去之后发现哎这个地方还是有很多有趣的东西,就开始往这条道路上开始前进了。
有没有什么十八岁之前的经历对未来产生了深远影响 [00:08:31]
[00:08:32] 泰然: 我们上一期的嘉宾胡渊鸣,也就是小学的时候就开始做电子游戏了?对对对。所以在18岁之前的这段经历来说,你现在想起来有没有什么故事或者经历让你觉得时至今日看来对你产生了其实挺深远的影响?
[00:08:49] 陈天奇: 对我觉得就是我在高中从零开始搭编译器那一个经历,其实是也不算编译器,其实就是一个mini transpiler (迷你转译器),但是就是基本上因为我当时的环境是一个嗯,就是一个小地方,对吧,就是,然后但是当时也没有,一开始没有见识到很多很广的各种各路高手这种感觉,但是又因为有互联网,可以能够和看到说有很多厉害人在这个世界上面,但是反过来说,当时总是有一个经历感觉到说我自己可以尝试,然后失败了也没有什么关系,所以说就比如说自己尝试,其实当时做编译器花了一个暑假,其实他从架构到写什么东西都没有现成的教程,那个时候应该都没有Github给你去搜,
没有Github,就纯粹就是自己在应该是一开始Windows,后来用了Linux上面自己管理这个项目,在小本本上面记说我这个地方要有这个模块,这个模块,然后他们应该怎么交互,然后对,然后就是纯粹的这样子把一个东西搞起来之后,感觉对于后面我觉得是不怕干事情,我觉得这一点上面是有很大的影响的
温和的性格是童年时期就养成的吗 [00:10:16]
[00:10:17] 泰然: 其实我和包括你的学生和一些认识你的人交流,他们一直跟我说你给人一种很温和的印象。你觉得这种性格是你童年时期与生俱来的吗?还是后来的经历慢慢把你塑造成了这样?
[00:10:32] 陈天奇: 嗯,这个我觉得it’s funny that people call me that way(大家这么说我很有意思)。我觉得这个是很难说哦,就是说我觉得至少有一点就是在正好在大学的阶段,特别是ACM班那段经历,其实余勇老师他特别注重强调跟我们说你需要低调做人高调做事,对吧?我觉得这一点对我们影响很大。
而且的确我觉得就是而且就是在整个职业生涯中接触到各种各样的人,我觉得很多时候我可以发现,首先我觉得做事是需要有锐气的,就是你你在去完成一件事情的时候you have to be ambitious(你必须要有野心),对吧?但是in the meantime(与此同时)我觉得很多时候你之所以能够成一件事情,它的因素几乎不全部来自于你自己。
我接触了很多的人里面,我觉得the lesson I learn from them they are humble他们都非常的谦虚,知道说其实很多时候你需要你周围的人在一起去合作完成一件事情。
然后基于这样的假设之后,我觉得其实我觉得在跟人交流的时候其实需要有一定程度的尊重和能够去let’s collaborate together(我们一起合作),but also in the meanwhile(但与此同时)这个并不代表说我们不要不要能够be very ambitious(雄心勃勃),并且我们需要能够去challenge the status quo(打破陈规)。
上海交大ACM班的经历人生的影响 [00:12:08]
[00:12:10] 泰然: 好,正好聊到ACM班,你是在16年加入06年sorry在那里读本科,然后那个应该是很早的几届ACM班了。当时的ACM班是什么样的体验?
[00:12:24] 陈天奇: 嗯,我觉得我还是非常幸运的,因为我是高考生,当时因为我我是高三才拿了省一(省一等奖),就根本就没有参加过NOI(全国信息学竞赛),就属于是相当于是在这个省赛就是省选都没有参加过,基本上就是在大概省里到省这个级别的,所以说就是并没有就是ACM班,因为他有竞赛生和高考生嘛,就是我是高考考到了交大的电院,然后当时高考填志愿的时候,就是应该说我好像在新闻上面看到了交大ACM班,然后后来去自己查了资料,这个是一个就是是我想要去的地方,就是所以就是,然后我还记得非常清楚,就是当时去交大找俞勇老师他那个宣讲会,我当时也就是比较仔细的准备我的材料,
然后后来俞老师也跟我说,好像他印象中对我印象比较深刻的是,因为当时我是其他学生中准备材料最仔细的一个,然后就somehow就得到了这个机会
[00:13:30] 泰然: 你的材料是你写的compiler(编译器)吗?
[00:13:33] 陈天奇: 就是主要是简历,当然其实我在简历里面我有提到说我的原来的经历是什么,就是为什么我比较,现在回过来看,其实我觉得非常像你去prepare your personal statement for a PhD application(博士申请),但是当时并没有意识到这一点,对当时只是纯粹的想说,我我需要,因为我本身是一个高考生,又是在一个名不见经传的地方来的一个这样的一个学生,我希望能够be prepared to get the opportunity(好好准备争取机会)
[00:14:05] 泰然: 那这个很有意思,你高中花了那么多的时间自学编程打OI(信息学竞赛),然后写compiler(编译器)一个暑假,但你高考完全没有落下,你还是正常高考考进了上海交大
[00:14:15] 陈天奇: 嗯,对
[00:14:16] 泰然: 是这样子的,你当时在你们那个县城,是不是当时一直都是全年级第一这种神一样的成绩?
[00:14:23] 陈天奇: 差不多算是吧
[00:14:25] 泰然: 所以你是开窍很早的,就是基本上从小都是一路上来,成绩都是最好的那一波
[00:14:32] 陈天奇: 应该算是这样子。
[00:14:34] 泰然: 刚刚你提到俞勇老师在ACM班的时候一直跟你们强调低调做人高调做事,你觉得本科在ACM班的经历对你后来的学术训练也好,人生经历也好,产生了什么样的影响?
[00:14:47] 陈天奇: 其实我的对ACM班的第一个印象是,当时我们现在叫学子讲坛,就是它ACM班它每年它都会,应该每个学期都会让每个学生上去讲你自己选择的一个topic(主题),就是可以讲任何东西,是一个给大家表达自己的一个机会。
我觉得那一段培养是it turns out(事实证明),就是在我去读博士的时候,我也当时volunteer(志愿)第一个讲组会,然后我就发现就说,其实当时因为交大的那段时间的历练,可以让人感觉到自己可以有自信直接出来表达自己。对我觉得这一点是在整个培养中non-technical(非技术)的部分,其实反倒是最重要的一部分在这里。
对,当然ACM班有非常强的technical(技术培养),就是技术方面的培养,特别是他在传统里面我觉得非常好,一直传承到现在的一点是他的课程设计和 大作业。就是我们当时有一个叫编译原理大作业,现在也一直在上,他是基本上是从零开始让大家搭一个编译器from scratch(从零开始)。
应该是我们的第一届学长,他们自己去,就并不是老师主导设计这个东西,而是第一届学长他们自己去,去借鉴了当时北美高校先进的经历,然后设计了这个课程设计,然后经过几代学生的迭代,就每一代都是由学生来去当,就上一届的学长来当助教,其实就是和instructor(讲师),然后他们去迭代这个编译课程作业,然后并且传承给下一代。
然后那个训练我觉得是非常非常棒,就甚至把它放到现在北美高校的标准来看,我觉得都是一流的这个训练。
[00:16:47] 泰然: 这个很有意思,所以你觉得这样的氛围怎么会有这样的氛围?可能就学生自发的找北美的课,然后一代一代传下去。
[00:16:55] 陈天奇: 我觉得很大程度是受俞老师的影响,就是可能他不一定会告诉我们你技术上面具体要做这件事情,但是他其实鼓励学生们去相互的帮助,有传承,对吧?并且可以去这个,我觉得也是就和他说这个高调做事吧,我们希望能够做事就做到能够做到一流。我觉得这一点会非常非常难能可贵。
[00:17:21] 泰然: 所以当时对很多可能你的ACM班同学来说是第一次写编译器,但对你来说应该已经是第二次了。
[00:17:28] 陈天奇: 嗯,算是。但是我觉得,我觉得这个就是它的难度完全不在一个数量级了,就是和一个简单的transpiler(转译器)比起来。当然又有点不太一样,原因是因为可能另外一种,就原来高中时候的经历,像更像是这个乱拳打这个东西,但是somehow能够figure out(弄明白)一些东西。
但是到了就真正开始写大作业的时候,当时已经有了一定程度的训练,所以说就相对来说,当然还是很多时候是靠自己figure out(弄明白)的,因为我们当时其实唯一的资料就是前面学长留下来的东西。
本科第一次接触机器学习科研时的挑战 [00:18:06]
[00:18:07] 泰然: 我看到你说你本科期间你就加入了交大的APEX实验室,然后当时就开始接触机器学习了。在最早的时候,当时你在文章里面写到,你说那个时候你对科研是什么这个问题感到非常困惑,能不能跟我们分享一下当时的心态?第一次接触科研时最大的挑战是什么?
[00:18:26] 陈天奇: 我觉得进入APEX当时其实选机器学习一开始的就是动机其实非常的简单,就当时觉得哎机器可以学习,听起来很酷,然后我要不要试试看?
而且当时我们就在看那个Tom Mitchell那个machine learning这本书,Tom就其实我们(CMU)现在的这个机器学习系的第一任系主任,他现在还在CMU,这个(我)过来的时候我就会跟他说,我们很多其实很多的这个机器学习的教授们都是看着那本书长大,在这个地方。
对,当时对于科研是什么比较困惑的原因,我觉得大家进入科研都会有这样的困惑,就说我应该怎么样做科研?
而且我觉得从现在来看,其实我觉得那个困惑是非常正常的,就是甚至对于你在做一个方向非常久了之后,你还是会有这样的困惑,特别是因为这是就是对来自于未知(的困惑)嘛,就是因为科研它的目标就是你要去在未知的uncharted territory(未知的领域)去尝试一些东西,那么必然它就会就是会有不知道的东西,对吧?
你对一个东西似乎看上去比较清楚,因为你在做科研做了一段时间之后,可能你会对一个领域相对来说比较轻车熟路了,但是其实这个对它的不确定性还是始终存在的那个地方。所以就是当时我不知道的是一我可以做什么,我要做什么?然后二这个后来其实发现就是其实就是怎么样做,其实也不是很清楚。
手搓CUDA用深度学习尝试ImageNet [00:20:11]
[00:20:11] 泰然: 你在文章里面提到了一个很有意思的经历,是我不知道那个是不是你的第一段科研,但是你说当时你在用restricted Boltzmann machine(RBM)对做那个ImageNet的classification(分类),是的?然后当时手搓CUDA的经历能不能跟我们分享一下?
[00:20:26] 陈天奇: 嗯,就是其实我进入APEX是当时一开始是跟的戴文渊学长,他现在的就是他现在也做的非常好,第四范式。然后但是我跟他做了差不多一个暑假,当时还在入门嘛,就是看Tom Mitchell的书,在学习写一些东西。然后基本上应该是暑假之后他就直接去了百度。然后当时其实我们实验室就处在一个相对来说就是学生比老师多很多的状态,就是我就不知道再接下来要做什么。
然后后来我记得是(我) 就先去了微软亚洲研究院,当时去是学习了做一些和advertising(推荐广告)相关的东西,那时你大三大三的时候。然后后来回来的时候,就是当时我们实验室的那个薛老师他就跟我们说,哎最近有一个叫做深度学习的东西,你们可以看一看。
然后当时我们就直接去看了那个ICML和NeurIPS的paper(论文),他们有这个就是当时有一个方法叫限制波尔兹曼机啊,应该是Andrew Ng他们组做的,说你可以用限制波尔兹曼机去学习这个人脸和其他的pattern(模式)。我觉得哎的确挺有趣的,我们要不要来做做看?就是我和当时实验室一个学长叫Lin Yuan,然后就是就我就说我们毕业设计就做这个吧。
我就开始做这个东西,并且因为当时你直接去做卷积网络,我们当时都写MATLAB,就是直接做卷积网络其实非常慢,就是你哪怕用了那个FFT的优化,它还是非常慢。然后当时就觉得哎这个似乎有一个叫CUDA的东西,那我们先来去写写看,学习一下加速。
[00:22:16] 泰然: CUDA的版本号是多少?
[00:22:18] 陈天奇: 差不多是2.0还是多少?就是我们当时买的是390还是380的GPUGTX 380的GPU。而且因为当时我们实验室大部分的服务器都是CPU嘛,就当时根本就没有GPU这个考虑,所以就是我们买了显卡发现塞不进去,就是那个机箱啊,就是太小了,就是根本塞不到那个里面去。然后哦好像不是因为机箱太小,是因为显卡可以塞进去,但是电源不够,就是PSU(电源)的那个瓦数不够。
所以说我们最后的解决方法是我们再买了个电源,把它放到了机箱的外面,然后再把主板就是等于说接到那个机箱外面的电源,再接回那个显卡,就是这样搭了我们第一台GPU的服务器在实验室里面。
在2010年用GPU做深度学习是共识了吗 [00:23:08]
[00:23:08] 泰然: 但当时应该是09,10年对吧?但是用GPU做深度学习当时已经成为共识了吗?因为好像距离AlexNet还有两年嘛。
[00:23:17] 陈天奇: 对,当时其实是有一些前期的工作,你会发现ICMLAndrew Ng他们组其实已经有在写有论文说怎么样用GPU加速深度学习,所以说应该是一个大家都已经意识到的东西。而且你会我当时有在开发我们自己的深度学习网络,我其实我在找相关的工作,当时就可以看到CUDA ConvNet就是就Alex Krizhevsky他们的这个工具,在网上其实已经可以找到了。
[00:23:44] 泰然: 其实当时已经有了,只不过距离他们一鸣惊人还有两年。
[00:23:48] 陈天奇: 对,包括我们,我们当时也觉得说,哎,还有当时另外一个很重要的事件,就是飞飞老师他们发布了ImageNet。就是我们一开始的时候,就是在做这个深度学习,我们一开始的时候,我们能不能做这个pedestrian detection,就是行人识别?然后,但是后来发现飞飞老师发布了那个ImageNet,我觉得很好,我们要不要来试试看?
于是当时就是,其实现在回想看来啊,就是说,还是因为当时就没有人带,也是初生牛犊不怕虎,我们当时就就说OK,这个任务很有趣,而且它似乎很难,我们来去挑战一下。都会有这种感觉,就是就去挑战,就是就是,但就是说,所以说当时没有很仔细的考虑到说,这里边的complexity(复杂性)是什么。
[00:24:34] 泰然: 所以当时初生牛犊不怕虎,turns out to be good(事实证明是好事),turns out to be bad(还是坏事)。
[00:24:40] 陈天奇: 首先,它是一段在科研上面不算成功的经历,我只能这么说。
就是说,因为从我本科毕设开始做这个东西,但本科毕设是因为相对来说还好,你不需要达到一个论文发表的地步,就是因为我们可以直接做出来的结果,能够我们当时的结果是,我们可以做了加速,做了卷积的限制玻尔兹曼机的加速,并且可以看到一些pattern(模式),比如说digits(数字),我可以看到有这个pattern(模式)。
但是呢,我们始终不能beat the baseline(超过基线),就是baselines(基线)SVM(支持向量机)classification(分类)这个东西。就是当时我们就非常,就是我也不知道是因为我们做错了,就it turns out(事实证明)后来是因为那条路径本身就不太对。
就是虽然深度学习是个正确的方向,但是其实最后做work(奏效)是supervise learning(监督学习)。当时那个限制波尔兹曼机的那一条路径,其实到现在来看,它是并不是那么正确的一条路径。其实是我在研究生,我也是在交大APEX读的研究生,在研究生一直还是有这个passion(热情)。
所以我们是,从研一一直做到了我研二,就研究生几乎快要毕业的时候,差不多一年半,包含本科大概有两年的时间,我一直在做,就是做深度学习on ImageNet,就这么一个课题。这一个课题,对,然后就包括CUDA代码的优化。而且那个时候其实你为了搭一个模型,你几乎要花6个月的时间在C++和CUDA C里面把东西都写出来,对吧?然后再去跑。
[00:26:18] 泰然: 应该什么深度学习框架都没有吧?
[00:26:21] 陈天奇: 其实那个时候Theano和CUDA ConvNet本身也已经有了,但是就是当时我的想法就是,我需要,因为我觉得很多东西还是可以知道控制你的模型建模是怎么样子的。
[00:26:35] 泰然: 所以像什么gradient backpropagation(梯度反向传播)是你自己写的?
[00:26:38] 陈天奇: 对对对,就基本上都是自己写的这个东西,就是所以说基本上差不多。而且那个时候在实验室里面还有其他的同学啊,就是在一起尝试这个方向。但是其实最后两年的时间,我们就什么论文都没有,就是就基本上在那里做,有一股劲在图书馆里面调啊、看啊。然后但是就始终就结果而言,他是一个不是一个成功的经历。
在这个地方对,然后就是后来我们当时去差不多我研究生就是最后一年的时候,当时有这个KDD Cup,就他们办了那个比赛。然后并且我们当时觉得哎,这个比赛或许可以参加一下。然后因为这个限制波尔兹曼机这个东西,当时有一篇论文叫做这个,就是他们是用限制波尔兹曼机做推荐系统,作者也是这个我们MLD(CMU机器学习系)的那个Ruslan老师。
然后我们当时觉得哎,我在做这个限制玻尔兹曼机,似乎这个可以用在这个推荐系统这个方向上面,我们要不要来试一试?于是我们就我们就尝试参加了那第一届的这个KDD Cup,就我们是第一次在实验室组团参加。就后来其实科研相对来说是KDD Cup那一段经历是相对来说出现了一些转机,可以让我们也是因为什么,我有机会可以来到北美,就是也是因为后来的KDD cup的那段经历。
其实回过头来看,当时做第一段科研,因为完全没有人告诉我说一你要怎么做,二就是你可能会碰到什么问题。现在看来其实一个很明显的错误就是说,当时我们觉得诶,一ImageNet这个问题刚出来,非常好,很重要。其实这个是对的,因为做好的科研你必须要去挑重要的问题。
然后并且我们觉得说哎,深度学习很重要,而且似乎深度学习里面很靠谱的一个方法是限制卷积限制玻尔兹曼机这个方法,对吧?那我们一起试试看,一定把这两个东西搞work(奏效),用这个方法在这个ImageNet这个问题上面。然后但是后来发现其实是说,当你去做科研的时候,你很难说你的眼光看的那么准,对吧?你挑了正确的问题,然后第一把就挑了正确的方法。
当时我们就基本上是就是在正确的问题和错误的方法上面坚持了两年的时间,差不多是这样的。然后当然最后结果就是turns out(事实证明),后来其实我们做KDD时候相对来说就是吸取了一方面这样的经验,就是我们从限制波尔兹曼机的方法开始,其实后来去看了这个问题之后发现,其实你做矩阵分解会更好,我们就开始做矩阵分解相关的方法。
所以in the end(最后),就是因为这段经历之后,也是为什么我们KDD可以拿到好的结果。因为如果说我们只是用一个方法的话,基本上我觉得还是并没有能够拿到这样的结果的。
如何从失败的科研后反而变得不怕失败 [00:29:42]
[00:29:43] 泰然: 所以你从那两年你说有点失败的经历,你总结出来的一个以后要避免的失败的pattern(模式),不能同时锁死要解决的问题和你想用的方法,这样的错误,你在未来的经历里面
[00:29:56] 陈天奇: 再也没有犯过了吗?基本上没有了,对,基本上没有了。对,但是其实回过头来看啊,我觉得那段、那一段经历是非常非常宝贵的,就是因为首先你去想要去做科研,很多时候你要做很难的问题,我觉得才会有意思,必然会意味着不确定性和失败。然后再接下来的问题就是,你怎么样去接受失败这个东西?
或者说,你怎么样去接受 be willing to take the risk,你愿意去冒险去做一个东西,对吧?我觉得,因为我一开始的时候都是初生牛犊不怕虎的,自己去试嘛,然后试了之后,而且有很多失败的经历。我们第一年自己去高中打(信息学)比赛的时候,我当时信心满满的,我就是自己学习,对吧?
然后这个 OJ(在线评测)也打过了,我可以直接觉得直接高二的时候就觉得我一定可以能够拿下好的名次。但是当时结果就是只拿了二等奖,我记得当时看到结果的时候我还蛮伤心的。
然后在大学的时候,其实很多时候也是这样的,就是有的时候因为去尝试挑战之后,比如说甚至我们做编译器的时候,当时我们在做那个体系结构作业,我们做 CPU,然后我就尝试说,哎,你是不是可以挑战一下,我们在自己做的编译器跑在自己写的 CPU 上面?嗯,但是 in the end(最后)就一开始就碰到不少问题,但是就尝试去做了之后发现,哎,还是可以完成这件事情。
而这个科研一开始的时候失败的经历,是让我开始后来觉得说,我做了两年一件事情,做一件事情,他最后 turns out(结果)不那么成功,但是或者说甚至就是失败的,就是失败的经历 OK,但是呢 we are fine(没关系),就是我还是活得好好的,对吧?
然后也没什么大不了的,这样子使得让我后面更敢放手去做事情,因为我觉得说我可以接受我失败,就是就是我觉得这一点还蛮重要的。
研究视野的飞跃,20年后对研究视野的反思 [00:32:18]
[00:32:19] 泰然: 这个我觉得我听起来,如果你当时做的特别成功的话,反而有可能会形成某种路径依赖。对我看到你说,你在 KDD 之后,你在去 UW 读博之前,你去香港待了一段时间,然后在文章里面你说,去了香港之后,我开始明白之前失败的原因是研究视野。能不能跟我们讲讲香港发生了什么?你为什么你突然到了香港意识到了这一点?
[00:32:46] 陈天奇: 我感觉一开始自学啊,就是刚开始自学很容易获得的训练是你怎么样去解决一个问题。就比如说在你做课程设计的时候,问题很简单,你要做大作业,对吧?就是你把这个目标很明确定下来了,我们去解决它。但是科研还有一个很重要的阶段,就是你怎么样去挑一个问题呢?要做什么问题,以及说你在解决问题的方法是什么?现在看来其实我们当时挑的问题还不赖,对吧?
解决 ImageNet 也是一个不赖的问题。但是似乎在我一开始科研生涯中,我很少知道还有哪些问题我是可以解决的,就是就是。然后我记得一个契机是当时李航老师来 APEX,因为在那之前啊,其实基本上我们还是处于是没有人带的状态,就是我自己在摸索。然后李航老师来了之后,他给了报告,他就讲说,哎,我在这个信息检索里面有这个问题,这个问题我们是这样解决、这样解决。
然后我就发现说,哎,好像这些问题我都能解决,而且我可以想出一些其他的方法。原来世界上面还有这些其他问题,除了我在看这个问题。所以就是于是当时就就是很兴奋,然后就跟了李航老师,也很幸运能够得到李航老师和杨强老师的支持去香港实习了这样一段时间。然后在那个时候我就开始知道说,哎,我们可以去看哪些问题可以去解决。我觉得这个是一个非常大的转变。
[00:34:22] 泰然: 所以以前那两年就盯着 ImageNet、盯着 classification(分类),然后突然意识到还有外面很广阔的天地。但是你当时能够意识到,哇,原来很多他们的问题我都脑子里有方法、有其他的方法,其实还是你那两年可能有很多内功的修炼。
[00:34:40] 陈天奇: 对,就我觉得说其实很多时候我觉得可能我的路径会不太一样,因为很多时候现在看很多的同学,其实大家都是可能先知道有很多的问题,然后再开始去去想尝试去学习方法和基础的打磨,对吧?反倒我觉得说其实还是得益于原来的训练,使得说我没有方法和基础的打磨,使得说哎有问题来了之后我们可以上。
[00:35:13] 泰然: 你觉得现在十多年过去了,你对研究视野有没有什么新的感悟?
[00:35:18] 陈天奇: 我觉得从刚开始科研的时候,其实目的还是蛮单纯的,我们想先发一篇论文,对吧?然后来能够就是到后来,其实我觉得比较更多的形成的是自己想要做什么样的研究,就是因为世界上面有很多东西你可以选择嘛,你可以选择做这个问题或者做那个问题。
然后我觉得可能不太一样,现在就是几年之后,接下来每个人都会有自己的 research taste (研究品味),那就是我们想要做什么样的研究。这个是我觉得是可能跟原来比起来稍微有点不那么一样的。
[00:35:52] 泰然: 你现在慢慢形成的 research taste(研究品味)是什么?
[00:35:56] 陈天奇: 我觉得,首先我意识到一个非常明确的就是,世界上面有不同的research style(研究风格)。有两种研究方式:有的是从方法出发,我成为一个方向的泰斗去这个,并且我可以把我的方法用在各种各样的地方;另外一个方法就是我对某一类问题感兴趣,我可以尝试用不同的方法去解决它。
至少我我几年的经历中让我意识到我是属于后者,就是我对于实际上面能够让,就好像我一开始的时候我想要能够,就比如说能够自己做游戏的,也是说希望能够创造一些东西,创造这个做机器学习也是这样,就创造智能、创造东西是一个原始的motivation(动机)。
然后基于这一点我就意识到,我们可能不太能够一直挑做什么方法,并且而且让我开始做机器学习之后,我发现了很多时候我的瓶颈其实来自于这个:你能不能把东西scale up(规模化),就是跑得大、跑得快,对吧。就是我记得非常清楚的是,当时在ImageNet就是刚breakthrough(突破)的时候,我和我的导师还有大家,大家也都会觉得说哎,他到底是为什么?
是因为神经网络吗?就是当时我们觉得可能它不一定是因为神经网络,或许它的因为原因是因为你有一个比较大的Hypothesis space(假设空间),以及你有大量的数据可以scale up(大规模化),turns out we are partly right maybe(结果来看我们部分对了)。神经网络还是很重要,因为它有很大的这个参数空间在这个地方。
但是当时我们就觉得说,我们能不能challenge(挑战)一下这个hypothesis(假设)?就是如果说你可以把大量的数据用到其他的模型类型里面,比如说当时我觉得我的opinion(观点)是因为我之前做KDD,我觉得树模型很强,我们能不能做树模型;然后我的导师他觉得能不能做kernel method(核方法)。
最后我还是觉得树模型比较好,我就选了树模型这条路。然后当时发现很大的瓶颈就是在系统,就是我们在做树模型的时候,我想要做的模型,现有的东西都算算得不够快。所以就,那我意识到这一点之后,其实现在这不是一个很controversial(有争议)的观点,现在大家都知道说其实人工智能本身它是依赖于这个数据和算力以及算法。
可能在我们刚开始做机器学习的时候,大部分的关注点都在算法上面,所以当时就是从问题出发角度就觉得说,OK系统是一个瓶颈,我又不太喜欢一个问题被一个瓶颈就直接卡住,我就不能继续做下面的东西了。所以我就想说,OK我们要不要来解决它,就逐渐逐渐就开始让我做机器学习系统。
来到UW读PhD的选择 [00:39:03]
[00:39:04] 泰然: 这应该就是XGBoost最开始诞生的背后的故事,所以你在香港那段实习之后,你就来到了UW读PhD,然后你应该当时同时也有CMU的PhD offer,怎么去了UW?
[00:39:17] 陈天奇: 原因很简单,就是我想跟Carlos,我的导师,就是当时我同时apply(申请)了,其实apply(申请)比较broadly(广泛),就是当时能来CMU,其实原因也是因为就是Carlos,他有一个Postdoc(博士后)叫Danny,就是他现在还在Israel(以色列)做那个startup(创业),就是就当时我做了那个推荐系统嘛,然后我们当时做了一个开源的项目叫SVDFeature,就是做这个,然后Danny他找到了我说,哎,你这个东西挺有趣的,我们是不是可以来,就是当时去他的博客做了一个简单的访谈,关于这个东西,
然后他就把我推荐给了这个Carlos和Alex,就是当时Smola他也是刚来这个CMU,对,李沐的导师,对,所以就是后来,就是因为我想要去跟Carlos,就是选择了去Washington。
[00:40:08] 泰然: 所以现在你回看本科或者硕士那个阶段,你会希望给当时的自己有什么建议?你会有希望有哪些信息,如果当时知道的话就好了?
[00:40:20] 陈天奇: 我觉得很重要的一点应该是本身科研的视野和这个叫什么,就是就和这个,就你要同时很明白,你不能同时挑问题和方法。这个是我觉得I wish I knew earlier(我希望我知道的更早),但是反过来说,就现在的我而言,I wish I don’t know then(我希望我那时候不知道)。
我觉得可能人生总是要经历一些磨练,因为只有通过了这些磨练之后,可能可以让你有契机,可以未来可以更大胆的去做一些事情。我觉得只是或早或晚的时候,我觉得可能是这样子。
XGBoost成功的关键原因:极致、社区、专注 [00:41:06]
[00:41:07] 泰然: 所以这叫什么?吃亏要趁早。
[00:41:09] 陈天奇: maybe哈哈哈
[00:41:11] 泰然: 好,那我们就聊你博士期间。博士期间我觉得有四个项目,第一个XGBoost。刚刚你其实你已经引入了,为什么当时要做XGBoost?是因为你和你的导师想要challenge(挑战)为什么deep learning work(深度学习奏效)。XGBoost可以说是一个从一个挑战假说的系统成长为现在非常受欢迎的开源项目,至今我昨天晚上看引用数量已经接近7万了。
你觉得XGBoost成功的关键原因是什么?为什么会这么受欢迎?
[00:41:37] 陈天奇: 其实现在看来,我觉得很重要的一点是,我当时就是,其实我觉得这一点是也是ACM班的经历教会我们的,就做一件事情要做到极致。对我觉得这点非常非常重要,做一件事情要做到极致。然后所以当时因为这个契机,我们开始做了这件事情之后,我就当时就想了各种各样的方法去看我们能不能让它尽量的快一点,再快一点。
就是所以说其实turns out(结果)当我们发布的时候,它是世界上最快的能够做这个gradient boosting(梯度提升)这个方法的这个东西。然后另外一个是说,因为我自己是做算法研究的,所以说XGBoost的本身里面也会有一些很细节上面的算法,但是它可以让它这个对于很多问题work out of box(开箱即用)。
比如说它有一个非常重要的特性,就是在很多机器学习的时候啊,它会经常会有一些missing value(缺失值),就是比如说我我依赖于我的一个人的数据,他可能他不会告诉你说我的年龄或者是性别或者其他信息。在传统的机器学习方法里面,大家做的事情是你要先做数据清理,把这些missing value(缺失值)先比如说用Median就用中值或者其他东西代替,对吧?
但是当时我就觉得说,其实你完全可以让模型自己去猜它要怎么样去解决missing value这件事情。
所以在XGBoost里面,它是有这个build in(内置功能),就是说如果说你一个value是missing(缺失),它会根据它历史的这个missing value(缺失值)的pattern(模式)来自己决定你到底是要怎么样去categorize(分类)这个东西。
Turns out(结果)其实这个东西非常非常受欢迎,因为大家都不想要自己去解决missing value(缺失值)。
就是所以说因为我们把一个东西做到极致,并且能够使得我我觉得这点是第一次让我觉得说,你需要能够去看一个垂直的问题,就是你要知道说,如果说你要做一个机器学习系统,你只做算法或者只做系统都是不能够完全获得成功的,就一定是要能够知道说我们要有能力知道说这个算法本身可以怎么样往前走,并且系统可以怎么样做,对吧?就是这个是一个原因。
然后第二原因,我觉得很大的程度来自于社区的力量,就是因为其实XGBoost到后面包括现在的主要的维护已经不是我 了,包括是其是其他的,当时的其实有一个我的学弟在UW,他一直在维护这个相关的项目。
就是这个其实社区的力量非常非常重要,就是因为它可以让我们看到说,这个比如说我们当时记得很清楚的是,我们在R里面有一个包是做这个这个就Visualization(可视化),就它会去可视化你学习的树到底是怎么回事。
它是一个当时来自于法国的律师贡献的,叫Michael,然后他是他就是说我要用这个东西去学习这个大家做tax(税务),他要detect tax fraud(检测税务欺诈),就是你在交税的时候会不会就是有这个有这个cheating(欺诈)的情况啊。所以说这个他就贡献了这个东西。
他现在他已经开始转行做数据和深度学习和法律的就是他turns out(结果)这个也可以不做律师了,已经他应该还是在做类似于法务和机器学习相关的东西。对,但就是就那个使得说其实很多时候都是因为社区的贡献,大家可以使得这个项目可以成长起来。
我觉得其实是我们非常的专注,其实我们做的第一个项目就是那个SVDFeature,是一个就现在已经没有人知道了,就是我们在交大做了一个项目,就那个项目其实也还行,相当于是实验室祖传代码用了几代,就是我们的做这个矩阵分解和推荐系统都用它。
当时这个项目就是一个非常大而全的工具,有一个config file(配置文件),config file(配置文件)里面有大概二三十个这样configuration(配置),你可以写一写然后来那个。但是后来就是我发现其实对于包括其实当时同期啊,对XGBoost它会有一个包叫scikit-learn,它也是非常全的一个项目。
但是我觉得其实说对于很多时候,对于一个小团队甚至个人的话,会需要非常专注把一件事情做好。就比如XGBoost就是我们就做了一个算法,然后就是把这一个算法做好做到极致,这样子的话我觉得它相对来说可以比较容易的获得成功
[00:46:13] 泰然: 一是极致,二是社区,三是专注。你好像没有在任何地方讲过,就是当时你的导师想让你试kernel methods(核方法),你觉得你想是tree based methods(树方法),所以你是有自己的坚持的,当时他也没法说服你,反正你就自己去试了是吧
[00:46:31] 陈天奇: 对,是这样的
[00:46:32] 泰然: 这是你一直的style(风格),就是对
[00:46:34] 陈天奇: 就是我非常感谢我的导师,他给了我非常大的自由度在这个地方。对,就是说而且其实就有也是有原因的,因为我们当时做全面做KDD Cup我们做第二年的时候,我们的那个Winning method(胜出的方法)就是一个矩阵分解和tree-based method(树方法)的一个混合模型。
当时我就意识到说Tree-based method(树方法)它有它的非常强大的特性。我当时就一直保持对Tree-based method(树方法)会比较非常有兴趣的原因在这里
[00:47:06] 泰然: 但是其实XGBoost的论文是(你博士)第3年才开始写的,是的,是的。然后你提到Carlos当时说我们写一篇让读者可以学到东西的文章,我觉得这个很有意思。因为其实大部分的论文的写法是优化自己的中稿率,所以当时你已经觉得我应该focus on more important thing(专注更重要的事),是有这样的感觉吗
[00:47:27] 陈天奇: Carlos对于我们要求是非常高的,就是基本上我记得刚第一次见面的时候他就说you should write the best-paper-award paper(你应该写最佳论文级别的论文),就是基本上就是这样。所以说相对来说可能是得益于他的那样的style(风格)。
并且还有一个就是我们刚进实验室的时候一个很明确的feedback(反馈),就包括来自于实验室的其他学长,就是说我们实验室有No Beameronly Powerpoint policy(不能用Beamer,只能用PPT)。就你在做slide(幻灯片)的时候,就是我原来就是原来你可以做latex beamer,对吧?
就是就是基本上他会有很强的要求说你做presentation(演讲)的时候需要能够用visual(可视化),用你的视图来让大家能够很快的学会你做的东西。所以这一点其实是我觉得对我们是非常受益匪浅的。其实Carlos你会发现他的研究style(风格),就是他很容易做出,他会做非常多不同方向。
其实在同期XGBoost同期同一年KDD上面有另外一篇论文叫LIME,就是explainable machine learning(可解释机器学习),它其实是开创了可解释机器学习这个方向,就是而且那个论文的引用率也非常非常高。就是我另外一个Labmate(实验室伙伴)叫Marco,他做的就是这个东西。
你会发现他(Carlos)会特别喜欢尝试去做一些工作能够开创那个领域。这个时候你会发现你其实是需要能够去让更多的人能够获得学习到你的思想。in sometimes you want to write a paper(有时候你想写一篇)you are proud of(让你自豪的论文)。
[00:49:06] 泰然: 所以当时做XGBoost的时候,有预料到未来会这么成功这么受欢迎?并没有,并没有。对,所以当时就觉得是一个OK,之前做过可能和之前的project(项目)差不多,没有想到会这样引起轰动,然后这么长的时间大家还这么欢迎。
[00:49:22] 陈天奇: 对对对,当时就是纯粹就是一我们觉得我们做的还行。第二个,我觉得当时已经有GitHub了,就是尝试开源,我觉得这个挺好玩的,就开始尝试做这个事情。
站在现在反思XGBoost当年对神经网络和深度学习的判断 [00:49:34]
[00:49:35] 泰然: 我最后想问你就是,你刚刚说你们当时的判断partly right(部分正确),其实也in some sense(某种程度上)partly wrong(部分错误),因为时至今日neural network(神经网络)已经dominate(统治)了。
我相信在一些tabular data(表格数据)上还是有其他的方法的作用,但是大部分的场景还是neural network(神经网络)。我其实比较好奇,十多年后来反思,你和你的导师当时都错了,你觉得当时是怎么认知的?当时的认知存在哪些局限性?当时的判断哪些部分正确,哪些部分错误?又有什么部分时至今日都是甚至是正确的?
[00:50:14] 陈天奇: 我觉得当时有一个判断我们是正确的是什么呢?模型的capacity(容量)不应该受限制。我们之所以选择树模型的原因很简单,因为树模型你可以arbitrarily grow(任意增长)。
如果说你就是一般的模型呢,你就是限定参数个数,比如说我一个Linear Regression(线性回归)100个参数,它就是100个参数,你不能arbitrarily grow(任意增长)。树模型它一个很强的特性是,你可以随着你的数据量,它可以arbitrarily grow(任意增长)这个depths(深度),对吧?这个特性非常强。
当时我们觉得,首先我们当时并没有觉得神经网络不能做到这一点,因为神经网络turns out(事实证明)。
但是让我一开始有点最后有点surprised(惊讶)的一点是,神经网络本身它是通过一种另外更暴力的方法来实现这个东西,就是我不尝试去grow(增长)我的parameter space(参数空间),而是我直接就把我的parameter space(参数空间)一开始就设得非常大啊。这个是一个有一点surprise(惊讶)的地方。
但是我觉得当时就是树模型本身有这个,这也是为什么没有选kernel method(核方法)的原因,因为kernel method(核方法)我觉得它并不完全具备这个特性。当然虽然说non-parametric(非参数化)它的确也可以grow with the(随着增长)with the这个数据的量,但是它没有树模型这个特性在这个地方。
然后而且当时我们对树模型有一个判断是正确的,就是说其实它在Tabular data(表格数据)上面它还是非常的强悍。
至少在现在你在Tabular(表格)和Time series(时序)上面out of box(开箱即用)的模型基本上几乎还是大家的go to tools(首选工具),原因也是因为他可以通过切割和组合去做到其实一般的模型包括神经网络比较难很直接做到的事情。
就是所以这一点我觉得是somethingthat i think we kind of did right(我们做对的地方)。我觉得可能没有意料到的,相对来说没有意料到这一点,就是后来that it also become obvious(变得很显然)是其实神经网络它的另外一个非常强的特性,它的可组合特性啊。
你可以会有这个不同的模块,像Transformer blockLinear block,它们之间可以相互组合,然后使得说这个这个就是它的表达能力可以通过组合远远可能更compact(紧凑)的去表示一些东西。然后这个东西是相对来说其实我们当时也知道这一点,比如说我们知道说卷积网络的确它可以表示,因为我之前就做了这个深度学习,我就知道说他的确有这个能力。
但是我们当时只是尝试有这个hypothesis(假设)说到底是这个模型的表示比较重要呢,还是数据量比较重要,对吧?就尝试这个hypothesis(假设)看一看。所以就是当时是that’s motivate that project(催生了XGBoost)。对,嗯。
MXNet的前世今生 [00:53:07]
[00:53:07] 泰然: 这是XGBoost。第二个项目我想聊的是MXNet,能不能简单跟我们讲什么是MXNet?当时做MXNet的背景和动机是什么?
[00:53:18] 陈天奇: 对,其实MXNet之前还有一个前身叫CXXNet,就是叫CXXNet,就是原因也是因为这个,我在进入到UW之后第二年,嗯,因为当时AlexNet已经出来了,AlexNet已经出来,其实这个我们就开始觉得说,哎,包括其实我们同组还有现在比较大家都知道YOLO就Joe Redmond也是我们的labmate(实验室同学),他也是在那段大学应该是研究生期间博士期间做了YOLO这个Framework(框架),我们当时就觉得说OK,因为我原来有那段不那么成功的经历,但是其实我心里一直对深度学习有很强的passion(热情),然后发现AlexNet哎成功了之后,
我发现哎我也可以,似乎深度学习还真是比较正确的东西的,我们是不是还可以尝试一下,所以说就是当时就通过把原来的研究生那段时间的不那么成功的经验来去开始去重新做这样一套深度学习框架叫CXXNet,当时是和那个Xu Bing,就是他现在在NVIDIA,就我们开始做了第一个版本,当时其实我们做的时候就扬清已经把Caffe已经release(发布)出来了,然后我们做CXXNet,我们当时是我们做了一个技术叫expression template(表达式模板),就是通过模板编程可以使得说你把这个就是做update rule(算术表达式),就是比如说你做乘法或者减法,
它都可以压缩到一个模板里面去,然后生成一个内联的GPU kernel,这样一个技术,然后但是我们觉得这个东西可以更简单的做这个做这个深度学习框架,于是我们就做了这样一个东西,然后而且我们其实当时拿CXXNet打了Kaggle,Kaggle一开始出来的时候有那个像深度学习相关的东西,然后后来呢我们做完CXXNet之后,同一年其实Zhang Zheng老师就MSRA(微软亚研院),他当时MSRA和Minjie他们做了一个项目叫Minerva,是另外一个(深度学习框架),当时其实蛮百花齐放,就大家都在尝试去看说我们怎么样做深度学习框架,对吧,
就是当时他们做了Minerva,然后还有那个Lin Min,他现在应该在新加坡,就是他之前做了一个框架,还有就是当时这个沐哥他们原来做这个,他是当时做parameter server嘛,就是做那个参数服务器,然后也开始尝试要开始做深度学习,就是后来我也不是很记得就怎么样能够大家就合在一起somehow,还有就是那个ChiyuanZhang Chiyuan,他当时在MIT,他当时拿Julia写了一个框架,也是做这个(深度学习框架),也是在Julia下面的一个Machine Learning框架,
然后当时就somehow我们就可能是通过各种各样的契机就聚在了一起,我们要不要一起来做一个项目,能够去吸收原来Minerva的lesson(经验),Minerva它有一些非常我觉得在现在看来还蛮先进的lesson(经验),就是几乎就是类似于Python first(优先)去做,因为当时那个就是Caffe的那个年代大家都还是C++核心的代码,Python first(优先)的这个实现,然后并且就是我们当时说OK我们一起来做做看这个东西,就是说一说核心MXNet它做的事情,
一是我们觉得说我们要用Python first(优先)在Python里面可以可以编写深度学习框架,第二个我们要自动调度,就是说你可以使得说你直接写这个forward backward函数的时候,你在Python里面直接写,但是它可以根据你的这个计算的依赖可以来使得说你可以比如说你在多卡的时候可以并行,就是可以做All-Reduce,它的通信可以和计算可以一起走,对吧,就可以自动调度,然后就是第三课就可以自动求导,就是因为它求导本身从这个深度学习的第一代框架Caffe它是叫back propagation(反向传播),就是通过计算图的自动求导,
这个东西其实非常不一样,它跨度上对系统优化有非常大的改善,所以当时我们就决定一起来做这样一个项目,包括因为当时沐哥他一直在做这个PS Parameter Server,也就需要有一个分布式的一个first class citizen,我们就开始OK我们可以一起来做这个东西,所以MXNet这个名字应该是来自于Minerva和CXXNet,就这它叫MixNet,就是其实是这样一个大家混合在一起,包括这mix programming style(混合编程模式),就是编程模式本身当时很明确的有编程模式也会存在,
我们叫做这个就是现在现在看就是叫declarative(声明式的)声明计算图,Eager programming(即时编程)就直接写了之后就直接算,对吧,当时MXNet的走的路线就是混合,就两个东西都可以去支持
[00:58:25] 泰然: 就是静态和动态计算图的区别。
[00:58:27] 陈天奇: 对对,同时做,然后后来就是包括UW我们也找到了Xie Junyuan,就是他也是另外一个,他也在做一些东西,我们叫一起合力做这样一个MXNet这样一个框架,对,就是也比较有意思,就是因为那个时候是刚刚我们在努力往前进的时候,我的暑假在Google Brain实习,然后就是我就知道Tensorflow要出来了,就是因为我在Dogfood(内测)一直在dogfood(内测)Tensorflow,那个时候当时,但是因为当时小伙伴们也都挺passionate(热情高涨)的,就大家没有觉得这是一件坏事情,就是虽然我们知道Tensorflow要出来了,
我们这个初生牛犊我们也可以compete(竞争)一下嘛,对吧,就是这个就是甚至是很有热情的在继续在往前推动这件事情
[00:59:12] 泰然: 我刚想问你当时有没有Tensorflow,所以你们是明知有Tensorflow你们还要向这个方向努力
[00:59:19] 陈天奇: MXNet在开始立项的时候,我们不知道有Tensorflow,就因为那个时候是这个Timeline(时间线)是我们差不多是在应该是在前一年的NeurIPS上面,大家聚了一聚,决定要往前走做这这件事情。然后我是(第二年)暑假,就是夏天(第二年)夏天,去了Brain实习。
然后我是到了Brain之后,我知道有Tensorflow It’s coming(要来了),我在dogfood(内测)这个东西。然后就是包括我,我也给其实给Brain介绍了MXNet的一些经验在这个地方。但是我就当时觉得说,其实还是不一样的,可以试试看。就是所以说就是和小伙伴们一起,还是继续往前推。
最后我们应该是好像是Tensorflow先release(发布)了,然后我们大概official release(正式发布)是差不多第二年的NeurIPS左右。几几年?就是我忘记是具体是哪一年了,应该是差不多在就是16,可能是16,15左右。当时有Torch吗?Torch已经有了,但是还没有PyTorch。对啊,当时是Lua Torch。
[01:00:29] 泰然: 所以当时你们决定做Python first(优先)的这个东西,应该还是你们比较独有的一个feature(功能),因为大部分还是C/C++。
[01:00:36] 陈天奇: Tensorflow其实也是尝试开始走Python,大家开始意识到要走Python这条路线。对,但是的确当时没有共识,因为当时的主流框架是Caffe,Caffe是C++。
[01:00:47] 泰然: 所以那么多人当时那个团队,MXNet那个团队大部分应该是在读的PhD。
[01:00:52] 陈天奇: 对,大部分是PhD。包括当时沐哥在CMU,对吧?我在UW。然后后来Xie Junyuan也是UW,Zhang Chiyuan在这个MIT,然后Lin Min是NUS,就是都是PhD student。还有Minjie是在NYU。
[01:01:08] 泰然: 那这么多PhD student(博士生)聚在一起,会不会有那种还有自己想发一作的那个想法和压力?那这种合作怎么怎么能够work out to be great(很好奏效)呢?我感觉好像根本没有诶,根本没有人说这个事儿,对吧?
[01:01:22] 陈天奇: 嗯,因为我当时觉得大家纯粹是想要一起做项目。MXNet最后我们就投了一篇workshop paper,最后还是alphabetical(名字首字母排序)的。当时就觉得哎,一起做一个项目往前走挺好的。
[01:01:39] 泰然: 真好,就是这个就是纯粹的觉得这个事儿有价值,我也感兴趣,然后一群志同道合的人我们一起做。
[01:01:46] 陈天奇: 但其实turns out(结果来看)其实我觉得最后沐哥是在这里面推动最大的,而且他是做了非常大的努力和这个牺牲,in sense(某种程度上)就是包括为了让MXNet成功,其实他们当时就决定(李沐)他毕业之后就去了Amazon,对吧?
就是就几乎是最后Amazon在很长的一段时间里面是Amazon一直在帮忙推动adoption和development(适配开发),所以就是沐哥他做了非常非常大的这个,就是他是中流砥柱,能够把大家能够团结在一起。
[01:02:19] 泰然: 所以他(李沐)是因为我知道MXNet后来被Amazon选成了这个官方的框架,是因为他(Amazon)选了(MXNet)所以李沐才去了,还是因为李沐去了才选了?
[01:02:31] 陈天奇: 我觉得可能都有吧,而且其实不太为人知的一点其实是NVIDIA在非常长的一段时间里面都在contribute to MXNet(为MXNet做出贡献)use MXNet(使用MXNet),原因是因为在所有的开源框架里面MXNet一直以来是在多卡并行上面最优秀的一款,就是在非常长的一段时间,包括到PyTorch出来之后一段时间,所以NVIDIA在MLPerf就是他要做MLPerf submission,他一定要能够拿到那个最好的分数去跑分的时候,就是他是一直在用MXNet,
直到这个ResNet no longer become relevant(不再相关)了,之后就相对来说就没有那么的重要了。
[01:03:21] 泰然: 你觉得当时合作的那个团队合作的经历有什么有趣的故事?你觉得现在挺值得回忆和分享的?
[01:03:28] 陈天奇: 我觉得是一个是大家都会有相互尊重,对吧?而且就是就纯粹是技术嘛,而且作为PhD同学们大家合作就是,而且很多时候其实就技术讲技术的话其实很简单,就是很多时候就是直接讨论我们觉得怎么样往前进,应该选这个方案就选这个方案,选那个方案就选那个方案,就可以往前走那个地方,对?所以就在技术上面我觉得有非常开放的心态和大家可以一起来合作,我觉得是非常好。
[01:03:57] 泰然: 你觉得MXNet最巅峰的几年应该是哪个时间段?
[01:04:01] 陈天奇: 我觉得差不多应该就是沐哥去了亚麻之后,然后并且因为MXNet一直他的多卡性能非常非常的好,包括后面包括像那个图森就是王乃岩和侯晓迪他们有很长一段时间他们一直在帮忙去贡献和支持。
从MXNet的历史学到的经验教训 [01:04:18]
[01:04:18] 泰然: MXNet现在还在继续吗?
[01:04:20] 陈天奇: 现在已经不维护了,现在基本上我觉得他是属于是可以退出历史潮流,因为这个in the end(在最后)我觉得还是PyTorchis getting it right(做对了)。
[01:04:30] 泰然: 你觉得这个(MXNet)从当时那么巅峰到现在慢慢淡出历史舞台,你学到什么比较宝贵的经验?
[01:04:38] 陈天奇: 一个我觉得是一定要把用户体验做到极致,对吧?这一点是非常非常重要的。
[01:04:46] 泰然: 所以MXNet的用户体验没有Torch好。
[01:04:48] 陈天奇: 对,的确没有Torch好,因为的确是你耍eager first(即时编程优先),就我们当时在选择用户体验和性能上面,我们觉得一开始说我们都要,但是的确其实应该先选择用户体验,对吧?在这个地方。但是反过来说,后来我意识到一点,就是说还有一大瓶颈就是工程开发,哪怕是有这么多人在堆在里面,为了支持每一代GPU的性能和迭代,还是就是人手还是非常不够的。
这也是为什么我后来就开始做深度学习编译的原因,就是所以说这也是另外一个经验。当然还有一些其他的经验,就是这个每一代它的这个基础架构基础设施,就是其实就是包括你怎么样去做GPU的这个这个数据结构的设计啊,包括这个神经网络的设计啊,这些东西我觉得这些经验都被延续到了现在。包括其实MXNet的本身它的很多的设计理念,我觉得特别是在分布式的调度上面都还是非常优秀的。
[01:05:59] 泰然: 关于用户体验这个我很有感触,因为我大一刚学机器学习的时候,当时Tensorflow和Torch还是一半一半,然后Tensorflow 1.0当时写了一个静态图debug,当时我就刚开始学编程,弄得我很难受。但是用Torch的体验就非常非常好,这个后来我就只用Torch了。
所以其实MXNet没有办法继续,它不是因为没有大公司做支撑,因为Facebook支撑Torch,那么Google支撑Tensorflow,当时Amazon有MXNet,更多的还是用户体验上就是各种的roadmap(路线图)当时不够清晰,以至于没有占据更大的份额。
[01:06:38] 陈天奇: 其实后面其实我们是MXNet本身有在尝试做转变,就是比如说它的2.0之后几乎就是全面用了Eager mode(即时模式),对吧?包括和Torch做兼容。但是就是我觉得本身社区上面的话,因为Torch的社区已经比较壮大了,包括其实沐哥他很长一段时间那个gluon-cv和gluon-nlp也是一个非常早期的就非常好用的一个项目,对吧?
就是你会发现gluon-nlp in some sense(某种程度上)你会发现它有点像hugging face,会有各种各样的因素在这个地方,就技术是其中一方面。
[01:07:13] 泰然: 我觉得可能这段(经历)也让你埋下了一个种子,可能TVM的种子在当时就已经埋下了。
[01:07:20] 陈天奇: 是这样子的,基本上我是在其实MXNet后面,沐哥他们推动了非常久,就是我后面几乎在MXNet差不多就是我们当时做了之后,应该是我第一次去参加GTC,然后我们当时去讲MXNet,我就觉得说,就回过头来看,我就当时觉得说,还是要花这么多的engineering effort(工程资源)去支撑这个东西,怎么样能够让这个东西变得更简单一点?
这是为什么,就是怎么样能够让更少的人可以做更多的事情?就这个是,这个是我觉得就是开始让我开始做机器学习编译。
科研的风险与收益 [01:08:00]
[01:08:00] 泰然: 很有意思,我们马上会重点聊TVM,但TVM之前其实你刚刚已经提到了,你在Google Brain度过了一个暑假的实习,当时你说Ian把你拉到一个meeting room(会议室)里面,给你画了一个坐标系,能讲讲那个故事吗?
[01:08:17] 陈天奇: 那基本上就是因为当时Ian是刚到过Google Brain,而且他的那个应该是GAN有没有发布?好像还没有发布,可能GAN还没有发布,或者已经发布,就是火到那个程度,我就比较幸运的成为了他第一个intern(实习生),而且他也是非常open-minded(开放),就是我当时跟他说,哎,你要做什么?
我可以给你列一些项目,然后我就跟他说,我比较有兴趣的是,我想做life-long learning(终生学习),因为我们当时一直一个vision(眼光)就说,你需要能够让这个智能越来越强大,它要需要能演化它的模型的capacity(容量),就是你需要能够从一个小 的模型,一个神经网络,如果一开始很小,它到一定程度肯定会不行的,如果你要把它放到一个life-long(终生)的角度来看的话,那么怎么样去解决这个问题?
就当时就是开始就问这样一个问题。OK,其实现在你会发现,现在很多时候这个问题还是同样存在的,所以说这个为什么大家开始会有通过小的模型在scaling up(提升规模)?
这个当时就是开始做了这个Net2Net这个项目,就是说怎么样能够当时research question(研究问题)说,你已经有一个训练好的小模型,怎么样能够让它快速的Bootstrap(引导),使得说它的这个容量可以变大?
[01:09:37] 泰然: 所以他(lan)当时给你画的那个图是是一个坐标是risk(风险),另外一个坐标是impact(影响力),你选了risk(风险)最大impact(影响力)也最大的那个,你会建议年轻的researcher(研究者)在科研中偶尔选择这样高风险高收益的课题,还是应该尽可能多地选择这样的课题?
[01:09:55] 陈天奇: 我觉得不同人可能会不一样,而且我觉得每一种选择都有它的道理存在,至少在我现在看来,可能我因为我已经经历过很多的失败了,然后让我觉得说,再失败一次也没有那么差,并且呢,始终我觉得时间是有限的,所以一定要做想要做的事情,它不一定是有impact(有影响力)的事情,但是一定要做想要做的事情,所以说我觉得almost always(可能总是)我们会ends up(结果)就是选一个比较高风险高回报的方向。
[01:10:35] 泰然: 嗯,所以你在结束Google Brain的实习之后就开启了你在UW的第三年,你在机器学习十年那篇文章里面你说,当时你想到了一个可以用低于线性复杂度训练更深模型的方法,结果你的导师说,OK,这个可能发了就是个NeurIPS Poster,你现在不应该做这种level(级别)的research(研究),要做best paper level(最佳论文级别),你现在对这个问题有什么思考?
你觉得当时Carlos对你的影响相当于你已经进入博士的中后程了嘛,你现在回看会是有什么样的感想?
[01:11:11] 陈天奇: 其实他的意思是说,其实这个方向是promising(靠谱)的,但是如果说你要做的话,你要做得更好一点,就是你需要能够不要光用这样一个算法,你需要能够设计一个更好的方法,可以更自动地解决怎么样去选择这个recomputation(重计算),但是因为当时精力有限,后来有follow-up work(跟进工作),by the way就是做相关的工作,对,但是就是基本上他的意思是说,你需要挑你做的东西,并且一定决定要做的话,你需要做的深了,我觉得这一点,这一点我觉得是非常正确的。
TVM的前世今生——什么是机器学习编译 [01:11:44]
[01:11:45] 泰然: 好,然后你就挑了TVM,给我们介绍一下,当时是什么样的背景?为什么会觉得在那个时刻你觉得呼之欲出想要做TVM?
[01:11:58] 陈天奇: 其实还是就是从问题出发,从问题出发,就说我们始终的一个,我始终有一个愿望是,其实机器学习系统并不应该那么复杂,可以让更少的团队通过正确的技术很快的可以去搭建一个机器学习系统。我们做了不少的尝试,对吧,从CXXNet到MXNet,最后发现瓶颈还在那,我们就问说能不能去解决这个瓶颈?然后当时就觉得,哎,是不是可以用机器学习编译这条技术来去解决它?
[01:12:36] 泰然: 机器学习编译是你提出来的吗?之前有这个概念吗?
[01:12:41] 陈天奇: 当时会有一些其他领域的,通过编译技术解决这个,解决这个相关问题的,比较著名的一个工作叫Halide,就他是在这个图像处理这个方向上面,通过编译技术来解决他这个图像处理工具的这个,就是类似开发,对吧?然后所以说其实TVM一开始也是inspired from Halide(受启发),我们一开始的时候也其实是复用了一些Halide的设计。
[01:13:10] 泰然: 所以当时的background(背景)是深度学习框架都有了,当时应该在TVM的时候,Torch、Tensorflow都在那了,是的,那TVM当时在解决什么样重要的问题?
[01:13:21] 陈天奇: 我们当时解决的问题就是,你本来你去做一个矩乘(矩阵乘法),或者说做一些东西的,你这些kernel都是要手写的,包括你这个kernel本身,它对于不同的数据的layout(布局),比如说你在,你在这个卷积网络里面,它可能会有NHWC,就是你到底是channel first(通道优先),还是这个,这个就是就会有非常多的变种,并且在后面你会需要做算子的融合,就是说你的这个不同的算子之间要能把它们融合在一起,就是这些问题本身其实是一个非常大的空间,都是要靠手写的,就是根本干不过来。
所以我们很自然的一个问题就是,能不能去自动去生成这些东西?
[01:14:10] 泰然: 所以哪怕只是矩乘,也有太多的变种了,哪怕只是矩阵乘法。
[01:14:16] 陈天奇: 它会根据不同的你的输入的尺寸和硬件的形态,它最优的实现都还是会不太一样。
[01:14:24] 泰然: 所以TVM当时我记得你有个形容,是在荒岛里面要建城堡,为什么会这么有挑战?当时的landscape(格局)是什么样的?因为当时没有深度学习编译嘛。
[01:14:34] 陈天奇: 就是说我相当于是我们只是觉得说,这个方向可行,要不要试试看。并且呢,其实我们当时在做的时候,还有一个research(研究)的层面的考虑,就是我们在我有一个体系结构的合作者的叫Thierry,他在做深度学习加速器,我们当时在拿FPGA搭深度学习加速器,然后我们当时觉得哎,我们要不要试试看直接把这个编译器和这个NPU合在一起玩一玩看,是吧。
那我也不知道NPU是什么回事,就是直接就是摸着石头过河,觉得这个东西应该设计成这样子,最后我们还真的给这个NPU设计了一个指令集,然后开始去写编译器for that。所以就是基本上非常像ACM班大作业那段经历,也是你从头搭一个CPU和编译器for that。
我觉得就是,就因为有了原来那段经历之后,让我觉得不是很慌,就是做这件事情,但是其实也做了很久啊,我们从开始准备要做这件事情,是差不多在我GTC回来,也就是4月份的时候,开始要开始准备往这个方向开始做,到他第一个能跑起来的东西应该是第二年的3月份,11个月,对,然后基本上就是都在写代码,就是在这个差不多是这样。
[01:16:07] 泰然: 所以当时你会有没有担心或者怀疑过自己在体系结构、编译器这个领域的经验或者能力不足,做TVM的风险过高?
[01:16:18] 陈天奇: 其实当时没有想这个风险这个问题,当时只是觉得说哎,这个东西我想做,而且似乎是我我们要解决机器学习问题的瓶颈,就去试试看,就是这样的。就我感觉好像我做事情很少考虑,很少考虑风险,可能不是一件好事情。但是就是相对来说,只要我觉得他有挑战,然后当然就是我我是比较清楚我有技术路线的,就是我当时有想过,就在飞机上面有想过大概的基本技术路线是什么样子。
然后而且因为前面有经历之后,每一年都是有磨练的嘛,就是XGBoost到MXNet,包括到前面的经历,其实我觉得这种架构能力可以磨练出来,就你大概已经会。所以说就这个而言,其实反倒因为有前面的经验会更有信心,知道说我虽然说可能他会花时间,但是应该是可以做出来的。
选择做重要的事——做TVM的勇气 [01:17:21]
[01:17:21] 泰然: 我注意到一个细节,就是你的那个机器学习十年那个文章是19年发布的,在24年李沐留了一个评论,他说当时你PhD第三第四年你跟他说要做TVM,他说你现在PhD快结束,做这个一个新的大坑会不会风险太高?然后你说当时不管未来是工作也好,创业也好,找教职也好,还是要做当时自己觉得最重要的事。然后李沐说现在看起来这是唯一正确的做事的方式。
所以你当时完全没有就是说自己反正PhD当时你做的东西已经够了,够毕业了,然后你也没有去,你也没有去考虑下一个阶段,你就觉得这事重要我就做了。
[01:18:05] 陈天奇: 而且就是其实我导师他本身都会比较鼓励你去做一些你觉得就一般来说大家都会说do the impactful things(做有影响力的事),但是impact(影响力)很难measure(测量),对吧?你也很难predict(预测),而且很多时候you will miss the goal(错失目标)。但是我觉得做想做的事情很重要,对吧?这个地方。
[01:18:26] 泰然: TVM项目开发过程中,第一年的4月到第二年的3月,这个项目才一开始跑起来,对,十一个月的时间。其实你在这个Podcast里面一句话就概述了,但是其中有没有什么经历你可以分享给我们?你现在觉得记忆犹新的?不断的写代码的过程,我觉得是一个不断迭代的过程。
[01:18:46] 陈天奇: 在这个过程中,就是而且其实比较比较有趣的就是again,就是因为我觉得当时就不怕,就是我们虽然不懂也不怕。就是比如我们当时做NPU,一开始我们可能想的想法更wild(疯狂),就是说我直接能不能直接通过神经网络直接bake(烧录)到这个FPGA的wire(电路)里面去?当然这个方向也有人做,后来就HLS(High-Level Synthesis)。
然后后来我们结论就是OK,我们先做一个NPU,就因为当时TPU的paper刚出来,但没有人知道知道TPU是怎么回事,我们就OK,我们先自己设计一个NPU。然后我们在设计NPU的时候,当时也会很直接,你去下地看问题的时候,你会看到问题了。比如说NPU,我们发现很明显的一个问题是你的内存读写和计算这两个操作是必须要同时进行的那个地方。
然后我们当时就一开始就想说哎,我要怎么样解决这个问题?因为一般来说你设计一条指令,读内存是一条指令,计算是一条指令,你怎么样能够在硬件级别让计算指令和读内存的指令可以通过流水线或者其他方式给流起来?
并且我们当时虽然说没有意识到,后来我发现我们当时设计NPU的想法是非常有趣的,就是大部分的NPU在一开始的时候是完全Hardwired(固定下来)which means(也就意味着)就是说使得说它完全不可编程,就NPU不存在指令,你直接就是直接就说它就一个功能进去出来。
但是我们当时设计的这个NPU叫VTA Versatile Tensorflow Accelerator,它是存在指令集的,就是因为我们是从编译的角度出发,其实你可以把矩乘或者其他东西都可以分解成更小的步骤,更小的矩乘,内存读写可以用同一套指令集编程去实现更多的算子。
于是为了使得你可以有一套可编程的微指令,加上这个overlap(计算和内存读写并行),可以实现。我自己不是做体系结构出身,但我们就是from first principle(从第一性原理)我们在想可以怎么样做这件事情。然后就当时就设计了一套这个关于用我们叫做应该是用一个叫做queue(队列)Hardware Queue和signal来去做判断。
其实后来发现就有一些NPU的确也用了这个东西,而且这个概念其实我们当时用了个概念叫Hyper threading就超线程的这个概念来去尝试解决这个问题,使得说就是使得就是意思是虽然说物理上面NPU它一般来说只有一个线程,但是你可以在逻辑上面把它弄成两个线程,使得在一个线程在做这个内存操作的时候,另外一个线程可以做这个可以做这个计算操作。
并且为了防止他们可以conflict(冲突),就是会访问相同的硬件资源,你会需要利用一些硬件的这个signal的特性来使得说他们可以互相告诉对方我这个东西做完了,你可以继续做下一件事情。我觉得这个NPU设计还是放在今天都还是挺有趣的,比如说你可以在NVIDIA最近的异步的编程里面看到类似的影子。
GPU/TPU/NPU的区别 [01:22:00]
[01:22:01] 泰然: 能不能给我们介绍一下就是GPU、TPU、NPU high level(笼统)来说它们的区别是什么?
[01:22:07] 陈天奇: 其实现在它越来越模糊了,就是GPU,它原来源自于这个图形编程,所以说,但是它其实就CUDA,再往后走来,和图形编程基本上打不着关系,就是它是一个纯粹的叫做single instruction(单指令)multiple thread(多线程),就是你可以用线程,就很多线程来编程。
一般来说TPU、NPU,基本上你可以把它看成是类似一个category(类别),就是它会有一些比较复杂的指令集,使得说你一条指令可以同时读一块内存,或者说你一条指令可能做一个比较大的矩乘。一般来说在NPU里面不一定会有线程的概念,因为你一些指令就本身就非常大。
其实现在的话,这个GPU、NPU,它都会相互走向对方,比如说NVIDIA它会引入类似于Tensor Core,这个这个就是原来NPU里面才会有的东西,对吧?而且很多时候很多NPU它可能也会引入一些线程的概念,为了更接近这个CUDA的生态。所以说就现在就相对来说这个界限就更模糊了。
初生牛犊不怕虎的勇气与初心 [01:23:09]
[01:23:10] 泰然: 你刚也提到你当时又是再一次的做TVM的时候,初生牛犊不怕虎。我发现你一直都是这样,高中的时候也是做竞赛,也是初生牛犊不怕虎,然后到了ACM班写compiler(编译器),后面做机器学习,然后包括一开始做XGBoost,一直都这样。所以你觉得你从这样的性格以及做事的风格上,这会不会是你觉得你很大的一个优势?
就是你就一直保持那种初生牛犊不怕虎,OK,I’m new to this field(我刚来这个领域),那我就做from first principle(从第一性原理出发),要做到极致,然后最后你发现哇,自己已经成为这个领域的专家了。
[01:23:47] 陈天奇: 对我觉得首先就说挑问题和怎么做,我觉得挺重要的。因为其实我就记得原来交大的时候,敖平老师他也是北美回来,他就跟我们说,你在挑问题的时候,你去做一件比较平庸的问题和一个重要的问题,花的时间几乎是一样的。在很多时候that’s true(这是真的),因为你在做一个相对来说哪怕比较平庸的问题,他也有更多的细节需要去做。
所以你一定要挑正确的问题,然后并且基于这一点的话,我觉得,并且我觉得其实很多时候为了去做有趣的事情,肯定是uncomfortable(不舒适)的。我在刚开始进入实验室的时候,一直觉得会不会未来有这样一个时间,我突然之间就成为了这个领域的专家,就是然后在那个之后,我以后就不会nervous(紧张)了,我所有东西都会信手拈来,都可以go through(解决)。
turns out(事实证明)it’s not the case(不是这么一回事)。现在哪怕是现在,我觉得挑战同样存在,而且困难可能会更大,对吧?而且一旦你去尝试做一些你不那么comfortable(舒适)的事,就一旦你要尝试做新的东西,总会有挑战,对吧?肯定是不comfortable(舒适)的。
而且我现在觉得啊,反倒就说随着时间的增长啊,经验是积累的,对吧?that’s true(这是真的)。但是很多时候你做事情的勇气,我觉得还是来自于最初的你自己。
[01:25:28] 泰然: 勇气没有变过。
[01:25:30] 陈天奇: 怎么说呢,应该反过来说,就说反过来说是,其实随着时间的增长,有的时候反倒如果说你不主动的去尝试去提醒自己需要保持初心的话,会更容易畏手畏脚。我觉得这个是一个(感悟)。
其实很多时候你的,怎么说,我觉得很多时候你的勇气可能是你过去的自己给你自己的约定,在这个地方,然后你要,你要达成过去自己的那个对自己过去自己的那个约定,才要继续去坚持做这个这个style(风格)的这个工作。
TVM的生态位,今天面临的挑战 [01:26:12]
[01:26:13] 泰然: 能感受到TVM第一次release是几几年?
[01:26:17] 陈天奇: 应该是差不多,我其实有点不太清楚了,应该是差不多得有18年19年左右,应该更早,18年17年左右。
[01:26:27] 泰然: TVM在社区最黄金的年代是几几年?你觉得
[01:26:32] 陈天奇: 差不多也就是我们在Octo那一段时间。
[01:26:35] 泰然: 20年19年,你觉得现在TVM在这个machine learning compilation(机器学习编译)的生态位,比起19年,现在是进步了还是退步了?包括现在可能TVM是这个machine learningcompiler的先行者(机器学习编译器),但是现在Torch他也在向下做torch.compile。
是的是的,然后TPU上有XLA,现在也有Triton。你会如何定位下一阶段TVM,以及你怎么看TVM在这个生态位中的变化?
[01:27:03] 陈天奇: 首先我觉得在做TVM这个项目而言,它一个非常我带了一个不同的心态来做,因为我觉得说我希望它是可以演化的。也就是说其实你去看现在的TVM和它刚开始的时候的形态,我们几乎已经经过了几个版本的迭代,来去使得说我们可以更好地去适应这个最新的我们看到的东西。
但是在我看来,这个问题本身还是存在的,就是现在我们还是有一个非常大的问题,就是还是需要非常大的工程的力量去解决把一个机器学习模型部署到现在是大模型了,部署到各个设备上面去。这个问题反倒变得首先一方面模型变得更同质化了,这是一方面,但是反过来模型也没有那么同质化,并且它的硬件本身硬件形态更难了,每一代的GPU它的编程模式都不一样。
所以在我看来,这个问题本身远远没有被解决,并且而且大家现在开始意识到一个共识是编译技术是需要需要是在这边的一环。所以说对于TVM本身而言,我们现在希望做到的事情是,我觉得怎么样能够继续简化这一个过程,甚至不是能够提供的解决方案本身,而是怎么样能够快速的对一个垂直领域的编译可以能够构建出这样一个编译器。
比如说像在我们前几年用这个TVM去构建了这个WebLLM和MLC,就是我们可以直接把深度学习的大语言模型编译到像互联网网页以及像这些比如说车载的设备上面。我觉得这些东西是是一个我觉得未来在我们在努力的发展方向,就是说我们在keep reinventing(持续革新)这个技术本身。
当然这里面是存在未知数的,因为我觉得很多时候比较难得可以看到一个项目可以reinventing(革新)并且可以能够就是自己做革新,对吧,然后继续往前走在这个地方。
所以说这边肯定是存在未知数的在这个地方,但是我觉得它本身是一个还是一个比较有趣的问题,并且特别到现在它是一个更有趣的问题,原因是因为包括有这个AI agent和各种各样的这个DSL出现之后,对我们也在继续做这方面的努力。
并且我觉得还有一个需要注意的就是说其实我们会需要更好的和整个生态做整合,这就意味着说比如说啊我们最近在尝试把我们的一些共同的部分像他们的基本的函数调用规范直接单独抽象出来,使得说我们可以更容易地在PyTorch Jax和这些其他的框架之间可以能够做相互的调用。
就是我觉得本身能够继续和整个生态做更多的整合,并且在一些就是 在一些垂直的领域我们可以做一些突破,这个是我希望可以看到的。但最终的目标,我希望其实现在哪怕做深度学习编译他还是一个很没有那么简单的事情,不像做这个就是你写一个神经网络已经非常简单了,你在Python里面写几行就可以做到。
所以我始终还是希望能够看到说能不能就像你在写神经网络一样,做这个机器学习工程开发也可以变得非常简单。
机器学习系统的历史 [01:30:32]
[01:30:32] 泰然: 刚刚聊到TVM,我想花一段时间一个chapter(章节)聊一下machine learning system(机器学习系统)这个东西,因为其实之前的所有几个project(项目)其实或多或少全都在cover(涵盖)这个idea。
其实大家对于机器学习的历史,特别是最开始general audience(大众)以及学习机器学习的学生来说,大多数 对于历史的认知是一个一个算法里程碑,比如说AlexNet Resnet AlphaGoBERT Transformer。
但是我们其实对于背后的机器学习系统的演化历程不太清晰,你能不能给我们一个简单的机器学习系统的历史,它是怎么和算法互相交织过去15年怎么演化的?
[01:31:14] 陈天奇: 其实机器学习系统一直是在这个我们叫做整个AI和机器学习突破都是扮演了非常非常大的作用,就回顾过去大概20年,对吧?你去看,其实机器学习本身它经历了几大突破。在我看来,你可以认为是叫做大数据时代的来临,那个时候就是基本上从机器学习还是在教科书上面,到了我们的推荐系统。
一个非常有标志性的事件就是Netflix他们做了这个Netflix challenge,就是做推荐系统比赛,并且开始有这个。后来像比如说这个今日头条,其实他一开始就是靠推荐系统开始起家做这个事情。然后那个时候的话,其实就得益于你会发现他的一大突破是得益于数据的量,从原来你做几百个数据点,对吧?到了上亿级别的这个这个数据,就是标志大数据的产生。
然后那个时候其实你会发现在这个时候,原来的包括原来的一些非开源的系统,像原来沐哥还有文渊他们在百度一开始做的,他们凤巢做那个大规模的线性回归,到像开源的系统,包括像Apache Spark还有XGBoost,这都属于大数据时代。
你会发现就是因为大数据时代有了这些工具,可以让大家可以把这些数据给用起来,才产生了这样一个整个的就是本身的技术上面,就是实际上应用上面的突破。然后到深度学习的breakthrough(突破),这第二个阶段,你可以认为它是这个深度学习的这个pattern recognition(模式识别)的breakthrough(突破)。
它其实是一开始之所以能够有这个breakthrough(突破),很大的原因是因为Alex Krizhevsky他是一个非常强的hacker(黑客),CUDA ConvNet他们在一开始的时候用了应该是两块GPU,就是然后这个训练了一个星期的时间,在当时是不可想象,我们当时的机器学习实验的时间基本上都是在几分钟这个级别的吧?
一个愿意花一个星期的时间,并且他是做了这个多卡的优化的,包括并行。然后到后面呢,像Caffe其实非常大程度的推动了这个computer vision(计算机)领域adopt(采用)深度学习,就是几乎扬清他们的工作做了非常非常大的贡献。
然后再到后面呢,像MXNet、PyTorch、Tensorflow,就可以有一个很明显的对比嘛,就是说我们在一开始我开始做深度学习项目的时候,我们做一个模型要花六个月的时间,写可能两万行CUDA才可以做一个模型。到了深度学习框架出现之后,你可以几乎在几分钟之内写几行Python就可以完成同样的事情,这个是非常大的这个技术的革新。
这个地方也正是因为有了这个技术的革新,才导致我们有很多更多的算法的探索可以再基于这些框架继续来使用,对吧?然后再到最近的这个大模型的爆发,其实我觉得机器学习系统反倒是走到台前了。大家都知道说你在设计模型的本身需要一,模型本身需要考虑你能不能在GPU上跑得快,就是然后二,这个你一定需要有系统可以帮助支撑你做scale up(规模化)和deploy(部署)。
所以说就是在今天而言的话,反倒这个模型和系统的设计和优化和协同设计,是一个大家开始有共识是需要做这件事情的。
[01:35:09] 泰然: 你应该是MLSys这个conference(会议)这几年一直在背后的推动者,你觉得未来几年整个MLSys(机器学习系统)这个领域会有哪些重要的方向或者挑战值得关注?有没有什么你个人特别期待去攻克的问题?
[01:35:26] 陈天奇: 它是一个就像数据库系统一样,它是一个问题驱动的方向,所以说肯定它的topic(课题)肯定会来自于说现在的这个机器学习领域的主要问题是什么。所以说你会发现肯定一个很大的课题是怎么样能够做更好的大模型的优化,并且其实还是会有些fundamental(基础性)的问题,比如说为什么我们现在还在继续做机器学习编译?
原因是因为我觉得这个本身的硬件适配和这个软件的bring up(运行)本身还是一个非常大的瓶颈在这里。对,还有就是很明显的可以看到Agent system也是一个非常重要的话题出来,怎么样能够把AI本身用来去优化我们的这个machine learning system engineering(机器学习系统工程)本身,我觉得也是一个很有趣的问题。
MLC LLM——将大模型部署到所有设备 [01:36:19]
[01:36:20] 泰然: 我想聊聊最近应该是在Octo也好,在实验室也好,你一直在做的这个MLC LLM这个项目,OK,能给我们简单介绍一下这个项目在干什么吗?
[01:36:30] 陈天奇: MLC LLM本身其实是TVM的一个延伸,就是因为我们意识到说你为了做一个深度学习编译器,我们必须要能够很清楚地知道问题在哪里,就是问题在哪里。如果说现在是大家都在做大语言模型,对吧?我们必须要知道说你去实际上面做这个大语言模型本身的优化应该要怎么做。
所以这就促成了我们去推动这个MLC LLM这样一个项目,就是它是一个相对来说比较可以跨云平台和端侧的一个统一的编译、统一的这个推理引擎在这个地方。然后并且他用了机器学习编译的技术,因为我们很明确的知道我们并没有足够多的能力去手工铺开去实现各个平台的支持,所以说我们希望能够通过这个东西来去能够让我们垂直上就通过这个垂直领域去推动我们的这个相关方向的开发。
未来大模型的推理的格局分布——云vs端侧 [01:37:30]
[01:37:31] 泰然: 所以其实MLC现在我看到的Demo有跑在iPhone上的,安卓手机可能也在做,对,AMD的显卡包括MacBook都可以deploy,比如说Llama2之前你们做的那些模型(部署)。我比较好奇的是你对于后ChatGPT时代未来的inference(推理)的格局会是什么样的?我们会有多少的需求会发生在端侧,多少的需求在cloud(云端)?
[01:37:55] 陈天奇: 这是个很有趣的问题,对吧?因为你看到现在的情况的话,大部分情况都在cloud(云)everything’s mostly on cloud(所有都大部分在云上)端侧还是一个问号,至少在现在。但是我们同时又发现了,比如说其实Pretraining kind of stalled a bit(预训练在某种程度上陷入了停滞),对吧?
就是然后一旦相对来说,如果说Pretraining stalled(预训练停滞)并且模型能力开始,其实大家开始关注cost(成本),我觉得这个形态肯定是会变化的,取决于说—本身模型再往前进的速率速度。
在这之前大家都关注的是怎么样去get to the next level of intelligence(更好的智能),但是我觉得大家会开始关注get to the application(应用),然后大家开始关注cost(成本),可能并且开始关注cost(成本)之外的一些东西,比如说privacy(隐私),比如说这个,比如说可能会需要specialization(专用性),对吧?
可能这个格局就会开始有所改变。
[01:38:53] 泰然: 其实我最开始看了MLC LLM这个项目之后,我当时脑子里我会想到有两个要部署在端侧的需求。一个是privacy(隐私),但其实我觉得我现在虽然说我有点care(在乎)吧,但我已经不care(在乎)了,就是我相信现在如果登上我的ChatGPT问他我的所有的social security number(社会安全号码)身份证号,我估计全都全都知道,OK。
然后第二个需求我觉得可能是实时性,因为我们做机器人,我觉得比较有意思的一点是他如果要走路要抓一个杯子,没有时间在那reason(推理)10秒的,对。我觉得可能robotics(机器人)的这个实时性会是端侧部署很重要的一个场景。NVIDIA最近也在做像什么Thor这样子的芯片,能够部署到机器人上。
你觉得privacy(隐私)和实时性除了这两个之外,还有没有什么端侧的需求?然后哪怕对于这两个需求,你觉得在未来是会越来越扩大,还是说你觉得cloud(云)会有更好的solution(解决方案)对于privacy(隐私)和实时性?
[01:39:51] 陈天奇: 这个取决于什么呢?这个取决于模型的能力。我觉得还是之所以大家现在用cloud-based model(云上的模型),原因还是因为cloud-based model(云上的模型)的能力更强,对吧?这个是一个事实嘛。但是就好像是一开始的时候大家在用电脑的时候,大家都还是用mainframe(大型机),对吧?
大家觉得说你所有东西都可以centralized on mainframe(集中在大型机)。
然后有personal computer(个人电脑),everybody have their own personal computer(今天所有人都有个人电脑),even today(即时今天)大家还是习惯用自己computer(电脑)上面的software(软件),虽然说像Chromebook这种vision(愿景)还不错的,但是还是大家更多的还是会有personal computer(个人电脑)这个东西。
这完全取决于你的local AI model(本地AI模型)本身的能力到底能够有多强。它肯定不会在通用领域上面可以完全匹配现在最大的模型,但是在一些专用领域,如果它能够到够用的地步之后,I think the picture can change(我认为格局可以改变),就因为它它会有这个cost(成本)和其他的需求。
但是你说的这个Privacy(隐私)和实时性的确是两个非常大的一个需求。就我而言,如果说有一个AI我可以直接locally(本地)也可以用,并且它可以,它的能力几乎和现在的GPT相似的话,我觉得我会有兴趣去去opt to try that way(选择试一下),对吧?
就是至少that’s I think that’s kind of one possibility(是个可能性)。
AI模型的收敛趋同会持续下去吗?对机器学习系统来说意味着什么? [01:41:18]
[01:41:18] 泰然: 其实在我们今天这个Podcast之前,我对MLSys(机器学习系统)整个这个领域的理解,我会觉得是这是一个为了模型结构和deployment(部署)百花齐放而催生出来的一个新兴的学科。因为我会觉得不同公司不同的场景不同的modality(模态),包括你刚刚说不同input(输入)的维度tensor(张量),不同的task(任务),都有很多优化的空间。
但是其实现 在看起来AI的模型大语言模型其实是越来越趋同了。可能我不知道具体的数据啊,但我猜GPT5可能占了所有inference(推理)的百分之一大半是有的,剩下的可能是Gemini,剩下的可能是Deepseek,可能top five(前五名)就占了99%加。你觉得这种这种趋同的趋势会让MLSys(机器学习系统)这个community(社区)衰败吗?
就是因为那大家就针对这5种模型这5种deployment(部署)优化就好了,那么好像那就是做专有的模型优化专有的芯片优化就好了。
[01:42:19] 陈天奇: 你不能完全否认这个可能性,对吧?这个我觉得是有可能的。on the other hand(另一方面),现在比较有趣的是什么呢?现在比较有趣的是,一方面硬件本身它it have to be specialized(必须要专用化),因为我们已经不太能够通过通用性来去解决问题了。
每一代的芯片它往前走的方式非常不同,它往前进的方式非常不同,就是为了达到,就是你会发现,并且每一代的芯片的软件,哪怕是同一个vendor(供应商)的软件,它几乎都需要去有一些新的特性,需要重新适配。这就意味着说,因为它的复杂度来自于两方面,一方面是来自于硬件本身的支持的复杂度,另外一方面是来自于模型本身迭代的复杂度。
OK,因为现在特别的需要有专用化,导致了这两个复杂度再往前移,就是你刚才说的复杂度其实是模型逐渐收敛,对吧?就是因为他们逐渐往这个硬件友好的方向收敛。但是为了能够让硬件和模型这两个东西,就其实有一个很明显的特性,他们相互之间的缠绕会越来越明显。
但是呢,又因为你没有很简单的方法可以用同一个recipe(秘诀)下去get next 2x(翻倍提升),所以就说大家都需要be creative(有创造力)。这个时候的话,他就会有问题出来,就是你的下一代硬件的解决方案和这一代硬件解决方案就会不一样,并且可能最适合匹配下一代硬件的模型和这一代硬件的模型本身也会不一样。
所以说我们可以看到像deepseek,它们针对他们的应用场景和硬件环境做了设计,对吧?才可以达到最优的效果。所以我觉得这个从这点看来,这是非常有趣的,就是他可能会是,反倒是使得ML System(机器学习系统)这样一个,就是比较体系化来去看这个问题,再往前进比较重要,会更重要的一个原因。
[01:44:35] 泰然: 哪怕模型在收敛,其实也还是有很多可以做的空间。
[01:44:41] 陈天奇: 对,还有一个问题就是,实际上面模型虽然看上去已经收敛了,但是你会发现,为了对不同的新的模型变种做bring up(适配),它还是要花一些精力在这个地方。
所以说还有最后一个话题,就是我们又回到这个,他们有一个topic(话题)叫Hardware lottery,就说实际上面因为Hardware硬件本身它去限制了模型可发展的可能性,导致了模型本身也就收敛了,但是可能它不一定是最优的形态。所以说从一个这个整个领域来说的话,它需要有这个百花齐放。
来深度学习之所以能够繁荣,能够有突破到今天,一个很大程度的原因就是他在百花齐放的往前走,对吧?所以说我觉得就领域而言,还是有必要去enable(赋能)这个其他的模型,其他的模型在百花齐放继续往前走在这里。
学术界还能去解决什么样的机器学习系统的研究问题? [01:45:45]
[01:45:45] 泰然: 第二个我想问你关于LLM时代的ML system的问题,是在这个时代是不是在学术界做ML Sys(机器学习系统)接触到的data scale(数据规模)和Frontier AI lab(前沿AI实验室),比如说Anthropic、OpenAI,会差很多个数量级?
这会不会导致学校里面的MLSys(机器学习系统)只能去做scale down(减小规模)的事儿,没法去做scale up(增大规模)的事儿了?
[01:46:10] 陈天奇: 这个是不可避免的,对吧?in some sense(某种程度上),因为在学校里面你肯定不可能再做比如说Pretraining(预训练)这个数量级的东西。
但反过来说,我觉得lack of resource(缺乏资源)就resource constrain(资源限制)is also an opportunity to make people more creative(也是激发创造力的机会),就是我们可以能够,就比如说我们现在还比较坚持做深度学习编译这个方向,原因是因为在学校里面我不可能堆100个人去去解决我的问题,对吧?
对于大公司来说这是非常正常的,堆100个人去解决这个方向。那么我觉得we need to be creative (我们得有创造力)。但是反过来说,你可以有这个空间可以让你去,就是去比较沉淀的去做一些事情。我觉得所以这边还是有很多机会的。第二个就是我觉得是开源社区的合作,学校不可能是一个个体,我们一定要能够去做出一些工作可以让开源社区一起来做共建。
像现在比较优秀的像vLLM、SGLang,他们在科研社区里面的推动,对吧?他们也是来自于高校。但是其实你会发现,成功的项目很多时候都会有这个高校的影子。最后的话,就其实很多时候在这整个生态中啊,它其实是会有一些again,就像XGBoost的lesson(经验),我我们会发现说,你可以不需要做所有东西,但是你可以做一些你觉得关键的东西,并且把它做到最好。
我觉得其实这中间里面整个LLM inference(大语言模型推理)ecosystem(生态系统)里面有非常多的模块,它本身是,比如说你要做最强的kernel optimization(内核优化),不会需要那么大的scale(规模),只要能够get access to a latest(有最新的)NVIDIA GPU,像CMU,对吧?
就我们最近也和FLAME Center基本上它可以达到差不多百卡级别的cluster(集群)。我觉得有了这样的resource(资源),你再去跟工业界比起来,你会发现很多时候工业界也没有那么富,特别是如果说你不是真正的在那个(前沿实验室),就如果你只在R&D(研发)这个方向上面,它并没有想象的那么富裕。
所以说我觉得there are still opportunities(有机会)在这个地方。
[01:48:38] 泰然: CMU这个百卡的集群听起来好像已经很好,但好像现在Frontier lab(前沿实验室)都是万卡、十万卡级别的,还是差两三个数量级。对于今天的MLSys(机器学习系统)的研究人员,特别是对于PhD学生来说,你觉得如今什么样的MLSys research(机器学习系统研究)最具杠杆效应,投入产出比最高?
[01:48:58] 陈天奇: 很多时候啊,我觉得就对于机器学习系统,在我看来其实我倒在做一个事情的时候,不会特别考虑投入产出比这个事情啊,反倒我们会去问说,至少我自己会问说,这个领域我觉得它的瓶颈在什么地方,然后是不是可以去解决它的瓶颈。
那么就是当然我们会在这个过程中可以通过identify(识别)一些问题,就是特别是我觉得现在MLSys还是会有很多垂直领域,比如说我们之前做agent,我们就会发现在agent里面,我们做结构化数据生成,你为了能够你这个agent本身出来的能够to JSON(转变成JSON格式),对吧,就是满足一个格式,这个东西非常重要,但是实际上面现在的解决方案都做的不好。
我们去年做了一个XGrammar的项目,它其实就一个模块而言,它其实已经成为了现在开源社区做结构化生成的事实标准之一,至少是之一。所以说就说其实有很多的opportunity(机遇)在于说可能可以identify(识别)出实际的整个问题里面的一些瓶颈。
然后第二个我觉得就是说还是要看自己对什么问题感兴趣,他们选的问题还是会不一样,就是我们去选择自己觉得有passion(热情)可以解决的问题就可以了。
[01:50:23] 泰然: 那如果你今天是一个三年级PhD学生,你只能选择修复或者改变一件事情,会做什么?
[01:50:29] 陈天奇: 我应该会选择我做我现在在做的事情,说实话就是基本上就是说继续去解决这个我们说让更少的人可以在用更少的engineering resource(工程资源)可以去解决这个机器学习系统在最新的硬件上面的bring up(适配)的问题。
如何做成功的开源项目? [01:50:49]
[01:50:49] 泰然: 刚刚我们聊从XGBoost聊到MXNet、TVM到MLC LLM,其实你的主要成果都是开源项目,甚至从最开始的那个C++的矩阵分解代码。对,对我看到你也说你是open source(开源)和open science(开放科学)的believer(信仰者),你能不能跟我们讲讲,就是首先为什么你对开源有这么大的兴趣?二,你觉得一个成功的开源项目需要有什么关键的?
[01:51:22] 陈天奇: 我觉得开源是很好的一件事情,对吧?就是因为大家可以在社区里面相互交流、相互分享,有的时候可以给你的代码点赞,然后并且可以认识不同的人。所以我觉得就社区而言,开源是一个很好的activity(活动)。
我觉得是其实对于高校而言,开源非常重要,原因是因为就纯高校本身其实是不太容易直接能够让你的东西做到落地的,对,你必须要有能力把你的东西分享给大家,并且能够大家一起来共建。而且对于学生而言,其实我觉得开源是一个很好的机会,原因是因为嗯,你进入到公司里面,大部分情况你是从做一个大项目的一个小部件开始的,对吧?
很少有能,很少有人可以给你这样的机会直接去做一个东西的架构从头开始这样的机会。if you are(如果你是)Jeaf Deanyou will be able to (你可能会)get the opportunity (有机会)。但是如果说我们不做开源项目的话,在博士期间出来,其实很少能够接触到这样去架构大系统的机会。
所以说我觉得是,并且呢,高校本身它是有做开源的土壤的,原因是因为一,它相对来说比较中立;二,很多时候其实开源还是需要有一些社区奉献精神在里面的,就是就是。所以说我觉得就是就这一点而言,我觉得开源它有它的好处。
当然它会带来overhead(开销),它不是一个free(免费)的东西,因为这就意味着你需要花很多的时间去看用户的反馈、修bug,然后这个跟社区互动可能很多,它和传统意义上的科研和写论文啊这些东西并没有直接有关系。所以说就是并不是所有的组,几乎应该是很少的组会采取这种路线,但是的确它是一种方式。
[01:53:34] 泰然: 在你的开源的项目所有issue,你都会一个一个去看、一个一个solve(解决)吗?
[01:53:40] 陈天奇: 我会经常去看,一个是其实这些反馈是非常宝贵的,很多时候就是说因为你一个项目不可能是一个软件,它不可能是以它某一个时候的代码形态来决定它的成功的。开源它之所以好,是因为一个软件它是要被不断维护的,所以说就这个时候的话,其实这个issue和反馈其实是非常宝贵的。
[01:54:04] 泰然: 你说过就是开源社区代码不是最关键的,最关键的是人,怎么构建一个有很多很好的Talent(人才)并且大家很活跃的一个开源社区?
[01:54:15] 陈天奇: 首先我觉得技术本身还是重要的,因为你需要能够做正确的技术,让大家去believe in it(相信它)。然后第二个就是说,社区本身我觉得还会需要有一些passion(热情)去推动它,因为并且它其实是会取决于,它会决定了我们未来别人有多相信你做的事情。
原因是因为,如果说我们做了一个东西出来之后,突然之间不维护了,那么大家在你发布下一个项目的时候,自然会问说,会不会这个他到底是不是需要相信这件事情?我觉得他需要一个build trust(建立信任)的过程,就是你和这整个社群
OctoML——创业的动机与故事 [01:54:57]
[01:54:58] 泰然: 我想和你聊OctoML。OctoML是一个基于TVM这样开源项目的一个startup(创业公司),当时是怎么决定要创业的?背后的故事是什么?
[01:55:09] 陈天奇: 这个还是比较自然的,就因为我们当时毕业,我毕业之后,就是因为我们当时做TVM项目有几个同学嘛,然后还有几个老师,当时觉得说,哎,这边似乎有一些机会,于是就很自然的,我们就说OK,要不要去做一个startup(创业),就开始了。
对,那其实因为我的evolvement(参与),我主要是在第一年,我是full time(全职),然后后来我就基本上是part time(兼职),所以其实我非常幸运,有Cofounder(联合创始人)可以他们做day to day的operation(日常运营)。
[01:55:36] 泰然: 所以其实OctoML一开始就是基于一个开源项目的一个startup(创业公司)。that’s true(是的)。那和Databricks是不是有点像,也是一个先有一个好的(开源项目)
[01:55:45] 陈天奇: 是的,就是其实你会发现,现在基于开源再做商业模式的这个东西,这个并不罕见。而且其实它对于高校来说,我觉得是一个蛮不错的一种方式。原因是因为,就我有跟其他做startup(创业)的同事聊过,他就觉得说,一开始觉得欸能有开源其实非常好,因为你可以一开始的时候,在你去先去迭代你的项目来找到fit(匹配)。
但说实话,其实最后你开始startup(创业)之后,开始要想要做的东西和你后面要做的东西肯定是不一样的。这个是这个是必然的,就是说至少你可以有这样的机会,可以能够去把一开始项目通过开源的方式先能够有影响力。我觉得是一个,我觉得高校产品转化不错的一个路径
[01:56:37] 泰然: 就特别想和你聊聊开源和基于开源做的商业公司的这个。其实我觉得这个关系很微妙,因为我觉得如果你开源做得太好,你的公司又是基于这个开源的,那没有人会买你的product(产品)。我和基于Ray做的那个Anyscale他们公司的工程师聊过,他说其实Anyscale revenue(营收)没有办法去下一个数量级的,很重要的原因就是开源的Ray太好用了。
OK,你觉得OctoML有这样的问题吗?会不会就是因为一个东西一旦开源,其实你开源了之后大家的access(获取)是很简单的,你怎么convince(说服)他们给你花钱呢?
[01:57:17] 陈天奇: 其实在我来看是反过来的。OK,我加入OctoML的原因是因为我希望开源社区能够成功。就可能这个motivation(动机)不太正确啊,就说我我们found(建立)这个company(公司)的原因是因为我们希望开源社区能够更加成功。当然就是在company(公司)开始转动之后,肯定是为需要公司利益开始往前走的。
这个时候我的一个observation(观察)是,几乎所有的startup(创业公司)他开始想要做的东西和你最后做的东西一定是不一样的。这个在我们之前我的Advisor(导师)他们found(创办)的那个Dato就是或者Turi,他们公司改了好几个名字,就是我就可以看,就是之前的经历就几乎可以看到。
包括你看Databricks,他从一开始的以Spark作为他的这个核心项目,到最后他的business(商业)现在Spark几乎不是它的最主要的部分。那就是我觉得very naturally(很自然)就说它是一个你的起点,但几乎一定不一定是你的终点。所以就这点而言的话,我觉得不需要那么纠结于这个。
但是反过来说,就是从正面的角度来说,既然选择了开源项目,你必然选择了它的好的地方和不好的地方,对吧?好的地方就是它可以有buy-in(支持),可以拿到社区的反馈,你可以有比较强的flywheel(飞轮)可以去做一个事情。不好的地方或者说扩散扩得不好的地方,必然是你需要考虑怎么样让你的商业模式可以和开源社区一起来去运作,对吧?
这个就是他会有一些案例,对啊,就比如说像Red Hat就是相对来说还算成功的,或者说就是就比如说像databricks他也是相对来说是比较成功的案例。所以说这个我觉得是要看每个case(案例)而言,他基于开源社区做startup(创业),我觉得不会有天生的劣势,也就它只是不同的路径,不同路径它必然会有它的这个优劣,对吧?然后只是不同人选择的问题在这里
OctoML的商业模式与转型 [01:59:22]
[01:59:23] 泰然: 这个很有意思。你说你刚刚是为了开源社区能够繁荣,所以才包了这顿饺子做了这个startup(创业),而不是反过来,因为很多人是为了做startup(创业)先做开源,你是为了开源去做startup(创业)
[01:59:34] 陈天奇: 至少我当时加入Octo的motivation(动机)是这样子,对。
[01:59:40] 泰然: 因为上一期和胡渊鸣聊的时候,也是基于他的开源项目PhD期间做的太极,他就说做了两年之后发现商业化很困难,很多人都说太极很好,但我不愿意花钱。OctoML没有遇到这样的问题吗?或者说,我应该先问个前置的问题,Octo的产品和生意到底是什么?就是这个商业模式是赚谁的钱?
[02:00:03] 陈天奇: 其实Octo它的商业模式有所转变的。一开始的时候,在我们刚出来的时候,大模型还没有那么的火,我们当时觉得我们是可以通过机器学习编译,让大家可以把我们的机器学习本身的优化和加速部署到更多的硬件上面去,更快的部署到更多硬件上面去。所以一开始的时候,他的潜在的客户主要是包括了硬件的厂商,以及部署机器学习的客户,对吧?
然后到了基本上两年之前,基本上我们就很明确的一个转变,就是我们开始做了机器学习部署的服务,就有点像是像现在这个Fireworks Together,包括现在这个整个的就是API服务商做的事情。然后这个时候的话,其实机器学习编译只是一个背后的支撑技术,它可以是一个技术,让我们更好更快地做这件事情。所以说它其实它的商业模式在整个构思发展的过程中,肯定是会转变的。
[02:01:10] 泰然: 所以其实现在就之前OctoML主要的生意已经是帮别人部署模型,比如说有一个客户,他想要大规模的let’s say(假设)用Llama,然后你就他有一个cloud(云),然后你们把它高效的部署上去。
[02:01:23] 陈天奇: 到最后其实是Endpoint business(终端业务),就是应该是说我们直接提供Llama或者其他的Endpoint(终端),他call(调用)API,对,call(调用)API。
[02:01:32] 泰然: 那这个其实这个市场很竞争很激烈啊,是的是的,那大家就拼大家谁Llama inference(推理)的cost(成本)低,对。
[02:01:40] 陈天奇: 但当然就是其实他产品上面还是可以有一些形态,比如说你可以加入像这个multi LoRA的inference,对吧?包括就我觉得产品上面还是有可以做的形态,但是至少我们发现就是它是一个很重要的business(生意)。
[02:01:58] 泰然: 所以其实一开始做Octo的时候,你加入Octo的时候,当时以为会做的和最后Octo真正赚钱的生意,这个转型是很大的。
[02:02:09] 陈天奇: 其实我一开始就知道这件事情,就是因为加入之前我已经看过另外一个startup,就是我导师的,他们那个Turi,他们是一开始做那个他们叫GraphLab,就是CMU去做这个这个大规模图处理软件,OK,然后到他们差不多被收购的时候,他们几乎已经完全转型到了data science平台,所以说当时就基本基本上就是在开始做这件事情的时候,就会有这个心理准备,就知道说其实你去开始做的这件事情和what you end up doing(最后做什么)一定是会是不一样的,但是反过来说,我觉得这也没有关系,
因为只要在这个过程中可以somehow找到这个synergy point(协同点),对吧,然后可以能够做好的技术,然后可以能够有机会继续推动我们的开源社区的技术发展,我觉得就是一件好事情
创业的收获与教训 [02:03:07]
[02:03:08] 泰然: 那这个是expected(意料之中),有没有什么是unexpected(意料之外)?整个从最开始做Octo到最后,你对商业和技术有没有什么没有意料到的、新的、学习到的教训?
[02:03:19] 陈天奇: 其实做startup(创业),我觉得最大的lesson(教训)是,很多时候它不光有技术的因素,对吧,human factor is very important(人的因素非常重要),就是怎么样跟人交流,怎么样和在大的团队中可以能够去不说management(管理),而是说就是就本身你怎么样扮演一个leadership(领袖)的role(角色),对吧,我觉得这一点会非常的重要,然后还有就是说怎么样能够快速的做技术转型,就是因为所有东西都是必须要能够reinvent yourself(革新你自己),对吧,顺应就是看到了这个新的时代的发展,
怎么样能够去这个去敢于去做突破,那这一点是非常重要的
[02:04:06] 泰然: 刚刚我应该问,就是做Octo,你们决定做Octo的时候,有想过去当CEO吗?还是说你当时就是想做一个技术的角色?
[02:04:15] 陈天奇: 我很明确我不要当CEO,就是因为当CEO很难很难很难很难很难,因为you have to be full time(你必须要全职),基本上你要放弃技术很多,然后我当时很明确,我觉得我的passion(热情)在于我想要做好的技术,然后所以我就很明确我不会要当CEO
[02:04:36] 泰然: 所以在Octo你负责的部分是什么?
[02:04:38] 陈天奇: 主要是一开始的一开始我会负责基本 的技术的构建,在第一年我是full time (全职),后来基本上就是大的技术的方向和比如说下一代技术的研究
[02:04:51] 泰然: 有没有什么你力排众议要坚持的东西?然后这个过程中有没有什么后来最开始你比较确信的方向,后来自己给它推翻了?
[02:05:00] 陈天奇: 我觉得的确啊,在这个过程中是需要我trade off(权衡),比如说你看到了,因为我当时我觉得我可以扮演的角色是看到未来技术的发展方向,并且保证我们可以快速的能够future proof(面向未来验证)我们的技术。在这个过程中,比如说,其实我们在整个过程中,包括对于TVM编译技术,我们其实是做了几轮的迭代的。
就比如说,我们对于large language model(大语言模型)的支持几乎是重构了,就推翻了我们一开始的那个图编译的部分,重新做了,重新做了一个叫relax的这个。这个就包括其实这个在开源社区,在CMU这边有同学也会有参与做相关的工作。
这个东西其实是不会被所有的人员认可的,原因是因为毕竟已经有一套现成的技术,它短期内可以解决现在的问题,并且它还会有坑,对吧?你到底是花时间去就是reinvent yourself(革新你自己)which will take time versus(会花时间,比起)你直接去这个现在去patch(打补丁)现在的东西?
这个始终是一个,始终是一个这个所有人都会面临的问题,在那个地方。
创业被NVIDIA收购是符合预期的退出方式吗? [02:06:12]
[02:06:12] 泰然: 所以你的决定是reinvent yourself(革新你自己)?
[02:06:16] 陈天奇: 对,至少在我看来的话,就是会比较有必要reinvest myself (革新自己),因为if you don’t do that (如果你不那么做),就是就there will be a time (会有一天)where you bite the technical debt (你会还欠下的技术债)。
[02:06:26] 泰然: 所以从19年Octo创立到24年底宣布被NVIDIA收购,整个这个过程中5年时间吧,5年多的时间,你觉得被NVIDIA收购这个对你来说是一个符合你预期的退出的方式吗?
[02:06:44] 陈天奇: 其实我完全没有想过这个问题,就是在做的时候,当时就觉得哎,能够把一件事情做好看看就好。我觉得现在回过头来看,在NVIDIA工作是一个不错的机会,原因是因为基本上我们现在整个的organization(组织)都是在负责NVIDIA的机器学习编译,这边有很多很重要的问题。
然后而且NVIDIA当时收购Octo一个很大的原因也是因为NVIDIA想要能够grow on(发展)这个AI compiler(AI编译器)这个方向,对。
[02:07:14] 泰然: 你在NV还会有做universal deployment(通用部署)的自由度吗?
[02:07:17] 陈天奇: 我觉得NV它本身它比较有趣,是它自己会有非常不同的产品线,包含了这个,包含了像这个就data center(数据中心)GPU,像Blackwell,到这个Thor,就是edge(端侧)。就它其实cloud and edge(云和端侧)这个这个portable deployment(便携式部署)的问题在NV同样存在。
你再考虑到它的跨度不同的generation(代)本身,我觉得它这个问题本身还会。然后就开源社区而言的话,我觉得开源社区本身它还是可以继续去推动这个,就是尽量的portable deployment(便携式部署)这个东西。
[02:07:57] 泰然: 你现在回看,如果你重做一次Octo,你会做出什么不一样的选择吗?
[02:08:02] 陈天奇: 我觉得这个it’s very hard to say(很难说),因为这个叫什么来着,就是我觉得很多时候你做的每一个选择的commitment(投入承诺),就好像有的时候我会说,我重新去回到我一开始做深度学习的时候,我会不会做一些其他选择?
但我觉得in the end all these lessons(所有的教训)可能会有positive side(正向的一面),可能会有very negative side(很负面的一面),它们都是a part of journey(旅途的一部分)。
自我革新的重要性 [02:08:28]
[02:08:28] 泰然: 那整个这个,我觉得做startup(创业)strategy(策略)非常非常重要,visionary strategy(有远见的策略),你对于这个上面你学到什么东西?就是可能你之前做XGBoost、MXNet、TVM,你学到的是一种做开源社区、做tech project(科技项目)的strategy(策略),在Octo你学到了什么strategy(策略)?
[02:08:48] 陈天奇: 我觉得一个是还是需要思考一下你的product market fit(产品市场匹配)在什么地方,但第二个我觉得还是很重要的是说,其实in the end(在最后)可能这个不是,这个观点不会被所有人认同。
在我看来,很多时候做优秀的技术始终是没有错的,就是说you have to have something to differentiate yourself(你需要与众不同),对吧?然后并且就比如说,如果说我们一直一直在两年之前还是继续抱着我们原来的技术路线,就是继续去优化ResNet,这个我觉得最后我们会输得很惨。
就我觉得说In the end(在最后)技术本身它就是需要往前突破和革新的,maybe(也许)这个是因为这是我比较擅长和想要做的事情,所以说我会比较prefer(倾向于)能够去思考说怎么样能够在技术上面做到Excellence(杰出)。
但是反过来说,在startup(创业)这段经历也让我意识到,为了让技术做到Excellence(杰出),它会需要有其他的因素,对吧?会需要有这个,比如说和大家比较好的coordination(协作),会需要能够站在产品的角度去说服你的partners(合伙人),然后会需要思考这个为了product market fit(产品市场匹配)我们在后面往前怎么走。
这些东西都是一个一个,是我觉得说可能不同人有不同的style(风格)在这个上面,我有一点点理想主义在这个地方,但是反过来说,我觉得这段经历会让我觉得我会更现实,我会知道说怎么样能够通过现实的方式去更好的实现理想,嗯。
为什么决定要当教授——为什么当教授了还要写那么多代码? [02:10:33]
[02:10:34] 泰然: 你的另外一个身份是CMU的教授,你是多久决定自己想要申请教职的?
[02:10:41] 陈天奇: 基本上应该是快要毕业的时候就已经决定说,觉得哎,一,我喜欢做科研,对吧?喜欢不确定的东西;二,跟同学们一起去解决新的东西非常有趣;然后三,我觉得其实教大家做一些东西也是非常好的。所以说这就是为什么选择了做教职。
[02:11:02] 泰然: 所以你过去5年可能80%当教职,20%是一个创业公司的Cofounder(联合创始人),其实这两个身份或多或少都是教大家或者management(管理)偏多,定方向。可能有另外一个平行宇宙的陈天奇是在做还是很硬核的一天12个小时的individual contributor(独立开发者)的那条路吗?
[02:11:24] 陈天奇: 我还在一直写代码,我现在还在一直写代码。
[02:11:26] 泰然: 你一天能花多少时间写代码?现在
[02:11:30] 陈天奇: 我可以尝试抽出时间来写代码,我觉得我们先要support the team member(支持团队成员),that’s the highest priority(这是最高优先级),需要能够让同学们需要,对吧?
然后第二个,我自己还是比较喜欢if necessary(有必要的话),if necessary(如果必要的话),I want to be able(我希望能够)to be on the ground(在一线实操),就是,而且现在其实with the help of AI(有了AI的帮助),is not that bad(没有那么难),然后可能还会需要有一些耐心吧,所以就是我至少可以把它当做一个兴趣爱好来做。
[02:12:03] 泰然: 所以你现在一周大约还能写多少小时的代码?
[02:12:08] 陈天奇: 不太能够算时间,但是基本上都还是会抽出时间来写。
[02:12:13] 泰然: 所以你的git commit还是绿色的,你的那个方块?
[02:12:16] 陈天奇: 可能没有那么频繁,其实我们最近的一年我们一直在对TVM做重构,几乎是从ground up(从零)重新写它的最核心的部分,导致你不可能一个commit(代码提交)进来,它是完全可以让所有的test green(通过测试)的,所以几乎是有差不多半年以上的时间,基本上都是在local(本地开发)。
[02:12:43] 泰然: 这个refactoring(重构)是你在一 线做,还是你指挥学生做?
[02:12:48] 陈天奇: 基本上foundation(根基)的部分是我在做。
[02:12:50] 泰然: 但其实很多教授,他们从当教授的第一天,入职那一天起,那之后的人生就再也没有写过代码了,可能大部分教授会这样,你为什么选择还在一线?
[02:13:01] 陈天奇: 我觉得比较好玩嘛,这样子对。然后第二个是,我觉得很多时候,而且我觉得现在开始,我们的生产形态也会随着AI tools(工具)和其他东西来发生更大的变化。反倒现在你想要在一线,比如说,如果说没有AI-based tools(AI工具),我觉得我做这个重构会困难很多很多。
但就是with the helpful tools(有工具的帮助)it’s possible(这可能了),对吧?你用的是cursor还是claude code?我现在用cursor。b对,就是我觉得it’s become possible(这变得可能了)。
我觉得是你需要在一线可以get a good sense of what’s going on(了解实际发生了什么)。但可能这只是我自己的方式,that’s what i’m passionate about (这是我有热情的东西)。
[02:13:51] 泰然: 可能正是因为你还在一线做git commit(代码提交),可能你才能发现真正的问题。
[02:13:57] 陈天奇: 我觉得这个肯定都是因人而异,不同人他们会有不同的everybody have their own superpower (每个人有自己的超能力)。就是你可以发现,有的人they are very CEO style (他们非常CEO风格),就是你可以很明显地感觉到他可以能够带领大家可以往前走。
然后有一些人,他可能就是they like to be on the ground(他们喜欢在一一线)。我觉得这一类人也不同,人他都会有不同的成功方式。比如说像Jeff Dean,他的成功方式很多时候就是因为他有first hand experience(一手经历)可以drive forward(推动前进),对吧?
而且你会发现,现在的很多的突破都是有很多on the ground experience(一线经验)的。但是很多时候你也会需要一个leader(领袖)style people to lead a lot of people(领袖带领很多人)and move the entire ship forward(带领整艘船前进)。
所以说我觉得只是不同人选择他们自己的合适的方式而已。然后我也只是选择我觉得让我觉得比较幸福的方式在这里。
[02:14:54] 泰然: 所以其实你写代码,其实你是觉得幸福的。
[02:14:58] 陈天奇: 对,我觉得是更像是有一个玩笑是说maybe in the future(可能在将来)AI agent will always replace all the needs(AI会替换所有需求)so it become recreational(就变成了重新创造)。这是个这是一个recreational(重新创造)的事情。
[02:15:10] 泰然: 在这里,所以你现在过去几年既是教授又是cofounder(联合创始人),还在写代码,然后还在做各种system design,还要advise学生。um,你是怎么管理你的时间和精力的?你有没有面对压力?或者说有没有什么时什么时候overwork?你是怎么平衡这个高效产出的?
[02:15:33] 陈天奇: 并不觉得我的产出一定非常高效。if you count the number of publications(如果你数论文数量),我们deliberately(故意地)的希望能够少做一些东西,然后来集中做我们觉得我们可以深挖的项目。然后第二个是很明显的是,比如说像像有些东西肯定是次要的。
比如说在我开始CMU之后,我对于Octo的involvement(参与)基本上都是在high level technically(高层技术)。就是我非常幸运有Cofounder(联合创始人)可以做day to day operation(日常运营),就相对来说我的involvement(参与)可以让我有时间可以做相关的东西。
还会得益于我们有非常independent student(独立的学生),他们可以帮忙drive things forward(推进),这样我可以就是I can act as the support role when possible(我会扮演一个支持者的角色)。
对,就是但总的来说我觉得还是需要能够有所选择和能够有所focus(专注),知道最想要的是什么,然后去做。
这个时代的快节奏的机器学习系统研究——我们还能慢下来吗? [02:16:37]
[02:16:37] 泰然: 回到你CMU教职的这个部分,我注意到你PhD的project(项目)都是以年为单位的,经常一年一年半两年做一个project(项目)。AI research(研究)一直都很快,什么三四个月就是下一个会。我相信现在MLSys(机器学习系统)的节奏应该也在加快。你是不是觉得你之前的那种一两年以年为单位的style(风格)在今天还可以做得通?
因为你想每一年NVIDIA都换下一代GPU了。你觉得新时代这个节奏需要加快,还是你觉得仍然应该慢下来?
[02:17:12] 陈天奇: 我是这么看的,很多时候在这个时候,取决于首先对于一个领域而言,我觉得还是需要有一定程度的沉淀的。这就意味着说,我们会需要能够针对一个方向做比较久,对吧?去深挖。这就好像是我经常会跟我学生有个比喻是说你去做一件事情,就像捕鱼,你可以拿一个叉子,看着鱼在什么地方游过去,然后你去叉它,但这个时候很多时候你会叉不准,对吧?
另外一个方式是你先直接慢慢的去编一张网,在你的这个领域里面,然后这个时候可能当鱼来的时候,你撒了几次之后,你或许可以抓到那个鱼。在我看来,我觉得是说优秀的工作本身都是需要积淀的。但是反过来说,有的时候可能当机会来临的时候,我们有机会去很快的推出了一些东西,也不一定是因为我们就很快的做了这件事情,而是因为前面的积淀使得我们有能力去做这样一件事情。
对,在我看来,我觉得还是只要能够做好的研究,哪一种style(风格)没有什么关系。现在的问题它是不是还是重要,然后去解决它就好了。
如何面对AI研究的新挑战? [02:18:39]
[02:18:40] 泰然: 你会觉得2025年对比你自己的学生时代,如今的学生在做AI research(研究)、machine learning system research(机器学习系统研究),有什么新的挑战?你会觉得怎么帮助他们最好?
[02:18:51] 陈天奇: 其实我们通过几十年的演化,我们有很多现成的经验,使得真的我们可以有能力去from ground up(从零)build(建造)一个东西,没有那么难。就是from first principle(第一性原理)去build(打造)这个东西。
当然现在这个时代他面临的挑战的确我们需要能够找到算力的资源,但是我觉得in general(总的来说)就from first principle(从第一性原理)去做,始终是每个时代都有每个时代的挑战。
就好像我刚开始做机器学习的时候,我们当时在听一个报告,然后当时戴文渊坐在我边上,然后他就跟边上的好像是跟边上的同学感叹说,哎,我们在听一个报告,他们在讲那个就是某一种优化方式去优化support vector machine(支持向量机)。
他说,如果说我,他就说当时觉得说,如果说我早两年入行就好了,因为好像这些东西very elegant(很优美),我也能做。但是somehow现在的问题好像已经被做光了。那是在二十年之前,it turns out there’s always new problems(事实证明总会有新的问题)。
就是所以说这个每一个时代都会有它新的问题,然后都会有挑战,你去可以去解决就好了。
[02:20:01] 泰然: 之前我们聊了很多你PhD期间Carlos对你的帮助,你现在也是教授了,你的advising style(指导风格)是什么样的?和他一样吗?
[02:20:10] 陈天奇: 有相似的地方是一,我们希望能够做深了、做有影响力的工作,这一点我觉得还是非常的重要。第二个我觉得就是还有就是之前的我们怎么样做presentation(展示)呢?我一直会跟同学们说,特别是我们在写论文的时候,怎么样能够让我们的论文可以让大家可以do the accessible(轻松地获取)?我觉得会有一些相关的影子。
另外后面我也会尝试能够在整个的机器学习系统这个方向上面,一定会需要有团队的合作,和能够把项目从一个research(研究)的阶段推动到真正能够达到adoption(被采用)的阶段。这个时候会需要能够让整个团队大家一起来去合作动起来。这其实也是得益于比如像我们原来做MXNet那段时间的经历,我觉得非常的positive(积极)。
所以说就说怎么样能够鼓励大家可以继续能够能够可以有机会去做这样的事情,或者给大家创造环境可以让大家有机会做这样的事情,这个是我想要能够做的东西。
[02:21:15] 泰然: MLSys(机器学习系统)这个领域很杰出的PhD student,PhD的申请者可能我相信他们100%也是业界非常青睐的人选。你会如何说服这样的人跟你去读博,而不是去xAI、OpenAI搞Infra(基础架构)?你觉得你的吸引这样的最优秀的人才跟你读博的主张是什么?
[02:21:40] 陈天奇: 我只会说,对于博士和其他东西不一样的地方是it’s like a longer investment(这更像是长期投资),对吧?你会有足够多的时间和足够多的自由度去做一些事情。
当然可能你在不同的其他的地方也未必没有自由度和时间做相关的事情,但总的来说你去对比工业界和学术界,你始终会发现学术界它的就Open Science(开放科学)的alignment(对齐)相对来说,你做事情的自由度和对于你犯错的tolerance(容忍程度)的时间尺度上面是始终是更大的。还是会有会愿意选择这条路。
实事求是与长期主义 [02:22:28]
[02:22:28] 泰然: 最后一个chapter(章节),我想跟你聊聊你几个人生智慧吧。我觉得第一个关键词是长期主义。你刚刚也提到了有两种research(研究)的方式,第一种是我用什么方法,比如说reinforcement learning(强化学习),我就做好reinforcement learning(强化学习),有不同的application(应用)。你觉得你是第二种?
第二种是我要solve(解决)一个问题,那怎么work(奏效)怎么来?你举到一个例子说,曾经有人问过你,如果明天某个化学反应可以解决机器学习系统,你说你就会去学习那个chemistry(化学)。对,你会如何评价这样的研究风格?那段文字是你19年写下的,现在距离19年又6年了,有什么反思吗?你还是坚持这样的风格吗?
[02:23:07] 陈天奇: 对,首先我觉得就是这每一种风格都会有它成功的可能性,there are all successful examples (都有成功的例子),所以说没有必要说哪一种风格一定是好和坏的,只是就我而言,我觉得就是想要解决实际的问题,肯定是从实事求是出发最好,对吧?就我比较喜欢这样子,还是会坚持这样的风格在这里。
[02:23:32] 泰然: 第二个就是刚我也提到了李沐在你文章下面时隔5年后的那个评论,然后我想念一段你在十年总结上面写的原文,你说:“很多困难和无助只是随机长落的一部分,只要付出足够多的时间和耐心,总会收敛到和付出相称的稳态。”我觉得这段话很打动我,你能不能进一步帮助我们更好理解这背后的理念?就是在一个不确定、充满不确定性的科研和创业的过程中,你是怎么践行长期主义的?
当短期看不到成果甚至很挫败的时候,你怎么支撑自己熬过去的?
[02:24:11] 陈天奇: 对,首先就是其实那段话关于随机过程那段话呢,这是一个它就是一个定理嘛,就是因为你在随机过程中它就是随机的,但是你长期做time average(时间平均)之后,它就是会是稳态,对吧?但其实这是很难的,对于每个人来说都是很难。
虽然说你可以说你要坚持长期主义,在每一个时间段始终都会有挫折,而且甚至挫折是大部分时间,甚至是一旦你想要去突破做(走出)你自己的comfortable zone(舒适区)的时候,你获得挫折的概率会越来越大。但是我觉得这就是每个人的选择,就是我觉得我自己还是可能是得益于一开始的时候我觉得失败也没那么可怕,然后要接受可以失败这个事实,我觉得这样的话就还好。
还是需要每个人需要给自己鼓励的嘛,就在往前走的时候,对吧?然后我觉得很多时候其实他的鼓励都还会来自于最初的那个选择,就初心本身我觉得还是很重要的。你在不断往前走的时候,你可能会想说这个在某个时间段肯定是会有挫败的,但是反过来说,that’s also part of journey(这也是旅途的一部分)。
[02:25:43] 泰然: 你的初心是什么?
[02:25:45] 陈天奇: 初心是什么?这个可能还有点模糊在这个地方,但是总的来说我们就能够希望能够去解决让这个人工智能可以被更多的人可以使用,可以能够我们可以去让每个人都可以创造这个他们自己想要的这个人工智能系统,这个是我们一开始就要想要做的事情。然后我觉得现在现在至少还有有趣的问题存在,所以可以去继续去解决它。
人生选择的智慧 [02:26:21]
[02:26:22] 泰然: 第二个我想和你聊的智慧的关键词是选择,因为刚刚一路聊下来给我的感受是其实是一个相当deterministic(确定性的)的一个过程,你做完这个很自然而然的MXNet,做完MXNet很自然而然TVM。但我其实相信你其实有很多很多的选择的,做完XGBoost你肯定除了MXNet还有其他的选择,MXNet之后除了TVM也有其他的选择。
但你最后走了这条路,你回看这一个一个选择的分叉路口,你觉得你做选择时最看重的是什么?你的底层逻辑是什么?
[02:26:54] 陈天奇: 嗯,可能你要去问,如果说你选了这条路之后并且失败了,你还会不会后悔?我基本上会问这个问题,就是因为这样的话,很多时候你选的是你自己最想要,就是这个是一个有点理想主义、有点这个就是不那么理性的一个决定,很多时候你的选择都是这样子,对吧?就是因为你要问,其实反过来就是问说如果你不那么选,你会不会后悔嘛?
你后悔的理由不一定是你有没有获得成功或者怎么样的,而是就是你是不是觉得这个东西是你理想中想要走的那个东西,然后并且通过一个比较现实主义的方式来选择一条你觉得合适的路径。至少这个是我比较常用的这个方法。
[02:27:52] 泰然: 我觉得这一点上我有共鸣,因为我本科也做了很多科研,但其实我现在想起来,我本科我最不后悔的一件事是当时做了一个叫无可奉告的匿名论坛。我觉得那段时间科研上什么产出都没有,然后课也上不好,GPA也不好,但我就是开心做那个事。
我现在觉得那是当时我就觉得如果我不做这个,然后当然做了之后很快也不到半年时间也被关停了,但我觉得现在回忆起来,是我觉得我最有最值得回味的一段经历。
[02:28:26] 陈天奇: 原因是因为很多时候你必然会在这个过程中,就从实用主义的角度来说,你必然会在这个过程中会碰到挫折和各种各样的不可预料的东西,对吧?然后基本上你会发现,最后最重要的还是你是不是可以享受这个过程。
未来的陈天奇还想做什么 [02:28:50]
[02:28:51] 泰然: 在2025年,我们今天录制2025年9月5号,在这个时间节点上,我觉得因为去年年底Octo刚被收购嘛,我觉得你已经经历了科研,你作为一个一线的科研人员,十年磨一剑的过程,创业的0到1,exit(退出)了,教职,我相信你也快tenure(终身教职)了,展望未来五到十年,陈天奇还想干什么?
[02:29:14] 陈天奇: 其实我觉得现在的我最难的事情还是要保持初心,就是首先就是肯定还是会碰到困难,这个是非常就是我们做的事情是困难的,而且这个领域变化的非常快,从大语言模型刚出来的一段时间,相信大家都回经历一段时间的迷茫,对吧?
我们何去何从,在将来要做什么,这个问题每个人都会问,嗯,但我觉得最难的是保持初心和那个passion(热情),就这个东西是随着我觉得是随着年龄的增长,他反倒可能是会递减的那个地方,然后所以说就是只要保持那样的东西,我觉得然后认准想要做的问题,不要害怕失败就好了,然后这个东西其实很多时候我觉得做事情的勇气可能会来自于过去的自己,然后在你做的过程中不断的鼓励自己,再把这份勇气再交给未来的自己。
[02:30:27] 泰然: 所以你会觉得现在自己选择更多,然后你能够调动的资源更多,你肯定比10年前的陈天奇能够调动的资源不是一个数量级的,但反而你觉得现在保持初心这事是更难的,对,这个是因为有什么其他的诱惑吗?还是选择太多了,你不知道走哪条路了?
[02:30:49] 陈天奇: 一方面是很多时候当你看到东西多了之后会开始担心,对吧?刚开始做,我们刚开始做MXNet的时候完全不会担心Tensorflow能够对我们产生什么样的竞争,我们就是初生牛犊嘛,干就是了,对吧?当然就是有的时候,现在有的时候你当然会回过头来,你会发现我现在在做一个项目,可能有的时候你会反复的问自己,它到底能不能成功?
[02:31:23] 泰然: 你现在会问这样的问题了?
[02:31:25] 陈天奇: 有的时候你会问嘛,就是但是反过来说,你怎么样能够保持那个心态,还是初生牛犊那个心态,我们就做吧,然后不要害怕失败,对,但是不可避免的,我觉得的确会有各种各样的因素会让你去想这个问题,对吧?包括你在公司或者其他的地方去尝试去拿到资源的同时,必然代表着责任,你必须要能够保证你的团队可以成功,对吧?
你必须要能够保证这个,一旦你拿到资源,你要能够能够会产出一些相对的impact(影响力),来来justify(证明)你可以继续做相关的事情,那就会产生一定的重量在这个地方,对吧?那但是呢,反过来说,如果说你直接被这样东西裹挟而走,我觉得又不是一件很好的状态。
[02:32:19] 泰然: 会比起你当年做MXNet更难去做更risky(有风向)的事了对吗?
[02:32:25] 陈天奇: 我觉得在现在来说,因为我有这个CMU的团队,我们可以继续做Risky(有风险)的事情,甚至就这个完全取决于个人的决定,对吧?你愿意放弃,就比如说因为我们要做risky(有风险)的事情,我们可能愿意放弃和愿意接受失败,这个心态其实是一样的,对吧?
你如果说就这个而言的话,其实反倒我们能做的事情的确比原来更多了,因为我们有更大的团队,我们可以做更多的事情,只是因为心态上面的转变,可能有的时候你会忘记原来的那个自己的那个心态。
AGI需要什么样的机器学习系统 [02:33:07]
[02:33:07] 泰然: 你对AI这个领域20年了吧?将近从最开始的大数据到深度学习的热潮到今天的foundation model(大模型),很多人说我们现在已经实现AGI了,很多人说我们还没有到AGI,你对AGI的定义是什么?以及要实现你定义的那种AGI,我们需要什么样的ML system(机器学习系统)?
[02:33:30] 陈天奇: 其实我对AGI本身怎么定义并不是特别感兴趣,其实我觉得只要它能够pragmatically(务实地)有用的,就比如说能够解决我们现在的提高我们的生产效率,我们现在的确可能比之前无比接近,比如说我们之前一直想说能不能甚至是一个人的团队去撬动起这个现在100个人团队能做的事情,现在的技术可能的确能够让我们更快地向那个目标前进,我觉得只要能够能够往目标前进就是一件好事情在这里。
然后基于这一点的话,可能会有不同的ML system(机器学习系统)的style(风格),我觉得我们始终坚持的路线是能够让我们用更少的资源更自动地做更多的事情,我觉得始终是一个很有趣的问题,或许它在几年之内会被解决,或许它可能不一定会被解决,但是我觉得至少它是一个值得为之努力的方向。
[02:34:32] 泰然: 在这里最后我想一个是让你展望未来的AI世界,另外一个是给今天的年轻人一些建议,你觉得未来的AI世界还是会像今天这样由巨头主导,几家公司出几个model(模型),还是你会看到开源和多元的individual(个人的)个体会有越来越多的话语权?
未来AI的格局会是巨头统治还是百花齐放 [02:34:34]
[02:34:54] 陈天奇: 就我个人而言,我肯定是希望百花齐放的世界,能够让开源和每个个体都可以能够做创新。
[02:35:02] 泰然: 对你觉得那样的世界出现的概率是在增加还是减少?
会对20年前10年前的陈天奇说什么? [02:35:03]
[02:35:09] 陈天奇: 他需要每一个人的努力,肯定会有不同人会有不同的信念嘛。
[02:35:14] 泰然: 如果让你给20年前的陈天奇、10年前的陈天奇、刚刚开始这个旅程的自己说几句话,你会说什么?可能要反过来。
[02:35:29] 陈天奇: 应该说我会希望过去的我对现在的我说,和现在的我对未来的我说,记住自己对自己的承诺,然后坚持自己的理想往下走下去。
[02:35:50] 泰然: 哇,所以反而不是你希望回到过去改变些什么,叫自己什么,而是你需要过去的自己来提醒现在的自己,提醒未来的自己。哇,在你现在这个人生节点上,你对成功这两个字有了什么新的理解吗?比起年轻的时候。
[02:36:09] 陈天奇: 我觉得每个人都会有,你可以去在你想要的东西里面做排行,对吧?在我看来,我觉得最重要的东西还是做问心无愧的事情,在这里。
[02:36:21] 泰然: 什么样的事情是问心无愧的?什么样的事情是问心有愧的?
[02:36:27] 陈天奇: 可能不是有愧或者无愧吧,或者说就说其实你追求成功,它其实有非常多的定义,比如说影响力是一方面,对吧?财富或许是另外一方面,其他的比如说是技术上面的突破,你能够去从不同的方面能够去这个impact the world(影响世界),对吧?
在这个地方,然后那我觉得不同的人可能他们会选择的方式不同,我觉得能够在技术上面可以影响大家,并且可以为大家这个世界一起做一些贡献,就是一件好事情。
[02:37:08] 泰然: 这是成功,那你对幸福有没有什么新的感悟?包括我特别好奇,你在过了各种人生阶段之后,你现在最理想的人生节奏是什么样的?是在CMU当教授,还是在Octo创业,或者新开一家新的公司全职创业,还是回到PhD ACM班时期那样专注写代码的状态?哪一种是 你最理想的人生状态?
[02:37:36] 陈天奇: 我觉得应该是和大家一起解决想解决的问题就好,不管你是以什么样的心态。
回看这二十年的旅途——你最后想说些什么? [02:37:41]
[02:37:42] 泰然: 不管Title(头衔)是什么,你说这事最核心的,对你来说那个吸引力和魅力是什么?
[02:37:49] 陈天奇: 一方面解决问题的过程本身很有趣,对吧?第二个就是说,可能你尝试了那么几次之后,你还真能够解决一些东西。
[02:38:01] 泰然: 天奇,我们今天聊了三个小时,我想最后留给你一个时间,你可以说任何你想说的,因为我们说所说的这个东西就会变成一个时间胶囊,放在2025年这个时间节点上。你可以说一些对你影响很深的话,你的自己的一些信条,或者说讲讲你自己的价值观,什么样的东西都行,自由发挥。你想留在这个Podcast最后的一段话。
[02:38:27] 陈天奇: 在整个过程中,我其实非常幸运,在这个过程中就是能够获得不同的人的帮助,能够取得一些成果。但我觉得在这整个过程中,最让我感觉到收获深刻的是,我们还是可以去接受失败,对,然后并且在接受失败的过程中继续鼓励自己,继续做有趣的事情。那这一点是,它是一个怎么说,就是可以让我们,因为我就就在每个过程中,其实你在做这个科研的过程中也都是一个再出发的过程,对吧?
你可以去,并且在现在这个时代,其实很多时候we need to reinvent ourselves(我们需要革新自己)and keep doing the next thing(翻越下一座山峰)。这个是我觉得,这个是,这个是一个很有趣的,我希望能够一直保持的事情。
[02:39:35] 泰然: 对,接受失败。
[02:39:39] 陈天奇: 并且能够提醒未来的自己,继续按照我们当时的初心继续努力,不要怕任何事情。
[02:39:48] 泰然: 所以一个理想状态下,十年后、二十年后的陈天奇,应该是有更多次失败的一个陈天奇。
[02:39:55] 陈天奇: 会有更多的失败,可以能够继续保持那一个最初的心态,去挑战我们想要挑战的东西,这样子最好了。
[02:40:06] 泰然: 感谢天奇你的时间,我们今天就到这里,谢谢。