胡渊鸣:Meshy AI,太极,MIT,清华姚班,图形学,物理仿真模拟,开源,商业化,勇气 ,智慧 | WhynotTV Podcast #2
说明
本文由视频画面中的硬字幕逐条提取,按说话人合并成段,保留口语原貌与字幕自带的括号释义,仅补充标点、区分说话人,未作改写。时间戳为该段发言开始的时间;同一人连续发言拆成多段时,续段不重复姓名和时间。
- 主持人: 何泰然
- 嘉宾: 胡渊鸣
- 视频时长: 03:04:20
- 来源: https://www.bilibili.com/video/BV1XmtyzKEzQ/
引言 [00:00:00]
[00:00:00] 胡渊鸣: 用自己的编程语言去实现自己的程序,然后发现还比CUDA好用的时候,哈哈哈,我觉得那时候那个牛逼坏了。那确实开源是不挣钱的,但是你有一个好的开源项目,它能够帮助你吸引到最好的人才。如果你自己把自己关在办公室,把门关着,每天做自己的事情,那短时间之内你当然能产出更多,但是五年以后你一定不知道我该做什么。
所有data都是synthetic data(合成数据),或者大部分data是synthetic data(合成数据)。
[00:00:27] 泰然: 一定不会work(成功),不一定需要我们人类自以为对这个物理世界的那么多的认知。
[00:00:32] 胡渊鸣: 它可以自己发现自己的牛顿定律啊。或者说,我在当CEO之前,我是个Intern(实习生)。其实我在做公司的这个过程中,每3-6个月就要把自己开除一次。你坐在CEO的位置上,你就要为整个公司的利益去负责,而不是让自己被所有人都喜欢。和平年代没有什么比创业更能锻炼一个人了。
[00:00:50] 泰然: 以下内容是我和Meshy AI CEO胡渊鸣的对话。胡渊鸣从小编写物理仿真程序和游戏开发,本科就读于清华姚班,后赴MIT攻读博士,他是世界上最优秀的计算机图形学专家之一。2021年,胡渊鸣博士毕业后创业成立太极图形,历经18个月的商业化探索后,转型推出3D生成式AI平台Meshy。Meshy现服务用户超400万,年营收增长超10倍。
本次对话涵盖胡渊鸣对科技和世界本质的思考、博士期间的自我颠覆、创业的生死转型,以及每三个月杀死过去自己的智慧和勇气的进化哲学。这里是WhynotTV Podcast,现在请与我一起进入胡渊鸣的世界。渊鸣你好。你好。泰然,你身上有很多亮眼的标签,比如说清华姚班、MIT、99行(代码的)、冰雪奇缘,包括从太极图形到Meshy AI的CEO。
我相信你已经对这种标签早就去魅了,并且我知道这样的标签完全不能展示真实的你。所以我很好奇,我现在我们开场的第一个问题,我想问你,胡渊鸣是谁?你会如何认知、定义和介绍你自己?
童年,游戏,与模拟世界 [00:01:31]
[00:01:57] 胡渊鸣: 最简单回答就是,我是我自己。I am myself。被自己的兴趣和使命感驱动着去做事的这样一个人,好像也就是这么简单的一个定义了。
[00:02:14] 泰然: 所以你的兴趣,我看到你的经历,是在你很小的时候你就开始写代码。你从小就有对代码、对编程,甚至那个时候就有对图形学的兴趣了吗?
[00:02:23] 胡渊鸣: 我从小就是在这个玩游戏当中长大。你看我现在近视度数应该也能猜到我玩了多少电子游戏。在很小的时候,对图形学的兴趣可能在我知道这个东西叫图形学之前应该就产生了。因为那个时候最小的时候玩,可能看亲戚朋友玩这个仙剑奇侠传啊,还有那个时候红色警戒,还有最早时候可能帝国时代2。当然那个时候没有高清重置版了,那个时候都是很早的版本。
在那个时候就觉得哇,那能在计算机里面用加减乘除去创建出来一个世界,是非常有意思的一个事。那个时候你几岁?很小吧,可能在上小学之前,幼儿园的时候。因为我父母是从事计算机方面的教学工作,他们在大学里面做老师,所以我很小的时候就接触了计算机这个东西。
我印象中很早的时候我就问过父母一些非常奇怪的问题,有一个问题我到现在还没有想清楚答案到底是什么,和你今天的想问的这些事情我觉得有很大的关系。我记得在很小的时候呢,家里住在学校宿舍,然后楼下有一棵树,可能是桃树还是什么,然后每到春天的时候这个桃树就会开花。
我当时就在思考一个问题,这个桃树当我在睡觉的时候,当我不再观测这个桃树的时候,这个桃树到底是自己在默默的生长呢,还是在偷懒保持原样,直到我看到它的一瞬间,它突然长成了它应该呈现的那个样子?然后那个时候我就开始想,这个世界到底是如何去运行的。后来我就发现,我其实作为在这个世界中的一员,我没有办法去区分这两个事情。
因为假设这个桃树在我没有观测它的时候,它其实保持静止,在我看到它的时候它突然变成快进到现在这个样子,这个世界背后要做很多的计算,对不对?那也就意味着,如果我只是我很快在这个世界里面去观察很多东西,这个世界应该会变慢,我应该能观测到它会变慢。后来我想哦,我观测不到,因为我自己也是被这个世界所模拟的。
所以你作为一个在这个世界里面被模拟的一员,你其实没有办法区分这个世界到底是如何被被计算或者被模拟。所以这个时候是很小的时候了,当时我就在想,哦,那这个世界我们其实可以构建一套系统去啊simulate(模拟),去模拟这个世界里面发生的所有事情。然而在这个系统当中,被模拟的所有的客体他其实没有办法意识到自己是在一个被模拟的世界当中。
然后当开始真正写代码去尝试真正的模拟一个世界的时候,那个可能是上小学以后了。你上小学之后就开始自己写模拟的代码?对,很早的时候。那个时候最早是用Visual Basic VB 6.0。嗯,我记得当时是一个6兆的安装包,从那个什么天空软件园或者是什么地方搞下来,然后就开始去写这个一些最基本的物理仿真的代码。
[00:05:38] 泰然: 所以你其实小学正常的课程是不会教什么牛顿定律的。
[00:05:42] 胡渊鸣: 对对对,我当时自己发现了一个事情,叫做如果我按方向,这个键盘上面的上下左右,只让这个物体朝前移动的话,就会非常不真实。所以我得给他定义一个,我用上下左右操作,应该是这个物体它的移动的增量。后来我才知道,这个叫做牛顿第二定律。所以其实在这个里面,其实能让你知道很多非常有意思的事情,也可以锻炼很多的这个逻辑思维能力吧。
[00:06:08] 泰然: 所以你当时写的就小学写的那个simulator(模拟器)里面,可以simulate(模拟)什么样的东西?
[00:06:13] 胡渊鸣: 哦,那个是一个最早,当然有很宏大的愿景了,就是说,我是不是能写一个游戏?这游戏里面呢,你可以把所有的组件通过排列组合,得到一些非常神奇的、能够实现各种功能的机器。
当时其实有一个游戏叫做Crazy Machines,叫疯狂机器还是什么的,大概就是你有一个、有一个网球在这,然后你希望这个网球经过你的一系列操作,通过杠杆、滑轮、台阶、电风扇、面包机,最后能够砸到屏幕上一只猫。我当时玩这个游戏觉得非常有意思,然后这个里面其实是最早的一些物理仿真方面的,就在驱动这个游戏。所以我自己对这个事一直就特别特别感兴趣。
所以我最早写的一个游戏呢,我印象中就是一个、就是一个宇宙飞船,然后它在,你可以从操作这个上下左右键,让它能够在这个空间里面移动,然后可以发子弹。后来我还尝试去给它加了一些引擎,你可以customize(定制)这个飞船,你可以给他加两个推进器,然后你可以去升级其中一些组件或者什么。但是后来好像因为那个电脑好像是硬盘坏了,反正代码也丢了。
后来我有段时间,我的兴趣就变成去用这个RPG Maker XP去做RPG游戏,那个是一个2D的一个游戏引擎吧。后来就接触到Ruby,然后就去学着写Ruby。
[00:07:48] 泰然: 这些都发生在你小学的时候?
[00:07:51] 胡渊鸣: 对,这个是很早的时候,当时其实除了玩游戏、做游戏,就是我最感兴趣的事情。
[00:07:58] 泰然: 你刚刚谈到,就是你小时候就有一个想法,就是你在想这个世界是怎么运转的,这世界在你没有观测的时候是怎么进行计算。嗯,现在应该接近十多年过去了,你还会觉得我们我们现在生活的世界是一个simulator(模拟器)吗?
[00:08:15] 胡渊鸣: 我觉得在作为被simulate(模拟)的一个课题,你在这里面可能没有办法知道这个答案。也许我们整个世界就是被一个更高级的文明闲着无聊,然后他去写了一个程序来模拟我们这个世界。
就像现在大家造这个super computer(超级计算机),这个最终可能变成1 million个H100,100万个H100,然后去simulate artificial intelligence(模拟人工智能)。
在这过程当中,你如果只是被transformer、被attention model的这样的一个object,你可能很难意识到自己是在这样的一个容器里面。那对我们来说,我觉得很有可能我们是一个被模拟的一个世界。你可以看到一些痕迹嘛,对吧?
比如说为什么会有普朗克常数,它会不会就是这个模拟系统的浮点数误差,它最多的精度就是能表达到这个样子,所以在我们观察看来就是一个普朗克常数。
为什么会有这个speed of light(光速)的限制,一个物体只能和未来的光锥里面的这些东西能去interact(交互),可能就是它没有办法afford(承担)世界上所有两个粒子中间去interact(交互),所以我干脆给你限制一个这个light speed(光速)。然后宇宙为什么会大爆炸,那就是他设置的一个初始条件而已。
然后那这个比我们更高级的物种或者文明,他做这个事情的动机,就是想看看我如果给这个simulation一个initial condition(初始条件),然后给它一个最基本的physical law(物理定律),那这个世界能演化成什么样子,会不会演化出像人类这样的物种,甚至这个物种自己又会去搞自己的新的simulation(模拟器),然后通过这样的simulation满足自己的好奇心,或者说通过这样simulation去train robotics(训练机器人),或者说通过这样的simulation(模拟器)去创造一个和自己一样聪明的一个生物或者文明。
[00:10:12] 泰然: 现在都在发生,哈哈哈,有可能,对。
[00:10:16] 胡渊鸣: 这个没有办法说他是真的还是假的,因为你在这个系统当中,所以你可能没有办法突破你自己也是被模拟的这样的一个极限吧。
[00:10:23] 泰然: OK,所以你小学玩游戏、自己写游戏,然后呢,初高中你是不是初高中在做什么,是在写更好的游戏了吗?
[00:10:31] 胡渊鸣: 初高中其实很多时间是被计算机竞赛给占用了,其实很多时候就去做算法题,参加这个NOI(信息学奥林匹克竞赛)这样的比赛。其实锻炼了很多这种competitive programming(竞技编程)的,其实就是给你有限的时间,在你很大压力之下,你得把代码写出来、写对。这个我觉得到现在还是让我很受益的一个事情。
那么在初中的时候,可能写的更多的,我记得当时写了一个弹簧质点系统这样的一个东西,你可以去构建构建这个一个soft body(软体)。当时有一个游戏也很火,叫做World of Goo,就是你有很多的球,然后可以把它连起来搭成一个建筑物,有点像以前我们,我不知道你有没有玩过那个什么一堆磁铁和一堆钢珠,那个磁力棒搭很高。
当时在计算机里面,它表现出来就是一个mass spring system(弹簧质点系统),然后一堆球,然后一些弹簧。我应该还有一些相关的视频。然后到了,好像是到了高中的时候,当然很多时间还是在上课和搞竞赛当中度过了嘛,还是在上课和搞竞赛当中度过了嘛。
但是后来我也不记得是高几了,反正当时就在研究OK,我是不是可以去simulate一些rigid body(刚体)。然后我觉得多米诺的骨牌是很好玩的事情,在电脑里面去搞多米诺骨牌,因为我在现实世界中好像堆了一个东西,没有场地,然后一不小心碰一下就全部完蛋了。
那我觉得在电脑里面做可能更有意思,所以当时就去在计算机里面去做这种rigid body simulation(刚体模拟)、刚体的一些动力学。然后在这个过程中我就发现,其实大家对于很多的事情的建模是非常不准确的,就比如说两个刚体之间的collision(碰撞)或者它们的摩擦friction这些的model(物理模型),很多都是一些近似model(物理模型)。
但是我还是对这事情很感兴趣。然后后来就是到上大学以后,就开始研究流体,然后到PhD的时候,还是在做这个deformable object(可变形物体),然后这种弹塑性体elasto-plastic object和一些这个气体的仿真。
[00:12:52] 泰然: 所以你刚刚说你在高中的时候做多米诺骨牌的时候,哪怕是rigid body(刚体)的contact or friction(碰撞摩擦)?对,所以在高中之后你就到了清华,当时是姚班,应该还是比较早期的姚班,是吗?
清华姚班经历 [00:13:00]
[00:13:07] 胡渊鸣: 应该也有10年了吧,我应该不算是最早的学生。
[00:13:10] 泰然: 现在回忆起来,你觉得那段那四年你还有什么?
[00:13:14] 胡渊鸣: 哇,那我觉得收获非常非常大。那昨天我们还同学聚会,我有一个朋友过生日,然后在湾区这边大家一起去他的生日聚会上。到现在我们的关系都非常非常好,我们已经毕业了快十年了,17年毕业的,到今年应该是8年,每年还有聚会。那我觉得在这个过程中,可能收获的最多的就是一帮非常厉害的同学。
这些同学里面,有人是平时好像也不怎么学,但是每次考试都能考100分;然后有人是以前竞赛可以轻轻松松拿到这个ACMWorld Final的金牌。大概在那边就意识到一个事情,叫做这个世界上有很多厉害的人。我觉得这个光是这样的一个事,就足以justify(证明),就是足以说明这个四年是非常非常有价值的4年了。
[00:14:17] 泰然: 所以其实在姚班之前,你应该都是特别,然后突然到了姚班,你意识到是还有这么多厉害的人?
[00:14:23] 胡渊鸣: 其实不是。其实在大概初中的时候搞竞赛的时候,那个时候就在和江苏江苏省的这个省队里面,其实认识了很多厉害的人。所以我觉得其实更早的知道一些厉害的人,对一个人的成长是有很大的帮助的。他会让你知道哦,原来这个天外有天人外有人,原来自己也没有自己想的那么厉害,原来自己还有很多可以提升的地方。
所以我觉得在搞竞赛和姚班,包括后来到MIT,在这过程中能够不断的去遇到一些“哇,这个还有人这么厉害”,那在这过程中其实对我自己的成长也是有很大的帮助的。
[00:15:08] 泰然: 正向的是成长,那么有没有某个瞬间让你觉得非常挫败?
[00:15:13] 胡渊鸣: 那有很多这样的瞬间哈哈哈,那这个太多了。我记得在清华的时候,印象最深刻的就是我们上的第一门课,叫做这个计算机应用数学。然后当时第一次考完试,考的挺难的。因为其实好像我印象中,这个课和一般的学院的课不太一样。一般你到清华,你会先学微积分、线性代数、概率论这些东西。然后我印象中那门课好像是直接就assume(预设)你会了这些东西,然后直接开始给你讲。
然后最离谱的是,我记得老师就说,这个知识点我上课没来得及讲,所以呢我就把它出成了考试题目,希望你们在考试的时候能够掌握这个知识点。哈哈哈,那anyway,这是很intense(激烈)的一个环境啊。然后有一次比较挫败的是第一次考试,然后考完以后大家都觉得题目好难。然后有一个同学说,哎呀我要挂科了,好难好难。然后最后发现他考了98.5分。
我好像在知乎上看到过哈哈。对,然后我和他现在还是很好的朋友,搞Robotics方面的一些公司。所以我觉得这个是很对人的一种怎么说,很非常的开眼界吧,非常的eye opening
[00:16:39] 泰然: 所以你在本科的时候就开始做科研了,并且是图形学的科研嘛?
[00:16:44] 胡渊鸣: 对,最早的时候,当时图形学有一个困境,就是其实要在中国去做图形学,我觉得好像机会不太多。所以我基本上都是自己在宿舍里面捣鼓。所以在那个捣鼓的过程中,基本上就是自己看看SIGGRAPH paper,然后看看,哇,这个效果好炫酷,我能不能自己实现一下?然后实现了很多的SIGGRAPH paper。
然后在这过程中也积累了很多对于像物理仿真啊,像rendering(渲染)啊,渲染这里面的很多技术很底层的了解。然后当然也发现了很多paper(论文)他没有把所有的事情都写出来。这个其实也让我比较早的意识到,这个科研其实有很多局限性,不能太迷信paper(论文)里面说的事情。
[00:17:38] 泰然: 为什么当时你觉得在中国做图形学不太有那样的土壤?那最优秀的同学都去搞AI了呀,哪怕是13年到17年那段时间。
[00:17:46] 胡渊鸣: 对对对对对,当时正是神经网络很火的时候嘛。我记得12年的时候AlexNet出来了嘛,然后到后来就是ResNet,然后这个AlphaGo。那整个graphics(图形学)其实不算是最好的方向。最优秀的人,或者说就是如果说你没有太想清楚自己真正喜欢什么事情,很多人其实会去搞AI。然后很多人也搞得很不错,我有很多同学他们后来就搞出来影响力很非常非常大的工作。
你当时考虑过去搞AI吗?啊对是,我也去搞了一段时间AI,我觉得挺不错的。当时我是到了微软亚洲研究院MSRA那边的Steve Lin老师里边去intern(实习)了一段时间。那他们组叫做Internet Graphics网络图形组。然后我去了以后发现所有人都在搞AI,那我就也只能也就去搞AI。
然后最早的时候就是大概是大三,就是大概是大三下学期的时候,那个时候开始做一篇CVPR paper,是关于用神经网络去预测white balance(白平衡)的一个paper,后来发在了CVPR 2017。
然后后来看到AlphaGo,我觉得RL(强化学习)这个东西很好,reinforcement learning,然后又去想办法用reinforcement learning去搞这个图片的后处理。我还当时GAN(生成对抗网络)也很火,然后我就想去试一试GAN。
然后我就把这个GAN和RL两个东西整到一起,最后train(训练)了1000多个model(模型)才train出来一个勉强可以的model。最后我就发现哦,这个这两个技术好像也没有那么成熟。哈哈哈,这个就是我对AI的最早的一些一些印象吧。那个时候我记得RL还停留在什么A3C,PPO应该刚出来。
对对,那个时候还没有,好像还没有,那时候还是actor critic,然后好像加了一个advantage什么的,DDPG那个时候。所以各种稳定性的问题也没有解决。其实我觉得到今天这个sparse reward(稀疏奖励)的问题都没有解决,它还是靠Pre-train(预训练)然后再加上RL去finetune(微调)去解决了这个问题。
但当时其实没有这个认知嘛,当时觉得通过RL应该能理论上能把这些东西给train(训练)好。今天也没有解决,到今天其实都没有。
[00:20:03] 泰然: 我们过去一周捏了一周的reward function(奖励函数)哈哈哈哈哈哈哈哈哈哈。所以其实你本科搞AI的研究搞了不少,搞过一些吧?占你本科研究的百分之多少?最后能发出论文的全部都是AI的研究,Graphics一篇都没发出来?
[00:20:20] 胡渊鸣: Graphics其实第二篇是AI加Graphics,所以最后发表在了Transaction on Graphics,也就是然后。不过那个其实没有在我本科的时候做完,后来是我到了MIT,这个文章才被接收然后发表出去。
MIT PhD 经历 [00:20:37]
[00:20:37] 泰然: 所以你到了MIT之后,当时想过自己要做什么吗?还是你非常坚定我要做Graphics?当时当时就非常坚定想做Graphics?哪怕当时应该是17年,我觉得当时的氛围应该是CSAIL很多人都在做AI吧?你当时非常坚定的,你知道我还是会做graphics?
[00:20:57] 胡渊鸣: 我觉得这个有一个因素是,其实CSAIL没有很多人在做AI。我觉得整个MIT和Stanford这种靠近产业中心的学校比起来,对于AI的接受程度其实要低很多。这个和整个Boston地区的创业氛围有很大的关系。由于它没有产业的驱动,整个Boston这边其实做的更多的还是Bio(生物)。
因为你看Boston的这个初创公司,基本上是这个Bio(生物)领域的初创公司,基本上是这个Bio(生物)领域的初创公司,比较少有AI领域的初创公司。
[00:21:33] 泰然: 对,我印象很深刻的是,去Boston的时候感觉全是Biotech的公司。
[00:21:36] 胡渊鸣: 对,所以这个其实导致MIT在,这是我的理解,我觉得这个可能导致了MIT在整个AI的时代跟的没有特别的紧。我觉得这是可以是好事也可以是坏事,对吧?我觉得这个可能得辩证的看。
其实大家很多(MIT)同学还是在搞很传统的很多的东西,比如说各种compiler for simulation(模拟编译器)、3D printing(3D打印),大家会尝试把AI去结合到里面。但是我觉得这种fundamental(基础)的AI方面research,其实从MIT出来的并不多。
我觉得在MIT其实很幸运的是,我在读完master以后,我其实换到了我后来的两位导师的组里面,一位是Frédo Durand,还有一位是Bill Freeman。然后在他们两位导师的指导下吧,其实他们都比较hands off,对我的研究没有加太多的约束,所以我可以比较自由地去做我的research(研究)。
那在这个过程当中,我觉得我是非常enjoy(享受)这段时间的。
[00:22:44] 泰然: 但是你跳过了可能第一年你不太enjoy,对不对?因为我看到你在很多地方都说过,第一年差点在MIT当时想退学了。
[00:22:51] 胡渊鸣: 对,当时差点退学。退学的原因呢,是当时我和我的第一年的导师的研究兴趣并不是特别一致。然后这个我就是一方面要去,我有自己的research interest,我有自己研究兴趣,我还得去满足他那边可能有一些funding(资金)的约束啊什么的。所以我就有很多的时间要干自己不那么enjoy的事情。
那我恰恰又是一个,你让我干我enjoy的事情我可以1000%的努力,但是你让我干我不那么enjoy的事情我可能会很痛苦的这样的一个人。那其实在这个过程中,我大概学会了一个事情,就是我只能做自己enjoy的事情。
如果说一个事情我没有那么enjoy,I would rather not do it,我宁愿不做它,我也不会去开始一段痛苦的这样的,一个经历,一段痛苦的这样的一个经历。
[00:23:47] 泰然: 但是你,我觉得有一个很强的天赋是你很清楚的知道自己enjoy什么。其实很多人可能没有这个认知,或者说在他早年求学时期,好像你让我做什么我就做什么吧。你在什么时候意识到我喜欢这个,我enjoy这个?这个在多早的时候就在你心中有这样的认知?
[00:24:08] 胡渊鸣: 我觉得很小的时候吧。比如说我自己,我自己知道自己很喜欢写程序。那这个就是很早的时候,可能是在上小学的时候,我就知道哇,我这个一天不写程序我浑身就难受,哈哈。所以在这个时候我就知道我很喜欢去创造一些东西。
然后恰好C++、Python又是一个非常灵活的一个building block,它就像玩泥巴一样,但是泥巴可能没有C++和Python用起来那么顺手,能让你去构建出来一些东西。我觉得确实相对来说是比较早的知道我到底enjoy做什么事吧。
[00:24:50] 泰然: 很多人他不知道,哪怕到了很后来甚至都可能不知道自己喜欢什么。你觉得这是你的天资,还是运气,还是各方面综合的因素?
[00:25:00] 胡渊鸣: 我觉得天资就是运气嘛,对不对?你就是genetically(基因上)你抽中了一个比较好的基因,所以你恰好在这个时代又需要你这个基因能做的事情。所以我觉得可能99%都是运气,然后甚至你能努力也是运气的一部分,因为你有这个运气,所以你知道你喜欢什么,所以你可以努力。所以我觉得运气是非常重要的一个事情。
[00:25:26] 泰然: 第一年当时有一些你和导师的研究兴趣不一致,有些funding project(经费项目)的压力。后来是什么契机,或者说谁的帮助,让你走出了当时想退学的那个状态?
[00:25:36] 胡渊鸣: 我觉得一个就是在当时还是发了不少论文的,还算比较productive(高生产力),但是比较productive。另外一个其实我也和几位学长聊了聊,在清华的,他们是我在清华的学长,然后当时正好在相关组里面做postdoc或者是很senior的PhD。所以和他们聊了以后呢,就觉得可以在MIT内部也许找其他组换导师。那后来就换了导师,然后觉得日子就其实好过了很多。
[00:26:08] 泰然: 所以其实当时你就和学长聊?具体有谁?
[00:26:13] 胡渊鸣: 他们告诉你了什么故事?主要是Jiajun和Jun-Yan吧。然后其实在和他们聊,一是聊这个科研到底有啥,有什么能做的。然后Jiajun就跟我说,你要不试试把你的这个simulator搞成differentiable(可微分的),你可以求simulator的导数。那么那个后来就变成了ChainQueen和DiffTaichi两篇paper。
那其实这两篇paper都是很有意思的,是把simulation和robotics能够结合起来。然后Jun-Yan跟我说了说这个做一个有impact的research的重要性。然后当然我后来自己也figure out(搞明白)OK,那其实去其实还是有很多的事情可以做的,这是一个非常非常好的平台,然后这边有很多很多优秀的人。
所以后来觉得,再加上当然最世俗来说,那你从MIT能博士毕业,这个本身对你来说是一种Certification(认证),那么在别人对你没有任何了解的情况下,你有这个Certification(认证)是有用的,对吧?当然最重要的是,我觉得我还是认为可以去做很多有意思的工作。
[00:27:30] 泰然: 你成为当时开解一年级胡渊鸣PhD的学长,你现在会对他当时说什么?
[00:27:37] 胡渊鸣: 特别好的问题。我觉得还是要打开眼界,先多花时间想什么样的工作是重要的工作,然后再去执行这个计划。spend your time carry out a good strategy before you execute it.
[00:28:04] 泰然: 这个在你知乎的那篇文章谈了很多,我记得当时也quote(引用)了爱因斯坦的一句话:“我会宁愿花95%的时间想什么问题,然后花5%的时间去解决。”对,所以你觉得你当时博士一年级花在想什么问题重要这事的时间不够?
[00:28:23] 胡渊鸣: 对我觉得一方面时间不够,可能客观上当你去发了足够多的论文,灌了足够多的水之前,你可能不知道什么样的问题是重要的问题,可能都没有这个认知。对你可能发了一篇论文,为什么我这文章我觉得我做的这么好,我和别人聊起来的时候,他们一点也不exciting呢?为什么我的这个文章只有这么少数的几个人关注呢?对吧?
那当你经过足够这些挫败也好,反思也好,你才可以知道OK,原来一个好的方向应该是什么样的,需要一些经验。
[00:29:02] 泰然: 你当时没有这个认知去找重要的事情,然后你在你的那篇知乎文章说你面试每一个Meshy奖学金的人,你都会问他你做的事情重要吗?我特别好奇你现在最近做的最重要的一件事情是什么?为什么它重要?
四个重要的人才特质 [00:29:04]
[00:29:18] 胡渊鸣: 嗯,特别好的问题,这我可能得想一想。如果是从公司层面来说,最重要的事情就是招聘吧,因为其实你说一个,但这可能就从学术界跳到如何创业的这个问题了。
其实最核心的竞争力永远是人才,那你只要有最好的人才,就能做出最好的产品,有最好的产品就可以有最多的用户,最多的用户就可以有最多revenue(营收),然后这个revenue就可以被投在R&D(研究开发)上面,那你又可以去找更好的人才。所以我觉得talent acquisition(人才招募)一直是一个CEO最重要的事情之一。
[00:29:55] 泰然: 你觉得你现在作为一个CEO最重要的事是recruiting(招聘)找更好的人?没有比这个更重要的事?没有?哪怕是公司的战略方向,我们要做什么product(产品),你觉得都比不上招更好的人进来(重要)?
[00:30:08] 胡渊鸣: 我觉得这个同等重要吧。一个就是思考这个公司的roadmap(路线)和strategy(战略),还有一个就是recruiting(招聘)。当然我还有一个同等重要的事情,就是比较hands on的去参与到公司的日常事务当中。我觉得这三个事情可能是recruiting(招聘)占40%,然后思考未来30%,然后去紧密的参与到业务当中30%。
[00:30:37] 泰然: 其实这个问题应该待会再问,但我迫不及待想问了。你现在作为一个CEO,你想招最好的人,才会让你觉得我好想招他,我好想招他来我的公司?
[00:30:47] 胡渊鸣: 嗯,我觉得这个很多时候是凭感觉判断的,但是普遍看下来,这样的人都有一些特质。我觉得可能总结下来是四点吧。那第一点叫做hungry(饥渴感),一个hungry的人,他往往还没有证明自己,他特别想成为一个更好的自己,他特别想去一个成长快速的地方去开创自己的一番事业。那这种对于做出impact(影响力)的饥渴感是很重要的。
那么如果说你去找一个已经很功成名就、很well established的人,他可能就不会愿意去take the risk(承担风险)去做一些能让自己的职业发展更上一层楼的事情。这个是hungry。第二个呢是humble,humble就是谦虚。其实我在招聘的时候,很重要的一个事情就是看这个人是不是open,他能不能意识到自己OK还有很多事情没有能够做好。
因为其实一个人最可怕的事情就是他已经无视事实,已经不断的去编、用这种扭曲的现实来去安慰自己,觉得自己做的还不错。那这种事情你可以在历史上看到很多的灾难发生的原因,就是因为没有去直面现实。当你直面现实了以后,你就会发现,哦,那我得采取什么行动?原来我还有这么多地方没有做好。那humble是我很看重的一个点。
如果说一个人不humble、不open,那他就算现在这个时间点再厉害,他在未来也不会向前进。或者用一个术语来说,就叫做growth mindset(成长型思维),这个人是不是能不断改变自己、不断否定自己、不断地去成长?如果不humble的人是没有办法成长的,也听不进别人的意见。第三个呢叫做smart(聪明),你当然希望和聪明的人在一起。
所谓smart就是他可以很resourceful(机智)的想尽一切办法去解决问题。比如说我虽然计算资源很有限,但是我想到了一个很好的optimizer(优化器),可能是原来两倍的效率,我可以用更低的flow floating point precision(浮点数精度)去train一个model。
我可以通过一些hack(改动)使得我用更少的资源能办到更多的事情。他们是最好的problem solver(问题解决者)。
在创业公司其实很多时候你并不需要好的manager(管理人员),你需要一定程度的management(管理),但是你更需要的是每一个individual contributor(独立贡献者)他都是一个很好的problem solver,他能够解决问题。第四个呢我觉得是Clarity(清楚),他的表达应该是清楚的,他说的话你应该能听懂。
很多时候你去面试一个人,或者说和一个你觉得水平比你高的人去聊天,当你发现他说的话你完全听不懂的时候,十有八九并不是你有问题,并不是你的认知水平太差,而是他没有把这个事情讲清楚。我觉得清楚的表达对于一个团队协作、对于一个团队的凝聚力、还有对于一个人的思维方式都是有很大的帮助的。很多时候表达不清楚不是口才不好,而是头脑里面就没有想清楚。
头脑里面想不清楚的人,他往往就不会具备这个humble(谦逊)和hungry(饥渴)两个,还有smart(聪明)这三个属性。所以总结下来就是hungry(饥渴)、humble(谦逊)、smart(聪明)和clarity(清楚)。
[00:34:35] 泰然: 这四点你有没有犯过错误?你有没有在人生某个阶段不hungry、不humble、不smart和没有clarity?
[00:34:42] 胡渊鸣: 非常好的问题,我觉得我经常犯这样的错误。那么我每时每刻都在想,我刚才讲的这个事情是不是能让我的听众能听懂?这个事情是我每时每刻都在反省的。那这个其实就涉及到Clarity的问题。即使比如说我们在录这个Podcast,我也得确保我表达的所有观点都清晰地传达到了,还有你所有的听众里边。那在以前的时候,我觉得Clarity是我很早克服的一个问题吧。
当然我觉得这clarity有很多不同的表现,一个最常见的表现就是这个人会说很多,在和其他人相处的过程中,他会想办法dominate(主宰)这个对话,而不去听其他人在讲什么。然后他说了很多,但是其中可能有只有10%的内容是对方能够接收的。我在很多的新管理者身上能看到这样的问题,我自己刚成为管理者的时候也会有这样的问题,直到我后来发现,说不重要,听最重要。
这个其实是比说很多重要的多的一个事情。clarity方面,hungry方面,躺平。hungry的反面我觉得就是躺平嘛。我有没有躺平过呢?可能一直也没有躺平过,一直我觉得还是比较努力的一个人。所以当然这个底层是运气嘛,因为我可能能身体状况支撑我能一直很hard work(努力工作)。所以这个hungry其实底层是运气。
然后humble,那我觉得我每时每刻都在被社会毒打,总是发现我靠还有这么厉害的人。那我觉得每次当我觉得自己还可以的时候,去看看做的最好的人是做的什么样的,就发现哦,那原来还是有很多提升的空间。那我觉得humble这个错误我应该是一直在犯的,但是我知道自己有这个问题,所以我就能correct myself纠正我自己。
smart,嗯,smart这个我觉得怎么犯一个smart的错误呢?我觉得smart这上面可能犯的最大的错误就是be smart about the solution(聪明地解决问题),但是忽略了being smart about strategy(聪明地制定战略)。就是你花太多时间去想这个How的问题,但是没有太花太多时间去想Why。
就像你刚刚说PhD第一年的时候,对,包括其实做公司也是一样嘛,这个公司其实做在也做了4年左右的时间了,其实和很多创业公司一样,我们最早也经历过了几次转型。那其实每次转型都不是说我们,而是说我们没有去figure out这个why(搞明白为什么)的问题,做了不对的东西。
[00:37:54] 泰然: 我觉得这个部分我们等会会着重讲。然后我想再回到你在那篇文章讲的,如果你重读PhD,你会有做出的四个改变和坚持的东西。你当时可能不会选择去NVDIA写太极,而是会接受Kaiming的offer去FAIR(Facebook AI研究院),对,可能会做个AI的研究。当时可能对你来说,去NVIDIA写太极是一个更舒适区里面的东西。
嗯,为什么突然一下你就觉得当时那个选择有没有犯刚刚的四个错误之一,导致你去了NVIDIA?
如果重读 PhD 会做的四个改变 [00:37:57]
[00:38:24] 胡渊鸣: 没有去FAIR。首先我觉得NVIDIA也是很不错的公司,去那边也是不错的选择吧。但是我觉得如果说在更早的时候能去参与到AI更exciting的一些frontier(前沿),那会对我帮助更大一些。当时是几几年的夏天?当时好像是20年的暑假。那个时候是covid对吧?20年的暑假。
[00:38:54] 泰然: 你谈到的是,你说你还是会work hard(努力工作),还是会去做太极,但是不会把太极那么局限在physical simulation(物理仿真)上。
[00:39:02] 胡渊鸣: 对,我觉得当然这个可能是一个可能会变啊,但是其实as of today(今天来说),你今天去看那太极在simulation(模拟)其实是一个相对来说比较小众的使用场景。当然随着embodied AI(具身智能)这些具身智能的技术不断在朝前演进,那么能用上simulation(模拟)的地方应该会变得越来越多,所以在未来可能会不一样。
而且我觉得太极的使命可能也只才完成了一半,后面我还想去和大家一起做太极2.0,有很多很exciting的事情可以基于太极的这个框架下去做。但这有一个顺序的问题对吧?
其实如果说更早的把太极去朝着像优化Transformer这样的架构这样的方式去做的话,那可能现在太极是Triton,Triton的这个位置,它的使用的场景会更多一些,也许他的impact(影响)就会比现在大很多。
[00:40:04] 泰然: 太极我们等会着重讲。然后第三点,你说你还是会以1年PhD(毕业)为目标,对,即使这个目标根本不可能完成,但是你觉得这样可以让你尽快开始下一个更有意思的事。
[00:40:15] 胡渊鸣: 我觉得设立高目标一定是很重要的,我还是会以一年(PhD)毕业作为目标。然后我觉得永远都是一个求上而得中,求下而不得的这样的一个
[00:40:27] 泰然: 这样的一个过程。所以其实尽早毕业,你觉得会是一个PhD很好的目标吗?因为其实很多人也说你不要急。
[00:40:34] 胡渊鸣: 对对对,我觉得不同人有不同的选择。对我来说,其实嗯,我觉得关键还是看你在读博士的时候,你在这个位置上面是不是最适合你做你内心想做这个事情的一个环境。如果说你现在的环境就是,我就是想去在学术界继续去做,我也能接受学校里面可能没有这些计算资源,我也能接受我做出来的工作他距离用户可能有一些距离,但他在学术界影响力可能会很大。
如果你想要了这个事情,那当然,那多在PhD多花一些时间其实也挺好的。但是在我当时的时候,读博士读到后面的时候,我已经不知道再读博士的话应该去做些什么了。那当然,可能当时也没有去看到太前沿的像AI这方面的一些东西,所以其实坦率来说,不知道再读博士的话还能做些什么。
[00:41:42] 泰然: 这是你博士第几年的时候,你就意识到好像没什么可做了?
[00:41:46] 胡渊鸣: 大概是在第三年吧,就是快毕业的时候。不过当时其实paper也有足够多的影响力了,所以当时两位老板也就让我提前毕业了。
[00:41:58] 泰然: 这也引申到第四点,你说你如果重读PhD,会花更多的时间和不同领域的人、厉害的人去交流,而不是天天把自己关在宿舍写太极。
[00:42:08] 胡渊鸣: 嗯,我觉得这个事情是我自己从小到大都没有做的很好的一个事情,因为自己性格实在是太内向了,那跟别人交流就会觉得很累,所以就很倾向于跟这个坐在电脑前面和NVCC和这个LLVM打交道,哈哈哈。所以确实对外的这个沟通就少了很多。
我记得Richard Hamming就讲到一个点,如果你自己把自己关在办公室,把门关着,每天做自己的事情,那短时间之内你当然能产出更多,但是五年以后你一定不知道我该做什么。
所以他的一个argument(论断)就是说,你在办公室里面你应该把门开着,去多去听一听其他人在做什么,让其他人能够更容易的去找到你,告诉你说哦原来这还有一个这么严重的一个问题他们解决不了,但是我的技术可以去帮他解决这个问题。我觉得这是一个很好的一个mindset(思维模式)。
包括其实像现在做创业公司,其实很多时候多和一些客户去聊一聊,然后听一听他们的反馈,也是对整个团队都是很有帮助的一个事情。但是因为我自己内向性格,所以我得逼着自己去做这个事。
[00:43:37] 泰然: 我觉得你已经很外向了,现在。
[00:43:40] 胡渊鸣: 哈哈哈,我是一个和别人聊天我要消耗很多能量的人,所以最后就变成用写代码来恢复这样的能量,哈哈哈。
[00:43:47] 泰然: 刚刚你提到的Richard Hamming,我觉得我我很高兴我可以用它来引这个引子来引出我们下一个chapter(章节)。这个chapter(章节)我想和你聊太极graphics(图形学)和physical simulation(物理仿真)。
所以第一个问题是一个Richard Hamming style的问题,什么是computer graphics(计算机图形学)?这个计算机图形学领域最重要的问题是什么?
计算机图形学与太极编程语言 [00:43:54]
[00:44:05] 胡渊鸣: 哇,这个是一个很好的问题,但是我想不同的人应该有不同的答案。那我的答案就是Computer Graphics(计算机图形学),就是用加减乘除创造一个虚拟的世界。
因为不管是CPU还是GPU,它都只能做加减乘除、开方、三角函数,但是你却要用这些东西最基本的building blocks去创建出来一个栩栩如生的,也许像cyberpunk(赛博朋克)2077或者是这个巫师3这样的游戏画面出来。我觉得是非常非常吸引人的一个事儿。
当然,它现在整个computer graphics这个行业呢,它有一些产业上面、商业上的一些困难,所以它可能不像AI或者像Data这么的火热,但是依然有很多热爱它的人在继续做这方面的一些创业啊、一些事情。但我觉得整个Computer Graphics发展是非常有意义,其实AI用的硬件也是基于Graphics最早的时候演变出来的,对吧?
所以这个里面其实Graphics还是为很多的学科铺平了道路的。那Graphics领域最重要的问题是什么?看不同的时代吧。在最早的时候,Graphics其实很局限在就是可视化和真实感渲染,这是最早的时候,可能是21世纪之前的这段时间,也许95年之前。到了95年以后,大家发现可以用Graphics去做一些物理仿真。
有,我觉得最早的论文可能是像Ron Fedkiw那一辈人他们去做的一些烟雾模拟这些simulation方面的工作,那篇paper好像叫visual simulation of smoke,大概是95九六年的时候。然后到那个时候,大家发现OK,这个流体好像也可以做,然后大概开启了到今天为止还在进行的各种simulation方面的一些话题。
这个的重要的目标就是在计算机中还原真实世界的物理效果。当然,Graphics它有一个特点就是它可能更面向的是视觉特效这个行业,然后随着这方面技术的溢出,有一些也被用在Robotics(机器人)方面。它可能一开始的初心都是做一个事儿,然后后来发现做着做着做着好像其他问题也可以解决。这个是一个技术的一个diffusion(扩散)的一个过程。
Simulation(模拟)是做这个事情。当然还有一些其他的学科,其他的branches of computer graphics(计算机图形学分支),比如说计算摄影学Computational Photography。你玩很多相机,那整个成像后处理这个里面有很多很多的学问,如何去做,比如说super resolution(超分辨率成像)提高照片的分辨率。
但这里面其实很多的,由于它使用的是像卷积神经网络这样的技术,大家也会把它和CVComputer Vision(计算机视觉)给放在一起。所以Vision和Graphics呢,一直是不分家的两个学科。
[00:47:28] 泰然: 我们了解了什么是Graphics,我想知道什么是太极?为什么要做太极?太极在解决Graphics里面什么重要的问题?
[00:47:36] 胡渊鸣: 最早的时候,太极主要的应用场景就是simulation(仿真),就是希望用一套好的基础设施,使得仿真能够被推到一个特别大的scale(规模)。
那我整个PhD最终实现的一个目标就是,我可以在一块GPU上面去让十亿个粒子的仿真One billion particles using Taichi(用太极做十亿个粒子的仿真)One billion particles using Taichi (用太极做十亿个粒子的仿真)。那这个在太极之前是完全不可能,在太极之前对,完全不可能。为什么不可能呢?
因为你要去实现这个事情,你想十亿个粒子one billion particles,然后我记得当时是在一块3090 GPU,那个GPU是24GB的显存VRAM。那24GB的VRAM也就说你每一个particle(粒子)占的内存空间不能超过24个Byte(字节),只有这样你乘上10的9次方,你才能塞在一块显存上面。那为了实现这个事情,我在编译器里面做了很多事情。
当时我记得16位的浮点数我都舍不得用啊,是用的是这个一个particle(粒子)它的x y z,x是用我想把它压到一个32位的整数里面,所以好像是x用了11位,y用了11位,z只能给它10位,这样11+11+10正好是32。但是你如果没有一个compiler(编译器),你如果是自己去写这个东西的话,写的是非常非常痛苦的。
所以当时就做了一个工作叫做QuanTaichi,那这个可以把太极里面的data structure(数据结构)全部都去Quantization(量化)变成一个low bit(低比特率)这样的一个数据结构,这样才能使得一块GPU上能fit(装下)十亿个粒子。所以其实你可以看到太极要解决什么问题?
太极是解决一个infrastructure(基础设施)上面的问题,使得我们的simulation通过这样的一个infrastructure能够更容易开发、运行速度更快、更省内存,然后这个和周围的生态环境变得更加友好,而且还变成differentiable(可微分)还是可微的,这样它在很多robotics场景里面
[00:49:46] 泰然: 为什么前几十年graphics的community(图形学领域)没有这样的努力?
[00:49:52] 胡渊鸣: 有其实在很早的时候,我其实觉得CUDA就是这样的一个努力。那么CUDA其实是在C++上面,它沿用了C++的语法嘛,使得每一个C or C++ programmer(程序员),每一个C或者C++程序员,都可以去编写GPU程序,编写并行的程序。那么用尽可能接近C或者C++的语法实现了这个事情。
但是大家发现,好像C++逐渐的很多位置已经被更高级的语言、更容易开发的语言,像Python这样的语言去取代了。那甚至出现了很多方法,在Python里面去写高性能的程序。最典型的一个case(例子)就是PyTorch。其实PyTorch它就是一个相当于abuse(滥用)了Python的很多语法,让你在Python里面可以实现高性能计算的这样的一个框架。
太极其实也是一样的。
那在Python这样的高级语言没有成熟之前,在LLVM这样的compiler(编译器)infrastructure(基础设施)没有成熟之前,在MPM material point method这样的simulation approach成熟之前,在GPU programming没有成熟之前,你去做这样的一个事情,其实是很难make a splash(引起轰动)的。
没有办法去造成impact(影响力),没有办法有很大的影响力。我觉得当时可能是一个比较好的时机。那对我来说,我自己也喜欢捣鼓这些东西。当然,你可能还需要一个比较初生牛犊不怕虎、觉得自己能造一个编译器的年轻人开始做这个事情。这个勇气其实也很重要。
[00:51:39] 泰然: 所以当时你在MIT写太极,相当于是自己solo(一个人)做这个project(项目),那是什么样的体验?
[00:51:46] 胡渊鸣: 很爽啊,哈哈哈哈,很爽。就是可以,我找到了一个点嘛,我可以做我自己喜欢的事情,还可以发paper,还可以开源它,还可以让很多人来用这个玩意儿,还可以把自己搬到关在一个小房间里面,不用和任何人打交道,哈哈哈。还可以让我的导师觉得,嗯,你干的很不错。然后还可以用他用我自己造的轮子造轮子。然后这个我觉得就是从底层开始造轮子,是我自己很喜欢的一个事情。
所以基本上做太极这个事情,就让我从汇编像PTX(CUDA虚拟汇编语言)一路写写写,写到知乎文章去宣传这个工作,哈哈哈,把整个full stack(全栈)都做了一遍。我觉得对我自己的能力是很大的一个锻炼吧。
其实现在回过头来看,我在当时相当于做了一个产品经理,就是分析用户需求,一个simulation(仿真)的人,他到底需要什么样的infrastructure(基础设施)。所以我可以变成一个很好的Product Manager(产品经理),我学习了很多产品经理应该具备的一些能力。
然后我也扮演了一个scientist(科学家)的一个角色,就是去了解最新的技术能如何convert(转化)成一个好产品,被大家能够去使用。
我也做了一个很好的工程师的角色,包括给了一个Github Project去set up,像CI/CD(持续集成和持续交付/部署),像整个软件的架构,像这个很多C++层面的性能优化,包括多线程的并行的编译啊,编译的cache(缓存),整个中间表示的设计,这些其实是工程师做的事情。
然后我还做了一个CEO该做的事情,就是如何把这三个角色做的这个成果整合起来,让更多人能用上。所以相当于就是某一种叠加态,或者是个雌雄同体的一种状态也好,就自己闭环把这个事情做出来了。
[00:53:41] 泰然: 我能想象这是一个听起来非常浪漫的个人英雄主义的PhD的故事,特别是在波士顿,因为可能下三四个月。
[00:53:49] 胡渊鸣: 还是在Covid的期间。
[00:53:51] 泰然: 四五个月下雪,你在自己房间里面,外面飘着鹅毛大雪,然后你在里面既当工程师又当科学家。你现在回看那几年,有没有什么瞬间你觉得特别感动?或者说有没有瞬间你觉得太极会改变世界?
[00:54:07] 胡渊鸣: 首先我觉得我不需要那种时间来驱动我自己继续去做这个事儿。当然可能有几个时间我觉得特别有意思的,比如说当我第一次把用自己的编程语言去实现自己的程序,然后发现还比CUDA好用的时候,哈哈哈,我觉得那时候牛逼坏了,对吧?那你就是你看这个,对吧?
那你就是你看这个老黄找这么多人去造这样一个programming language(编程语言),居然还没有一个PhD Student做出来的东西,但只是在某个细分领域好用啊。那个时候我觉得是很有意思的一个事。
还有一个瞬间是我给太极去加上Auto Diff(自动微分)的那个时间,我大概花了三四天时间把这个太极的这个程序从只有forward变成能够backward。
记得我当时是在Adobe实习,就在这个San Jose这边,然后呢,我实现了第一个End-to-End differentiable(端到端可微分)的一个soft body simulator(软体模拟器),一个MPM simulator(物质点方法模拟器),把我当时用CUDA写的那个ChainQueen的那个code变成加上一个auto diff(自动微分),就把它变成一个differentiable(可微分)的一个code。
这个时间我觉得特别有意思,我也觉得只有自己造了一个编译器才能做到这个事情。
对开源的看法 [00:55:25]
[00:55:25] 泰然: 就刚刚谈到一个关键词,因为太极其实是一个开源项目,我特别想好奇,我特别想好奇你现在对开源的看法是什么?因为太极是一个很好的开源的physical simulation(物理仿真)的编程语言,然后其实现 在也有像llama这样的开源的LLM,他们好像都有一个共性就是不挣钱,对对对。所以我现在特好奇你现在对开源看法是什么?创业公司应不应该做开源?
[00:55:50] 胡渊鸣: 我对这个问题的看法有过几次反复,就是不断在反思自己之前对这个问题的judgement(判断)是不是正确的。那当然最早的时候,当然是开源大法好啊,哈哈。那时候是在MIT的时候,当时很多Graphics paper(图形学论文)都是没有开源的,没有代码附加在上面的。那我当时做的一个事情就是,我的所有paper的所有实验结果都可以通过一个命令行全部复现出来。
你如果去看当时太极的代码,你会发现它的所有实验结果都有一个command line(命令行),然后你去运行这command line,你就可以把这个结果端到端的给它复现出来。那这个是我当时在做博士的时候了,当时觉得开源是非常棒的一个事情。
后来博士毕业以后,最早时候就觉得OK,成熟的开源项目其实有的也可以做得很大,像这个data bricks,他们其实就是从一个开源项目开始做,然后现在其实是没有上市的最大的独角兽之一了。那么做公司的最开始的时候,就是想继续去做太极,也做了文档啊,也做了很丰富的社区啊,然后也有越来越多的人来用。但是后来其实商业化上遇到了一些挑战。
那当时一段时间我觉得OK,那是不是商业公司开源,在商业公司这个还是九死一生的一个事情?因为你都把你最好的东西给人家了,那你怎么去赚钱呢?这是很现实的问题。所以其实有一段时间太极的研发我们投入就比较小了。然后当时其实那段时间我们也有很多精力就在做Meshy这个新的项目,所以太极的那拨同学就调过来做Meshy。
然后随着时间又到了今天,其实Meshy的商业化做的已经相当不错了,我们有不错的营收。然后我自己也有一些额外精力来思考,重新思考开源这个问题。那确实开源是不挣钱的,但是你有一个好的开源项目,它能够帮助你吸引到最好的人才和最好的客户,那相当于它变成了一个marketing(营销)的一个手段。
大家可能做技术的同学会对marketing(营销)这个词非常的抵触,但其实在很多行业里面,研发和marketing(营销)是同等重要的事情。就比如说游戏行业,假设一游戏我花1亿人民币去研发,那我花1亿人民币做市场(营销)是很正常的事情。大家可能觉得我做一个产品OK,投入个1个亿,那我顶多花100万做marketing差不多了吧,哈哈哈,对吧?
你可能会觉得OK,难道市场渠道还能比研发本身花更多的钱吗?很多时候市场和渠道它就是要花很多钱。所以你如果能通过研发的形式去做市场和渠道,that’s great(这非常好)。而且我作为这个技术出身的创始人,我又不擅长去做那种传统意义上营销,我还不如就是做一个好的产品,做这种技术上营销,通过我把代码给你的方式来建立信任。
所以其实开源在一个初创公司当中,我觉得有他的位置。
[00:59:10] 泰然: 但是这个得非常strategic(有战略)。
[00:59:13] 胡渊鸣: 非常strategic(有战略)。你得想到一个好的商业化的方式和它互补,整个事情才能够闭环的做下去。要不然很快大家就会问你,OK,我们为什么要有一个部门在做开源?也会影响你整个公司的竞争力。但是你用的好的话,它是能增强整个公司的竞争力的。但是我觉得最根本的事情就是,我还是很热爱开源的。
那很多时候一个人为什么创业,就是希望能有一帮人一起去做一个理想当中的事情嘛。那既然开源在我这个Founder(创始人)的理想当中,那他一定是会被以各种各样的形式(存在)。你是甩不掉的,迟早你可能又会走到这个开源这条路上。
[00:59:59] 泰然: 太极(有)两个标签,一个是开源,他当时最大的application(应用)是physical simulation(仿真)。我很好奇,就是如果我们想让physical simulation(仿真)对于robotics(机器人)这个领域更有用,还有什么需要做的事情?哪些方向是最高的priority(优先级)?
物理仿真与机器人 [01:00:00]
[01:00:17] 胡渊鸣: 特别好的问题。我觉得现在的simulator(模拟器)可能某种意义上需要变得更加data-driven(数据驱动)和neural的这种神经网络的这种 方式去结合。这意味着牛顿第二定律不准?牛顿第二定律是准的,相对论也是准的,但是很多boundary condition(边界条件)可能是不准的。
很多的像Hooke’s摩擦定律,它的这个模型可能是不准的,因为世界上有太多种不同的摩擦了。那光滑表面和光滑表面它的摩擦机制,和你把一块玻璃放在一个湿漉漉的表面上的摩擦机制是完全不一样的。这些建模全部都是不准的。
所以这些simulation(模拟器)和reality(现实)之间的gap(差距),就需要用data driven(数据驱动)的方式去给它close(弥合)上。
另外一方面呢,虽然现在大家都讲究end to end(端到端),但是你还是能看到在这个里面有很多的,大家会给这些end-to-end neural network(端到端神经网络)去加入很多的所谓的inductive bias(归纳偏置)。
最经典的一个例子,大家用的比较多的这个transformer里面的RoPERotary Position Embedding(位置编码方式),它是一个通过复数去实现的一种相对的positional embedding。
那你如果说我抛弃这些inductive bias,我连transformer都不要,我直接是全部都是MLP(多层感知机),从头到尾全是dense connection(全连接),是不是可以呢?你你如果有足够的compute(算力),足够的data(数据),但是事实上你没有。
所以你就只能通过一些从现实的三维世界中一些物理世界中得到的inductive bias(归纳偏置)去inject into your learning system(注入你的机器学习系统)。那我觉得这个其实是physical simulation和neural networks或者AI能够结合的一个特别好的地方。
simulator(模拟器)里面需要有更多的AI,AI里面也需要更多的3D inductive bias(3D 归纳偏置)。那要找到一个恰到好处的平衡点,不要越俎代庖,不要低估模型的学习能力,但是与此同时也不要去真的就把所有的事情交给learning(机器学习)。很多的一些底层的一些insight(洞察)是非常有助于这个系统去学的。
[01:02:54] 泰然: 那我们如果想把现阶段的基于牛顿第二定律的rule-based simulator(基于规则的模拟器)变成learnable(可被学习)的,你觉得哪个部分应该train(被训练)?用什么样的data(数据)?
[01:03:03] 胡渊鸣: 我们先说一个使用场景吧,我觉得这样可能更举例可能会更好一些,对吧?比如说你如果是做video generation(视频生成),那你可能需要一个camera model(相机模型)。
如果说你能有办法把这个世界里面的这些所有的这些object(物体)不是用pixel(像素)去表示,而是用一种3D的representation(表征)去表示,然后你把camera projection(相机投影)这个事情给它hard code(写死)住,你是不是就能省掉很多的参数去学习camera projection(相机投影)?
实际上camera projection(相机投影)这个事情在traditional graphics(传统图形学)里面就是一个50 FLOPS(浮点数运算)之内能做到的事情,但是你用AI去做,你可能要加上一个Billion(十亿)的参数,对不对?所以这个inductive bias(归纳偏置)在这个里面是非常非常有效的。
或者说现在大家做video model(视频模型)里面很经常遇到的一个问题就是我camera(相机)转360度回来就是一个完全不一样的一个世界,那你是不是对这个世界有一些基本的用voxel(体素)也好的一些3D modeling(建模),至少你可以把这个physical persistency(物理持续性)的问题给解决掉?
[01:04:07] 泰然: 那如果让你去看待现在市面上我们能用的simulator(模拟器),从Isaac、MuJoCo、Drake、PyBullet、Genesis,所有这些simulator(模拟器),在你看来?
[01:04:18] 胡渊鸣: 我觉得共同的问题就是sim-to-real gap(仿真误差)吧,因为这些simulation(仿真)它当然有一定的预测性,但是实际上我想每一个用simulator(模拟器)的做robotics(机器人)的人应该都知道,你要把这些参数都调对,你要把这些boundary condition(边界条件)都设对,然后让这些solver(求解器)发挥到最好的状态,其实是相当难的一件事情。
那可能在未来的simulator(模拟器)里面,它当然会有牛顿第二定律,没有意义说我用一个transformer去重新把牛顿第二定律学一遍,我用这个1T FLOPS(1万亿次每秒浮点运算)去predict(预测)一个它下一帧的位置,本来可以1 FLOPS (每秒一次浮点运算)就做完做好的一个事情,你用1T FLOPS去做,那当然不make sense(合理)。
你也考虑到整个物理世界的复杂性,你也没有办法说直接去用这种不管是牛顿定律也好,还是欧拉、拉格朗日方程也好,还是Navier-Stokes(纳维-斯托克斯方程)这些东西去model(建模),它们其实都是近似。
那这个时候你可能需要很多learnable的一些系统去帮助你去capture(捕捉)这些真空环境下work(成立)的物理定律,在现实有空气阻力、物体表面不是刚体、边界条件和你想的完全不完全一样,你也没有办法去measure(测量)这个边界条件的情况下,这样的系统该如何去尽可能真实的对你的training(训练)有帮助?
我觉得这个是一个很有意思的physical simulator(物理仿真)和neuraldeep learning(深度学习)要结合的地方。其实太极如果朝这个方向发展的话,有很多事情可以去做。
你如果要做这个事儿,那你就必须要有一个underlying(底层)的一个infrastructure(基础设施),使得它可以非常高性能的继续像MPM(物质点法)一样去解这个它的Elastoplasticity(弹塑性)。
与此同时呢,它的整个材料可能能够比如说它的stress-strain curve(应力-应变曲线),那这样的stress-strain curve(应力-应变曲线)是不是可以做到data driven(数据驱动)?那你就需要高性能的神经网络的这些单元塞在这些simulator(模拟器)里面去。
[01:06:47] 泰然: 我们从牛顿定律包括你现在谈到要data driven(数据驱动),我特好奇(的)是physical simulation(物理仿真)物理模拟的极限是什么?我们到底能够从多大程度上模拟这个世界?如果我们真的可以完美的模拟这个世界,是不是我们就可以从里面比如说造出AGI?就我这个极限到底在哪?我们什么时候知道这事是可做的、值得做的?
[01:07:10] 胡渊鸣: 我觉得是很好的问题。我觉得一个很伤心的事实是,当然这是我的一个猜想啊,如果说我们自己的这个世界就是模拟出来的话,一个模拟器里面的另外一个模拟器,它是不会比它的母体模拟器更强的。所以我们永远也不会。所以我觉得也许你在我们的世界里面去造一个模拟器,模拟整个世界,使得这个模拟器运行速度能比现实的时间更快,这个有可能是unlikely(不太可能)。
你去只做一个small scale(小规模)的一个模拟,但是这也就意味着说我预测股市可能是很难的,因为股市它涉及到整个世界的所有的人都参与到这个事情当中。但是你做一个风洞的模拟,这个是可以做的。那它的极限会在什么地方?说实话,其实现的simulation(仿真)它的发展应该说遇到一个瓶颈吧。
就是以前大家可能会发现哦,这个finite element(有限元)、finite volume(有限体积)或者material point method(物质点法)或者这个mass spring system(质点-弹簧系统),它总是还有一些新的discretization scheme(离散化方案)或者说一些加速的方式能够被不断地提出来。
那其实最近几年应该这方面的进展已经相对来说好像没有以前那么多了。所以我其实觉得纯粹的数值的这个仿真,当然它现在应用场景也很大了,像Siemens或者像这个FLUENT这样的,它其实也在很多的场景被用的非常多。那我其实感觉这方面的技术有点到一个瓶颈。如果要再往前面做的话,看起来最promising(靠谱的)的方向就是我把一些AI的东西给整到里面去。
把里面的,比如说Elastoplasticity这些就是弹塑性形变这些东西,是不是可以用data driven(数据驱动)的方式去做?因为这本来的模型你也知道,你如果看过他的那些建模的方式的话,你也会发现那就是很粗糙的一个模型。没有理由data driven(数据驱动)的方式做不过他们。
[01:09:35] 泰然: 所以因为我们做robotics,我们里面我们流传一句话叫control is dead(控制已死),你会觉得现在simulation is also kind of dead(模拟已死)?
[01:09:46] 胡渊鸣: 嗯,在细分领域肯定还是有很多进展吧,但是在整个的fundamental(基础性)的这个大的breakthrough(突破)上面,至少我没有听说太多。
[01:10:00] 泰然: 我看到你写你从MIT毕业的时候,当时graphics(图形学)这个领域也陷入瓶颈了。你觉得不知道留在学术界能干嘛?五年后再看,你觉得你当时的判断正确吗?
[01:10:10] 胡渊鸣: 我觉得差不多。哈哈哈哈哈,差不多。就是那个时候大家搞rendering(渲染)的时候,已经其实我觉得,在20年前很多rendering(渲染)的事情就已经变成一些已有技术排列组合了。
比如说我记得当时有一个算法叫做AMCMCPPM自适应马尔科夫链蒙德卡罗统一路径采样或顶点连接与合并,你如果把它翻译成中文的话,它就是把这个MCMC(马尔可夫链蒙特卡洛)和这个unified path sampling(统一路径采样)和adaptivity(自适应性)给整到了一起。
当然还是不错的有意思的工作了,但是其实有这样的工作出来,那就说明其实后面的进展已经不会特别多了。我觉得这是一个有意思的规律,就是当你发现一个问题它越来越干净、越来越被well defined(定义良好)的时候,就说明这个问题已经没什么可以做的。
当它形成了特别系统的Benchmark(基准测试),当它已经变成了我把这个问题解法搞得越来越复杂的时候,那就说明在这个里面开疆拓土的机会已经比较少了。
[01:11:32] 泰然: 你刚刚谈到所有的simulator(模拟器)你觉得都有sim to real(仿真误差)的问题,对?你相信sim to real(从模拟到现实的迁移)吗?
[01:11:39] 胡渊鸣: 我相信。我相信。我觉得虽然有这些问题在,但是simulation(仿真)依然有它很大的很大的意义。就不要说现在整个CAE(计算机辅助工程)领域用各种simulator造飞机、造火箭,这就是很大的一种场景。并不是说他们已经不用simulator(模拟器)都在用AI了,我觉得这个事没有发生。
但是在Robotics这个场景当中呢,他最头疼的事情是,其实你让一个robot(机器人)去操作桌上的蔬菜或者盘子,其实是比飞机上天更难的一个事情,对不对?因为飞机上天,说实话天上无非就是空气呗,那顶多有点云或者什么的。但是当你要去更细致的去manipulate(操作)你桌上的东西的时候,这其实非常非常难。
而且这个中间很多边界条件的不一致,就会导致一些simulation(仿真)在现实当中非常非常难去落地,肯定还要做各种adaptation(适应)。而且它还不像RLHF一样,我有一个Pre-train(预训练)的一个model(模型)。
如果说我们有一个Pre-train model(预训练模型),然后如果我可以用simulation去Pre-train这个model,但是你用simulation Pre-train出来的model,它只在你simulationsimulator能给你提供这些case(场景)上面去work(工作)。
simulator(模拟器)的数据并不能算是真正的高质量数据。
[01:13:12] 泰然: 前段时间Sergey Levine from Berkeley他写了一个blog(博客)叫做Sporks of AGIAGI的汤匙。大致的主旨就是,他觉得用simulation(仿真)反而是我们人类给robotics foundation model(机器人大模型)的一个限制。
他其实在那篇blog(博客)里面表达了某种程度上对simulation(仿真)的抵触。他觉得我们要做出下一代的foundation robotics model(机器人大模型),就得用real world data(真实世界数据)。我们不应该去搞synthetic data(合成数据),不要去搞simulation(仿真模拟)。你会怎么评价这样的观点?
[01:13:46] 胡渊鸣: 我觉得有道理啊,有道理,有道理。因为synthetic data(合成数据)永远只能用来enhance(增强)一个model(模型),它不能build a model from scratch from the bottom up(从零构建一个模型)。
因为你要去train(训练)一个foundation model(基座模型)的话,用synthetic data(合成数据),所有data都是synthetic data(合成数据),或者大部分data是synthetic data(合成数据),一定不会work(成功)。
因为这些所谓synthetic data(合成数据),你就是意味着你能够synthesize(合成)它。一旦能够synthesize(被合成)的data(数据),一定follow(遵循)某些rules(规则)。那这些rules(规则)一定是人为的去思考出来的。这些rule(规则)有多少的coverage(覆盖率)的问题了?
它可能现实世界中1亿种情况,你的rules(规则)只能cover(覆盖)1万条。更不要说这些rules(规则)可能还和实际的physical law(物理定律)还有一些距离。
[01:14:49] 泰然: 那given(根据)这样的论断,你还会觉得一个general(通用)的robotic simulation(机器人模拟器)成立吗?我们能造出一个robotic simulation(机器人模拟器),帮助我们从中(模拟器)里面把给你洗衣做饭这种事做了吗?
[01:15:02] 胡渊鸣: 我觉得是,如果说你把simulation和VLM等等foundation model(基座大模型)有很好的结合的话,是成立的。你觉得是有机会,我觉得是有机会的。当然,你得到了一个东西,它可能既不是一个simulator(模拟器),也不是一个neural network(神经网络)。它会是什么?
它会是一个嵌入了neural network(神经网络)的一个3D inductive bias(3D归纳偏置)。它是一种inductive bias(归纳偏置),让你的neural network(神经网络)更容易学习。但是它又和已有的neural network足够不一样,它里面可能会有各种神奇的operator(操作符)。
比如说我在三维空间里面去采样,它可以是end-to-end differentiable(端到端可微分)。那我觉得如果是这样的话,其实你就可以去把simulator(模拟器)的里面最擅长的,像我从空中抛一个球,它轨迹是个抛物线,和data driven(数据驱动)的方法对于各种复杂边界条件下的这种很强的adaptivity(自适应性),给很好的结合起来。
太极 2.0 与 AGI [01:16:28]
[01:16:28] 泰然: 刚刚你讲了很多这种限制,就可能现在的simulator(模拟器)都存在着各种限制。如果胡渊鸣今天要重新做一个simulator,他会怎么做?会跳出什么旧的范式?
[01:16:38] 胡渊鸣: 可能我会用learning(机器学习)为主去驱动它,而不是用牛顿定律为主去驱动它。因为做了很多这些基于Navier-Stokes(纳维-斯托克斯方程)、基于欧拉拉格朗日方程、基于牛顿力学定律也好,做了这些simulator(模拟器)以后,我会发现其实这些physical law(物理定律)都是approximation(近似)。
牛顿定律也许不是,但是其他的很多,它们本身也许不是approximation(近似),不是一个近似,但是它所描述的环境,它的boundary condition(边界条件)都是近似。所以从这个角度来说,我会希望只保留更底层的一些元素,而把这些physical law(物理定律)全部搞成data driven(数据驱动)。
包括deformable(可变形)的所有那些,对更底层的元素,包括我桌上有一个杯子,下一秒它不会消失;包括两个物体没有办法occupy(占据)同一个位置,这些要保留。包括我可能有一个camera(相机),这camera的透镜是一个perspective projection(透视投影),这样我可以从现实世界中去学习这些物体到底是如何去操作,是如何去变化。
这样我就可以直接从视频来学习,而不需要去通过很复杂的sensor(传感器)去capture(捕捉)每一个物体的位置、它角动量这些东西来学习。
[01:18:16] 泰然: Render(渲染)还要保留吗?Ray tracing(光线追踪)还要保留吗?
[01:18:19] 胡渊鸣: 我觉得在足够长的时间以后,ray tracing(光线追踪)会被neural graphics(神经图形学)替代。其实你已经看到这个趋势了,对吧?现在其实像有了这个DLSS这样的技术以后,可能首先你一个4K的屏幕,你可能渲染只有1K,它只渲染1/8或者1/32的Pixels(像素)。然后它每个Pixel(像素),它的光线可能只打一个sample(采样)。
然后你是通过帧间或者它的周围的sample(采样),通过data driven(数据驱动)的方式去把它渲染出来。那有足够长的时间以后,你完全可以假设我就是把这个空间的整个体素的表达喂给神经网络,它通过3D Transformer之类的方式实时的把这个东西给渲染出来,而不用Ray Tracing(光线追踪)。
[01:19:10] 泰然: 我们为什么还要用太极做rendering(渲染)、做physical simulation(物理仿真)?我们为什么不用Sora解决视频生成?和解决3D可以画等号吗?
[01:19:18] 胡渊鸣: 一定程度上是可以的,因为就像我刚才说的,太极它在未来的发展,当然我们最近在规划太极2.0怎么做,它是一个infrastructure supporting Graphics and AI(支持图形学和AI的基础设施),它两边都要去支持,并且你真的需要一个造的越来越精密的simulation吗?
比如说三阶有限元,阶数越来越高,这个积分scheme(机制)越来越复杂,方程越来越难解,我觉得可能这不是一个最好的方向。
最好的方向应该是我就认了这些边界条件,这些physical law(物理定律),或者这些Gallerking(伽辽金方法)整出来的一些weak form(弱形式),这些东西它不是一个最好的描述物理世界的方式,因为物理世界足够复杂,你要用data driven(数据驱动)的方式去描述这些particle(粒子)如何去运动。
[01:20:15] 泰然: 所以其实5年前你的99行写冰雪奇缘,现在可能给Sora的prompt(提示词)只用写20个单词,你会觉得这样的新的video model(视频模型)是革了老graphics(图形学)人的命吗?
[01:20:29] 胡渊鸣: 有的场景是的吧,有的场景是,但是我觉得Graphics在做的很多事情其实促成了Sora的诞生。
对,那随着最后的演变,我觉得以后肯定是learning(学习)为主,但是simulator会以某种形式,通过inductive bias(偏置归纳)也好,通过synthetic data(合成数据)也好,然后它变成了learnable module(可被学习模组)的一部分。
[01:20:55] 泰然: 刚刚我们反复谈有几个概念,一个叫真实的世界,一个是我们现在肉眼能够观测到的世界,我们用各种各样的物理模型建模出来的世界,你说这三者之间的鸿沟有多大啊?
[01:21:08] 胡渊鸣: 非常有意思,我不知道真实世界是什么样的,我们能观测到的世界其实就回到我们最早聊的这个问题嘛,当我在睡觉的时候,楼下的那棵桃树它真的是在生长吗?还是在我能观测到它的一瞬间,它瞬间长成了它应该变成的一个样子?但是我们每个人又只能观测到自己能观测到这个观测到的东西,这是世界上极小的一部分,所以每个人的认知都是有极大的局限性的。
我觉得这个两个中间,就是真实的世界和我们能观测到的世界中间,就是一个非常非常大的一个一个gap(鸿沟)。那我们能观测到的世界和物理模拟能够仿真到的世界中间又是差了十万八千里,只不过这个gap(差距)和之前那个gap(差距)形成的原因不一样,对吧?
之前那个gap(差距)是因为每个人只能观察到自己能观察到的内容,那第二个gap(差距)形成的原因是我们没有足够的compute(算力),我们没有足够的data(数据)去model(建模)这个现实世界。是有些经典的应用场景其实可以对吧,比如说我造一个飞机,我吹风洞的结果和用CFD(计算流体力学)算出来的结果,那肯定是很强的关联性的,那是不是你可以把风洞扔了?
那你飞机起飞之前肯定还是要吹风洞,你不能说我就CFD(计算流体力学)就结束了。所以我觉得挺无奈的吧,我们作为一个物种,也许运行在别人的一个模拟器里面,我们居然还妄想造一个自己的模拟器,能够模拟我们自己。现在看到一些GPT4这样的model(模型)能出来,能够mimic(模仿)一些人类大脑的这个运作场景,已经是一个奇迹了。
[01:23:23] 泰然: 正好聊到GPT4,我想问你,你觉得像GPT这样的LLM(大语言模型)它是不是生活在某种柏拉图所说的洞穴里面?
[01:23:32] 胡渊鸣: 是因为它的loss function(损失函数)就是它的training data(训练数据),他所做的所有的事情,一切的事情就是minimize(最小化)这个loss function(损失函数)。只不过我们每个人难道就不是在生存在一个柏拉图的洞穴里面吗?
我们每个人看到的东西可能比LLM(大语言模型)还要少呢,只不过有的时候LLM会犯一些常识性的错误,所以你经常笑它,但是我们真的就比LLM(大语言模型)强吗?我觉得不一定吧。
[01:24:00] 泰然: 从那样海量的文字和视频数据集中可以诞生AGI吗?AGI的诞生需要physics(物理)吗?需要牛顿定律和拉格朗日方程吗?
[01:24:10] 胡渊鸣: 特别好的问题,我觉得可能不是特别需要牛顿定律和拉格朗日方程,但它可能需要tool use(工具使用),比如说他可能需要有自己的计算机,比如说AGI,他可以写出Finite element(有限元)这样的code(代码),帮他去分析这个一块橡皮掉到地上弹起来是什么样的,为什么一根意大利面掉在桌上一定会碎成三段,他这些都可以通过finite element(有限元)或者一些各种方法,通过tool use(工具使用)去解决。
为什么他自己通过这种next token prediction的方式解决不了呢?是因为next token prediction的方式,它本质上是有局限的,对吧?它不管这个token 是多轻多重多大的信息量,它一定是要花费两倍的parametercount(模型总参数量)除以sparsity MoE(混合专家稀疏率)的这个compute(算力)。
那现在在做的AGI尝试就是,我把这个scale(规模)越来越大越来越大,哈哈,然后这样使得每一个token,它的compute(计算)和evolve(参与)到的这个权重会越来越多。但是很多的token,它其实就是没有办法通过,即使你的compute(算力)已经很多了,你是没有办法,有些token它就是比其他token需要更多compute(计算)。
这些compute(计算)不能发生在LLM现在这个范式里面,而是要让LLM去manipulate(操纵)一个
[01:25:54] 泰然: 工具,其实是物理世界的工具,可能是computing(计算)的工具。他得有一个自己的电脑,然后让他可以在命令行里面调他的Python,然后让他在命令行里面写自己的东西。对,而你觉得其实这个过程不一定需要我们人类自以为对这个物理世界的那么多的认知,它可以自己发现自己的牛顿定律啊。
而这样的AGI可以从我们现已有的text data(文本数据)、video data image data(视频照片数据)里面诞生。我觉得可以。好,我的下一个Chapter(章节)是Meshy,但是在聊Meshy之前,最后一个问题,你会想做robotics吗?
[01:26:39] 胡渊鸣: 我觉得有可能会,但是我自己不知道我能给robotics贡献什么。so far我觉得你可以贡献很多。我觉得robotics(机器人)是一个impact(影响力)非常大的一个事情。可能唯一一个我没有开始做Robotics(机器人)的原因是我自己的今天我对它的兴趣程度没有那么高。然后我相信我只有做自己喜欢的事情,我才能做好。
我觉得Robotics(机器人)这事儿很有意思,那有可能我们会去朝这方向去做。
[01:27:16] 泰然: 会让你觉得Robotics(机器人)很有意思,会让你改变对它的兴趣。
[01:27:20] 胡渊鸣: 就是我现在就是不知道,所以我说我现在还没有特别感兴趣嘛。
[01:27:25] 泰然: 所以这个责任在我们身上,哈哈哈。
[01:27:29] 胡渊鸣: 对,争取早日把我拉到Robotics坑里面去。
Meshy 与 3D 生成 [01:27:32]
[01:27:33] 泰然: 渊鸣,就是现在Meshy商业化做的非常成功,5,000万美金+的融资,250万用户,生成了超过2,000万个3D模型。我很好奇,你从在MIT自己在寝室里写太极到出来做startup,哪一刻你意识到我要自己出来做startup?有过犹豫或者当时是一样什么样的感受决定要做startup?
[01:27:54] 胡渊鸣: 特别好的问题。我自己还是有一个属性,是我还是挺喜欢尝试一些新东西的。那这些新东西就包括以前做graphics,这样做着做着就去做编译器了。然后做编译器,做着做着就做着去做differentiable programming model(可微分编程模型)了,就有了那个当时DiffTachi这样的工作。
然后在做PhD的时候,我其实也看了很多像中国的和外国的企业家他们做事情的一些采访,比如说Elon Musk(马斯克),比如说雷军,比如说这个王传福造车啊,这些内容我觉得都非常非常有意思。大概是在快毕业的时候,其实也有几个选项吧,要么就是去学校当老师,要么就是干脆就做个公司。
其实当时主要的一个问题还是因为学术的眼界也没有那么开阔,也没发现还有GenAI(生成式AI)这么好的东西可以去做。所以基本上就是在不知道在毕业时候就不知道该做什么了。所以当时就想OK,我能不能去把博士在做的事情去做成一个商业化的产品?那就有了最早这个太极图形这个公司。后来我们改名改成了Meshy,因为客户在海外多一些。
[01:29:16] 泰然: 所以当时你是完全没有考虑过另外一条路,就是去大厂工作的?你当时就是
[01:29:22] 胡渊鸣: 那我肯定受不了。我知道在大厂工作肯定会轻松一些,但是我就是受不了。我有一个老板(你)必须要当老板。我我觉得当不当老板没有关系,就是我我受不了有人告诉我该做什么。但你PhD期间也有导师啊?但是他比较放养。所以你我PHD期间导师就是每周我会把我需要他帮忙的事情全部整理在一个文档上,开会的时候和他把这文档过一遍,然后可能每周和他相处很短的时间,也许半个小时。
然后又遇上covid,可能时间就更短了。所以但是他给我的帮助,他给我的帮助是非常非常大的,不管是在遇到挫折的时候鼓励我,还是在一些方向上面,或者说介绍厉害的人给我认识这些事情。但是具体的技术方面,他是不会告诉我该做什么的。
[01:30:17] 泰然: 现在Meshy最大的客户是什么样的公司?
[01:30:20] 胡渊鸣: 现在Meta是我们最大的客户。
[01:30:23] 泰然: 就在和你聊之前,我一直以为最大的客户应该是游戏公司。
[01:30:28] 胡渊鸣: 不是,最大客户现在因为你如果论客单价来说,其实大厂它里面可能有些API的需求,那这个其实比游戏公司要更大一些。
[01:30:37] 泰然: 你和很多游戏公司接触过,游戏工作室他们很需要你们生成的3D asset(3D资产)。我看到你写到说现在3A游戏制作的成本50%都在3D asset(3D资产)上面,那么你和他们打交道这么多,你觉得现在游戏游戏行业那些公司的工作室,他们最大的痛点是什么?
[01:30:56] 胡渊鸣: 哇,那整个游戏行业这两年都是在收缩、收缩的状态。他们虽然是一个很大的、将近3,000亿美金的一个市场啊,但是其实最近你也看到,这个行业有不少裁员,然后大家都在忙着降本增效,忙着涨价,忙着把以前老游戏做个重制版再放出来。那其实整个游戏行业现在是比较struggle(挣扎)的。为什么?
有很多原因,就包括像TikTok这样的短视频的social media(社交媒体)的平台,从用户那边把原来大家玩游戏的时间给抢走了,很多人他宁可去刷短视频,也不去游戏了。然后这是一个原因。还有一个是整个行业的,其实新的玩法,像PUBG这样的吃鸡这样的新的玩法,也很长时间没有新的玩法出来了。
商业模式上面呢,就是free to play(免费游玩)可能是大家最近发现的一个好的商业模式,但是也没有新的商业模式出来了。整个(游戏)的制作成本却越来越高。你看像GTA,它都是十年的这个制作的周期,要花好多好多人去做这样的一个这样的东西。然后成本价格又不能定太高。你看你一个游戏,你在这边看场电影,我估计三四十美元,对吧?能供你玩两小时、三个小时吧。
但是游戏有的可能是二十小时的游戏时间,但是他也只能卖到三四十美元。所以这个是一个定价方面的。一个大家也在看GTA最新版本会怎么定价,如果他能往高了定,那其他人可能也敢往高了定。可能还有像这个一些3A大作,像巫师卖的很便宜的价格,所以整个行业的价格也有这个挑战吧。有很多很多原因导致游戏行业现在是一个下行的周期。
[01:32:50] 泰然: 所以他们非常想降本增效,所以他们需要Meshy这样的东西。需要Meshy。其实你真正走上这条路,是因为游戏?你是最开始对游戏感兴趣,然后慢慢开始。
[01:33:01] 胡渊鸣: 不是,和游戏关系不大。我自己很喜欢玩游戏,我也很喜欢做游戏,我自己也做过一些游戏。但是做Meshy的契机和游戏呢,游戏不是主要的原因。做Mesh是因为一些第一性原理的思考。
是大概2022年下半年的时候,看到ChatGPT可以生成language(语言),看到stable diffusion可以生成图片,看到大家会去Sketchfab这样的3D模型网站买模型,而且市场上还没有一个产品能够生成3D Models (3D模型),我们就做了。
我们的想法是,既然大家为3D模型付费,如果我们能以接近零的成本生成3D模型,then we are rich(我们就有钱了),我们就有钱了。现在有钱了?现在还算吧,还可以。我们现在营收还是每个月20%的增长,然后每个月20%(增长),过去12个月涨了十几倍吧。然后希望很快能实现我们的小目标。我上周也付费了,因为为了准备这个采访。
你应该告诉我你的邮箱,我给你直接开一个免费的大会员。
[01:34:13] 泰然: 所以现在你们保持这个每月20%的增长。我从一个外人看来,因为我就是上网站,我试了一下你们的那些text to texture(文本生成纹理)那些东西。Meshy真正的商业模式是什么?这个生意是怎么样的?它是一个好生意吗?
[01:34:28] 胡渊鸣: 主要是来自于订阅和API这两个主要的方式,和OpenAI一模一样,基本上是。但是我们其实是一个用户社区非常活跃的一个产品,所以我们consumer(消费者)这边其实用户量非常大。我们每个月都有250万的网站访问量,然后现在已经有400万的用户了。
[01:34:50] 泰然: 和其他的3D Asset(3D资产)的公司是多大的差异?
[01:34:54] 胡渊鸣: 你们领先多少?大概是第二名和第三名的访问量是我们的访问量。
[01:35:00] 泰然: 那你应该是市场份额超过50%。
[01:35:03] 胡渊鸣: 在美国发达(国家)市场,是的,在美国大概55%,然后这块我们其实是我们的主要的营收来源,订阅,对,主要是订阅。
[01:35:15] 泰然: 那其实还有,比如说ToB的那种API。
[01:35:19] 胡渊鸣: 对,ToB API,然后还有一些是studio(工作室),他会去买一些studio account(工作室账号),游戏的studio(工作室)。坦率来说,现在AI生成3D模型还没有真正能够达到studio(工作室)生成以后觉得“哇,我好满意”这样的状态,他们往往还是要去修复的,再用Zbrush或者是再去后期处理。
[01:35:40] 泰然: 这个是我昨晚试的,我给他的prompt(提示词)是生成一个好的humanoid asset(人形机器人资产),然后要有dexterous hand(灵巧手)。
[01:35:48] 胡渊鸣: 这个要求很高,给了一个结果,对吧?对,就是dataset(数据集)里面不一定有这样的数据,但我感觉它确实还生成了一个hand(手),但它这个hand不会有articulation(关节)。我们后面以后articulation(关节)方面的一些事情吧。
[01:36:05] 泰然: 那我更要付费了,我现在最需要articulation object(带关节的物体)。
[01:36:09] 胡渊鸣: 现在很多像我们合作伙伴,不只是生成articulated object(带关节的物体),他们还会用Meshy去生成一个茶杯啊、碗啊、桌子椅子啊什么的,用于他们的训练当中。
[01:36:20] 泰然: 那3D AI生成这个事儿做穿了,有多大这个market(市场)?
[01:36:24] 胡渊鸣: 我觉得做就是这个业务本身啊,做到一个能上市的规模是可以的,但是我其实对这个并不是特别满意,因为我觉得我们的目标应该是做出来一个像英伟达这样的一个公司。那所以其实我们核心的一个事情,是如何把我们这个在多模态AI方面的积累,去做比现在的3D更大的事情。这个其实是我一直在想的事。当然现在我还有一些,我们有一些初步的尝试。
然后我想,当然Meshy本身也在很快的增长嘛,那对于我来说,我只要是在它这个从指数增长到线性增长再放缓增长,我只要在这个时间点发生之前,我去想清楚这个事情是什么就可以了。
[01:37:06] 泰然: 你觉得3D生成,它会有消费级的市场吗?
[01:37:11] 胡渊鸣: definitely (一定有)。其实很多用户用Meshy生成出来的模型,就是(3D)打印出来。打印出来以后,其实consumer(消费者)的这个market(市场)可能比game studio(游戏工作室)的market(市场)要更大。
因为在美国,你知道这些3D printer(3D打印机)它是每年20%的出货量的(增长)CAGR(复合年增长率),就是这个每年增长20%。然后他们很多人买了打印机以后并没有(3D)模型,所以其实打印也是一个很重要的一个市场。
[01:37:37] 泰然: 但其实这个事我有,我可以举个生动的例子。就是我们家三代人,其实现在我这一辈和我父母那一辈,其实现在我这一辈和我父母那一辈都在用LLM(大语言模型)。然后我愿意付费,他们用的是免费的。然后但是我觉得我没有办法说服他们用Meshy。
[01:37:55] 胡渊鸣: 对,definitely。这个其实是整个3D是一个相对小众的一个市场。我在微信上面给你发一个OBJ文件,对,我给你发GLB,大多数人都不知道什么是GLB文件。那么所以它的这个市场规模,是恰好能够让一个创业公司在里面生根的一个市场规模。如果你做这些事情市场规模太大,比如说video model(视频模型),那这个挑战很大,在于你卷不过大厂。
如果你做的这个市场规模很小,那你又养不活这个公司。所以作为一个startup(创业公司)来说,找一个中等规模这样的一个市场,就可以避免和巨头的竞争,也可以让你自己有很快的发展。
[01:38:35] 泰然: 你刚刚说你的终极目标是做成像英伟达这样的公司,对,Meshy怎么样能从现在比比现在变得100倍、1,000倍大?
[01:38:44] 胡渊鸣: 我觉得这个一步步做呗。老黄在做CUDA之前也没想到有一天能市值4万亿,对吧?我觉得做企业这个事情,就是不断地挑战自己,改变、颠覆自己的认知,不断地去问你的客户还有什么需求,去解决这些问题。然后再加上一些第一性原理的思考,这个世界需要更多compute(算力)。
如果我有一个东西能给你更多compute(算力),并且它是programmable(可编程)的,那就会有人来试它到底能解决什么问题。
只是一个化学系的教授去试了试做化学反应的模拟,但指不定哪一天就有一个叫Alex Krizhevsky的人去用它做了神经网络,然后再过了10年才发现,哦,原来这个Generative AI (生成式人工智能)可以改变整个人类的生活的方式。
[01:39:33] 泰然: 你现在有什么第一性的思考?
[01:39:37] 胡渊鸣: 对于Meshy的方向,我觉得这是很好的问题。我觉得本质上我们Meshy在做的事情,就是用Multi-Modal AI(多模态人工智能)去给大家带来乐趣。这个乐趣是游戏里面的乐趣,是3D打印的乐趣,但是再往后面走,可以是其他形式乐趣,甚至不一定是3D模型。
所以我觉得,如果说我们能解决Multi-Modal AI for fun(多模态人工智能娱乐),或者说更general(泛)一些AI for fun(AI娱乐)这个事情,那我们可以做一个非常大的事。我就可以说服我父母来用(Meshy)。Definitely(一定)你就可以让你的父母来去AI for fun(AI娱乐)。
这个事情是所有人都会很感兴趣的一个事情,并且所有人都是他的用户。
[01:40:22] 泰然: 这里有个很好的例子,就是我昨天上传了一张我和我女朋友的合照,然后生成了一个asset(3D资产),然后我发给我女朋友的第一瞬间。但是我相信,如果你可以把它做得很好看的话,她会愿意3D打印它。
[01:40:39] 胡渊鸣: 对,这个其实是我们在做的一个方向。因为合照的这个使用场景,其实还不是我们现在最主要的使用场景。一般来说,我们更多的就是在游戏里面去,或者一个单体的一个怪物啊,或者主角啊什么的,把它打印出来。对于人类的这个复原,现在还是没有做的特别好的一个事情。把这个做出来之后,所有人都会想,所有人都是Meshy的用户。
[01:41:11] 泰然: 但其实现在Meshy每个月20%的增长,非常非常成功,一年涨了12倍,差不多。其实太极的商业化不是那么顺利。我其实很想,我刚刚听了你PhD的up and down(起起落落),你作为一个CEO的up and down(起起落落),经历了什么?
太极商业化中的放弃与反思 [01:41:18]
[01:41:28] 胡渊鸣: 我觉得现在基本上能够坦然面对这个事情了吧。因为在低谷的时候,确实你会觉得自己咋这么傻逼呢,做啥也做不成。那现在你好歹把一个事情生意做到了product market fit(产品市场匹配),而且有快速增长,而且也是这个行业里面现在从市场占有率来说,用规模上面来说,第一名的产品。所以我会觉得对自己的以前的事情,可能能更坦诚的面对以前的遇到这些问题吧。
那基本上就是(创业)最早的前24个月,18个月到24个月,大概是一年半到两年的这个时间,我们都在摸索到底应该做一个什么样的产品,然后也没有任何的商业化上面,一直没有任何起色。
[01:42:17] 泰然: 这些你没想清楚之前,你就已经决定要做startup(创业)了?对,所以当时不管怎么样,我先把startup(创业)做起来。
[01:42:23] 胡渊鸣: 对对对,我觉得这个是我和其他人不太一样的一个事情,就是我非常bias for action(倾向于立即行动)。一个事情我想做,我立马就去做,晚上不睡觉我也去做。然后我经常要做一个事情的时候,我就晚上想着这个事,可能八字还没一撇呢。有点像伊隆马斯造火箭,他还没火箭发动机还没造好,他就想着在火星上面我们吃什么。我觉得这个是我的一个特点。
很多人会觉得这个,你这个你是不是想太远了,或者说这还没八字没一撇,怎么想到这些事情了?但是我会以终为始的去思考,为了实现这个目标,我现在应该去做什么。然后像太极像Meshy这些,其实都是用这种方式倒推过来去规划的。
[01:43:14] 泰然: 那当时你没想清楚的时候,前18到24个月,当时太极在做什么?
[01:43:19] 胡渊鸣: 当时太极就是支持更多的硬件吧,支持AMD GPU,支持这个,甚至我们还有一个Javascript的一个backend(后端),可以让太极运行在你的网页里面做各种各样有意思的事情。但是也试了一些商业化的方式,最后发现要做商业化只能做外包。外包是指接项目,然后我们把这个别人要开发一个simulator(模拟器),我们帮他开发,开发完了又交付给他。
这是一个毛利润非常低的一个工作,而且在中国这样的事情,中国的ToB基本上是做不起来的。所以后来就干脆转型。在这过程中我意识到了一点,就是我这样性格的Founder(创始人)只能去做标准化的面向consumer(消费者)的产品。为什么和性格有关?这个事因为我很讨厌和大客户打交道。
[01:44:06] 泰然: 所以你就是宁愿做API,做subscription(订阅),对,不想和他们谈外包的各种事。
[01:44:11] 胡渊鸣: 或者至少以这个开始吧。那未来当然也是可以做,那当然会愿意做的,但是在最早的时候,我觉得你去figure out(搞清楚)这个product market fit(产品市场匹配)已经是这么困难的一个事情了,那就不要给自己加戏,去让自己做不擅长的事了。
[01:44:28] 泰然: 你现在回看当时太极前两年不太顺利,你现在已经可以坦然面对了。当时你犯了什么错?就是你会觉得自己重做一遍不会再重蹈覆辙了。
[01:44:39] 胡渊鸣: 其实从现在来想,回想前两年在太极做的事情也不是完全没有收获,只是商业化上面不太可持续而已。那我觉得可能对于一个startup(创业公司)来说,最重要的事情就是找到一个成熟的一个monetization(盈利)或者说造血的一个模式,使得你能够自负盈亏的运转下去。这里面的最大的原则就是你的你做的技术或者产品必须能够商业化。
如果一个技术没有办法商业化的话,你就没有办法用商业化得到的revenue(营收)去养活未来的技术的研究,这个技术本身就会变成一场烟花秀,放完烟花秀就没有了。
但是你会希望把技术的研发变成一个飞轮,对,变成一个flywheel(飞轮),就是你做了好的好的技术,得到好的产品,好revenue(营收),能吸引好的人,好的人来做好的技术,这样不断不断转下去,这样才能把公司做得越来越大。但是要figure out(搞明白)这么一个pattern(模式)是挺难的事情,而且特别是你在很多时候是有不确定的。
我想在21年的那个时候,大家有几个term(术语),大家可能现在都不提了,比如说什么元宇宙啊,比如说这个open source(开源),比如说infrastructure(基础设施),这几个词其实在当时是非常火热的词。
你就会放弃自己对于一些事情的思考,你会去听从这个社会它的潮流到底在讲什么,然后想办法,或者不由自主的你就会想,哦,是不是能在这个里面有一些用处。那这个其实是很难避免的一个事情吧。但是当你有更多商业经验以后,一些基础的坑你可能就不会再去踩了。
[01:46:34] 泰然: 所以从太极到Meshy的这个pivot(转折),我想借用你文章里面你当时谈到应该是英特尔对DRAM的那个。
[01:46:43] 胡渊鸣: Gordon Moore这个对话应该就发生在旁边,在那个Intel的office里边,你可以再给我们讲一遍这个故事。
对啊,那就是大概1970年的时候,美国整个半导体行业那个时候主要是造这个DRAM(动态随机存取存储器)嘛,遇到很大的挑战,因为日本那边他们日本的工程师又勤奋,服务态度又好,然后加班加点联合起来一起做,基本上Intel那边的这个DRAM就卖不出去了,完全打不过日本的产品。
当时是这个Gordon Moore,就是提出摩尔定律的那个人,摩尔和Intel的另外一个创始人是应该是Andy Grove。Andy Grove他写了一本书嘛,《只有偏执狂才能生存》,还有《高产出管理》,这几本书都是很不错的书。Andy Grove就他们俩人就在办公室里面去聊,哎呀,我们怎么办?这公司就快做不下去了,因为我们的DRAM已经完全打不过日本人了。
然后Andy Grove就说,我们再这样下去,董事会一定会把我们开除了,因为你知道在美国董事会的权力是很大,他们可以换CEO的。Andy Grove就说okay,如果再这样下去,董事会一定会把我们开除,那为什么我们不自己把自己开除,走出这个房间,然后我们在想,如果是我们是这家公司的新的CEO,我们会做什么?
他们得出一个结论,如果这公司再请一个新的CEO,会去做CPU。这就是他们的故事,这是他们的故事。后来他们就花了三年时间从DRAM转型去做CPU,非常非常痛苦,但是这也造就了Intel后面几十年的辉煌。
[01:48:34] 泰然: 那从太极到Meshy是胡渊鸣自己把自己开除的一个过程吗?对我觉得是你当时的思维过程是什么样?很痛苦吗?
[01:48:42] 胡渊鸣: 我觉得有一些吧,因为相当于当时有这个怎么说,还是很想证明自己,说一个程序员能够做出来成功商业化的产品,就这么认输了吗?毕竟太极做了很长时间,就这么不做了吗?然后但是当时我发现一个问题,就是如果我继续做太极的话,我基本上看不到这个事情商业化的未来,至少我不能把它当做一个公司主营业务去做。那么相当于我就是自己把自己开除。
其实我在做公司的这个过程中,每3到6个月就要把自己开除一次,每3到6个月我就要变成一个全新的自己。你必须每隔三到六个月就重塑自己,你如果想在创业这种很intense(激烈)的环境当中活下来的话,最好就是你觉得3个月自己3个月之前自己是傻逼,这是最好的。你如果不觉得3个月之前的自己是傻逼的话,说明你这3个月没有成长。
这个和在学校不一样,在学校是因为大家被学校保护的很好嘛,也不会说破产了,或者说被导师开除了,或者说这个有生存的压力或者什么。在学校是一个很开放的,但是创业公司完全不一样。那我基本上已经把自己从一个学术界的mindset(思维方式)变成了一个商业的mindset(思维方式),或者说我取了两者中间的我认为比较好的能让公司有更强竞争力的部分整合在一起。
[01:50:20] 泰然: 当时你和整个太极团队说我们不做这个了,我们去做Meshy,我们做3D asset(资产)这个business(生意),大家支持你吗?
[01:50:27] 胡渊鸣: 有一些阻力,有些阻力,也有一些人觉得这个对这事没兴趣就离开了公司。但是坚持做的人现在都觉得这是一个非常正确的决定。当然不少做太极的同学还留在了公司,最近我们在讨论怎么去做太极2.0,我们觉得还是有不少事情可以去做的,这个火种还还留着。
在当时其实大家对于3D的,其实我们开始做3D也是因为太极,因为最早的时候大家用太极实现了Gaussian Splatting(高斯溅射),然后也有同学用太极实现NeRF(神经辐射场),然后我们想哦原来太极还能做这个事,那是不是我们可以把这个东西朝着生成资产的方向去推一推?最早生成那些资产可抽象了,然后后来慢慢慢慢就在某些场景下就能做的相对来说比较好。
然后在当时肯定是有不少阻力,而且我们当时还有另外一个项目,我们后来把另外的一个项目也砍了,就all in来做Meshy。
[01:51:38] 泰然: 但是其实Meshy这个东西和你之前在太极上构建的技术壁垒没有很相关,一个特别厉害写太极的人不一定是能够把3D asset generate(资产生成)特别好,text to texture(文本生成纹理)这些,相当于你们是start from scratch(从零开始)了。
[01:51:51] 胡渊鸣: 对我们是完全是一个不懂太多AI的团队,整个团队没有人train(训练)大模型,我们就是一帮Graphics(图形学)的人。你知道搞Graphics(图形学)的人都有一个很大的特点在于非常的硬核,学啥啥都会,因为你如果每天玩的是这个欧拉拉格朗日方程,今天让你学个diffusion那太容易了哈哈哈。
你整天玩的是MCMC(马尔可夫链蒙特卡洛),那今天解个SDE(随机微分方程)这都是相通的。所以其实很多搞graphics同学现在搞AI也非常如鱼得水,我认识很多这样的同学。那Graphics的人这个都是很硬核的,学东西都很快,所以大家很快就开始能够去做这这里面的很多事情。
[01:52:31] 泰然: 那当时你去要做Meshy的时候,你的底层逻辑你不会担心说我的团队不适合,我们没有搞过这种text to image(文本生成图片),text to 3D asset(文本生成3D资产),你会担心这种事?你会担心自己的team(团队)不够competitive(有竞争力)吗?
[01:52:43] 胡渊鸣: 我没有任何这个担心,因为当时没有人在做这个事情,当时是没有人,当时我们就是第一个上线的可以公开访问的产品。生成的非常差,极差,以至于我找用户访谈的时候都说你千万不要跟别人说Meshy是胡渊鸣做的。但当时我记得你说8小时你就上线了,8小时上线1000个用户,现在400万用户。直到做到大概Meshy 1、Meshy 2的时候,我才好意思说哦这是我做的事情。
[01:53:13] 泰然: 做失败了就当没做过,没关系的。当时你是怎么认定这个事儿市场大能存在?然后因为当时如果没有人做的话,你是很难预估这个market(市场)有多大的,那你怎么狠下这个心?因为你应该还有其他(选择)不做Meshy,应该还有其他的Pivot(转向)的方向,为什么是Meshy?
[01:53:30] 胡渊鸣: 坦率地说,在当时,Meshy就是最好的Pivot(转向)的方向了,因为我去做LLM(大语言模型)或者去做2D diffusiontext to image(文本生成图片)这些东西,或者text to video(文本生成视频),我不见得做得过其他人。我自己的能力局限性就导致其实Meshy在当时就是我最好的一个方向,这也是整个团队能力的优势所在。
[01:53:49] 泰然: 所以你当时很清楚地认知到你和团队的能力圈的边界,对build(建造)一个这个世界需要的东西和build(建造)自己想要的东西,当时你觉得这个事儿是这个世界需要的东西,对你有多笃定?
[01:54:03] 胡渊鸣: 因为之前的产品虽然做失败了,但是我们聊了大量的用户,他们都说我不会为你这个软件付费的,但是你如果能把这个里面的模型都卖给我,我会为他付费。
[01:54:16] 泰然: 那我们今天又谈了另外一个,就是你把人的这个3D asset(3D资产)做出来,对我就可以convince(说服)我的父母,他们来付费。Exactly。
[01:54:24] 胡渊鸣: 所以很多时候和你的用户去聊一聊,就能得到新的解决问题的思路。Meshy的市场空间范围有多大?我觉得它对我们这样的一个适应能力很强的一个公司来说是无限大的,因为你总是可以去解决新的问题,总是可以去通过吧,聚集一帮聪明的人去解决市场有需求的问题,做出有竞争力的产品,在一个新的市场当中分一杯羹。
[01:54:51] 泰然: 你在23年有个访谈说AI生成3D模型的技术方面,当时Meshy只解决了10%,然后你说你也许25年可以解决90%。现在25年到了,你觉得你解决了百分之多少?
[01:55:04] 胡渊鸣: 很好的问题,也许50%。因为你越解决越解决,发现上限并不是100%,所以我觉得现在可能解决当时想象的90%吧,但是后来发现哦,上限是200%。
[01:55:18] 泰然: 剩下的50%是solvable(可被解决的)的吗?可预见的未来里面。
[01:55:21] 胡渊鸣: 剩下的50%我觉得是solvable(可被解决的)的,我觉得在这过程中我学到最大的一个事情就是不要低估技术前进的这个速度。我们在最早做Meshy的时候用的技术是非常破的,很老的技术,但是后来不断的迭代,不断的迭代,现在能解决的问题已经比原来大了很多很多。最早的时候只能用来做恐怖游戏,为什么只做恐怖游戏呢?因为我们生成的所有的模型为什么都有4张脸呢?
因为我们贴图是把模型生成以后,前后左右各生成一张贴图贴到这个模型上面,所以你就会看到这个角色的头部侧面一张脸,后面一张脸,一共4张脸,只有恐怖游戏能用这样的资产。但现在我们已经看到像一些Double A的studio(AA游戏工作室)甚至一些Triple A的studio(3A游戏工作室)用Meshy去做一些原型。
所以随着技术不断迭进迭代的话,它这个空间是非常非常大的。而且我觉得我们即使到今天我们可能也只解决了市场上面5%的细分的场景,还有很大的空间是在后面。
[01:56:22] 泰然: 从现在比较成功的商业化的Meshy到当时太极的不太顺利的比较压抑的那段过程,你当时那段时间是怎么挺过来的?因为你从那么光鲜亮丽的标签到做太极的商业化,大家觉得好像进展不太顺利,你当时怎么调节自己的?你会感觉到那种压力和挫败吗?
[01:56:41] 胡渊鸣: 当然有,但是其实坦率的说,当时太极商业化不顺利的时候,我也没有觉得有特别大的压力或者是什么的。我觉得现在的压力可能比之前的压力也就差不多,但是可能对于自己对于商业的信心会更强一些。那在做太极的时候,可能连要不要商业化这个事情都没有想清楚啊。真的当时你没奔着挣钱去?最早的时候其实没有奔着挣钱去,如果奔着挣钱去,我可能会用另外一种方式。
我们当时也做了一些其他产品去尝试去商业化,但是那个产品后来也不成功。所以其实Meshy是我们第三个产品。
在当时的很多压力来源可能主要还是来自于我完全不知道怎么去一个公司如何运行,因为我在做CEO之前我只读了一个PhD,我没有在任何地方工作过,或者说我在当CEO之前我最professional(专业)的经历就是在NVIDIA在Adobe在Microsoft当过intern(实习生),这个就是我职场当CEO之前职场认知。
所以我最早的时候可能做公司都不是说怎么把CEO做好,都是说哎一个正常的公司应该是什么样我都不知道。然后我就慢慢学,慢慢学,慢慢学,哈哈。然后今天还算是一个勉勉强强及格的CEO吧。所以在这过程中其实最早的struggle(挣扎)很多时候是在这,指你不知道怎么run(运营)一个公司。对我不知道怎么run(运营)一个公司。
然后我们融资也很顺利啊,也没有那个下一个月就会死掉发不出工资的一种压力。所以其实这个事情Delay(推迟)了我去面对一些残酷事实的一些时间。
[01:58:29] 泰然: 当时的你知道自己不知道吗?还是当时的你其实犯了humble(谦逊)的错误?当时的你你自以为自己知道怎么run(运营)一个公司?
[01:58:36] 胡渊鸣: 我觉得你说的是对的,确实当时是犯了这个错误,就是不知道一个公司应该怎么去run(运营),然后也不知道这个自己对于很多事情其实是不知道的,所以确实是犯了一个这个humble(谦逊)的错误。但是我有个好处就是我发现我做错我立马承认自己是傻逼,立马改,哈哈哈哈,立马改。
不过我后来我最近又聊了一些founder(创始人),我也释然了,有一些比我大20岁的一些founder(创始人),他们从大厂高管出来去做公司,好像做的还没有我们好呢。所以我觉得哦,好像这个事情并不是我特有的,并不是因为我之前我当CEO之前只当过Intern所以我有这个挑战,这个是普遍大家都会存在的一个挑战。一个好的CEO是可以被培养的吗?我觉得可以。
我觉得一个好的CEO最大的特点就是要能够快速的学习,要提高自己的认知。所以我虽然犯了很多错误,但是我相对来说一个优势是我改变自己改变的很快。
CEO,创业选择与商业赛道 [01:59:23]
[01:59:48] 泰然: 很多大厂出来(创业)的CEO也当的一般,我看很多李想的演讲,他甚至连高中
[01:59:54] 胡渊鸣: 高中读完就创业,对,那你遇到这样事你就会想OK,为啥李想高中都没读完,他做公司做的比我们好呢?
[02:00:01] 泰然: 这个也是你那篇文章谈到的,为什么
[02:00:05] 胡渊鸣: 为什么?那就说明PhD不重要呗?那不就是这个事吗?我觉得就是读一个PhD对你做一些事情肯定是有帮助的,但你是不是一定要一个PhD才能把事情做好?有很多的事情是一个PhD他在这过程中学到的,比如说humble(谦逊)、work hard(努力工作)、presentation skills(表达能力),能把东西讲清楚,对吧?然后能够知道一些前沿的技术。
但是有很多东西是一个PhD他接触不到的,比如说市场,比如说用户,比如说产品的量产,这些他都是接触不到的。你就比如说李想,他是一个非常好的企业家,他也非常直率,可能看到一些不爽事情就会破口大骂。他也经历过这个,以前做泡泡网的时候,一天之内所有人全部离职。他经历过很多事情,所以他在这过程中他就是以一种非常humble(谦逊)的态度,然后学习。
他甚至找了一个CEO来去自己汇报,给了一个CEO自己负责产品。这个格局是最重要的事情,一个CEO有多大的格局,他就能做多大的事情。
[02:01:31] 泰然: so far(目前为止)你觉得你是一个好的CEO吗?
[02:01:34] 胡渊鸣: 我觉得看跟谁比吧。你如果说Meshy的增长很快,那你跟那个什么Lovable,那就是根本算不上快。但你和传统的SaaS(软件即服务)那种Triple Triple Double Double Double两倍两倍那样的比,那算是很快的。那是不是我是一个好的CEO导致这一点?我觉得我还可以做得更好。我不觉得说这个,我甚至有的时候会觉得自己是很差的CEO。
哪方面?你觉得你现在还可以进步?我觉得很多的点,比如说如何更好的delegate(分派)我的工作,如何去更好的管理自己的时间,比如说在一些事情上更加杀伐果断,比如说学得更快一点,比如说花更多的时间对外而不是对内,比如说看更多的书,更长时间去反思,再比如说思考公司愿景,描绘蓝图,比如说招聘。我觉得这些事情都有非常非常多要提升的地方。
[02:02:46] 泰然: 那你创业以来作为CEO,有没有哪一刻,你从12可能是48个月以前的傻逼的12次方到现在,你觉得哪一刻是你认知崩塌,学到最多的东西?曾经最坚信的东西后来被自己否定了?
[02:03:02] 胡渊鸣: 曾经最坚信的东西被自己否定?那这个有很多次,我来想想最大的一次是什么。我觉得可能最大的一次就是我在以前非常希望所有人都喜欢自己,我会希望变成一个所有人聊起来都觉得哇,渊鸣是一个很nice的人,渊鸣是一个很慷慨的人,渊鸣是一个这个很好的朋友。但是我后来经历了很多事情,我会发现如果你工作的目标是让所有人都喜欢你自己的话,那你最终会被所有人讨厌。
所以我不再追求所有人都来喜欢我,而是我会去追求让重要的人喜欢你就行。不重要的人骂你或者觉得你怎么样,只要你觉得自己做的事情是正确的事情就行,总会有人骂你的。那么我觉得还有一点可能是从一个管理者的视角去看整个整个团队吧。那一个好的leader(领袖)是不是大家都喜欢的leader(领袖)?不一定。
一个好的leader(领袖)可能是大家都服气的leader(领袖),但是不一定是大家都喜欢的leader(领袖),但是他还是愿意跟着你干。为什么?因为他在这能收获成长,他在这能够做出自己想做的事情。至于是不是所有人都喜欢你,我觉得如果一旦把这个事情作为你决策的第一优先级,很多时候就会导致错误的决策。
[02:04:51] 泰然: 那你现在不再以别人喜欢你作为第一优先级,你的第一优先级是什么?
[02:04:55] 胡渊鸣: 把事情做成功,赢。第一优先级是把事情做成功。而且我意识到你要做出一个有要做出一个不错的东西,那一定会有人给你是负面的评价。
[02:05:14] 泰然: 你的意思是这个过程中不可避免的,你要为了进度,你要为了这个事儿的deliverable(可交付成果)?
[02:05:21] 胡渊鸣: 对你要去make tough decision(做艰难的决定),就会有人讨厌你,but that’s fine(不过这没关系)。什么叫tough decision(艰难的决定)?我们要砍掉一个大家都很喜欢的项目,比如说你可能要请走一个对团队没有贡献的同事,但是大家都很喜欢他,哦,他是个好人。比如说你在做产品的时候,有用户群体A和B,B就要骂。
你你做了B喜欢的,A就要骂。你都做公司完蛋都骂你,都骂你。所以我觉得这个是每一个人要跨过去的一个坎,叫做变成成年人。学校里的学生可能会非常受不了,怎么能批评我呢?但是你一旦跨过去以后,你会发现,哦,原来这个世界是很广阔的,有人骂我就骂我呗。
是你当CEO之后才学到的,对,因为在学校里面大家都是很nice的文化嘛,即使在MIT,大家也都是你好我好大家好,然后会回避很多冲突,而现在的你不会去回避。
[02:06:43] 泰然: 不会去回避这些冲突。项目的成功需要有冲突,就有冲突。
[02:06:47] 胡渊鸣: 对,因为只有这样才是对整个团队所有人负责的。如果你回避这些冲突,那你是做了一个自私的人,因为本质上你是希望自己被一小个群体喜欢,但是你没有为所有人的利益负责。你坐在CEO的位置上,你就要为整个公司的利益去负责,而不是让自己被所有人都喜欢。我被所有人都喜欢是我自己的事,是私事;公司能成功是公司的事,是大家的事。私事排在公事后面。
后来我发现,基本上所有的管理者,我下面就两层嘛,我也经常提拔一些人去做管理者,那很多的管理者他刚做上管理者的时候,他都会有这个问题。为什么会有这个问题呢?
因为他们在做IC(个人贡献者)的时候,做individual contributor(个人贡献者)不管理团队的时候,自己是非常强的IC(个人贡献者),所以他们的manager(主管)根本是不需要去push(催)他们的,不需要对他们有不nice的行为。
但是当他们被提拔到这管理岗位上面以后,他就会认为自己以前作为IC(个人贡献者)被对待的方式,他自己现在要对待他的团队的方式。但是这个问题就来了,那你现在带的这些人以前是你的同级,之所以你被提上去,是因为你的自驱力、你的解决问题能力比他们强,所以你要给他们提出更高的标准。但是很多的新任管理者,他不能提出更高的标准,他希望自己被自己的团队所喜欢。
[02:08:17] 泰然: 那你做出改变了,你怎么强迫你手下的manager(主管)也做出和你一样的改变?
[02:08:21] 胡渊鸣: 给他们讲以前的血泪史,给他们讲为什么公司今天有这个问题,就是因为我半年前优柔寡断,想让所有人都喜欢,我想让我的朋友觉得我是一个完美无缺的人,导致了公司今天这个问题。
[02:08:35] 泰然: 刚你讲的那些杀伐果断,我觉得这种特质我在Elon(马斯克)身上看到很多。
[02:08:39] 胡渊鸣: 那他太极端了,他这个是你今天干的不行,下个小时你就离开公司了。我觉得我们还是一个比较宽容的、能允许大家犯错的一个地方吧。但是我觉得Elon(马斯克)有很多的好的点,他是一个很不错的、在很多地方上面是很不错的榜样吧。
[02:08:58] 泰然: 我听过一句李想对Elon(马斯克)的评价,他说他评价一个CEO是不是好,不是看他多圆滑、多能够处事、多能够搞好政商关系,而是看一个CEO在真正的危难时刻能不能一眼就看到本质。他说你可以看Elon(马斯克)搞出那么多大家不喜欢的新闻,发表那么多的大家不喜欢的言论,但是他在每一个特斯拉、SpaceX重要的时刻,他总能一眼看到本质。
他觉得这就是CEO唯一要做的事儿。
[02:09:27] 胡渊鸣: 一个好的CEO只有一个任务,就是带领公司赢,其他都不重要,哪怕很多人讨厌你,如果那是必要的话。那Elon(马斯克)就很多人讨厌Elon(马斯克)嘛,太多人了。那Jensen Huang(黄仁勋),Jensen(黄仁勋)的所有direct report都觉得他非常hard to work with,那影响这个他被评为最受欢迎的CEO吗?不影响。为什么呢?
因为大部分NVIDIA也不report(汇报)给他,所以他们每天不用经受Jensen Huang(黄仁勋)的折磨。但是Jensen(黄仁勋)把整个工作做得很好,所有人都是受益的。
[02:10:00] 泰然: 刚你谈到,一个你刚刚说你是不是一个好的CEO,看和谁比,然后你提到了一些例子,然后你提到了一些例子是像Cursor那样的公司,你会不会觉得Cursor的生意太好了?
[02:10:12] 胡渊鸣: 就是其实你们的 effort(努力)和他一样,你们也很 hard working(努力工作)
[02:10:15] 泰然: 他们也很hard working(努力工作),但他们挣的钱比Meshy多太多太多了。
[02:10:19] 胡渊鸣: 所以做为一个CEO,最重要的事情是选择一个好的赛道。如果你选了一个好的赛道,当然是有运气的因素,对不对?你做成了,你躺着也能赚钱。那你是想要一个运气很好能赌对的一个CEO,还是很hard working(努力工作)但是赌的也就一般的CEO呢?大部分人可能会想那个想要那个运气很好能赌对的CEO吧。
但是我只能说,但是我只能说,那Cursor他现在的这个发展快也是一时的嘛。那如果说他这次发展快是因为当时选中了这个赛道,如果是运气,那你凭运气得来的东西迟早要凭实力给还回去。那他下一个阶段,比如他现在200个Million的AR了(年度营收2亿美金),他下一个阶段是不是能做的更大、更大、更大?那这个还要他的CEO不断的去接受新的挑战。
那对于我们来说,我们现在这个阶段做的这生意算是一个不错的生意。不像Cursor,这个全世界只有一个Cursor,全世界只有Cursor、Loveable少数几个GenAI(生成式人工智能)时代的公司能很快地做到100 Million以上的ARR(年度营收1亿美金)。那也OK,你有一个好的基础,你在牌桌上,你下一次抓到一个好的机会,你也可以去做。
那我觉得也没有什么可惜的,把手上事情做好。
[02:11:35] 泰然: 什么样的生意是一个好的生意?它有什么样的特质?Cursor这样的生意是在你看来很好的生意吗?
[02:11:43] 胡渊鸣: 我觉得首先市场要大,市场大,然后非共识。这个其实就很难了,你要在大家不相信这边有市场的时候,看到这边有一个市场。其实Meshy算是现在所有3D AI玩家里面做的最早的,我们在当时非共识的时候就开始做3D模型这个事情。大家都觉得这个是一个很小的市场,但是我们做着做着,能做的现在其实已经算是一个中等规模的生成式AI的公司了。
那市场大、非共识,而且你自己在其中要有竞争优势。如果没有竞争优势的话,那其实很多人就会很容易的就可以把你的市场给拿走,特别是资源更多的大厂
[02:12:35] 泰然: 这三个priority(优先级)分别是什么?市场大、非共识和优势
[02:12:39] 胡渊鸣: 我觉得市场大是这个值不值得做的问题。然后非共识呢,是还有没有你的机会的问题,timing(时机)的问题。timing(时机)非常重要,一个事情一旦变成共识,那这个就基本上没有你的机会了,除非你有别人10倍的资源。所以你看一般是大厂再去后发的时候,他砸资源,他能赶上。
然后还有一个就是你自己是不是对这事真的感兴趣,这个也是要考虑的,喜欢不喜欢的问题,这个是想不想做的问题。我觉得一定要在想做、想不想做和能不能做中间,还有考虑到实际的因素,选择一个事情去做。因为这个世界上努力人太多了,最后能赢的人一定是最努力的。那什么决定你努力不努力?
你自己身体状况肯定是,但这个是属于运气,你的基因、你的成长环境决定了你这个人一天能工作16个小时,还是工作12个小时,还是8个小时。你在人生哪个阶段,对吧?你有家庭,还是说我现在就是想躺平,which is fine (也没问题)?那躺平就躺平,那也没有关系。但是你得恰好在那个你自己愿意拼搏的那个时间段,恰好遇到一个机会。
这个就是时间、timing、运气的因素。有了这些事情以后,我觉得那基本上你如果说在自己想奋斗的一个时间,那就决定了你具备创业的这个前提条件了,对吧?那你创业身体得好,并且你家庭也比较平稳,对吧?你不能说我还有父母要照顾,我有小孩要带,那我还出来创业,那就很难平衡好。那至少你不能做高强度的创业,你可以做个低强度的创业。
你如果做AI行业的这个创业的话,那你就是做好7乘24小时工作的这个岗位了,对吧?你就一直得是一个待命的状态。有了这个事情以后,我觉得要在想做和市场大中间找一个焦点
[02:14:52] 泰然: 想做和市场大里面找一个焦点,对,而自己擅不擅长这个事重要吗?
[02:14:58] 胡渊鸣: 可以学啊,它是次要的,我觉得。
[02:15:02] 泰然: 所以我其实这个问题我想了很久,就是我们做选择一个事儿值不值,要不要做这个startup(创业公司),我应不应该忘记自己擅长什么?
[02:15:20] 胡渊鸣: 我觉得你如果要做得很好,那不应该忘记自己擅长什么。我也在思考这个问题,太极我还要不要再接着做呢?我最近一直在想这个事,最近觉得哦,好像还可以接着做,因为好像LLM里面还有很大的场景太极可以去做。那这个事情做好了,它其实对社会也有比较多的价值。对公司来说,我们也可以用太极作为我们这个Meshy的基础设施。那如果说一个擅长不擅长,我觉得你不用特别擅长。
我举个例子,就比如说你看现在最成功的CEO,他们有多少是技术天才出身的?他们大多数都是有很强的技术背景,对吧?比如说Jensen Huang(黄仁勋),他他是学EE(电子工程)的。然后你如果看中国像雷军,他之前是中关村劳模写代码出身的,他的代码水平真的就是顶级的吗?我觉得不一定。我觉得你比较擅长就可以了。
你如果完全不擅长,比如说我以前学的专业,我的人脉,我的经验和我在做事完全不搭嘎,那这个成功率其实是很低的。你看马云,但他懂英语啊,他英语很好。或者说你看这个Elon Musk,他以前是很小就开始编程写游戏,他很小就是技术背景。你想到这个最好的CEO全部都是有一定的技术背景出身的。
我觉得我的技术能力其实比他们要有点溢出了,我不需要这么多的这个技术背景,所以我要补充商业上面的一些知识,对吧?但是这个我觉得是必要的,是要有一定相关的积累的。
[02:17:17] 泰然: 但是你不需耍成为这个星球上最擅长这个事儿的人才把它变成一个business(生意)。
[02:17:24] 胡渊鸣: 对我换一个说法,说你是这个星球上最擅长这个事情的人也没有意义,因为你作为CEO有太多的事情必须是CEO这个职位去做,比如说大客户,比如说融资,比如说招聘。那么你比如说,那你就算最擅长写CUDA写PTX又能如何呢?能帮助你融资招聘吗?一定程度上也许可以,但是你最后不会有时间去做这个事,有你最擅长。
[02:17:54] 泰然: 如果今天2025年,你现在胡渊鸣只有你自己,你抛掉之前所有的融资、公司,你会做什么?
[02:18:04] 胡渊鸣: 特别好的问题。我还是会探索生成式AI在consumer(消费者)这个场景里面有哪些可以做的大的事情。
[02:18:24] 泰然: 它可能都不一定和3D或者和Multi model(多模态)相关了。
[02:18:29] 胡渊鸣: 对,AI for fun (乐趣AI)。
[02:18:37] 泰然: 我问这个问题的原因是,前段时间我听了Manus的CEO肖弘的一个podcast,我意识到一个点,就是做agent这个business(生意),这个business非常非常好,每个人都需要一个帮你管理所有email(邮件)、calendar(日历)的这样一个东西。但问题就是感觉没有人有护城河。
但是同时我又看到你的文字,你说选择一个好的创业方向,一个好的business(生意),因为不同方向的回报存在太多差异了。Andrej Karpathy也说过,他说一个十倍收益的事往往只有两倍难。
[02:19:13] 胡渊鸣: 对啊,就是这样的,哈哈哈。
[02:19:18] 泰然: 我再补充一点context(上下文),就是最近我们一直在聊的一个比较是宇树,可能是现在中国最成功的机器人制造商,人形机器人领域,它的营收十多亿人民币。十多亿人民币是什么概念呢?是泡泡玛特的1/10。但是宇树现在好不容易做到了行业的龙头,做的那么好,大家全世界买他的机器人。但是泡泡玛特显然这个生意更好,这个是今天,对吧?
对这个是今天,但是未来不一定是这样,不一定。
[02:19:46] 胡渊鸣: 这个就像我刚才说的,那Lovable、Cursor,它很快一下子100个million、200个million的ARR了(年营收1亿2亿美金)。那是不是说我们现在做这个业务没有他们那么多就不好?我觉得其实也不是。
就是你在一直在牌桌上,你有着好的团队,你有一个一直能够做一个新的事情的机会,你有一个稳步增长的一个业务,那其实你永远是有一个去做出像NVIDIA像这样的公司的这种机会在的。只要你有这个基因,基因其实也很重要。一个公司到底是技术基因,还是一个市场基因,还是渠道基因,这个其实也非常非常的不一样。Meshy的基因是什么?我们是一个技术基因的公司。
[02:20:41] 泰然: 你觉得这个基因对你现在做的business(生意)是好事还是坏事?有什么基因你觉得需要补充的?
[02:20:47] 胡渊鸣: 我觉得是好事。我觉得我们需要更多的技术在整个团队里面,因为其实我觉得我们的产品设计、市场、渠道,这些都是做的相当不错的。然后他们恰恰又是我不擅长的部分。所以这个现在来看,这个公司其实能力上面是相当完备的。
尊重事实,公司的基因和文化 [02:21:12]
[02:21:12] 泰然: 你刚谈到了一个基因,我觉得我理解基因就是整个公司的文化。你觉得Meshy你想要坚持留下的有什么样的规则是碰都不能碰的?那又有什么样的东西,有什么样的文化,是你做了四五年你觉得你放弃和改掉的基因?
[02:21:29] 胡渊鸣: 我觉得可能最重要的基因是务实,或者说直面现实。其实很多的错误,你会看到它为什么会发生,很大的原因就是你没有客观的去看待这个现实。这个在我们公司一直是所有的文化里面的基石:Respect Facts(尊重事实),尊重事实。比如说这事你做的好,好就是好;不好就是不好。
尽可能客观去看待它,而不是把不好说成好,好说成不好,或者说对外传播一些没有数据支撑的信息来夸大自己有多好。我觉得这个其实是我们的文化里面不会去做的事情。
[02:22:12] 泰然: 犯过这样的错吗?不尊重事实在Meshy里面?
[02:22:17] 胡渊鸣: 有有,就是这个其实和model evaluation(模型评估)有关系。
就比如说,有的时候你是无意会犯这个错误,因为比如说你这东西生成的好不好,你没有一个客观的一个方式去evaluate(评估)它,所以这个就会最后就会变成train model(训练模型)的同学都觉得自己这个model(模型)好得不得了,但实际上呢,你必须要有一套系统的evaluation(评估)的方式去评估它做的好还是不好。
这其实是必须要尽可能的客观,因为每个人都会这种自我保护,就会让每个人觉得自己做的工作还不错。但是如果你找一个另外一个人,左右随机present(展示):“这是一个Meshy的新版本,这是一个老版本”,问他哪一个版本好,就是他不知道哪个新哪个旧的。很多时候有的实验你会做出去,你发现哦,我们折腾了这么多没啥意义。
但是你如果说相信了一些害人的古话,比如说“一分耕耘一分收获”,我觉得这个完全是骗人的。比如说“天道酬勤”这些,我觉得这个就是骗人的。如果相信了这个“我已经这么努力了,我一定会有回报啊”,这个完全就是没有逻辑的事情嘛。世界上绝大多数努力没有任何回报的。你做的事情越大,风险越大,往往就是你付出了99分的努力,1分回报也没有。
但是你的心里又会自我保护说:“哎呀,我这么努力了,怎么就没有回报呢?那多多少少进步了一点吧。”只要你有这样的想法,那你就没有在客观的面对事实。创业最大的残酷事实就是在于你大多数努力没有任何用,但是你必须做出这个努力,因为你不知道你的100分努力里面哪一分就是有用的。你必须因此去试剩下的99分,但是你也必须尊重这个事实。这个事实叫做:我的大多数尝试没有什么用。
[02:24:18] 泰然: 在Meshy这个chapter(章节),我还有一个问题是关于这个时代的,或者我应该这么说,可能3D生成这个business(生意)一直都存在。20年前你做出来肯定也有人买,10年前做出来也有人买。但今天这个时代不同的是生成式AI,我们有了LLM这样的东西。在这个时代做Meshy这个生意有什么机遇和挑战?你会怎么定位自己?
你担不担心哪天哪个新的技术出来就把你给颠覆了?
[02:24:46] 胡渊鸣: 对,特别好的问题。我觉得机遇其实很多嘛。当然,不管是技术上面的,逐渐很多技术走向成熟,像Diffusion(扩散模型)、DiT(Diffusion Transformer)或者MoE(混合专家模型)这样的技术,其实能让你做出这样的模型变成可能。然后另外一方面呢,其实你在这个过程中有很多上下游的产业逐渐变得成熟。
比如说text2image(文本生成图像),像Black Forest Labs他们就做得很好;比如说Language Generation(文字生成)这块,其实ChatGPT、Claude就做得很好;Video(视频生成)这边有Gemini的Google的这个Veo 3也做得相当好。
那么在这个里面,其实有很多事情你就不需要自己去build(搭建),你就去找一个供应商把API接进来,其实就可以。那这个肯定是一个很大的机遇。那最大挑战就是由于这个时代它的节奏是非常快的,所以你必须非常努力的去构建更新你的产品,才能在这里面保持一个比较好的位置。这我想在所有的AI公司都是一样的。你现在工作强度怎么样?我工作强度挺大的。
我觉得不太适合在这个节目里面说,哈哈哈,要不然大家可能不敢创业了。PhD的时候累还是现在累?那当然现在累。PhD时候那可爽了。PhD时候是我换了导师以后是我最开心的时候,因为我只要把自己照顾好就行了。但是现在你作为CEO,你的责任是非常重大的。整个公司要赢,大家得有饭吃,然后投资人会期待这公司能发展快,客户希望你尽早deliver(交付)你的新的产品。
然后公司变大了以后,还有很多我不那么擅长处理的事情,我现在必须学着处理。所以我觉得坦率说是挺累的一个状态。但是我每天起来都会觉得这一天good enough(够好了),我还可以元气满满的再去迎接新的挑战。而且在这过程中,每过一两个月我都会觉得自己好像又进步了一些。我觉得在这过程中其实完善了自己性格上的很多的缺陷,或者认知上很多的盲点。
我有句话,有句话我觉得很有意思,叫做:和平年代没有什么比创业更能锻炼一个人了。哈哈哈哈哈。
[02:27:01] 泰然: Jensen(黄仁勋)说过他再来一次不会创立NVIDIA了。你呢?
[02:27:06] 胡渊鸣: 我觉得这是凡尔赛吧,哈哈哈哈。这个我觉得那那你有一个4万亿美金的公司,那你说什么都可以啊,你说什么都是对的,哈哈哈。你就是你就是爸爸对吧?我还是会选择再来一(次)再做这个公司的,因为我觉得在这过程中虽然很suffer(折磨),虽然每天都觉得哇这个怎么这么痛苦,世界毁灭吧,但是总是觉得在这过程中能学到很多。
我觉得我变成了一个更好的自己,我能够去看到世界里面比我以前在学术界里面那个小池塘里面以外更广阔的视野。
[02:27:43] 泰然: 而且听起来你学到的教训都是当教授和去大厂学不到的东西。
[02:27:47] 胡渊鸣: 我觉得是不能在那种被保护的环境当中指望自己能学到太多,除非你有一个特别好的mentor。
[02:27:56] 泰然: 你希望5年后10年后的Meshy AI被人们记住的是什么?是你的技术,是你的产品,还是你的文化?
[02:28:04] 胡渊鸣: 我觉得应该是一个技术驱动的产品,一个公司的文化永远是为赢服务的。如果这个公司的文化使得这公司赢不了,那我们应该放弃这样的文化。但这不意味着你要去adopt(采取)某一种狼性文化,或者大家很讨厌的一些东西,而是你是要在这个找一个少数人认同的一种文化的共性。
这个文化可以是我们大家很努力的工作,大家很负责,做事情很追求极致,很能take risk(接受风险)接受风险,或者拥抱变化。这些其实只是过程而已。一个好的文化一定能孕育一个好的公司,好的人才梯队。但是你作为CEO,其实你一定要选择一个能赢的文化。如果你选择了一个输的文化,那你就不用当CEO了。输的文化有什么特质?输的文化内耗、不切实际。
不是说我们有很高的目标,不切实际。高的目标我觉得目标依然是可以是高的,但是输的文化就有一点是不面对事实。我明明做的事情是这样,我一定要把它粉饰成是另外一样,我觉得那样是。或者出了问题我不去复盘,不去反思,或者说团队不能批评CEO,不能再公开指出其他人的问题,大家追求和谐。这些我觉得都是会输的文化。现在你的团队有经常有人批评你吗?
我前天刚被人骂了一顿,哈哈哈,还是当众的。大概上周的时候,坐在这边这个同学,把我和另外一个同学三个人把我拉到那边走廊里边说,我有事情没有做好。不算是当众吧,算是一个一对二或者是什么的。
[02:30:05] 泰然: 什么样的事?技术上的事,团队管理上的事?你是非常能接受这样的。
[02:30:11] 胡渊鸣: 是,当然听到了我会心头一紧,但是我会听他说完,然后再想哦自己是不是真的没做好。后来发现确实有没做好的地方。
[02:30:23] 泰然: 我觉得你能招到这样的人也是很幸运的。对对对,有很多很多人不会这样的。他一定是对这个公司有自己很强的ownership(所有权),然后希望这事能搞成,他把自己当CEO一样看待,他才会愿意跟你讲这些。
[02:30:39] 胡渊鸣: 对,我觉得这个是基本功吧。你如果说是一个制造业的公司,那你当然可以更强势一些。但是我们这不是,我们是一个创新驱动的公司。你在创新驱动的公司,你就要接受CEO他不一定知道所有的事情。
[02:30:55] 泰然: 我还想跟你聊一个话题叫目标。因为很早之前去年吧,李沐给了个talk(演讲),他说不同阶段有不同阶段的目标。他说学生就是好好上学,GPA,发论文。PhD呢就是KPI,就是发论文。打工呢就是promotion(升职)。创业呢,他说那个目标就是exit(退出)。exit(退出)是你创业的目标吗?
[02:31:17] 胡渊鸣: 我觉得它是一个手段,而不是目的吧。当然我会以比如说三四年以后我们得IPO(上市)这个事情作为我们的目标,现在看起来也是可以实现的。那你总得回答,那IPO以后呢?或者你万一不能IPO呢?那你是不是就不做了?我觉得当然也有人提出过收购或者一些其他事情,但是我们现在还在这,还是在继续自己做着。
那么对我来说,做一个大家爱用的产品,或者说在这个过程中不断的更深入的了解自己,让自己成为一个更好的人,也能带领这个团队里面的每一个人成为更好的人,本身就是做这个公司的非常重要的目的之一。至于最终是什么样,我觉得是以给大家都对得起所有人就可以。所有人都有不错财务上的回报,职业上能有发展,也做了一个我们自豪的产品。
我觉得make Meshy a great place to work,让Meshy是一个最优秀的人觉得很好的工作地方,本身就是做这个公司的目的之一。你觉得距离这个目标还有多远?我觉得现在已经基本上是,现在基本上是这样的状态。在公司工作的很多同事,有些同事已经三四年了,他们会说Meshyb是他们工作十几年以来觉得最好的公司。为什么?
因为在这边他们能够快速的成长,他们有一个能听他们诉求的leader(领袖),他们在一个很好的发展业务当中,跟着公司一起在Meshy这个事情里面扮演了更重要的角色,也了解到最前沿的科技。可能以前他在大厂只是写,在这边能够来玩512块GPU。大家在这过程中每个人都变成了更好的自己。
[02:33:36] 泰然: 渊鸣Meshy部分的问题我问完了,我想留给你一个时间补充你想聊的关于Meshy的事情,或者甚至你想现在要招聘在这个Podcast里面说都可以。
[02:33:47] 胡渊鸣: 那很好呀,我们一直在招聘AI researcher(AI研究院)、machine learning engineer(机器学习工程师),然后呢,compiler engineer(编译器工程师)。我们现在主要的招聘还是在Meshy的AI这一部分,然后在这块我们有非常generous(慷慨)的package(薪资待遇)。
然后我们的实习生也是global pay(全球薪酬)最高的,薪资是一年100万人民币或者14万美元。我会亲自花时间和这个实习生一起去做产品、做科研。然后如果大家还是在读的学生的话,欢迎来申请我们的实习生项目。当然,我们的full time(全职)的offer就会比这个更加的慷慨了。
不管你是喜欢train model(训练模型),还是这个设计新的网络架构,还是喜欢搞data(数据),还是喜欢做evaluation system(评估系统),还是performance optimization(性能优化),这些其实我们这儿都有很多的岗位,欢迎大家报名参加。
不管你在世界的哪一个角落,我们其实是比较globally distributed(全球分布)的一个公司。我自己在硅谷,但是其实团队也有不少人在世界的其他地方。然后太极这个项目,我们最近也在复苏这个项目吧,因为之前这个项目的火种一直留着,Meshy里面也有地方是用着太极。
我们也特别想再招聘两到三位做编译器或者图形学感兴趣的同学,来和我一起把太极2.0再朝前面去做一做。有太极这个现在的这个用户量的基础,其实我们后面在LLM领域、在AI这个时代,还是能让它、让太极做出很大的影响力的。一个有意思的数据是,你如果看呢,NVIDIA Warp、Triton,然后Mojo这些项目的star的数目都没有太极多。
哈哈哈哈哈,太极还是很popular(受欢迎的)的,只不过没有找到一个大的领域去施展。所以我觉得2.0的时代,太极肯定能做出更大的一些impact(影响力)吧。
[02:35:48] 泰然: 全球招聘,对,而且你们公司应该非常flexible(灵活),就是work from home(居家办公)的话应该……
[02:35:53] 胡渊鸣: 以前是很多work from home(居家办公),但是我们逐渐的在要求大家每天至少来四天office。我们在中国的office也是周三是work from home的,周一、周二、周四、周五是要到office(办公室)。因为我们发现见面讨论效率会更高。中国的office在哪?在北京和上海。
[02:36:13] 泰然: 所以现在是北京、上海和硅谷三个?还有深圳?好渊鸣,我会进入现在的最后一个chapter(章节)。我叫它“勇气与智慧”,是你写的文章的标题。我想先给你提四个关键词,是你在文章里面多次提到的,分别是Brain头脑、Guts胆识、Heart心灵、Taste品味。为什么这四个这么重要?为什么不是其他的词?
勇气、智慧、影响力、失败、人生 [02:36:19]
[02:36:41] 胡渊鸣: 其实前三个词是来自于老黄的。老黄有一次在Stanford演讲,你在NVIDIA招人的时候的标准是什么?他就提到这个Brain(头脑)、Gut(胆识)and Heart(心灵)。Brain(头脑)其实很好理解,我们都希望最强的problem solver能够加入我们的团队。
Guts(胆识)就是你得能在信息不完全的时候快速采取行动去推进一个事情,能够接受失败的风险,能够从失败中学习。Heart(心灵)我们希望你是从内心深处是善良的,这并不意味着你要做一个最nice的人,有的时候给团队提出高的标准反而是最大的善意,因为你不提出这样的标准,团队会失败,最后整个团队解散一样的。
但是底层你不能是一个有害人之心的人,你应该是一个有原则、诚实这样的一个人。Taste(品味)是我自己加的,我觉得要有好的品位吧。我一般招聘的时候也会问问你玩什么游戏,你周末会干什么,然后看什么书。这个很难用语言描述,但是只有志趣相投的人才能长期的一起密切合作。你现在周末干什么?看什么书?最近看小米雷军的书比较多,我觉得他是一个非常值得学习的一个创业者。
他其实我觉得有很多方面我和他也许有点像吧,都是……那他就说自己是中关村劳模,在忙着给微软打的时候,同行都在做互联网,然后完全错过了互联网。最后意识到一个飞猪理论嘛,就是这个台风口猪都能飞起来,其实和我讲的那个why(为什么)是类似的事情,对吧?那他很勤奋,那个时候跟微软一起做,微软做office,他做了一个盘古的一个套件,最后没卖出去。
也让我想到创业早期的时候做商业化失败的产品,但他现在是很成功的企业家。我觉得他的对于产品品质的追求,对于细节的把控,对于大方向的把握,还有对于这个自己以前的挫折的复盘,都是非常有参考意义的。
[02:39:32] 泰然: 你曾提到,其实这个我们之前聊过,你没去FAIR的事儿。但是我在想,在这个点上深挖一下,因为你说到explore(探索)大于exploit(开发),现在回头看,你会怎么权衡short term impact(短期影响力)和long term vision(长期愿景)?
[02:39:47] 胡渊鸣: 嗯,我觉得这是一直在权衡的事情吧。那我一般的做法就是花20%的时间去想未来的事情,vision(愿景)。它是一个持续的过程,你不是说我今天有一个vision(愿景)这事就结束了,因为整个市场会不停地变化,你的认知会不停地变化。
所以可能更好的一个词是visioning(愿景中),你每时每刻都要想着未来到底是会是什么样的,5年以后的世界、10年以后的世界会是什么样的。你怎么想?我觉得为什么AI for fun这个事情对我来说很有吸引力,因为我觉得AGI来了以后,所有人都要失去工作。然后一个更好的世界就是大家还能开开心心的活着,过得开心就好。
就虽然我是很肝的一个人,但是我从来不批判有些人,有些同学或者我面试到的人,他愿意选择一个work life balance(工作生活平衡)的生活,that’s your choice(这是你的选择)。他们愿意选择就这样了,对吧?我能做的也只是告诉你,哦,你要来一个AI公司,你要想清楚这个行业是前进很快的,可能会工作比较辛苦。
你愿意接受这样你就来,你不愿意接受你就不要来。那我觉得其实在世界的未来,可能也许很快大多数人就不用工作了吧?那这些人做什么呢?所有人都有条件开着私人飞机去这个世界的各个角落体验一下,南极是什么样,埃及的金字塔是什么样,甚至回到过去,古巴比伦的社会是什么样吗?我觉得不能。
所以如果说我们能用现在的生成式AI的技术去给大家创造一种immersive的experience(沉浸式体验),让每个人的生活,虽然同样过了一生,你有了这个技术你就可以过得更加的丰富。你可以回到你的过去,去做你没有能够当时没有机会做的事情,也许回到这个体验一个不同的人生。比如说我去FAIR,如果我去FAIR了,哈哈哈,现在人生会是什么样?
不一定有现在开心,不一定对吧?可能就在做Cursor,对,对吧?那我做Cursor真的比我做Meshy更开心吗?不一定。让有限的时间通过生成式AI的技术,每个人的生命都能无限的丰富。如果能实现这个事情,我觉得这个ultimately(最终)就是世界所需要的最终极的技术之一。
[02:42:34] 泰然: 我想跟你聊一个关键词,你提出来的叫阶段一和阶段二。对你说,学生,要不你来介绍这个概念?
[02:42:42] 胡渊鸣: 就是很多例子嘛,阶段一和阶段二。就是嗯,基本上阶段一就是在解决how的问题,阶段二是在解决why的问题。阶段一的时候你有一个明确的目标,阶段二的时候你没有明确的目标。阶段一的时候你把自己事情做好就可以,阶段二的时候你要去想整个团队做什么事情才行。阶段一的时候别人给你出问题,阶段二的时候你给自己出问题。
比如说一些例子,从本科生,重要的事情就是学书本上的知识嘛,到研究生你可能要去找一个好的研究课题。然后研究生内部也有阶段一和阶段二,你可能最早的时候导师给你一个课题你去研究,但是到第二阶段呢,你就要自己去找到好的课题,因为导师不见得有你的这个第一线对这个问题的感知,不一定知道最重要的问题是什么,你只能靠自己。
比如说你原来是在一个大厂里面是一个individual contributor(独立贡献者),一个独立贡献者,一个IC不带团队,你做好上级给你安排的任务就行。你现在变成了一个manager(主管),你要去给整个组织一个愿景,你要去给整个组织一个愿景、给他们设计目标,让整个组织能够运作。你要面临巨大的不确定性。
比如说你以前是公司职员,现在出来自己创业,以前工作的时候所有的确定性都是公司提供给你的,但你自己创业以后你瞬间失去了这一切,你瞬间所有做的事情都变成你自己要figure out(搞明白)这些repeatability(可重复性)。你接下来要做的事情完全是依赖于你自己的探索,你自己得到了新的知识。
这两个阶段如此的不同,以至于很多人会在阶段二的时候继续沿用阶段一的思维方式,这就会导致阶段二的灾难。
[02:44:36] 泰然: 而且很多的例子是阶段一很成功的人,到了阶段二不知道。
[02:44:40] 胡渊鸣: 对,阶段一越成功,往往阶段二就会越suffer(挣扎)。为什么呢?因为你阶段一的技能和阶段2技能,因为你阶段一的技能和阶段2技能需要的是完全不一样的。阶段一可能是服从指挥、卷效率,这个不断磨练某个具体的技能。但到阶段二,没有人再指挥你了,效率也无从谈起,因为连效率的metric(指标)都没有定义,无法定义效率。
你也不会有精力去磨练自己具体的写代码,或者说绘画,或者说某一种具体的技能。所以你会非常非常的不适应。如果你没有意识到OK我现在是二阶段了,就跟打boss一样,现在要打,现在变形了,打第二个血条,你还用第一个血条的那个方式去打他,很快就挂了,就重来了嘛。你犯过这样的错误吗?我犯过。我觉得在我每时每刻都在不断犯这个错误。人生中其实每时每刻都有阶段的变化。
为什么每3-6个月都要成为一个全新的自己?你如果不去每3-6个月变成一个新的自己的话,你就永远卡在了上一个阶段。如果你的公司每个月增长20%的话,你想3个月、三四个月够你营收翻倍了,对?那你还还在用以前那种方式去处理现在的问题吗?不能。
[02:46:02] 泰然: 你怎么判断一个人是不是会成为一个很成功的阶段二的impact maker(影响力创造者)?
[02:46:09] 胡渊鸣: 看这个人能不能承认自己其实是傻逼,哈哈哈,尊重事实,错了就认错,然后不断的还是在提高自己。有一个好的role model(榜样),即使这个role model(榜样)离自己很远。
你的role model(榜样)是很多Elon Musk,我觉得就是,然后在学术界的话我的导师Fredo,然后在中国的企业界我觉得雷军,或者在这边Jensen Huang 黄仁勋,游戏领域的话宫本茂,或者说任天堂的另外一个人横井军平,他做了Game Boy。我觉得他们都在某一个领域做到了最顶尖,然后他们能做到最顶尖肯定都是有自己的原因的。
我觉得如果你去看看他为什么能成功的原因,去让自己不断变成一个更好的人,哪怕意味着自己过去是一个傻逼,that doesn’t matter没有关系,starting from now从现在开始,你就是一个新的人。过去的你和今天的你和明天的你没有任何关系,你可以变成一个更好的自己。
[02:47:36] 泰然: 你对阶段一的PhD学生有什么建议?阶段二的PhD学生有什么建议?
[02:47:41] 胡渊鸣: 阶段一PhD学生,那就是老老实实把paper发出去啊,哈哈。你如果一篇paper都没有,那不要去谈我要去看清楚这个行业什么趋势了。就是阶段一,就是卷,卷执行,我把这个事情好好执行好,多发几篇paper,得到更多的反馈,得到更多knowledge(知识)。
然后当你有个三四篇顶会的paper了以后,你要开始想,哦,这几篇paper我虽然都是同样的,是一篇paper对吧,做的怎么样呢?多少人来引用我的工作?哪些行业受到了改变?我这些工作是不是成体系的?是不是变成了一个大家公认的最好的工作?有多少人adopt(采用)这个?这个比如说ResNet,那就是一个加号嘛,多少人adopt(采用)这个加号?
然后有没有其他领域的人来用我们的这个工作?有没有破圈?只有阶段一疯狂的卷,你才能得到足够多的信息,才能把你带到阶段二。但是到阶段二以后,执行依然很重要,但是要花时间去想why。大家到阶段二还在灌水,还在是哦,我现在3篇,我今年再发3篇,变成6篇,然后我不断这样去做。但是就像你刚才说的,很多十倍影响力的东西,只是两倍的难做而已。比较成功的阶段二的PhD有哪些?
很好的问题。我觉得Kaiming肯定是的,当然人家已经是教授了。
[02:49:22] 泰然: 你曾经写道,你说不要只做SIGGRAPH里面的小鱼,要去整个CS(计算机科学)的池塘里面做大鱼。你现在定义的影响力是什么?什么是大鱼?你怎么判断自己有没有做成大鱼?
[02:49:35] 胡渊鸣: 很好的问题,我觉得如果太极2.0能够在大语言模型时代还有很多应用,然后它的影响力是太极1.0的50倍以上,我觉得就做成一条大鱼了。那样的太极2.0会长什么样?
可能所有的transformer里面都要用到这样的东西,或者说我们能够把像刚才讨论的,能够把simulation(仿真)彻底和神经网络能够结合起来,能够做出来一种Hybrid simulator(混合模拟器),它既有simulation(仿真)又有data driven(数据驱动)的部分。
但是你要把这两个东西结合起来,必然要有很好的infrastructure(基础设施),太极能够成为那个infrastructure(基础设施),在Robotics领域有很多人来用太极。当然现在也有不少人在用太极去做Robotics很多东西嘛,但是我觉得可以更多。
或者Meshy朝着这个多模态生成的领域能做成AI for fun(AI娱乐),那我觉得都做成大鱼了。
[02:50:34] 泰然: 你现在怎么理解失败?因为我记得你在文章里面写到,你说你不再害怕失败了。
[02:50:40] 胡渊鸣: 真的吗?我觉得可能很多时候就是失败了又能怎么样呢?很多时候大家会把失败的后果想得非常的严重,很多时候大家会把失败的后果想得非常的严重。那失败了我 会死吗?我会失去做未来的事情的机会吗?只要我还活着,我觉得我就没有失败。而且我觉得就算你做公司做fail(失败)了,也我也不会说自杀或者什么的。我只要能活着,我就一直能做新的东西。所以任何的失败只是暂时的失败而已。
真正的失败可能是做了一两次尝试,然后不愿意去再去创新了。哈哈,一朝被蛇咬,十年怕井绳,老老实实去做一些很保守的事情,我觉得是真正的失败。如果说你的目标是创新的话,那既然创新大多数创新的都是不make sense(不合理),你如果是一定能成功的事情,那就不要创新了。创新可能十个里面能成一个就不错了。
我经常安慰我我们的团队成员说:哎,这实验做失败了不要紧,你只要是努力做了,而且你的insight(洞察)是对的,那失败是很正常,太容易失败了。
[02:51:57] 泰然: 你有一句话,其实你说的是,你觉得人生要做大事,而每件大事往往要做四五年。你觉得从这个角度上来说,你做好了几件大事儿?迄今为止,未来你还想做哪些大事儿?
[02:52:13] 胡渊鸣: 我们可以先把数算一算,我当时这么说,我假设我自己从20岁开始开始做事,20岁大概大学毕业吧,对吧?开始做事,然后做到70岁退休,hopefully(但愿)我70岁能退休,中间是50年,50年的时间。你如果说5年做一个事,你可以做10个事。然后这10个事中间必然有一半是失败的,因为你如果10个事全做成了,那说明你做的事情风险都很小,那就不是真正创新。
真正创新一定会有失败率的,所以这10件事情里面可能只能成5件事。那这5件事情,我到目前为止做了多少,是吧?你是这个问题,未来还想做什么?我觉得我现在做了,做了0.5+0.5,一个0.5就是太极做到了现在这个阶段。那我最近在筹划太极的下一个0.5是什么样的,如果把这个事情做好,可能要再花四五年的时间,那大概就是能做到1个1。
然后Meshy,我觉得现在也做到了0.5,就是过了Product Market Fit(产品市场匹配),然后在现在可能是从1到10,从10到100这样的一个状态。那后面还有很多事情可以去做,那把Meshy搞到上市,我觉得是另外一个0.5。上市之后呢?上市之后我就可以再去做我的下一个1了。呵呵呵呵
[02:53:47] 泰然: 你文章里面提到过解决问题的能力,你觉得你人生的意义会不会被你解决问题的能力所限制?有没有一些问题是你能力不所及,你也决定不去解决了?
[02:54:00] 胡渊鸣: 首先我觉得人生有很多很多意义,并不是说你只有过一个非常intense(激烈)的人生,过一个非常累、辛苦、做事、改变世界的人生才有意义。你如果你的人生的意义就是我要把我的父母照顾好,我要去培养一个出色的孩子,或者说我想做志愿者工作,我能照顾好100个孤儿,这也是很有意义的事情。
不是说所有人都必须去像Elon(马斯克)或者Jensen(黄仁勋)那样才算是一个有意义的人生。每个人有自己选择自己人生的这样的自由,也没有说有什么高下之分。特别是当AI时代来了以后,后大家都能吃饱穿暖,甚至工作都不需要工作,那这样的一种社会里面,我觉得需要更多的包容,给更多的选择的,给每个人更多选择的权利。包括现在躺平的,我觉得躺平就躺平呗,能怎么样呢?
你能过得好、过得开心也很好。那么是不是有一些我的人生选择被解决问题的能力局限住?那当然,那我现在就不能像Elon(马斯克)那样去做xA,没有那个融资能力,对吧?没有那个号召力,没有那个钱去整这个事儿。
那但是我还是乐意去看一看自己人生到底能发展成什么样,朝后面也许把Meshyhopefully(希望)能做得很好,然后上市了,然后有更多的资源可以去做一个更大的事情。那你一个上市的公司和一个像我们这样的很小规模初创公司做事情完全就是不一样的。然后显然我现在是没有一个管理100以上人或者1,000个人这样的公司的经验的,那我要去逐渐学这些经验。
那如果我不具备这些经验,我没有踩过那些坑,那我就没有办法管理很大的团队。那没有办法管理很大团队,那很多事就做不了呀,对吧?
[02:55:58] 泰然: 你理想中的人生节奏是像现在这样高速推进as a CEO,还是回到PhD期间写、单纯写代码的状态?什么是你更理想的状态?
[02:56:08] 胡渊鸣: 嗯,坦率来说,PhD期间的那种状态我会更喜欢。但是again,我觉得喜欢和对你有益是两码事吧。一个人永远过自己喜欢的生活,那他也许能过得开心,但也一定会失去很多机会。所以我觉得现在生活也可以。我是一个非常耐操、然后适应能力很强的人,我对生活的品质的要求很低,不要饿死就行了。如果在不饿死基础上还能再做点自己感兴趣的事,我觉得就很好很好。
所以钱完全不是你创业的原动力,我觉得可能只是5%、10%。那我要想赚钱呢,我有很多方法可以去搞钱,哈哈哈,对吧?但是那搞到钱以后然后呢?去Atherton买个房,然后就?那你还是要解决那我干什么的问题啊,哈哈。还是做事比较重要吧。你现在还在写代码吗?我写,每天花多少时间?上周可能写了几个小时吧,两三个小时。
这周可能少一点,但这周我帮坐在这边的两个同学debug,修了一个bug,通过读他们的代码,可能10%的时间吧,去做一下这个事情。因为你偶尔还是要sample(采样)一下这个现在的这个问题到底是长什么样,这样对你招聘、对你的技术的决策是很有帮助的。一个CEO如果不写代码,很容易,我觉得很容易飘,就会你觉得哦这问题就是容易解决的问题。
实际上你去每天看看大家解决这些操蛋的问题,你会发现哦这个还是挺复杂的。这里面你会害怕有一天自己不再写(代码)了吗?我会,我会担心那样我就完全双脚不沾地,做出的决策都是上层的阴阳五行这些不着调的决策了。我还是相信一个好的founder(创始人)一定是hands on(一线)的。
你看雷军、Jensen、Elon,他们都非常的hands on,但他们不一定要写代码。对他不一定写代码,对吧?他可以设计产品,他可以去亲自跟供应商谈,他可以去这个对技术有很深的理解。我觉得可能hands on(一线)这个词不好,可能是真正的理解技术,真正理解技术。
我觉得Lisa Su,AMD的CEO嘛,就我们隔壁那个楼,她就说有一次到MIT演讲,因为她是MIT毕业的,她就说她比那些MBA最大的一个强项就在于她actually understand(真正理解)技术怎么工作,她实际上是了解技术如何工作的。这个对你很多的商业决策是很有帮助的。
[02:59:02] 泰然: 理解到哪个程度叫actually understand?
[02:59:05] 胡渊鸣: 我觉得自己至少一手做过吧。比如说你如果是做Meshy这个事情,你自己train(训练)过model(模型),train(训练)过GAN(生成式对抗网络),train(训练过)过这些CNN(卷积神经网络)什么的。
你不一定train(训练)过diffusion(扩散模型),但是你大概知道这个training dynamics(训练动力学)、这个Adam optimizer(优化器)这些参数是AlphaBeta是怎么回事儿。你要立的一个compiler(编译器)团队,你至少之前写过汇编写过compiler(编译器)吧?如果不是这样的话,其他人为什么要为你工作呢?
他从你这学不到东西。
[02:59:32] 泰然: 假如有一天胡渊鸣不再创业了?
[02:59:41] 胡渊鸣: 写书,继续把我的这个games 201再搞一个高清重制版。当年讲的太……当年我跟你们一样嘛,就是在英伟达实习。然后我记得当时因为我在因为covid,我在Boston那边远程实习。我记得早上是8点钟开始讲,正好国内晚上8点钟,然后8点钟讲到9点钟,9点钟讲完我再睡一觉,然后上NVIDIA那边西海岸9点钟开始上班。
然后基本上周末是没有任何时间休息,准备的非常非常仓促。就是其实当然当时因为国内没有任何simulation(仿真)方面的教程嘛,所以大家觉得这个还可以。但我觉得也只是从0到1吧,没有说把真的把simulation(模拟)这个事情里面很多技术细节其实讲的还是不够透彻。因为我自己准备的时间也很有限,所以我还是想把这个事情再做做好一点。
[03:00:39] 泰然: 想写一本教大家怎么搭simulation(仿真)、怎么做graphics rendering(图形学渲染)。
[03:00:43] 胡渊鸣: 或者就是刚才讲的那种Hybrid simulator(混合模拟器)simulation(模拟器)如何和neural network(神经网络)给整合到一起,然后最好还是有点robotics(机器人)方面的应用,那我觉得就更好了。
[03:00:56] 泰然: 我们这个podcast其实很多听众是年轻、更年轻那一辈的,我想知道。
[03:01:01] 胡渊鸣: 我是94年的,哈哈哈,没有比你们大多少。
[03:01:04] 泰然: 对,你对现在的年轻人,如果他们要读博,有什么建议?
[03:01:08] 胡渊鸣: 争取在这过程中找到自己真正热爱的事情吧。我看了太多人读博只是为了一个学位,但是最后也不喜欢这个事儿,弄得非常痛苦。
[03:01:18] 泰然: 但你其实找到热爱的东西,不是通过读博找到的。
[03:01:21] 胡渊鸣: 对,我是在读博之前,我就很知道我会很喜欢我读博的时候做的这个事儿。因为我在本科的时候已经实现了几十篇SIGGRAPH的论文了,所以我知道哦,我只是从复现别人的论文变成我自己做一篇论文而已。我会知道我会很喜欢这个事情。
[03:01:37] 泰然: 对于想要创业的年轻人呢,你有什么建议?
[03:01:40] 胡渊鸣: 我觉得首先是get ready(准备好),你得先知道自己是不是ready for这个创业。这个ready不是说你想清楚了做什么,而是你要去有这个失败的承受能力。这个就包括你的可能父母得是身体比较健康的,然后你有一个稳定的家庭,以至于你可以7x24小时想着你这公司该怎么做。然后把这些事情搞好了以后,其实可能行动是最重要的,take action。
[03:02:18] 泰然: 你的这个行动指的是执行,还是说真正迈出那一步去创业?
[03:02:24] 胡渊鸣: 我觉得真正迈出这一步去创业吧。其实很多事情都是可以学的,都是可以快速的去试错、去学,然后发现自己傻逼了,然后变成一个更好的自己。所以经验倒没有那么的 重要,是否想清楚也没有那么重要。只要你能承受这个失败的后果,只要你的心态是失败了能怎么样呢?我当时创业的心态就是OK,我PhD三年半毕业,我就算浪费两年,相当于五年半毕业,能怎么样?哈哈,能怎么样呢?
我当时就是这样的心态。那个时候身体也还不错,然后家里面也没有什么我要担忧的,所以做了就做了。
[03:03:05] 泰然: 十年后的胡渊鸣,你会希望是什么样子?
[03:03:09] 胡渊鸣: 嗯,能够保持今天的所有的好的品质吧,能够保持今天的所有的好 的品质吧,然后把那些坏的品质全部都丢掉。你现在知道那些坏的品质是什么吗?我知道,比如说管得太细,比如说这个会把自己时间管理没做好,会把自己搞得很累,比如说这个执行的时间大于思考的时间,我觉得这些都是要被改变的。
[03:03:53] 泰然: 我所有的问题已经问完了。渊鸣,你还有什么想留在这个Podcast,2025年 当一个时间胶囊给你自己、给Meshy、给这个领域?看你见证你成长的人,希望能够在这个Podcast留一个记号的话?
[03:04:07] 胡渊鸣: 对,简短的说,希望所有看到这个Podcast的人都能具备勇气。
[03:04:14] 泰然: 勇气?谢谢渊鸣,我们今天到此为止。谢谢,谢谢,谢谢。