对华为半导体首席科学家廖恒的5小时访谈:一部昇腾史、18层宝塔与全球芯片恢弘30年史诗_ B站 x WAIC AI会客厅
说明
本文由视频画面中的硬字幕逐条提取,按说话人合并成段,保留口语原貌与字幕自带的括号释义,仅补充标点、区分说话人,未作改写。时间戳为该段发言开始的时间;同一人连续发言拆成多段时,续段不重复姓名和时间。
- 主持人: 张小珺
- 嘉宾: 廖恒
- 视频时长: 04:37:51
- 来源: https://www.bilibili.com/video/BV1nB3u6tERu
开场 [00:00:00]
[00:00:01] 张小珺: hello大家好,我是小珺。今天我们的嘉宾是华为Fellow半导体首席科学家廖恒博士。这应该是华为在经历了2020年的磨难之后,华为高管第一次出来聊了聊华为昇腾芯片从低谷一步步走出的故事。与此同时呢,这也是我个人第一次来学习芯片半导体产业。
所以一方面我们聊了聊昇腾史中国的选择与故事,另一方面我们也从一个更恢宏的视角来聊了聊整个全球半导体芯片产业的历史规律与概况。如果大家喜欢我们的视频,还请给我们的视频一键三连。那接下来就是我对廖恒博士的访谈。心境的变化是什么?在设计910和950的时候的不同断供发生前后的两代芯片。
↓ 以下
[00:00:56]~[00:02:08]是片头预告片段,与正片内容重复,非正片对话。
[00:00:57] 廖恒: 这个心境的变化,我觉得说起来可能有点……我想说的是,你试图想象一下,如果你是董存瑞要去顶那个炸药包,我们正常人是无法想象他的心境是什么。或者说上甘岭的战士,他的心境是什么?或者说我看到有一个二战期间对一个中国士兵的采访,也是华为宣传画上面的一个故事,是讲说有一个记者来问他说打完仗想要什么,他说我不想,因为我爹妈也死了,不用去想那些事。
所以我说所谓心境的变化,我觉得已经没有太多的意义,只是说面对一个困难就想去解决它。
芯片史:垄断之下漫长的日落 [00:02:08]
[00:02:10] 张小珺: 今天廖博士给我提了一个要求,他不想突出个人。但是他又见证了全球芯片半导体产业30多年甚至40年的发展历史,所以我很想从这个视角切入,就是希望能透过您的眼睛带我们穿梭于这段半导体的产业历史中。如果抛开个人经历,聊聊半导体的产业本身,就是过去这30年40年,您会把它分成哪几个大的时代?它最核心的命题分别是什么?
[00:02:37] 廖恒: 这个话题有点长,不过进入这个话题之前,我先描述一下我们的缘起。因为我们过去海思是非常少出现在媒体面前的,这一次也很有幸接受了这个邀请。当时我还是考虑了一下,可能有3个原因促成了我还是下了一点决心接受这个访谈。有机会回顾一下工程师的故事,也许能给这个世界的其他人留下一点启示。
第2个原因是我大概半年多前在清华接受当时陆游游老师的邀请,在计算机系讲了一节组成原理,计算机组成原理课程。讲完课我有深深的挫败感,包括授课的陆教授,我们在事后交谈的时候,他也感到了深深的无奈。因为在这样的时代下,年轻的学生他们都会更加乐意追逐热点,包括做AI算法、模型训练,甚至是推理加速。
计算机组成原理这个课又比较难学,然后大作业要设计一个完整的CPU,大家都觉得这是一个鬼门关的课,所以就很难吸引到学生对这个硬件、计算机处理器的硬件产生兴趣。这个我还是一方面是感到极度的惊讶,另一方面也感到一种焦虑,说如果大家在学习都不太愿意学了,今后会不会失去了后续的人才进入这个行业,可能会形成一个这个人力的断档。
当然第三个就是大家对这个行业的认知,即使是自己的下属,他们也缺乏每天都是在辛苦的工作当中,他们并没有多少机会跟大家展示一个更加完整的行业视角,到底来龙去脉是怎么回事。因此就比较容易迷茫或者摇摆。
所以我也想如果有这么一个机会,不光是对同行或者是年轻的学生,或者是自己的同事,有这么一个机会来展示一个相对完整的几十年这么一种视角,或者发展的视角,行业的规律,我觉得这也是个很不错的机会。所以这三个机会加在一起,三个缘起加在一起,也帮助我下了这个决心来接受这么一次访谈。您刚才讲的那个话题,半导体过去30年的一个大致的脉络。
我是1987年本科,然后大概是1997年,1996年就去了美国,然后1997年就开始加入一个半导体企业。当然我所学的这个领域也是在做研究生或本科的期间做了跟处理器相关的课题。如果说我们summarize过去30年的一个行业,它有一些非常大幅度的起起落落。如果说纵向来看,其实是两条主线互相交织在一起,形成了整个芯片或硬件的主线。
一条主线是这个处理器CPU,从1986年或者1984年,比IBM的PC稍早,从1984年、1985年开始有IBMPC,逐渐从一种桌面的办公终端进入到了企业IT的服务器,后面的整个全球的基础设施。随着这个数字化,人类进入一个数字的世界,CPU显然是一个最重要的主线。
当然这个主线到了2005年到2006年开始AI这一波,又是一个新的浪潮我们等一下可能还会更详细的展开来说这个事。那么这是一条线,以处理器为中心的线。然后还有第二条非常重要的线,就是通信基础设施所带来的芯片。
因为过去这30年,人类从非连接、靠物理连接的物理世界,进入到一种connected、everybody connected、every device connected这样一个发展的历程,也就是互联网的发展历程。那么这个历程代表了另一个纵向的脉络。因为全球从没有互联网、没有宽带、没有手机,进入到每个人、每个设备都被连接在一起。
当然它也需要大量的芯片、大量的基础设施。而且这个基础设施从非常慢速的电话线Modem上网,又进入了宽带,又进入了光纤,这是有线,以及它背后的城市和城市、国家和国家之间的干线,这就促成了整个互联网Internet的基础设施。当然随着移动的移动网络的出现,后面又有星链等,也就是说Wireless的Infrastructure,它又相当于互联网的第二波。
而且第二波我们现在就处在互联网的第二波,就是移动互联网。它一方面催生了大量的基础设施,但是同时它在Device这一侧也是最有代表性的。智能手机基本上已经成为我们人类每天陪伴,可能都在六七个小时以上的使用时长,已经成为我们生活的必要部分。这个东西也是一个巨大的、庞大的半导体的一个支柱。
因为它所消耗的半导体曾经一度可能超过了60%到70%,如果你把手机都算上的话。这两个脉络是它的纵向的脉络。但是如果我们再按照时间节点,它也有横向的脉络。我们就会看到在时间节点,按照时间划分,它经历了半导体经历了一个极度狂热的上升的一种繁华的阶段,它又迅速进入了一种凋零,甚至是一个夕阳产业。
这个夕阳产业它最具代表性的符号就是可能在这一波AI的大概就是在2016年之前,可能足足有10年以上甚至15年的整个硅谷和美国的VC是没有任何对于芯片startup的投入。因为大家都认为这已经是一个完蛋的,是个夕阳行业。
而且最具代表性的就是这个Blockcom的发明了一种Blockcom模式,就是把这个相对成熟的、有利润的半导体公司,然后合并再重组再降低,这个就提升运营的效率吧。这完全是一个夕阳产业的收割模式。当然在2015年、2016年之后又出现了AI的热潮。当然现在可能就处于互联网bubble、互联网第二波浪潮,然后AI相当于最近这几年的第三次浪潮。
这第三次浪潮当然它所掀起的热情以及资金量,包括大家对这个产业的期待,可能甚至比前面两波更高。我们就会思考一个问题:为什么前面那一波,比如说互联网之后,为什么会有10到15年的夕阳的这种日落期?大概2005到2015年,2000年之后就已经开始了,但是从2005年到2015年差不多这整整10年,VC是没有任何投入的。
因为大家都不看好,觉得芯片是一个没有希望的产业。那我觉得这里头,当然我说的也不一定政治正确,我觉得恰恰是某一些sector的极度成功导致了这个另外一个层面的凋零。我不知道也许这是有点反直觉。小珺老师当您跟我说的时候,我觉得还挺反直觉的。这个问题道理很简单。
如果我们当然现在中国已经开始走入自己的一个产业模式和一种自我的循环模式,但是如果以美国前面如果倒退十年前,全球的科技基本上还是以美国模式引领世界的潮流,那么美国的模式它有一个显著的特点:当一个比较重要的、伟大的发明或者一个新的业务出现了,得到了资本市场加持之后,他们可以迅速地建立一种近乎垄断的优势。
比如说之前的Google或者是Meta,就是Face book、Google在搜索,包括之前的Windows在这个终端的操作系统,还有苹果的手机,他们都在各自的领域迅速,大概也就是三四年的时间就可以完成一次建立一种垄断性的优势。这个优势不光是一种技术的优势,更重要的是一个资本基础设施,然后用户数量。相当于大家习惯了用一个东西,不会轻易地切换平台。
那么这一种Monopoly(垄断)或者是垄断性的优势,其实是对于创新实际上产生了一种负面的作用。那么这个作用就是因为一个客户,如果他是世界上唯一采购某一类产品的商家,那么作为他的卖方供应商是非常悲惨的。
这种悲惨也不能说是悲惨,只能说这是供求关系天生决定的,就是当你的客户他如果占了采购量的绝大部分,那么他就有极大的定价权,他一定会让供应商无利可图,毛利会变得非常低微。第二个是他们会主导需求以及技术方向。那么这种主导看上去非常合理,但是我试图用一个小例子来说明:如果你完全听客户的是没有前途的。
因为我们做芯片通常从这个做的主要的架构或者产品定义的决策,到最终这个产品能够真正的落地在真正的用户手里使用,至少要三年的时间。因为芯片设计周期就有十几个月,制造周期可能现在也是九到十个月,然后你还得要做成整机,然后还要测试,所以这个周期三年是少不了的。哪怕快一点也许三年或者两年半,慢一点就是四年。因此人类往往是缺乏这个日历是不对的。
我生活的日历是在2030年,而我的客户是生活在2026年,那么这里有四年的gap。如果我只能盲目地听从我的客户的话那么我就会滞后四年时间。因此所谓的技术的主导权以及对未来的定义的力量,如果完全放在一个Dominant有压倒性优势的主导方会成为这样的话,它一定会抑制新的创新的力量。因为你哪怕有正确的想法,你没有机会去实践它。
这一系列原因就导致了传统的在AI之前的这一波绝大部分半导体公司迅速地进入一种衰亡的状态。第一方面是经营困难、无利可图;第二方面是对未来有期待的东西很难有机会真正把它做出来。
当然所幸的是,最后这一波至少在AI这个时代,也许是从硬件大概是从2016年、2017年开始,随着AlexNet这些DNN(深度神经网络)的不断进步,大概是在2016年、2017年开始一直到现在都还没有进入到一种不幸的垄断或者是单一,相当于我刚才讲的凋零期。其中有一个非常有意思的现象,因为它这个领域特别活跃,而且它每个月、每个季度的进步都超出了大家的想象。
说白了到现在为止,当然还有我们也是世界的一个重要的Participant,是一个下场的Player。目前至少我们能接触到的人群是群星、群星璀璨,是极度活跃的。谁也不能说Sam Altman或者是Anthropic就是最终的赢家。
因为每天我们的同行,包括尤其是在也许是在五道口,也许是在杭州的这些超级smart的、有志向的年轻人,他们不断地给我们带来惊喜,让垄断一直无法形成。因此就会出现更多的这种活力存在于这个行业的每一个层面。
[00:19:39] 张小珺: 您说的这个主导者讲的应该是Google他们这些大家伙,对吗?
[00:19:44] 廖恒: 我觉得我们中国也有很多主导者,比如说你要是买东西,在线上购物,你就会识别出来说哪些是主导者;如果你刷短视频,你也知道那些主导者是谁。
[00:19:59] 张小珺: 就是互联网应用端那一波主导者。
[00:20:02] 廖恒: 那么它们代表了巨大的规模、巨大的购买力、巨大的消费人群,它也支撑了庞大的基础设施。
[00:20:12] 张小珺: 我说反直觉,是因为我想象中的这种上层应用的发展和底层芯片的发展应该是互相促进的关系,我没有想到上面的垄断者会反而导致芯片行业处于一个凋零期。
[00:20:25] 廖恒: 那我就请问一句,您也是这个行业的行家,当你想象到Google的时候,你觉得它是个什么公司?它是一个搜索公司,它是个广告公司,直到今天,它的绝大部分收入还是来自于跟这种泛搜索相关的广告。
我觉得这个科技行业它有一个显著的特点,就是绝大部分人都有,我们能识别到的这些实体都有第一板斧,都是很厉害的,通常就会说发明了一个前所未有的东西,然后给人类带来一种巨大的好的体验,或者是这种离不开的这么一种capability,是他们赋能的。
但是一个企业非常难以不断地再造自己,说我有第一版超级绝招出来之后,建立了垄断地位之后,我是不是还有能力再次发明reInvent,再次innovate?
这就是一个典型的Innovators dilemma (创新者的窘境),就是说一个在某个领域已经建立了巨大优势的人,他或者企业实体,他一定会在这个地方获得丰厚的利润,但是他有没有能力再在另一个领域再重新发明自己,再创造下一个更伟大的东西?也有不少聪明的人,他们可以不断地突破自己的DNA,或者是自己的极限,不断地给人类带来惊喜。
但是绝大部分组织,它通常重新改造并且再造自己,再造一个全新的自己的能力。不信你把你所熟知的企业全部在脑海里头过一遍,他们都在某些地方有优势,是不是?但是通常一个优势恰恰是在一个新领域的劣势。所以我们就看到今天在AI领域,其实最有突破的公司都不是我们所熟知的。
[00:22:30] 张小珺: 上一代的big names,当然big names还是想。
[00:22:34] 廖恒: 当然他们有资源的优势,他们想要怎么样,想要努力去reInvent,我们也很期待他们会reInvent,因为他们毕竟有自己的各种人才资源、组织执行力的优势。但是我想说的是,世界就是这么奇妙,往往并不是最富有的孩子他会最成功。比如说你看一下我们经历过的同学,是家庭条件最好的人,同学他们最终在职业上取得成功,或者对社会贡献最大。
[00:23:13] 张小珺: 往往不是这样,因为您是1987年进入清华,而且是少年班嘛,那个时候你们计算机系在学什么?
[00:23:21] 廖恒: 我觉得课程可能差别还没有那么多。我成长,或者说从少年时代接触的是苹果2 Apple II的兼容机,差不多到我上大学的时候出现IBM PC,那是属于,而且还是用软盘 floppy disk,硬盘都是一个新鲜的玩意。马斯克也没创业,马斯克有没有出生?应该出生了,还没有到他创业的时候。所以那个时代呢,如果说从学校的氛围来讲,有几个显著的不同。
第一个,那个时候的教师的群体还是比较老派,是不怎么讲究 publication,老师们做的科研都是要把真正的机器做出来,这个最起码是一个 prototype,写一篇文章是毕不了业的,都是要说我设计一个啥玩意,把这个东西不但构思出来,并且还把一个很挫的板子给做出来。这个也很有意思,就是说代表了一种科研的文化。
那个时候因为中国本身的这个行业企业的科研能力、研发能力非常差,甚至比我更早的时候,这个 gap 就会更大。因此高校或者是科研机构承担了实际上是现在的研发的这么一种角色,因为企业没有研发。所以包括中国的之前的这些两弹一星的元勋,他们所使用的电脑,他们使用的任何一个东西,基本上都是高校和研究所做出来的。
这代表了我的老师的那一代,到了我这一代残留的文化还在,正好是属于一个过渡的时期。在我之后的所谓的科研体系,包括学生的培养、毕业的体系,他们就会进入到一种 publication driven,更像美国的西化了之后的,大家都要去顶会发文章作为第一优先级。
这也很符合时代的节奏,因为在我离开中国的时候,像华为公司可能才只有,也许是几千人,他们做的东西其实甚至还比较初级,就是没有形成如何去组织成千上万的人有组织地去开发一个极其复杂的东西这种体系,正在形成当中。
但现在如果你快进到当下,其实中国的诸多企业,不管是大大小小的企业,他们的开发能力、开发产品、知道怎么组织人、组织资源、怎么构建相对完善的人力系统来完成这样一个 team work organization work,能力已经很强了,甚至在世界上已经领先了。所以高校就不再需要承担过去类似开发性的工作。
但是回到我刚才讲的那个时代,特别有意思的是,我们那时候除了上学,大量的时间是在中关村散混,散混,散混,就是说比如就跟现在的 startup 很像,你会发现世界上有很多需求,我们试图去开发一个产品,或者是至少是产品的原型,试图满足这些需求。你当时都做了啥?
做了很多无数的失败的东西,什么激光打印机,什么影碟机,电子词典,这些都是古老的东西,现代人可能已经不知道电子词典是个啥。但是那个时候企业的研发能力很差,所以高校的学生相当于填补了这么一个 gap,替这些小公司开发这个东西,替这些公司开发这个东西。因为我是竞赛生,所以相当于编程上面还可以,做软件还行。
当时我就有一个最好的朋友,他叫吴钊,也是清华的同学,我们俩年龄差得也不多,就差不到一年。那么他是硬件竞赛生,所以我在很多年都特别渴望说我要像他一样,我会做板子,我会设计 FPGA,然后我一定要搞清楚这个处理器里面到底是个啥,就是对芯片内部到底是怎么回事。
因为芯片现在都已经到了上千亿个晶体管,这个极度复杂的体系,觉得自己软件做得还可以的时候,就会花了巨大的努力想要去穿透这一层,这一层边界好像那是楼上和楼下的区别。当时是你的渴望,当时是我的渴望。我在后面的很多时候就会有极大的偏好,说我特别乐意去了解另一层的世界是怎么回事。后面职业上面就成了一个不折不扣的,或者说主要职业都是在做硬件。您在学校里还是偏软对吧?
我在起点是编程竞赛这种背景。
[00:28:59] 张小珺: 那时候少年班是多大年龄进的?
[00:29:03] 廖恒: 少年班一般都要求15岁以前,我当时14岁,好小。我觉得也不算什么,都是机缘巧合吧,各种原因导致他们有一种特殊的机遇,因为要凭自己本事去考进这种学校还是挺难的,所以这个不足为道。刚才讲的是这个穿越不同的层,后面可能我们还可以聊这个话题。路上您也给我看了这个黄仁勋的五层蛋糕,在我们心中可能是一个十八层宝塔,十八层湖图。
[00:29:43] 张小珺: 我们后面会着重聊到。回到1987年,我在学习芯片历史的时候,因为台积电就是1987年创立的,张忠谋那一年56岁。台积电开创了这种晶圆代工模式(Fountry,芯片设计与制造分离),后面也改写了全球芯片产业的分工模式,因为以前是垂直整合的,后来就变成设计公司是一类,芯片代工公司是一类。您经历过这个时代?
[00:30:08] 廖恒: 我经历的时候其实台积电已经比较强大了,虽然说它还没有形成今天的这种垄断,就是压倒性的优势,但是它已经相当强大了。
[00:30:20] 张小珺: 这个模式是怎么形成的?为什么它更符合那个时代?
[00:30:24] 廖恒: 我觉得它最根本的原因是economics,就是说这是一个经济学的原理。因为一个晶圆厂,它的资本支出越来越大,每一代可能都在以肯定摩尔定律(芯片晶体管密度每两年翻倍)的这种速率在提升。就是说一个制程(工艺,2nm、3nm、…、28nm等),也可能原来只有10层Mask(光刻用掩膜),现在变成100层Mask。
原来的每一台机器可能100万美金或者10万美金,现在变成1000万到1亿美金。你可以认为这个fab foundry,就是这个晶圆(Wafer,半导体制造基片)制造,是一个资本投入以及研发周期特别长的。这相当于我等一下讲的宝塔当中的六楼、五楼,就是这个地下室的这些地方。其实作为一个business,是风险极高、ROI特别差,那个投资的回报的周期特别特别长的。
而且这个随着工艺的演进,它会变得越来越糟糕。所以这个时候做一个设计公司,你是没有资本能力的。就像我们现在比如家里都要用空调、要用电,你不会因为你要用电,你自己去建一个电厂,因为电厂的支出太庞大。所以它成为一种,我像那个Morris(张忠谋,台积电创始人)首先意识到了这一点,说大家想要公共share这个基础设施。
当然您也在B站上可以看到很多对他的访谈,他也在回顾这些历史。但是他首先意识到并且明确地把这个作为一个商业模式,这是很伟大的,对人类的很大的贡献。当然这个贡献也有无数的企业都建立在这么一种模式上面获得了成功。
我可以这样讲,如果没有这个Fabless(无晶圆厂的纯设计公司模式)这个模式,包括甚至连谷歌这样的巨头都不太可能去做TPU,因为他要自己开始建一个厂,可能就得要三年的时间他去开发这个工艺,要三年的时间他要把这个厂正常的运营起来,他也要很长时间。而且他的规模可能支撑不了一个最先进的Fab的这个所需要的这个经济规模。
一旦建立了之后,当然就促成了后面的,反正我的整个职业生涯
[00:32:56] 张小珺: 都在这个模式之下
[00:32:57] 廖恒: 直到最近的五年之前都在这个模式之下,它模式存在有它的合理性,但是它也不是everything。
[00:33:05] 张小珺: AMD创始人Jerry Sanders还说,有经营制造公司的才是真男人,Real man have fabs,但是结果他自己都剥离了他自己的芯片制造部门。
[00:33:15] 廖恒: 这个模式它有它好的地方,但是也不见得未来一切都只能以这个模式,因为我们所谓的合理性,它有一些大前提。当这个大前提发生了变化之后,你就不得不去适应它。当时的大前提是什么?
当时的大前提是全球自由化,The world is flat,大家都是以各自分工,我在每一个层面都想采购世界上最优秀的capability,所以我们在海思在2019年之前几乎所有95%的甚至99%的设计都是建立在世界上最优秀的供应,就是楼下我要去挑最好的楼,最好的六楼五楼去构建我的产品。
但是这个大前提显然是由于这个国家之间的竞争或者是各种其他的geopolitical因素影响之后,这个大前提就已经彻底被颠覆了。其二是说,当一个事件发展得过于迅猛的时候,其实就会出现这个分层的时候,它未必能满足要求。最近这半年出现的极度内存匮乏,就会导致内存涨上十几倍价格,DRAM(动态内存)涨了十几倍的价钱。
垂直分工一定程度上并不能很好地应对这样一种迅猛、过于迅猛的变化。当你出现一种爆发式的狂跌、黑色星期五的时候,谁也来不及;或者是当你出现极度上涨的时候,你正常的操盘是跟不上上涨的速度。
[00:35:09] 张小珺: 您是什么时候意识到您可能会一直从事芯片半导体这个行业?是在清华还是去了美国之后?
[00:35:16] 廖恒: 我在清华就特别想要去做这个事,因为刚才讲到的,这是你的渴望,对这个楼下的understanding的一种渴望。而且我觉得楼上比较舒适,风景好,可以看得更远。比如说你要是做一个应用,你只需要有正确的构思,可能在半年之内你就可以卷到几千万个日活的用户,绝大部分super app都是这样出现的。但是楼下是代表了一种更有耐心的,相当于长跑型的选手。
您是这种长跑型选手吗?我不知道。在我的职业生涯里头,我绝大部分同事说,你不是一个芯片工程师,你是一个披着芯片工程师的、披着羊皮的狼,因为你并不是真正做芯片的,你是做软件的。然后呢,当我去跟软件的同事相处的时候,他会说你是属于楼下那个做芯片的,或者突然会说你是做算法的。
我觉得这种多面体,这种multifaceted的这种character,其实做芯片是需要知道那些东西的,或者说你需要在其他方面也可以跟别人交手不落败。
[00:36:41] 张小珺: 就是1996年您从中国去了美国,当时还是去做博士后。在那个时刻,您对未来科技的图景的想象是什么样?当时大家是在一个什么样的情绪里?
[00:36:55] 廖恒: 那个情绪说起来有点复杂。我当时抱着两个念头。第一个是觉得我必须得去,要不然包括我现在面试的很多优秀同学,比如说已经在这个top的学校读了博士,他们已经证明自己的能力是不亚于别人的,但是他们还是觉得我有很多天才少年,下属都说我还是必须得去一趟MIT,要不然我就觉得自己差。
我当时也有这样的心态,因为美国作为科技领袖吧,已经是从我认为是差不多1945年到现在已经这么多年了,大家会有一种遗憾,我如果没有见过我就不知道,永远是缺一口气的。这是第一重念头。
第二重念头是我刚才讲的,类似于startup的模式,做了很多乱七八糟的、看上去像产品的东西,但是我做的所有东西都没有能够比如说卖了100万支,或者是有无数的人津津乐道的时候我在用你做的东西。
[00:38:14] 张小珺: 没有真正地走向市场
[00:38:16] 廖恒: 那么我当时就是说,当时我并不知道自己出了什么问题,我当时不知道,但是工作了一年两年之后,我就迅速地找到了这个答案。但是我去的时候还是抱有这种困惑,为什么我总是做的东西
[00:38:34] 张小珺: 都不够好
[00:38:36] 廖恒: 或者是没有形成走向市场。其实这答案很简单,工作了一年半之后,我迅速就理解到了缺的那一个missing piece是什么。哪怕你做一个电水壶,你必须要做到,即使它其中一个零件坏了,它不会一直干烧,否则就会造成火灾。
你要做一个电水壶,你一定要能够通过安全的检测,这个边上沾了点水,它上面的继电器要是坏了,它不能干烧,它必须得要fail safe,不能fail dangerously(产品设计原则)。
这种process,你一个东西要能够被使用,它有一些你不但要有足够聪明的脑袋想象怎么去设计一个电水壶,或者怎么设计一个SpaceX的火箭,你还要把它执行,可靠地执行出来,执行出来。你还要有足够多的验证和检测,最后才能够符合投向市场被普通人使用的标准。当时我做学生的时候并没有认知到这一点,觉得我有一个聪明的idea,我把它做出来。
其实我们仅仅只能说做成一个propotype。这个prototype是你无法想象,比如你用的一个手机,可能要几万个人,上万个人的研发,每一代都要有1万人年以上的投入,才能把它做到它不会在某种情况下,比如到了这个热的地方马上就黑屏,到了东北的滑雪场就立刻关机,充电充不上了。有无数的东西需要去需要一个rigorous的process,一个严格的process。
经过了这个process,这个cycle之后,才能够把这个产品的打磨到可用的程度。比如说我们自动驾驶,最开始也是在我们这个团队开始孵化,但是我们这个过程花了7年的时间,从做出一个prototype已经在我们的园区到处跑,到最后上市卖给第一个消费者,落地是漫长,花了整整7年时间。
所以做学生的时候完全没有认知到这一点,就非常幼稚的认为自己比较聪明,或者是能编程,可能做一块板子就以为可以做出产品。
另外与之相关的一个有意思的话题,我才意识到,如果你要组织,不要说1万个人去做一个产品,哪怕是20个人,你不可能每一个需要让普通人,普通的有责任心的工作人员,他的智商或他的技能只是经过average的education和你的招聘的筛选流程的人,可以有效地发挥工作,并且把他们组合在一起。你不可能每个都挑到天才选手
[00:41:42] 张小珺: 而且如果全部是天才,也会有问题。
[00:41:44] 廖恒: 你要是20个天才肯定是搞不定的,他们之间会产生各种各样的矛盾。这就是另外一个跟企业或者是团队相关的问题。所以每个人都有自己的function,其实这个对我们的,无论是一个企业或者是一个社会,都是很健康的。否则的话只能是强者,所谓的稍微比人优秀一丢丢,或者有某一个方面有一点点优势的时候,它就会让别的人都没有存活的空间。
但事实正好相反,需要大量的有责任心负责任的人,最后才能把事情做成
[00:42:22] 张小珺: 1996年您到美国到了普林斯顿做博士后,当时对美国的初印象是什么样的
[00:42:27] 廖恒: 首先我在此之前就已经去过美国,在1987年的时候我就已经去过了。那个时候到1996年已经又是过了9年的时间。第一次去的时候觉得美国是一个fantasy land,因为那时候我才14岁,就觉得一切都像梦幻一样,因为中美的差距实在太大了。甚至傻到什么程度,回来之后就跟别人讲,或者跟我后来的太太讲,美国太好了,连街上都放着空调。
实际上我后来再去的时候,试图回忆自己为什么会有这么stupid的认知呢?实际上那时候应该是去了Stanford的那个Palo Alto的一个shopping mall。那个时候因为中国是没有shopping mall的,我们那时候只有农贸市场,只有街两边的商店。一个shopping mall就像是盖了玻璃房顶的一个街道。
所以我当时的错误印象是觉得美国太先进了,连街上都在放冷气。但是到了1996年的时候,当然就已经是成年人了。首先第一点是是有所失望,因为从一个孩子到一个成年人看世界的时候,我觉得有一种深刻的not belonging的感觉。因为我去的那个Princeton,它是一个美国的这种精英式的,就是它跟别的高校气质不太一样。
后面我会能学习到Princeton的有很多值得学习或者优秀的地方,但是那个时候我并不感觉。我只是深刻地感觉到这是一个美国精英的贵族存活的地方,但是我不属于这个阶层,所以我就要迅速地离开这个地方
[00:44:27] 张小珺: 所以你是只待了一年就马上走了?
[00:44:30] 廖恒: 当然,我还有第二重失望,是说我原来觉得,我觉得自己也许还可以做做博士后,也许有机会去做一个教职。但是我那个时候已经understand,充分地理解到,如果我要去做一个教职,我必须要重新读过博士,因为清华的牌子不够硬。但是今天可能世界已经不一样了,因为清华可能在学术进展,包括跟世界的接轨,差距已经大幅缩短,甚至局部领先。
[00:44:59] 张小珺: 那时内心有很多自卑的。
[00:45:02] 廖恒: 我不敢说是纯粹自卑,也许既有自负也有自卑。
[00:45:07] 张小珺: 当时有想过回国吗?那个时候?
[00:45:09] 廖恒: 当时我没想过,那时没想过。那时觉得回国是我只能说,那时候可能是一种错误的认知,认为是不行,所以才会待不下去,不想要有这么一种挫败感。但是后来事实证明,这种认知非常蠢。但是没有办法,年轻的时候会犯一些愚蠢的错误。
[00:45:37] 张小珺: 这个应该还不到错误的级别。
[00:45:40] 廖恒: 我觉得就是一个错误。如果我回头看一下,跟我年龄相当或者是比我小十岁的同学,他们如果在中国从事这个职业,哪怕我刚才讲的是一个average普通的人,有责任心、积极向上、愿意的、不躺平的人,他们都做得很好。因为什么呢?是人的成长,一方面是自己,但是更大的是在一个大环境里。如果整个环境,那你自然就会像在电梯上,那个电梯本身就在往上涨,这种共同的进步。
而在美国,我觉得从我去的1987年、1996年也好,他们进步得不快,甚至在退步。但是中国的过去这30年进步得很快。当然,我有幸在下半场也回到了中国,也参与了其中的一部分。
[00:46:41] 张小珺: 我在看芯片历史的时候发现,1997年芯片产业里面也有一个大事。1997年4月份,英伟达推出了第三代的NV3,他终于在经历了前两代芯片的失败之后,才刚刚站稳了脚跟。您当时有注意到这家公司吗?
[00:46:58] 廖恒: 我觉得他们那个时候是nobody。我觉得1997年,如果说芯片发展的历史,那个时候有一场更加精彩的,相当于这个主线并不是在你刚才描述的,它属于外设的外设,它并不重要。但是当时一个主要上演的大剧,是一场CPU的非常重要的时间节点。
因为我当时在Princeton同一个office的一些同学,当时做处理器的同学,最向往的是一个叫DEC的公司,叫Digital Equipment Corporation,DEC(DEC alpha处理器1990年代CPU设计巅峰也许现在已经从历史上消失了那个时候是仅次于IBM)。DEC是做小型机和中型机的公司,也是在Boston。
那么这属于DEC的末期,当时Digital有一个旗舰计划叫做Alpha这个处理器,这个处理器代表当时的CPU设计的最高水平。所以所有研究处理器的人都想要加入这个团队,然后有幸参与这么一个,就像今天大家想要去开发英伟达的Rubin(NVIDIA的产品型号)或者是Feynman(NVIDIA的产品型号),参与那个program,那代表了当下的世界最高水平。
我稍微把这个故事往回放一点,跟我刚才讲的一个垄断形成之后遏制这个innovation其实是相关的。因为这个CPU最开始是一个单核单发射,也就是每周期甚至花很多个周期才执行一条指令。
后面慢慢地出现就是精简指令集处理器,包括它的发明人今天也还是很活跃的David Patterson教授,包括曾经当过Stanford校长的John Hennessy教授,他们当时主导了一个处理器精简,把每条指令每个周期可以执行一条指令。
到了80年代的时候,1987年也许是1985年,1984年开始到1987年、1989年、1990年,这个时代出现多发射,也就是说一个周期可以执行多条指令。多核还没有出现。当时有一个非常重要的,直到今天还是处理器里最关键的竞争:如果一个处理器每个周期可以执行多条指令,我该怎么去调度?怎么生成一段软件?怎么编译成代码?并且让每个周期可以执行多条指令速度更快?
因为刚才讲的那个时候,Windows或者是说DOS加上Windows已经在桌面的CPU上形成了一种垄断的态势,但是在服务器领域还是百花齐放。那时候最红的公司是Sun Microsystem,还有SGI,还有什么,反正就一系列,包括Digital也还在,而且用的操作系统是Unix,Unix的各种变种。
这就是一个处理器发展的一个最最重要的黄金时代,大概持续了十年的时间。当时一个最主要的路线之争,就是一个静态调度的处理器叫VLIW(超长指令字,静态调度,编译器预先编排指相当于用编译器编排好指令并且执行的时候每一条指令都代表多条指令同时执行),以及另外一个叫超标量,是一个完全动态的。
我并没有预先编排哪条指令在哪个周期执行,要靠这个处理器本身把它取进来,放在一个调度的窗口里面,动态的进行调度。为什么我要专门提到这一点呢?其实后面这个重要的topic会出现在我们有关AI处理器的话题里面。
因为今天的所有AI处理器都是静态调度,包括领先世界的NVIDIA的GPU(图形/并行计算处理器,NVIDIA主力),大家其实还在走VLIW这条路,并没有走向superscalar这条路。当时持续了十年的论战,因为软件和IT系统并没有形成monopoly,所以当时除了Sun、SGI,还有HP、IBM,还有Digital,相当于群雄逐鹿。
因此就像我们中国的春秋战国,就是诸家的学说都在,而且大家都在积极地尝试证明自己的学说是对的。但是这个故事快进一下吧,它就是以一种史诗级的灾难就终场了。首先Digital破产,当它变卖自己的资产的时候,这个Alpha处理器就被Intel收购了,相当于只卖了很少的钱。
Digital最大的资产是一个叫AltaVista的搜索引擎,这个搜索引擎是predate,比Google早了大概六七年的时间。那个时候的搜索引擎AltaVista相当于是开创了搜索引擎先驱,只不过是他当时不知道怎么赚钱。虽然说他卖了很多钱,就是作为变卖资产的时候卖了很多,但是一直没有人知道怎么用搜索引擎变成一个企业可以挣钱。
技术是它的先驱,后面当然是很聪明的人发明了更好的搜索引擎的算法,以及找到了Eric Emerson Schmidt,找到了这个商业模式,所以Google变成巨头了。AltaVista就在历史当中消失了。
但是我想说的这一个论战,直到今天对我们来说还是有非常深刻的教育意义,也就是说many lessons to learn from,并且我们在继续往前走这个AI处理器的演进的时候,很有可能会从这些历史里头借鉴到有效的方向。
[00:53:25] 张小珺: 您当时的观点是什么呀?
[00:53:27] 廖恒: 在那场论战中,我当时的观点不足为道吧。因为我在Princeton做的也是VLIW,因为那个时候我从来没有做过芯片,从来没有做过一个full scale的这个真正需要take out去制造生产的芯片。所以作为一个所谓的博士生吧,我是没有判断力的,非常naive。
你要有判断力,对现实需要有认知,首先知道什么是形势,知道说周边今天热了我要穿短袖,冷的时候现实世界要感知,对现实的感知。
[00:54:06] 张小珺: 那个时候是完全没有经历了那么多的。当时在普林斯顿觉得不那么合适之后,你选择了去产业界。
[00:54:15] 廖恒: 我基本上就是直接找一个工作,谁要我我就去了,所以我也没有太多的选择。我们都属于带着我带一千美金去,可能已经算是大富豪了。有很多同学带一百美金就敢去美国了,甚至他口袋里的钱都不足以支付从机场到学校的这个taxi的钱。所以我们那个时候有比较多的现实,就觉得首先要活下来。
[00:54:47] 张小珺: 1997年就是您加入那个PMC Sierra这家公司,他也刚刚经历了一个重组,他从一个现代大公司和一个硅谷公司,然后你正好是在他们合并的那个时间点加入。
[00:54:59] 廖恒: 那个时候首先不是我的主动选择,是他们选择了我。但是我觉得这个其实它是个小公司,最顶峰的时候可能也没超过2000个人。什么概念?就是我所在的部门可能有4000多人,已经远远比它收入是它的100倍。所以PMC可能是一个small entity,但是它经历了一个波澜壮阔的,刚才我描述的,就像一种冲浪式的行业的形态。
它恰好踩在了互联网的第一波,因为它做的是这种传送网,就是说互联网的干线的基础设施里头的几个关键的器件,城域网包括这个城市之间的这种长距离的传送网,它恰好是做这个。因此那一波,它的跟今天的我们看到的这个资本市场的狂潮一样,那时候PMC可能它的市值曾经一度成为加拿大整个国家可能No.1市值最高的,他可以轻松地买下蒙特利尔银行。但是这种幻觉很快就消失了。
好了几年,好了,我1997年去,2000年就破灭了。2000年,因为你们可能不知道,2000年,因为
[00:56:35] 张小珺: 您看上去年纪很轻。
[00:56:38] 廖恒: 那个时候甚至还没出生,但是2000年有一个fantastic的出现了。我经历的第一波泡沫和破灭的过程,当时互联网成为世界第一热点,认为世界上所有东西互联网改变一切。所以一方面就是微软要血拼当时的浏览器,叫Netscape,微软做这个IE,一定要把Netscape干掉。就是从这个入口,这个portal,就像现在所有的互联网应用,这个用户的这个入口吗?
当时也是一样的。所以在应用层呢,大家认为这个浏览器是第一入口,因为所有东西都要从浏览器进去,所以谁控制了浏览器,谁就有优势。那么在基础设施层面,大家认为世界上的一切东西都要经过互联网,就拼命地全世界在极度扩建干线以及接入网,就是让每个城市都能覆盖互联网,城市和城市之间的光纤都要铺设得足够大的带宽。
所以当时PMC就属于一下,这个股价就像今天英伟达或者是寒武纪一样非常高,对吧?但是很快你就会发现,当然我不是说这些,这里头有个最大的economic的这个measurement,就是说谁投资了,他得要能赚回来。
那么这个互联网的bubble大概就持续了三年的时间,就迅速的就发现那些投资了,比如说美国可能直到今天用的光纤还是2000年布设,因为它突然一下布了那么多,发现没人买,没人租,就会发现这个变不了现。我觉得这个问题在中国今天的AI并不见得存在,但是在那个时候的互联网在美国是确实存在的。
[00:58:49] 张小珺: 在那个时候经历了一个互联网的bubble burst(泡沫破灭),但是后来互联网公司它又起来了,对吧?2005年。
[00:58:57] 廖恒: 互联网公司应用公司起来了,对,应用公司起来了,但是做基础设施的一直没有再起来。
[00:59:02] 张小珺: 一直再没有起来,为什么?后来你也没有想过要换工作跳槽?
[00:59:06] 廖恒: 觉得说你认识了一些人,或者是别人抛弃你还是你抛弃他们的问题,你不愿意抛弃他们。我也没有这么明显的去拷问自己,但是我只是觉得说我还是想要找到另外一个产品,可以让这些做芯片的同事或者自己有机会做另一个产品,带来新的收入。
[00:59:37] 张小珺: 后来有找到吗?
[00:59:39] 廖恒: 后来我们进入了IT行业,开始做硬盘,就是storage存储相关的东西。也服务的客户也从Cisco、Ericsson、Alcatel这种电信公司切换到像HP、IBM、Network Appliance这种IT行业的公司。因此就有机会去学习到电信行业是什么样的,IT行业是什么样的。
IT行业曾经是一个利润很丰厚的行业,比如说像EMC、IBM这些公司卖的设备,它的利润都是很高的。这个IT传统的IT的OEM,HP这样的企业,他们恰恰就是在hyper scalers(超大互联网公司)出现之后就开始凋零。为什么呢?因为所谓的hyper scalers,就是说这种超大规模的互联网公司,他们都需要大规模的基础设施。
比如说在世界全球市场上,今天服务器就是server或AI infrastructure的采购量,这些大型的,我们的术语叫OTT Over the top(超大互联网公司或者国外称为hyper scalers或者是超大规模的互联网企业),他们的采购量超过了全球的一半以上,甚至60%、70%甚至80%。
所以当这种企业具有如此大的购买力的时候,他们就会给brand name的OEM产生巨大的压力。因为过去的brand name的OEM,他们的优势是他可以做出较高质量的产品,但是他服务的对象是首先是Fortune 500,然后再扩散到Fortune 1000、2000,或者说全球上千万上亿个各种大中小型、巨型、大型、中型、小型企业。
因此他需要这种广覆盖的能力,比如说你要卖服务器到中国,可能每个县城都得有服务点,因为那个县城可能有一千家企业是你的客户,每个可能只买了两台、三台、十台服务器,但是它出了问题需要有人去上门服务。但是Hyper Scaler跟这个特点有本质的不同。首先它数量很少,全世界可能英国有多少家,美国可能是七家还是多少,中国可能也差不多七到十个,它非常集中。
第二,它的地理位置也很集中,所有机器都摆在巨型数据中心里,并不需要你到陕西的某个县城去设立维修店。第三,当它采购的量是你生产的东西的70%时,它的定价能力很强。这就是我刚才讲的之前提到的另外一个驱动行业改变的因素。
[01:03:14] 张小珺: 最后那一年您从PMC回来,2016年这家公司也出售了,以25亿美元,您也是刚好经历了。
[01:03:22] 廖恒: 这个周期其实恰好是我刚才描述的日落,就是我刚才描述说应该是在那个时候,差不多就代表了
[01:03:33] 张小珺: 整个美国科技行业
[01:03:36] 廖恒: 对半导体的彻底失望和抛弃,因为首先是华尔街对他们的抛弃,因为他们的PE可能只有3,平均every3到5吧,这是什么概念?
你今年的利润是10亿美金,你的市值只有30美金,给你一个reference,比如说今天你去看中国的AI芯片公司,它的price earning可能到6000、8000这种数字,首先是资本市场对半导体行业的彻底抛弃,因为它没有新东西,也没有任何理由让大家觉得兴奋,因此当时出现的就是brockham模式,就是Hock Tan一个天才的这个leader、business leader,他发明了以小吞大,先去private equity借一笔钱,然后买一个比他大10倍的公司,然后用低价买进来,然后再把它重组,把所有重复的部门的人员都给删除,然后利润不好的产品,
那么他的报表就会变得很好,这样的方式去,其实这是一个重组并购,属于一个行业的末期,相当于有一些人在清盘这个行业,当然您刚才讲的那个NVIDIA属于给这个行业注入一种全新的希望,所以我们从业者其实都非常尊重这个英伟达所做的贡献
[01:05:21] 张小珺: 这个日落真的很漫长,他从2000年,就是您加入这个公司三年之后的十几年,都是一个漫长的日落时期,身处其中是一种什么样的感受?我觉得如果是其他人
[01:05:33] 廖恒: 我觉得第一是恐惧,因为每天大家同事一起聚在一起吃午餐,或者是把自己的饭盒在微波炉里加热了,大家都在谈论下一个裁员是哪天发生,但是对我来说是一个,当时我的夫人太太也很给了我很多的支持,或者说说服我不要放弃,因为我觉得有任何一件事情都有两面性,首先说给了我充分的思考和观察的机会,去思考一个技术它是什么样的技术,什么样的产品定义有机会变现,或者去策划一个plan,里头有技术也有business,也有对行业的愿景,因为我有太多失败的经验,无数次尝试,直到另外,虽然说我一直没有被淘汰,直到最后一天,它也给了我很多观察者的身份,比如我去拜访过很多次这些IT巨头,
IBM、HP,长期跟他们打交道,每个月都要去一到两次Texas,还有什么IBM的北卡,因此我学到了很多,包括Boston的这些EMC的白头发的工程师,我从他们的身上学习到了这个行业原来是这样一回事,更有一种历史的perspective,另外我看到了很多失败,知道什么样的东西迅速地触发这个警报,说这个东西一定不行
[01:07:36] 张小珺: 在这漫长的日落期之中,您觉得您最大的learning学习到的是什么?今天看这段经历也许是很宝贵的,因为如果没有它,可能没有你后面
[01:07:49] 廖恒: 我觉得我学习到,我去海思面试的时候,面试我的领导问我说你有什么可以带来的,因为华为当时他们想进入某一个领域,但是这个领域对他们来说是新的,所以就要去招一个在这个领域里头已经从事从业比较久的,这就叫明白人,我说我没有太多的成功的经历,我有太多的失败的经历,所以我可以告诉你,当然我经常我也会误杀,我的判断也不是全对,但是我有特别多知道怎么样不行,因此要努力去规避这些失败的因素
[01:08:38] 张小珺: 能不能说几个,说三个可能会失败的因素
[01:08:42] 廖恒: 一看就不行,比如说我们最开始要去做这个ARM server,我们想要做一个CPU,然后去取代这个X86(Intel等的CPU架构)的处理器。我第一感觉,第一个失败,这是我们现在图灵业务部的一个当时的一个No.1的产品。当时我就每次都跟领导说千万不要做这个,因为这个东西没有市场,或者说没有客户需求。
当然我这里头还是要谦虚一点,我承认我的错误,我当时的判断是完全错误的。因为CPU供应很充足,并且这个X86的生态,当时AMD还不是特别明显,但是Intel的生态大家都习惯了用。你要去改变别人的习惯,通常可能需要好几倍的优势,要不你便宜是人家三分之一的钱,要不你性能比他好三倍。那么当时我们是不具备所谓的价值优势,这是我的逻辑。
但是这个逻辑可能我说的是错的,后来事实证明我totally错了。所以我当时给大家的建议就是说我们一定要找到客户在哪。当时我想到唯一可能存在的客户就是因为中国那个时候云,中国的Public Claude还没有没有特别大的规模,虽然云计算公司都已经成立了,但是他们还没有形成很好的正循环。所以我说唯一的机会就在美国,我们一定要立刻派人去微软和亚马逊。
所以我们就立刻奔赴那个Seattle。但是很不幸,实际上这个action并没有错,我们也几乎即将进入,有机会在微软或者亚马逊的云上面去部署这个ARMCPU。那个时候是2016年,2017年开始来了,就是大概2017年吧,已经有机会进入到这个大规模的主流的云服务商作为CPU供应的时候,就出现了中美科技战,然后这个故事就终止了。
这还是那个时代的事,那是那个时代的事。但是在这个故事中,又科技战之后又重新回来的时候,今天我们看到ARM server确实已经在,甚至有prediction两三年之内可能会超过X86在这个云所谓的数据中心上面。因为这些企业他们各种各样的人都在继续努力,甚至他自己也做了ARM的CPU。我们在中国每年都是上百万级别的部署。
它的理由并不是一个pure,不是纯粹的价值理由,不是纯粹的说我有三倍的竞争优势,而是有很多宏观的政治因素。比如说我们中国的关键基础设施不能再像伊朗那样电站和基础设施被IT侵入,我们必须要有自己的处理器。而且我们的产品也进步得很快,虽然说不会有三倍的优势,但是不比它差,完全到了可用的程度。因此整个社会都比较ready,而且这个产品也相当成熟。
这个过程又花了十年的时间,但是人的一生一共有几个十年?所以我说我当时的这个assertion是是错的,但是在那个短的时间窗口里也没错。
[01:12:48] 张小珺: 这是第一个。
[01:12:50] 廖恒: 还有两个吗?还有两个,就是我们我觉得知道什么是不行,什么是行的。我能讲的基本上都是错误的例子。当时我们想要做这个昇腾的芯片,然后领导说我们一定要做一个能够做训练的,能够构成大集群的,就是说旗舰产品。当时我去试图说服领导说千万不要做这个,卖不出去。因为我并没有看到中国群星璀璨的那一天。
在2016年的时候,我确实没看到所有的重要的算法和发明创造都是在美国,当时这个华人也没有出彩。今天在美国可能只是Chinese in America competing with Chinese in,那个时候还没有这么明显。所以我觉得做一个面向训练的芯片,而且中国的互联网公司也没有开始自己训练模型,所以觉得这个产品一定卖不出去。我们就要做一个小的昇腾。
我们第一次发布昇腾架构的时候,希望它覆盖从一美金到一亿美金的六个或者八个,八个order of magnitude,八个数量级的广覆盖。我们确实也做到了,最小的产品是在我们的耳机里面,就是那个Clip耳机,最大的产品是现在的几十万卡的训练集群,确实做了,可能都不止八个数量级的差别,无论是从功耗还是从售价上面。
但是我当时非常不看好数据中心的产品,我非常看好边缘的产品。事实证明今天来看,数据中心从收入、利润或者是这种规模,是远大于边缘侧的产品。虽然我们耳机也卖得不错。所以我一直想对大家说,我们先现实一点,做一些能卖的东西。但是事实证明我还是错了。因此我说即使你有这么多先验的认知,它并不可靠,但是它还是有一定作用的。
[01:15:30] 张小珺: 您看,您刚才说的几个错误,其实都是基于一种悲观预期在做选择,就是经历了美国芯片行业的衰退,其实有关系的。
[01:15:38] 廖恒: 也许有,也许就是训练了我一种这种比较悲观的,或者首先看到事情不行的那一面,然后努力去逃脱这种这种destiny,这种必死的预期吧。
[01:16:00] 张小珺: 而且您刚才举的几个例子,都是发生在科技战之前。
[01:16:04] 廖恒: 是的,包括我们的自动驾驶也刚才举了,说7年的时间,我们2019年就开始做自动驾驶的芯片。
[01:16:11] 张小珺: 在科技战之前,外部环境还比较好的时候,其实你们做的选择都是小选择,都不敢赌。
[01:16:17] 廖恒: 那个时候我还必须得承认说,我们的华为公司的一些主要领导,包括海思的领导,或者是集团的某些领导,他们的格局比我要大得多。因为我相当于是小池子里的泥鳅,突然到了这么一个大海里面,所以还没有学会更大的视角。但是随着后面我们被放到这样一种困难的局面,学会从更大的角度去看待问题。
您看我刚才举的那几个例子,从微观层面上看上去也都没问题,但是从宏观层面上,我刚才讲我的判断是错的,是因为我错在了宏观层面。我没有看到更大的格局,没有看到对未来的预期,世界会变成什么样子。其实这是属于阅历更浅,或者是在小池子里头坐井观天久了之后,比较容易会有这样的局限。或者换句话来说,越年轻越容易犯这样的错误。我现在已经50多岁了,那时候才40多岁了。
摩尔定律 [01:17:32]
[01:17:32] 张小珺: 我有一个专业问题想问芯片行业的摩尔定律,大家会觉得它开始放缓了,它背后的原因是什么?
[01:17:40] 廖恒: 首先摩尔定律不管有没有科技战都在放缓,这是个客观事实。那么摩尔定律有三个方面,它的经济性,它的性能和它的能效,就是我们所说的PPA(Performance性能,Power功耗Area面利),就是它的面积越缩越小,所以它平均到每一个晶体管的成本就降低了。这就是说,使得世界上的产品只有一样东西是反通胀的,就是电子产品。这就是摩尔定律带来的最大贡献。
你要是买任何东西,十年前买的肯定比现在便宜,只有电子产品,十年前的电子产品今天除了可能有点收藏价值以外,没有任何价值。这是摩尔定律带来的经济性的改善,反通胀。第二个呢,是它的性能,原来认为越小的管子,它的速度越快,所以就性能提升了。第三个是它的能效,就是翻转一个更小的水桶消耗的能量比翻转一个大水桶。
但是大概是在7纳米甚至16纳米的时候,摩尔定律的经济性已经停滞了,就是每个管子的成本从那以后不但没有变便宜,所以经济性的benefit已经没有了。它的performance benefit非常小,虽然说也在慢慢的提升,但是它并没有大幅提升。
但是现在摩尔定律真正有benefit的还是在energy cost上,因为它那个水桶变小了,所以它每一次倒掉这一桶水所消耗的能量更少,就是每次翻转所消耗的这个picojoule(皮焦)或者femtojoule(飞焦)的energy cost变小。
其实这个地方,这个话题说得很本质,我可以这样跟你讲,中国的半导体和台积电的半导体的差距,主要的差距就在这个energy cost上。比如说你要我提供一个十万个GPU的算力,我是轻松可以提供的,只不过我比你耗,比这个世界第一的产品能耗还是要大一点。
[01:20:11] 张小珺: 但是我们能源多
[01:20:13] 廖恒: 所以这个对于我们来讲,对中国来讲,这不见得是一个。首先这个answer已经有很多方面了,完全不用担心说我们如果说彻底断线了,是不是中国就没有算力了?这个答案是Clearly no,我们完全是有算力的。第二个问题是说我是不是更贵?不见得。第三个呢,是我是不是更耗电?我是更耗电,没办法。
但是您刚才讲的中国有energy,我们的电力供应可能是美国的三倍,然后我们有大量的spare的energy。中国的数据中心的电费可能是美国的五分之一、四分之一,或者新加坡,我们平均来讲都是他们的四分之一,差不多这个水平,小于等于四分之一。所以首先我们并不想要以这个为理由去用一个更耗电的东西。
我只能说保底这件事情并不需要过于担心,而且中国的energy cost、energy的supply是完全没问题。
[01:21:29] 张小珺: 所以摩尔定律还在继续
[01:21:31] 廖恒: 摩尔定律当然是在继续发展,它的更加精确的描述,我觉得应该不能再 用纳米这种长度的尺度去描述,我觉得应该要用原子的数量去描述,就是因为Angstrom(埃,原子尺度)是十分之一纳米,就是说如果你用Angstrom这个原子的尺度,它已经到了原子尺度了,因此呢,我们知道摩尔定律必有终结的一天,而且现在因为一个晶体管的尺度,比如说最小的feature可能已经到了Angstrom的级别,这个级别就是以多少颗原子为单位,今后干脆就应该用多少颗原子来度量这个东西,因为你最后不可能小到一颗原子吧,有和没有,这个是以它的终极的这个终点在那里,
但是我觉得我们姑且还是期待摩尔定律可以继续下去,但是它的经济性一定会变差,会变得越来越贵,而且第二点,我刚才描述了一点,说大家如果习惯了用一种尺度去度量一个晶体管的或者半导体的先进与否,我们要不换一种尺度,说一个东西它的操作的时间能不能变快,从一种空间的尺度切换到一个时间的尺度,因为我们所需要的是时间,我需要一秒钟做更多的运算,然后我们是不是可以换一种energy的尺度,每次我把一个管子翻转一下,我消耗的能量是多少皮卡焦耳的这种,你就会发现当你切换一个尺度呢,我觉得会产生一种本质的区别,比如说你度量一个人,他是长相好还是他更聪明,
还是说他考数学好还是考语文好,他可能同一个人,他的考分不一样,那么因此你考什么科目,我们所讲的这个韬定律考的是时间尺度,说我就想要电路更快,我们也可以换一种卡诺什么焦耳定律,说我考的是我干同样的事消耗的能量更少。
[01:24:05] 张小珺: 换一道题
[01:24:07] 廖恒: 我们换一道题,也许答案就不一样。其实这些答案其实有很大的,虽然说不一样,但是它有很大的彼此的关联因素。因为在只要理工男基本上都学过这个电工原理,就是说影响一个电路的翻转的速度是电容乘上电阻(决定电路翻转速度,摩尔定律本质)。我们知道摩尔定律它有两个因素,它是肯定会变差的。因为一根线如果越细,它的电阻肯定会越大,所以电阻变大了它就变慢了。
第二个因素呢,电容呢是跟两个极板靠得越近电容就越大,所以这一方面它是变坏了。这个极板变得越小,它电容会变小。我可以告诉你说,摩尔定律为什么说过去从16纳米或者7纳米以后没什么速度?本质原因就是因为它的电阻变差了,而且电容也没有显著的变好。因为有一个因素让它极板变小,电容应该变小,但是它靠得越近了,两个是互相抵消的因素。
实际上所有半导体的进步都是靠电容变小,电阻是越来越大,这是摩尔定律的本质。那么因此我们看到说,当它微缩的时候,它没有变快,主要的原因是电容略略地变小了,因为有两个互相抗衡的因素,所以它没有显著地变快。因为整个东西变小了,它需要释放的电子变少,所以它还是能效有收益,速度没有收益。成本加工这么微小的东西消耗的成本肯定是增加了。
这就是刚才讲的摩尔定律面临的一些困难吧。但是这个困难其实无所谓,因为全世界都在期待这个产业的规模非常庞大,所以大家还是应该持续努力的。我刚才讲的时候,如果换一道考题,是不是答案是不一样的呢?我给你举个小的例子。如果我们想要缩小电阻,我就应该把那个线搞粗;如果想缩小电容,我让两个重叠的两个电极的重叠面积最小。
但是你想想,如果两根线是平行的,它重叠面积很大;如果我把它变成正交的,它重叠面积就只有正交的这个交点这一部分是重叠。所以呢,一种结构性的改变会带来微缩。按照原来的图案,如果我不想改结构,那你就是一种答案;如果我现在说我已经缩小不了了我把两根平行的线改成垂直的线,我速度是不是会快很多?答案是一定会的。
这就是让我想起一个您可能之前也给我提过一个问题,说应该提一个冷问题,就是答案是not so obvious的。那么我给你这个冷问题,其实就在讲摩尔定律和韬定律的差别。如果你猜,大胆猜一下,人类历史上有关灭鼠器的专利有多少?
[01:27:50] 张小珺: 随便猜。
[01:27:53] 廖恒: 我也没有答案,你们可以去问问豆包,或者是自己上这个专利网站去查一下。我好像在1900年的时候,美国专利局局长给国会提了一个提案,写了一封信,说应该取消美国专利局,就是这个组织已经不需要存在了,因为人类如此的聪明,已经把世界上所有需要发明的东西都已经发明了。
其中一个例子是捕鼠器,可能有1000种,1000个专利,各种各样的灭杀这个害虫这个老鼠,因为人类基本上都讨厌老鼠。美国专利就可能那个时候1900年可能就有上千个专利,怎么去杀老鼠?为什么这是一个有意思的问题呢?
因为我在2020年的时候曾经努力地去学习光刻机是怎么制造的,所以我找到其中一本Mechatronics,就是机电系统设计的这么一本教科书,当时给我留下了一个非常深刻的印象。因为这个教科书的第一页里头就有一张图,这张图描述了十种杀老鼠的办法。那么我试图,虽然我现在找不到这个书了,我试图描述给你看一下。
如果你是一个化学工程师,你就会说我要是杀老鼠,我要弄一种毒药,我就让老鼠在它爱吃的东西,当然杀老鼠都离不开诱饵,都得要有老鼠爱吃的东西,要不是一块什么肉上面给它放上毒药,老鼠一吃它就死。如果我是个机械工程师呢,我会做一个夹子或者一百种夹子,老鼠想要来吃这个诱饵,它就会触发到这个机关,我要不就夹死它,要不我就把它关在笼子里。总而言之,各种各样的办法。
如果我是个电气工程师,我就会弄一个高压,老鼠只要一经过我这个地方,触发一千伏的电压,立刻把它击杀。其实我想说的是,摩尔定律也好,韬定律也好,无非是这个人类工程师用爱迪生式的思路要解决问题。首先第一个问题是什么?第二个我有没有找到一种有效的办法去解决它,去面对这个问题并且找到好的答案?当然你要做产品,你还要有经济性,这个解决的办法要足够便宜。
第四个解决的方法是可重复的,不能说质量不行,这一个产品可以解决,再造一个产品它不可靠,各种各样的因素叠加上去。这就是我刚才讲的大前提的问题,因为我们坐在这里再去想说我怎么去复现台积电或者是英伟达的。
[01:31:22] 张小珺: 第一个我不需要。
[01:31:25] 廖恒: 第二个我再怎么想我也不具备我的先决条件,就跟它不一样,你不具备那个context,所以刚才讲了很多其实已经开始偏到一种形而上或者甚至一种Philosophical的视角。
18层宝塔 [01:31:45]
[01:31:45] 张小珺: 刚才我们回顾了您所经历的芯片历史。第二部分我想让您,您如果是一个导游,您带着我们来横向地观察一下整个这个行业,整个产业链。因为您有一个,你跟我说这是18层宝塔,你还不认可黄仁勋说是五层蛋糕,你认为有18层,你带我们游览一下这18层,这是一个横向的概览。
[01:32:08] 廖恒: 我们刚才描述,当然我们因为也许是cultural background不一样,黄仁勋可能经常吃法式的甜食,所以他会用蛋糕作为类比。我作为一个中国人,当我想象一个层次性的结构的时候,我首先想到的是我们的这个应县木塔之类的这个宝塔,但是实质上其实是一样的,说的是同一件事。
也就是说,如果我们先抛开这个宝塔本身,大家一定听过一种co-design的概念,所谓的协同优化,软件硬件协同优化,或者是算法和芯片Infrastructure的协同优化。一旦讨论到协同优化,就已经涉及到两层了,就是说七楼的同学和六楼的同学,他们互相认识,并且知道各自的困难是什么,要一起工作,一起工作,并且要互相退让,互相包容。
你这个地方内存带宽不够,那我就算法上想办法省点带宽;你那个算力比较富裕,那我就用浪费算力去省带宽。那我给你point out一个非常intricate的、非常微观的层面,如果你去看这个blackwell的芯片和今天的昇腾,你会发现一个可能从来没有人这么微观地去描述我们之间有什么区别。
我们就讲Vector算力和Cube算力,因为Cube或者他们叫做Tensor Core,我们叫做Cube,就是我们描述的就是3D的做矩阵运算的单元,称之为Cube,他们称之为Tensor Core。比如说他们是32比1,我们是8比1,这代表了什么呢?它会有什么重要的Implication呢?
因为我觉得这个差距呢,也许有点像我们假设一家四口人,也许在年轻的时候只能买得起100平方的房子,后面你职业比较顺利,年纪也略大,积累了一些财富,你可能买一个200平米的大平层,也许再过五年你又得到了升职,你买了一个四百平米的别墅,但是你不还是住着一家四口?
你就会发现,当你住在四百平米的别墅的时候,可能你堆了很多垃圾,比如说快递的箱子很多都没拆开,就堆在某一个没人去的地方,有很多冗余,很多冗余。那么我们想说的是,说其实突然叫你再回到100平米的小公寓的时候,你其实还是能过日子。
那么8比1和32比1就意味着,当你去利用这个算力的时候,你的模型一定要考虑:如果我的空间很富裕,我就随便浪费;如果我的空间比较稀缺,我就要想尽办法说我要充分地利用这个空间,要不打造一个叫什么
[01:35:51] 张小珺: 经济适用
[01:35:53] 廖恒: 或者是打造一个储藏的什么架子,把东西不要的东西尽可能清理出去。你就会发现,如果你看一下DeepSeek这个模型,我觉得他们做了一些非常有意识、非常conscious的选择。我觉得这个他们的这个方向感是非常清晰的。
比如说2025年之前,他们就意识到说,我一定要省算力,我不要因为Scaling Law大家都相信说更多的参数可以带来更强的能力,但是是不是每一个参数都得要这么暴力地去算一遍才能够获得这个能力呢?我能不能只算三十二分之一呢?
我觉得DeepSeek的这个V1或者V3吧,R1充分证明了一点,并不需要,也就是参数的稀疏激活,说我只要聪明地选择其中三十二分之一的参数参与运算,我不就节约了32倍的算力嘛?访存也节约了32倍。当人有意识地去面对这个问题的时候,获得32倍的加速。
2025到2026年,他们又做了一件方向目标很清晰,说如果序列很长,是不是序列越长我就要付出4K的序列和一兆的序列可能差了256倍,是不是要付出256倍的计算代价才能处理这个长序列呢?事实上不需要,人家做了压缩呀,稀疏化,说256兆里头我不需要每一个都去算,我要去挑选其中1K或者512个来算,我就节约了这个算力。
你看这样的挑选的过程是要付出复杂性的代价,所以你会看见这一个模型是非常精心的、有意识的去做co-design。它有意识地说,我们就是只有100平米的公寓,我还得要住一家四口,我还得要把自己孩子养大,而且我还希望自己孩子特别优秀,不比马斯克的孩子差,需要付出更多的心血,更大的复杂性。实际上这个复杂性就来自于我刚才讲的vector的运算。
所以我们从这个角度来说,可以讲DeepSeek是非常匹配8比1的算力,因为为了挑选出来那个送到去做暴力运算的东西,它付出了更多的vector的计算过程去挑选它。而我相信Anthropic的模型或者是OpenAI的模型,它不需要这么做,因为它买来的机器就有32倍的Cube算力
[01:39:02] 张小珺: 所以我换一种说法
[01:39:04] 廖恒: 说我们现在的芯片恰好是Blackwell的四分之一的规格,但是在跑DeepSeek的时候好像也还可以
[01:39:15] 张小珺: 这就是 co-design。
[01:39:17] 廖恒: 这就是跨了两层楼,就是说做算法的同学,它的模型优势应该建立在什么地方?这就是co-design。这个co-design其实导致了在这种模型里头,你如果去推一个DeepSeek V4 Pro,好像跟我每天在使用的Claude什么4.8或者Fable,我没觉得吐字比它慢啊。当然,我们依然需要尊重别人做得好的地方,该追赶的地方追赶,该超越的地方超越。
我可以讲,无论是我们做芯片的,或者是做模型的同学,如果有这一层consciousness,这一层对大前提的一种understanding,我们的努力方向会发生非常大的不同。我明显地必须得要给这个梁文锋给他热烈的掌声,因为他有意识地主动地去选择了更高的复杂性、更难的收敛算法。
在这么复杂的算法,可能收敛比较困难,会出现各种各样的异常,他努力地去克服这些问题,因为他有一个提前的感知,并不是说等到五年以后突然穷途末路完全没有算力的时候,他已经先知先觉地选择了去提前的去解决一个他所预期到的问题。这就是这种先验者的价值吧,相当于他引领了,别的人也会在这条路上继续努力。
在2019年前,我们也是生活在一个幸福的世界,因为当时海思虽然说很隐身、非常低调,但是我们的规模已经很大,也许是世界数一数二的,从wafer采购量和产品种类来讲,都已经是世界至少是top3吧规模的半导体。只不过是它的所有产品只是服务于华为本身的产品吧。但是我说的所谓的幸福时光是说你采购的一切能力都是世界最优秀的,因为你付得起钱。
比如说我们用wafer,我们就会用台积电的最最先进的wafer,甚至在世界其他人包括英伟达这种公司都不会用的工艺,我们是第一个用的,不是第一个就是第二个用,因为我们的这个产品所处的地位可以支撑这样的支出。但是当这一切被打破之后,我们就不得不去面临更困难的事情了。
第二个,我过去这些年学到的lesson就是说也是可以干的,就是说当你面临被逼一下、被逼一下的时候,人就不得不去学习说楼下是怎么回事,到底怎么去把7纳米、5纳米工艺要做些什么努力。
我觉得可能最有价值的一点,就是说一个看上去impossible的问题,把它拆解了之后就变成了10个或者100个更具体的问题,然后再把这100个问题拆解成、再拆解一层,可能变成1000个物理、化学、数学的问题。这个拆解其实把这种宏观的,比如说今天你要讲说你能不能跟台积电一样好,简单的答案是不行,但是这个答案又不能帮助到你。
你开始拆解一层,你会发现如果这些、这些地方不行,那什么地方是行的?所以一个unsolvable的问题就变得具体化、具象化。具象化了之后,你可能可以解决其中的100个问题,可以解决80个,你会发现自己好像没那么糟糕。再把80个问题进一步做一些改进,你会发现说我其中10个问题比别人做得更好,也许我的这个可以扬长避短去弥补自己的缺点。
[01:43:53] 张小珺: 所以18层是哪18层?
[01:43:55] 廖恒: 18层首先最顶层就是应用,比如说豆包啊,或者是阿里的支付宝,这些东西是应用层。
[01:44:08] 张小珺: 金字塔塔尖。
[01:44:09] 廖恒: 金字塔塔尖,因为它直接的可以变现,而且它技术固然有它的技术,但是它不见得是一个爱因斯坦级别的技术难关,更多的是在运营或者是商业的设计。最底层就是一些非常dirty的东西,比如说矿石啊,什么采矿,什么去尼日利亚挖一个矿,或者是因为你有最底层,相当于都是物理、化学、矿山这种东西,因为你半导体本质上是一堆沙子再加上某一些稀有的金属。
再往上一点是器件的设计,比如说你是FinFET管子或者GAA的晶体管,或者我刚才讲的,如果我能够把这个管子的设计从两根平行的线变成两根垂直的线,我是不是速度一下快了十倍?因为我电容缩小了很多。再往上一点就是说如何在一片Wafer上制造上万亿个晶体管,并且把它可靠地制造出来,它还能工作五年、十年的时间不会出现失效,这个是特别难的。
但是所幸中华民族也有非常多很厉害的人,有些是(中国)台湾人,有些是大陆人,他们作为一个整体掌握了这些能力。所以他们碰到困难的时候,受到机器的限制,你没有最先进的光刻机,你没有最先进的数百种或者甚至上千种的设备,也有无数的人努力地在去制造这些设备,克服一个一个的。我想说的是这些,这可能就已经到了第五、第六层了。工艺制程,你有没有可靠的五纳米制程?
你做不了三纳米该怎么办?一层wafer做不了,你能不能堆叠?堆叠需要什么机器?怎么把这些东西可靠地堆叠又不会造成散热的问题、供电的问题?这属于楼下的五层、六层的问题。再回到第七层,大致芯片所处的层面,就是怎么样去最好的对下利用面对自己的这个物理的约束。因为刚才我们讲的,如果我们的大前提,我们的工艺制程也不一样,别人不需要堆叠的地方我需要堆叠。
面对这些物理约束,我们需要提前四年去设计下一个芯片的架构,让软件比较容易编程。所以芯片之上就是编译器、编程语言、最合理的并行切分的方式、强化学习,然后如何做KV Cache,怎么去做模型的压缩,怎么做稀疏化,怎么发明一个新的数据格式,让这个算法的人员既可以用更低的精度又不会导致模型的性能收敛不了。
从算法上大家可能都比较熟悉了,你有了一个好的慢思考的模型,具有Agentic的模型,你怎么去搭建一个KV Cache 的系统,怎么去搭建一个Agent的框架,然后最后再去构建一个有价值的应用。那么那些层其实绝大部分人是比较可见的,所以七层以上是大家可见的世界,七层以下就属于地下室,属于看到的人人群相对少一点。
[01:48:05] 张小珺: 您熟悉的这里面是哪几层?我刚才讲的那个。
[01:48:09] 廖恒: 因为我哪一层都做得不够好,所以我基本上就只能够瞎混,就是说在这些层、在这些层之间试图去流窜,帮助那些每一层更专业的同学去bridge这个gap。因为很难做到既深又广,就像你挖一个洞一样,你可以是一根非常尖的针,你扎在一个西瓜上,你可以扎穿这个西瓜;但是你也可以是一把刀,你可以把这个西瓜切成两半。你不太可能既是一根针也是一把刀,这就是不可能做到又尖又广。
但是我觉得这些恰恰是说我们其实并不是特别缺每一层的专家,不光是我们华为公司,或者放眼整个世界,因为那都是有一个专业,而且大家可能在某一种职位上面工作时间久了,自然会对它有所认知,会不断地增长积累经验。但是能够跨层的地方是比较稀缺的。
比如我刚才讲的,也许世界上有十万个AI算法的研究者,也许只有梁文锋一个人深刻地认识到他要突破刚才讲的稀疏化的问题,用更多的复杂性去换取更小的算力。这是一个方向的选择,很多人不会这么选。所以这个跨层是co-design的核心。当一个人能够跨越这个层次的时候,就会像一根线一样把很多珍珠串在一起,会形成一个项链。
[01:50:22] 张小珺: 这18层摊开看,中国比较有优势的地方在哪里?比较薄弱的地方在哪里?
[01:50:28] 廖恒: 我觉得优势的地方很明显,首先应用层很有优势,像支付宝、微信支付这样的东西,在其他地方就没那么方便。你现在基本上,我已经有好几年都没有见过人民币,我就没有摸到这个钱,我已经好多年都没有摸到钱了。但是如果你去任何一个其他地方旅游,你就会发现你要不就还得带一张信用卡,否则你hotel可能都check in不了;你要不就还得带一点现金,生怕在日本买个火车票买不到。
所以应用层我们是非常有优势的。而且因为中国人已经非常Digitize,尤其是在消费者的群体里,那么一直到芯片之前,我觉得中国的优势至少是足以不比别人差,算法更是群星璀璨。我觉得全世界可能有70%的优秀的算法人员都是中国人。为啥呢?
因为前一阵看到这个伯克利一位教授写了一篇文章,说他说现在他们的教育已经到了伯克利的理工科的教授写了一篇文章,说他在课里要教会学生做乘法分配律,就是A乘以B加C括号等于A乘以B加A乘以C。所以就是说我们的gap是非常巨大的。
各个父母都对孩子的教育很重视,而且我们有科举的传统,有学而优则仕,而且我们的人民的上升通道还是存在的,通过自己努力考一个好大学,学得更好,还是有机会的。中国的人才供给不缺,而且远远碾压性的优势。当然我们的变现的能力也不缺,因为中国人都追求美好的生活嘛,每个人都想要过得更好,赚更多的钱,或者获得更大的成功,不管成功的度量是什么。
[01:52:47] 张小珺: 芯片好像刚好处于这个十八层宝塔中间,下面是地下室,上面就是楼房,它处于一个中间地带,一个连接处。您2016年回国,当时对整个芯片行业的感受和到了2019年是不是也发生了很大的变化?虽然只有三年,我觉得16年的时候我是不相信的。不相信什么?不相信我们中国有这个能力。那您回来
[01:53:17] 廖恒: 我回来是因为我太太,因为我太太坚决地说,生了孩子必须绝对不能让他长成一个ABC,没有自己的identity,或者是说试图的在一种矛盾当中寻找自己的个人的自我的定位吧。
[01:53:37] 张小珺: 当时小孩多大?
[01:53:39] 廖恒: 我是2008年就回来了,因为我小孩三岁。所以你2008年回来?我2008年虽然还在同一个公司任职
[01:53:48] 张小珺: 但是你人也在国内?
[01:53:50] 廖恒: 我人已经在国内了。我的太太比我认知更早,她更加坚定地说不要在国外,一定要在中国重新来过,尤其是考虑到后代,那么她很坚定地一定要回中国。所以我也是那个时候是被动选择回国。但是到了2016年加入海思,我觉得也许你讲这个职业的这种perspective,更大的认知是在那个地方的切换。
我觉得在16年以前我是完全不相信,就是说请注意,外国人是有一种arrogance,盲目的自信。这个盲目自信的第一个会认为他们是最优秀的,当然你在那个环境里头工作久了也会沾染这种错误的认知,就认为某一件事只有他们才可以做。
虽然他们也包括了我自己,属于他们当中的一员,虽然是个中国人,但是加入到这么一个环境,所以我是这个团队的一部分,所以就认为比较难的事只有We can,Nobody else can。因为事实上的事,我刚才不是讲了一件很难的事情,当你拆解成一百个子问题的时候,你发现每一个问题都变得更具象可解决了。如果有人愿意去解决这一百个问题,也许就比你解决得更好。
这恰好就是说从2016年开始我的一种转变吧。第一个,我第一个转变是觉得我认为中国的当时的产业完全不可能的事,事实上我们的capability远远超过了我的预期。我觉得这个非常有意思的。我相信绝大部分美国人、美国的从业者还是我2016年的认知。
这给了我们巨大的机会,因为如果你是把他们看作是一个competitor,而你的对手严重地低估你的能力的时候,你是有巨大的优势的。他们天生认为自己每天很舒适地5点下班,喝喝咖再去冲冲浪就可以跟你竞争。其实那个时候你只要再努力一把,你是可以轻松超过他们。
这就是我最大的认知,就是说不管是2016年甚至2016年以前的很多年,我们的中国同行他付出的努力,他对于认知,只要对问题的识别跟别人是同一个水准,他们解决问题的能力是远远超过从业者的,因为他们更努力。简单来说就是这样,一分付出一分收获。但是前提是你需要有正确的人把他们带领到正确的问题定义上,因为如果他定义的问题错了,他所有的努力就都白费了。
刚才我举了梁文锋的例子,他定义了两个问题:第一个模型参数要稀疏化,他解决了;第二个序列长度Attention必须系数化,他也解决得不错。你看这个问题的定义本身已经占了,如果说分配一点Credit,占了80%的Credit,真正找到一个具体的办法去解决这个被定义出来的问题可能占了20%的。
它需要才能,需要intelligence,也许这个intelligence是来自于一个实习生的,但是那个问题的定义是来自于一个团队的leader,因为leader他要去主导别人应该怎么解决问题。
华为昇腾史与中国道路 [01:58:18]
[01:58:18] 张小珺: 接下来进入我们这次访谈的重中之重,非常想听您讲讲这个昇腾史,因为这几年你们的发展也非常的低调。如果用三个词形容2016年到2026年这过去十年,您会想到哪几个词?
[01:58:32] 廖恒: 我觉得就是一个磨难,或者说是期待的磨难。
[01:58:37] 张小珺: 910到950,你面对的环境是很不一样的。你觉得910和950,你当时处在设计的节点上,所定义的问题是不同的吗?分别是什么呀?
[01:58:49] 廖恒: 910的时候,我当时工作的基础是拥有世界最先进的逻辑工艺,但是我们当时只是说对AI的生态、模型的发展以及它的应用到底是什么,是比较迷茫。实际上那个时候全世界也有点迷茫。
虽然我相信NVIDIA应该是最少感知到这个地方会大爆发,但是其实我相信那个时候世界范围内,因为模型的能力还没到,也没有产生极大的规模,所以那个时候更多的迷茫是在于怎么样去猜测未来会朝哪个方向去。当时我们已经想到了需要做模型的训练,当时推理这个市场是压根就不存在的。
所以我们会在边端的设备,刚才讲的耳机、什么手机这些地方,试图去寻找边,就所谓在设备这一侧产生变现的道路。也就是数据中心,我们认为是用来做训练,其他地方训练好的模型部署到各种小的设备上去。当时并没有看到大型语言模型的这种推理,包括AI coding这些东西都没有出现在我们的想象空间里面。
所以那个时候仅仅只是一个条件很好,但是不知道自己的未来最大的变现机会在哪里。然后到950的时候,这个事情就发生了反转,就是条件特别苛刻,你已经面临的对手已经是硅谷宇宙第一大的、这个市值最高的、能力最强的公司。我们在这个时候如何能够存活下来?然后如何呢?服务。
也许我们并没有过高的志向说要去抢夺世界第一的位置,而只是第一步要活下来,第一步要服务于对我们有需要的客户。让所谓的以客户为中心这么一种基本的诉求,不做又会怎么样呢?也可以不做。我想说的是,实际上这个世界离开了谁都还可以,地球这样转。
只不过是我们一方面还是觉得有期待,我们并不想躺平,因此还是想要努力一把;另外一方面可能也有诸多的同行对我们有所期待,所以也觉得自己并不想要这么轻易的放弃。
[02:01:44] 张小珺: 心境的变化是什么?在设计910和950的时候的不同,断供发生前后的两代芯片。
[02:01:52] 廖恒: 这个心境的变化,我觉得说起来可能有点……我想说的是,你试图想象一下,如果你是董存瑞要去顶那个炸药包,我们正常人是无法想象他的心境是什么。或者说上甘岭的战士,他的心境是什么。或者说我看到有一个二战期间对一个中国士兵的采访,也是华为宣传画上面的一个故事,是讲说有一个记者来问他说打完仗想要什么,他说我不想,因为我爹妈也死了,不用去想那些事。
所谓心境的变化,我觉得已经没有太多的意义,只是说面对一个困难,就想去解决它。
[02:03:01] 张小珺: 您说您2016年刚加入华为的时候,其实也不相信。您是从什么时候从不相信变成相信了呢?
[02:03:08] 廖恒: 这个倒比较迅速。因为我说不相信是基于一个外国人的arrogance,就是盲目自大,认为说他们所拥有的能力其他人是不可能拥有。那么这个现实很快地教育了我。因为我加入海思之后,很迅速地理解到我身边的同事,他们虽然跟我不一样,但是比如说海思每年可能新tape out也许100颗芯片。
反正我们何总(何庭波)在韬定律发布会说我们做了五年做了381颗芯片,那么平均五年就是70颗,每年70颗New tape out。但是我从来没有听说过有一颗芯片回来冒烟,就是测试不通过最后无法量产。那么说明什么?
如此高的命中率,说明我们的同事每一个团队都是非常qualified,不管他们的出身或者是他们看上去有什么光鲜的履历,但是他们在自己所负责的领域都是非常负责任的。我刚才讲了,不是讲自己的在做学生的时候没有领悟到的,工作一年之后就领悟到了东西,是说做一个工程师必须首先得靠谱,而且必须负责任,是一切的基础。那么因此这样的命中率放在全球应该也是一流。
结果给了我迅速的教训和转变。
[02:05:08] 张小珺: 我相信不管从什么时期来回顾华为的历史,断供都应该会是一个非常重大的事件。在那个事件发生的时候,你们内部是什么样的?当时第一刻的反应会是什么样的?
[02:05:21] 廖恒: 我想何总那封信应该是还在断供之前写的,但是真正断供了之后就再也没有机会写这种信了。但是刚才我已经举了,无法想象董存瑞的心情是什么,我只能说可能每个人处于不同的角色,他们感受不完全一样,我也没办法描述。
我只是觉得也许有两面,一方面可能需要安抚底下的同事,让他们不要害怕,因为所有人心里产生巨大的恐惧;第二个是对我个人来说,也许我能记得,我现在已经记忆有点模糊了,但是我记忆的最深刻的感受是激发了我极大的好胜心,因为极大的热情,一定要解决。第一个我要知道碰到了什么问题,而且我要把这些问题一个一个拆解出来,一个一个去解决它。
这个对于一个工程师来说是一个天赐良机,因为你正常的情况下并不需要去了解一个运动机台怎么能做到1纳米的精度,怎么去测量一个东西它的位置。就是如果你要控制一个机台运动到1纳米的精度,你还得要在高速运动当中定位它,知道它移动到什么位置,然后你要去找它的是用激光去测还是用什么什么测,然后这个环环相扣,你就会遇到非常多工程师所需要解决的技术问题。
[02:07:24] 张小珺: 团队氛围在前后有变化吗?
[02:07:26] 廖恒: 我觉得团队氛围可能确实有相当多的变化,但是整体来说还好。
因为恰恰是在最为困难的时候,我觉得我们身边也许只有10%、5%的人,他们迅速地去寻找新的出路了;但是也许有80%、90%吧,尤其是骨干能力最强的这一部分同事,我相信他们不同程度上也许跟我类似,他们各自激发了自己的一种解决问题的热情,所以他们都选,很多人绝大部分人都选择了不去想那么多,拆解到的问题特别有意思,就去解决它们。
这个只是说那一个阶段,我们如果想说人类每个人心里头都有善恶两面,既有求生想要更多好处,也有自己有某些愿景或者是更大的抱负、更大的这种使命感,只不过是哪一个比例占了上风的问题。这就像那个《指环王》里头那个Gollum,那就是这么一个怪兽,它一方面想要自己去获得这个指环,去获得更大的权利,但是一方面它又觉得这个东西是不太对的。
[02:09:04] 张小珺: 最困难的时期应该是几几年到几几年?
[02:09:08] 廖恒: 我觉得困难每个阶段都很困难,只是每个阶段面临的困难不一样。
[02:09:13] 张小珺: 最谷底的那个时期呢?
[02:09:15] 廖恒: 最谷底的时期是彻底没有,就是大家觉得可能未来几个月就彻底制造不出来芯片,因此整个商业闭环就断路了。但是所幸这些困难基本上是由一些特别能顶的领导,他们把它牢牢地封锁在自己的一个非常小的范围,所以那些人承担了绝大部分这些困难的压力,其他的人就懵懵懂懂。
当然还有一些标志性事件,也许没有单一事件,但是华为在比如说中国的5G网络现在已经遍地都是,在这个过程当中我们从来没有断过供应,也没有导致整个整个通信网络基础设施的建设停滞或者schedule表明显的推迟。背后是有无数人的、无数人的不懈努力,让这些事情得以发生。
我可以说可能有5000以上,也许有1万个单板全部都重新做过,每一个东西都换了零件,都快速地重新达到量产的能力。这是一件无数、就是极其庞大的人共同努力的结果。只不过这些事其实也不存在某一个标准,当一个事情没有发生断供,这算是什么呢?这是大家生活当中理所应当的,今天没有下暴雨,没有发生地震。
这个其实我想说的是,有这个结果背后有非常多人的日日夜夜的努力才造成的结果。
[02:11:16] 张小珺: 昇腾的名字为什么叫昇腾?这是什么时候定下的?
[02:11:20] 廖恒: 这个我可能已经记得不是很清楚,应该是借助了我们中国的日升月恒对未来的一种美好的期待。
[02:11:38] 张小珺: 您刚才也说了在架构设计上的一个总体的思路,对于每一代芯片,从910ABC然后到950,它每一代的架构的变化和演进是什么样的?
[02:11:49] 廖恒: 我觉得架构的变化可能首先有一些比较明显的重要的认知。第一是说刚才讲的,在我们停滞的那四到五年的时间,我们做算法的同行在持续努力,大模型爆发了,而且他们取得了丰硕的成果,这些成果都给我们带来了很多设计的依据。
第二个重要事件就是说有一部分模型虽然是从Llama开始选择了开源路线,Llama大概做了相当于第一代,是一个所有人都能分析的一个相当于扒开了裸体,让大家真正感知到一个大模型里面长什么样,每一个微观的细节给我们提供了很好的设计依据。
当然后面中国的这一系列模型,无论是DeepSeek也好,千问也好,它们持续地开源,并且它们在能力上也属于接近第一阵营的这样的一种参照。此外还有很多相对非语言领域的,比如说中国的视频生成、多模态,包括阿里的Wan系列,包括其他互联网公司,他们在那些领域也开源了非常多有价值的工作。
那么这些工作再加上我们在自驾系统包括手机本身的业务闭环,就会得到很多实际performance,包括performance的反馈,也持续改进了模型本身。简单来说就是到了950的时候,我们设计的参考评价依据会更丰富。
第二个是在DeepSeek去年的春节之后,DeepSeek R1推出之后,直接催生了一个我们以前没有意料到的模型推理的爆发,它的规模已经相当可观,所以我们就对推理所需要的能力有了更加现实的认知。因为推理不但要能够有功能,你还要推的快,延迟要低,你在延迟低的情况下,你还需要每个卡产生的Token的数量,也就是super吞吐还得要高。
那么这几个因素非常极致的平衡,就会给我们一种现实感。因为我们过去当大规模的推理系统部署之前,我们是不知道有这些要求的。那么很快一进入服务推理的客户的时候,真正去部署这个推理系统,我们就碰到各种各样大量的工程问题。
其中一个最显性的问题就是,我们发现可能一旦进入推理系统的部署,可能不出一到两个月就发现,原来我们以为算力很重要,但是在这个推理的系统里头,尤其是decode(推理的两个阶段比例需求不同)这一算力其实并不需要那么高,反而是内存带宽特别重要。
这两个比例如果把它的算力与内存带宽的比值,你会发现这个比例,刚才我用了什么人体的各种尺度的这种协调的比例,你就会发现要做推理的decode所需要的比例和做训练做prefill的比例有显著的不同。然后这个过程也证实了一点,就是我们认为超节点把非常多个芯片一起来构成一个紧耦合协同工作,非常紧密的协同工作,这种能力是我们910C或者950能够存活的一个重要原因。
因为虽然我们之前模模糊糊的有这么一种愿景,要把更多的东西组合在一起,但是在实际的业务部署中得到了检验,也发现了自己做的不好的地方。
[02:16:34] 张小珺: 是什么?
[02:16:37] 廖恒: 当你去做通信的时候,比如你每次要搬一兆的数据和搬7KBite的数据,这个颗粒度不同,关于granularity是一个极度本质的问题。我们过去做的颗粒度都偏大了。什么叫颗粒度?比如你用一堆鹅卵石去填一个水桶或者一个木头箱子,中间有很多缝隙,因为石头颗粒度比较大。如果你用一堆沙子去填同一个盒子,你会发现它填得很满,因为沙子每一粒都比较小。
如果你倒一桶水下去,只要这个箱子不漏水,它会填得更满。这就是我说的,因为水是一颗一颗分子,它比每一粒沙更细。所以比如说我们原来以为这个紧密耦合的网络是用来搬运大块的数据,用来搬运非常小块的数据,原来以为搬一兆的数据,发现是搬7KBite的数据,这就有一个很大的不同。如果设计的不好,你搬一兆数据效率很高,但是你搬7KBite的数据效率就不高了。
所以这些地方都需要在实践当中不断地打磨。因此我能说为什么950会比910C会有显著的好的地方,一个是那个太老了,第二个那个基本上是在盲猜当中设计的。而到950设计的时候,有特别多现实的这个东西可以去检验我们猜的东西对不对,不对的地方赶紧去打磨优化调整。而且产品也出现了分化,刚才讲的推理所需要的芯片和训练所需要的芯片需要比例不同,因此可能需要不同类型的内存。
当然还有一个更深刻的教训,这个教训就是说,当然我们事实上在七年前就意识到了内存特别重要,我们与其说在卖一个AI的算力芯片,还不如说在卖一个高带宽的内存。那么这个认知就直接驱动了我们在七年前就开始成立了一个专门的部门去建立这个高带宽内存的设计能力。即使我们做了七年的准备,等到暴风雨来了之后,发现自己准备的还是不够。
这一波内存大家看到十几倍的涨价,给整个电子行业带来了巨大的冲击。对这个东西我们即使有了这么提前的大量的认知和准备,等到风暴来的这一天,海啸来的这一天,依然有很多遗憾。当初为什么没有做更多,没有下更大的苦功,或者是怎么样做好更多的准备?
[02:19:27] 张小珺: 人在没有真正面临暴风雨的时候肯定有侥幸心理。对于训练所需要的芯片和推理所需要的芯片,您觉得长期来看谁会更多?它的比例会是什么样?
[02:19:36] 廖恒: 我觉得应该今天就已经,这件事应该已经发生了。推理肯定会更多,如果推理不多的话,就说明你的economics不好。因为推理是一个生产收入的过程,而训练是一个建立这种capability的投入。一个是纯支出叫cost center,一个是profit center。所以profit center一定要比cost center更大。
[02:20:09] 张小珺: 你们对于这些推理芯片的思考会体现在哪一代芯片上?
[02:20:13] 廖恒: 我觉得我们这一代就有很大的体现,比如说我们就分了两个档,其中有一个档就是带宽很高的一个档,是带宽相对低但是比较经济,比如说训练的时候就可能使用更经济型的。
[02:20:31] 张小珺: 您之前在2021年的STW在系统技术研讨会上提出,你觉得计算架构有一个新的趋势,就从以前的CPU、GPU和NPU(神经网络处理器昇腾属于此类)分离的异构计算架构,会走向新型的同构计算架构。你能不能给大家解释一下,什么叫做异构,什么叫同构,以及这个新型同构和传统同构的区别是什么?
[02:20:52] 廖恒: 我觉得这个也某种程度可以说是个噱头吧,这个噱头是为了对抗一些质疑的声音。
[02:21:03] 张小珺: 你说的内部质疑还是外部质疑?
[02:21:05] 廖恒: 内部和外部的质疑声音都有。首先第一点,我觉得这个话题还比较深。第一个我想说的是,行业里最常见的一个争论就是SIMD(单指令多数据)和SIMT之争。有人说GPU是个SIMT(单指令多线程),叫什么Single Instruction Multithreading,这就是GPU的架构。然后呢,昇腾目前是以在910B、910C是SIMD的架构。是什么意思呢?
当你在处理一个运算的时候,你是以单个元素来表达它的运算,还是一大块数据一起做运算?换句话说,就像一个卡车和私家车的区别。比如说你自己开车上班,你是每个人开一辆车;如果你坐一个bus,一个公交车,那你每个公交车运了一车的人,可能有好几十个人共享同一辆车。看上去这个SIMD,我想说的是,为什么它是个噱头呢?
实际上今天的SIMT处理器内部也是SIMD,然后今天的SIMD的处理器,它本身也有多个核之间跑了几乎是同样的代码,这种SPMD(单程序多数据模式)的这样的一种模。但是有一些人特别喜欢较真,或者是说特别愿意利用CUDA(NVIDIA生态护城河)生态的人,就会觉得SIMT特别好,因为大量的原创的研究工作都是在这个CUDA生态上面开发的。
因此,如果你有一个处理器完全跟GPU长得一模一样,你就可以直接GitHub上下载这个代码,什么都不用做,它的生态的先发优势。但是我们如果我刚才讲的SIMD本身也是这个,SIMT本身内部其实也是有SIMD的要素在里面。比如说你处理一个8比特的浮点数,但是它那个寄存器可能就是32比特的,你就得把四个浮点数拼在一起做运算,这也是一个小bus。
你并没有原教旨主义的时候每次只能算一个数,如果你每次只算一个数,你就浪费了这个运算单元的能力。所以大家即使在SIMT写的代码里头,也会把4个8比特的数拼在一起做运算。这是一个类比,也只不过是这个bus是大还是小的问题。不可否认的是,bus小对于它的颗粒度小,所以对于填充,我刚才举了一个用鹅卵石去填一个箱子,用细沙可以填得更满。
所以我们无非是在把握一个数据块的尺度是大还是小,它的差别就是128Byte和512Byte的差别。也就是说,GPU的native的宽度是128Byte,我们生成尤其是早期的产品,它的宽度是512Byte,所以就有点太宽了。这个咱得承认,实事求是就是我们的鹅卵石大块了一点。
虽然说在绝大部分尤其是Transformer这一类的网络中,它本身就特别大块,所以这个鹅卵石大一点其实没有太大的影响。但是在某一些网络,推荐网络或者是某些早期的尤其是端侧的视觉网络中,可能它需要更小的颗粒度。那么在950这一代,我们所说的新同构(同一处理器同时支持SIMD和SIM就是说这个处理器也支持SIMT),所以这个问题就得到了很大的缓解。
因为与其去做这种宗教式的争论,还不如都用,或者说在不同的情况下用不同的模式去进行计算。因为除了最本质的就是刚才讲的那个颗粒度是多大的问题,因此这个问题可能90%的问题都可以放置一边了,因为整个技术已经演进到这个阶段了,再去争论这个问题已经不是核心关键的问题了。
反而是我刚才讲的内存带宽应该配多少,或者互联怎么去构建一个超节点,怎么样在这个kernel(算子基础运算函数)的运算的去实现极致融合的Mega kernel(几十上百算子融合成一个大算子),怎么样降低这种多个核甚至多个芯片之间的同步开销,那些才是当下我们认为已经解决的问题,但是它是当下更重要的问题。
[02:26:28] 张小珺: 这些当下更重要的问题,您现在有答案吗?或者有一些阶段性的思考?
[02:26:31] 廖恒: 我们当然有自己的答案,要不然这个产品就做不下去了。我们Pipeline里头有960、970、980都在开发的Pipeline里头,我们有自己越来越多的答案。但是呢,我试图告诉你一个更加严重的事实,就是说过去这个AI的算法开发者,大家都会习惯用PyTorch(主流算子开发框架)。
我描述一个算法,我用一堆PyTorch的算子,每个算子就是一个函数,就是一个基础运算的函数,然后把这些算子拼接在一起,就代表了整个模型的计算过程。但是我说的当下更重要的问题是,如果你想要用这样的方式去开发一个现代的模型,并且实现一毫秒的推理延迟。
一毫秒的意思是说,你在跟这个模型,不管是人或者是这个agent,跟模型进行对话,提交一个Prompt,输出一毫秒就意味着每秒钟输出1000个token。现在我们典型的绝大部分Chatbot每秒钟输出20个token或者30个token。从20到1000,这是个50倍的时间压缩。
50倍时间压缩,可能在20毫秒的这种延迟到1毫秒的20倍,就是20、30个token也就40、50毫秒到1毫秒,这是几十倍的时间压缩。更重要的问题,几乎所有这种需要追求性能和延迟的时候,都不再能够用单个算子进行调用,因为每个调用都有LangChain的开销延迟,以及LangChain的数据传递的开销。
所以更重要的问题是,当这些处理器把整个模型写成一个超大的算子的时候,这个写法应该是什么样子?这个写法就是我们称之为mega kernel或者是Kernel的Fusion融合,把几十上百个运算融合成一个更大的运算,来降低它的启动和数据传递的开销。这一个变化是在过去的一两年迅速在发生,包括最著名的工作就是这个Flash Attention。
Flash Attention之后的更重要的工作就是DeepSeek开源的这些等等一系列的算子,它们无疑是一个融合的优秀的典范。这个融合的过程其实对处理器设计就会带来很大的冲击。大家过去设计一个核,只是关心我做运算算得快就行了。
现在说,如果我要表达非常复杂的计算过程,我要编程比较容易编,而且这个程序我要能够很好的快速地在你的处理器上面去修改这个程序,让它获得最大的性能。这就催生了一些现代的编程方式,大家不太,尤其是这个算法变化得很快的时候,不太能够承受在用底层的编程去表达如此复杂的运算过程。所以当然就会出现一些新的编程语言以及编译器的技术。
这些技术包括了之前讲的,比如说Triton(算子编程语言)是OpenAI的一个工,后面我们北大的杨智老师以及他的学生王磊做的叫TileLang(新型算子编程语言),目前也是DeepSeek的主要开发方式。包括我们自己做的PyPTO(华为自研开源编译器),都是试图的一种更高层的方式去表达极其复杂的,甚至整个模型就写成了一个算子。
这个时候就对编译、对处理器的设计都会产生它的软件这一面比较深远的影响。因为如果你去看那个Hennessy和Patterson的经典教材,叫做computer architecture,我第一次看到这句话的时候,我还是深深地震惊。
他说computer architecture就是the interface between softwareand hardware,它就是那个界面。那么我为什么两者之间的沟通界面,大家原来做处理器的核的同学,过去绝大部分人不是对这个问题有特别深刻的认知的?因为他只看到自己做核的这一面,我要设计一个运算单元怎么省面积。
但是当你把这个认知提升到这个界面的时候,你就会发现变成语言的变化对你这个界面,它是一体两面。这个界面肯定有阴阳两面,它的分界点不但是由核所决定的,也是由这个编程的方式、编译的方式这个所决定的。因此我们现在这个AI核或者生成的处理器的设计,我觉得或者是说我们的同行所有设计处理器的人都面临这个界面正在重新被打开。
或者换句话说,CUDA的这种生态的防护墙正在迅速地消失,因为它已经不再是一个最主要的界面。如果说DeepSeek的所有工作都建立在TownsLand的基础之上,那么TownsLand就变成一个特别重要的界面。
[02:32:39] 张小珺: 所以这也是你们现在在构建的意义。
[02:32:41] 廖恒: 我们自己当然也有,若干年前就有这个认知。虽然说面临非常多质疑,但是我们自己也在做开源的PyPTO这一系列的编译器的工作。纯粹是基于第一性的,并没有特别多我们所使用的方法放之四海而皆准,并不是仅仅适用于昇腾。虽然我们开源了这个工作,我认为所有的AI处理器都可以受益于同样的编译栈,也就是所谓的跨平台。
[02:33:22] 张小珺: CANN,您对它的预期是什么样的?
[02:33:24] 廖恒: CANN(华为昇腾软件栈对标CUDA)是我们的软件,相当于我们的一整套建立在昇腾之上的运行环境、编译器、库,以及我们已经porting好的模型。
[02:33:37] 张小珺: 你们对它的预期是下一个CUDA之类的产品吗?
[02:33:40] 廖恒: 它现在已经是全面,一方面它是全面在protect这个legacy,所谓的legacy就是CUDA有的能力,我们CANN都要有,甚至每一层完全是一对一的,比如说你可以跑PyTorch,我也可以跑PyTorch,你可以跑VLM,我也要跑VLM,但是我们确实还是有一定差距的,这个是legacy的部分,但是所谓的日进千里那一部分,首先Legacy是服务于大众,什么叫大众呢?
就是如果你是个高校的学生,你在刚开始学习AI、人工智能、深度神经网络这一课,那么你大概率就会用到PyTorch,用到这个Torch的算子,如果你教课的老师是用的昇腾的硬件作为他们的做作业的环境,他就要用到CANN,那么这些属于legacy,它是长尾的,可能会持续存在非常长时间,但是服务于少数人的是说,当我要部署一个GLM5.2,我想要获得最高的经济效益,就是每卡每秒钟可以产生最多的token,我还想要延迟最低的时候,这个时候就涉及到先进性这一部分,我们第一个要用更先进的方式,用最短的时间让大家能够迅速达成高吞吐、低延迟,而且这个调优是极致调优的,
因为你每增加10%的吞吐,你就增加10%的收入,所以这是真金白银的,而所谓的先进性的地方,可能并不是说有一万个博士生都在使用这个玩意,也许只有一百个人没日没夜地去攻关,尽早地提升这个业务系统的吞吐,因为它是个生产系统,我觉得我们两方面都在持续的努力当中,昇腾之所以能卖得出去,首先是说两方面都是需要有进展,如果它的业务系统性能上不去,那是不会有人买的,因为你买了你亏,你同样花了这么多CAPEX下去,然后你生产出来的token少,或者你训练模型那个收敛不了,或者需要更长的时间去收敛,的速度比别人慢五倍,那谁都受不了,然后我刚才讲的生态那一部分,
是服务于更广大的community,这个community过去也通过全面开源,然后跟无数的高校老师希望他们一起来共建这个生态,现在这个CANN社区已经成为中国开源社区的活跃社区,因为关注AI的人特别多,大家也对这里头有很大的热情,由于在这个众人拾柴火焰高这么一种趋势下,过去一年也取得了长足的进步
[02:36:59] 张小珺: 您觉得对纳米级的这种极致物理追求难吗?还是造出一个超过CUDA的生态更难?
[02:37:05] 廖恒: 我觉得超过CUDA更难,虽然说对纳米级的极致追求有所突破,一个是要靠自己,以自己的努力为主,是要改变一个群体的无数人的共同习惯,比如说你现在要发明一个即时通信的软件,然后说服所有人都不用微信,用你的这个新的APP,这是非常难的,因为这是一个群体的这种习惯,而且这个群体的习惯需要它不断地获得正向的理由,才会做这样的变迁,而刚才讲的开发下一个更先进的芯片,只要我们个人努力,就是可能有70%的要素掌握在我们自己手里,也许有30%是客观物理的限制,我们就只要想尽办法去去突破这些物理的约束,但是这两个问题本质上是属于不同专业的同事来解决的
[02:38:23] 张小珺: CANN的开源是一个难的决定吗?
[02:38:26] 廖恒: 它不是一个难的决定,为什么呢?
我个人有个人的看法,当然每个人都有自己的视角,第一个我觉得人类之间的互相沟通,它是一个首先人的大脑很发达,但是人和人之间的连接能力很差,比如说我在这里跟你做这个访谈,我每秒吐字的速度,每秒钟可能三五个字,就算很快了,因此我跟你的通信带宽可能只有1Kbps,但是如果你是一颗昇腾芯片,我也是一颗昇腾芯片,我们通信带宽有7.2T,7.2Tera bit per second,这Tera是一个很恐怖的,就是不知道是多少二的多少次方,所以这两个之间的数量级差得特别多,那么为什么我要用这么一个比喻来形容开源的重要性,是因为当你去deliver一个非常复杂的技术体系,
实际上是需要对方使用这个东西的人快速的understand这个体系的接口是什么,它是怎么设计的,应该怎么去用它,那么这个沟通的带宽,实际上当我们如果去限制这么一个沟通的带宽的时候,你就会发现本来这个沟通就是一个极大的瓶颈,当你还控制说某一个文档什么时候才能发给谁看,而且这个看还要签NDA,这天生就是一个在本来非常受限的这个沟通channel上面又加了一些不必要的防护门,那么所谓的开源,其实一个极致的极致的开放,就是说当我把所有代码都给你看了之后,我其实不需要跟你沟通的,因为你自己看无数的目录里头的无数的文件,就不需要再去费这个口舌,
因此它解决了一个最大的交流、共享思想、然后对齐的这么一个瓶颈,所以我们觉得从开源之后,无论从我们开发这一方,还是从客户那一方,立刻感觉到如释重负,原来有一个很困难的问题,每次都要打电话,要提交问题单,现在这个人为的瓶颈消失了,这个解决问题的速度快了很多,更不用说还有更多的人在做各自的贡献,像现在AI辅助编程也会成为我们一种重要的,甚至是一种主导性的工作方法,开源了之后,那些模型agent它可以更加快速地得到充分的语料,来让它在CANN的编程上面获得训练的数据,所以那些模型在CANN的开发上面也起到了很好的作用
[02:41:55] 张小珺: 我觉得昇腾早期的故事其实有一些被逼无奈、奋起反抗的这样一种感觉,走到今天,你觉得昇腾跟英伟达还是越来越不像了,你们是走了一条一样的路?
[02:42:05] 廖恒: 还是一条不一样的路。应该说,如果早期还有更多相似的地方,有一部分是他们变得越来越像我们刚才讲的那个Cube,它的Tensor Core越来越像我们的Cube,变大了来获得更高的计算效率。但是应该说,除了这些细节之外,宏观上那个时候还是比较像,因为大家都是以单颗芯片为主部署的方式等等,都是比较类似的。
但是更大的不像,我觉得现在是越来越不像,它不像的原因,最本质的就是刚才讲的那个小和大的差别、颗粒度的差别、以小打大的差别、超节点的差别,包括一些系统级别,越来越不像。微观层面,我们也许有很多学习它的地方,比如说刚才讲的,意识到自己的颗粒度大了,就应该变小一点,跟它差不多大小,在更多算法上的适配效率更高。但是系统层面,越来越不像。
我举一个很小的侧面,试图说明这一点,比如说我们至少我们大胆地猜测,或者是从这个GTC他们所发布路标(Rubin)的来看,我觉得英伟达一直在追求极致的Rack,就是叫什么机框级别的这个density,逐代的提升。这个提升是非常惊人的,首先就是几乎是每代都是double,双倍的算力塞到同样的机框里面。
我个人是觉得需要有度,不能够极致地提升,不应该无限地提升Rack的Density。为什么呢?首先有几个维度,可能单颗芯片的规格不应该极致地提升,或者也提升不上去。单颗芯片、单个封装,为什么单个Rack不应该极致地提升它的规格?它需要提升,但是不应该超过物理的极限。因为你一旦超过物理的极限,你就会碰到一些灾难性的后果。
那么我先从单颗芯片说起,大家也都看到当前AI行业造成的一个最大的困境,就是HBM(高带宽存储)短缺,因为这个需求爆发,然后大家都用越来越大的、越来越多越来越高带宽的HBM。那么我试图说明,用一个比较形象的例子来说明为什么2.5D的这种是有一个上限。
如果我们把那个计算的die,虽然说现在是多个die,但是我们简化一点来考虑这个问题,如果说我把这个计算的die看作是一个正方形,它的边长是N,那么它的面积是N平方。一个正方形,它的边长是N,它的面积是不是N平方?那么它的算力就是N平方,因为每一个运算单元都需要多少个门?如果你有N平方这么多个门,它的算力就是N平方成正比的。
但是当你有N平方的算力的时候,你所消耗的内存带宽和互联带宽跟它是等比例。但是如果我中间放一颗巨大的计算die,而且把这个N越变越大,而我的HBM以及我所有的IO以及我所有的供电都是围绕它周边,那么是不是每一个内存访问的比特都要跨越这个正方形的四条边的边缘?四条边的周长是4N。
那么你就会发现,当N越变越大的时候,你的算力、你的带宽、你的互联、你的功耗都是N平方,但是你四条边只有4N。那么这一条平方的曲线和一条直线之间,是不是会有一个越来越大的gap?就是这个口子,它们两之间的矛盾就会越来越爆炸。因此说明目前靠越来越大的计算die加上越来越多的HBM这条路是有上限的。
当然,在达到物理的边界之前,我们会继续把它做大,但是一旦超过了这个边界之后,你会发现灾难性的后果。
[02:46:52] 张小珺: 这个边界可能是多大?
[02:46:54] 廖恒: 这个边界也许是四个Reticle(光刻曝光单元),每个Reticle是800平方,也许是六个Reticle,也许是八个Reticle。我相信我们整个上游,这涉及到底层了,刚才讲的制造链条,五楼、四楼、三楼的同学,地下室里面、地下室里面的人,他们能够把这个能力边界扩充到多大?但是我已经明确地知道,N平方这个物理的gap是不可调和的。
所以这一种架构也许可以再做一到两代,也许三代,但是大概率到第四代就不行了。
[02:47:31] 张小珺: 英伟达还是沿着这条架构在做。
[02:47:33] 廖恒: 目前是目前它已经发布的路标(Rubin)是这样。因此我觉得单颗芯片不可能每年都持续的double,每年double你就会造成这个gap就越来越矛盾越来越大。第二个问题是,为什么单个Rack不能无限地提升?
而且也没必要,是因为如果你说一个机框的功耗,如果今天是10万瓦,明年是20万瓦,后年是40万瓦,再后年是一兆瓦,到达一兆瓦可能只要四年的时间,二的四次方就已经好多倍了。那么为什么不应该把它做到这么高?是因为当你塞了越来越多的芯片,它们有无数的互联,所有的东西,芯片和芯片之间有互联,就是需要带宽。
你塞的越多,这个互联就是不但这个芯片算力double了,它的互联也double了,它的功耗也double了,它的散热也double。我们试图去看一下,如果是一兆瓦的这个机框,它如果采用自然大气散热,我们可以随便推算一下散热塔的空间需要多少。比如说500平方米才能散掉一兆瓦。
那么你就会发现,Gigawatt的数据中心可能只有1000个Rack,但是它可能要占地一平方公里的地方去放散热塔。因为一个机框的footprint可能只有不到两平方米左右,但是它如果要500平方米的空间去散热,就有250倍空间放大。
那么当这个比例如果出现严重失调的时候,你就会发现这根水管可能要拉一公里的距离才能到达散热塔,因为那个散热塔所占的空间远远比你这个机器占的空间要大得多。刚才讲的这些都是各种,其实这些已经远远超出了处理器架构设计本身的要素,它们属于我说的另一层的问题。如果你说18层宝塔,如果你建一个AI的gigawatt的data center,总有人要去建房子。
[02:50:00] 张小珺: 去铺水管。
[02:50:02] 廖恒: 去设计这个散热系统,就是这个比例不能出现严重的失调。我们只能说,其实不好去评论别人是怎么做的。我们只能说,在我们的系统设计里头,其实也许在三年前就意识到了,说我希望不要把太多的芯片塞到同一个机框里。那么就意味着,我的芯片和芯片之间的互联的距离,如果说同样人家塞了100颗芯片在一个Rack里,而我要塞到4颗Rack,那么这个100颗芯片的物理的距离就会变长。
当然,物理变长会带来延迟和各种开销。但是如果我意识到这是一个本质性的问题,总有一天我得把它扩开,我就需要有一个连线的手段,让它连线的成本很低,让它的传送距离不会让信号发送不过去。因此,我们在积极地,我们在设计第一代UB(Unify Bus)的时候,刚才讲的灵衢总线的时候,就把它设计成它既可以跑在电线上,也可以跑在光缆上面。
那么你要知道,一根光缆的粗细和一根电缆的粗细差别很大,也许直径上可能有十倍的差距。当你要连一根线的时候,没有太大区别;但是如果这个机框要连五千根线的时候,你看到那个物理的东西,它就会像比这个那些5000根电线搞在一起的尺寸,可能已经跟一个大象的腿那么粗了。我觉得它是比较暴力。
它一方面在提速,就把SerDes(信号传输速率)的速率,每一根线的信号传送的速率,大家都在提速,大家都想要用更少的线传更多的信号;但是一方面用了世界上最高级的板材,也直接导致了高端的PCB的产能也短缺了。他还用了一些很先进的物理层的技术,这些都是fantastic,都是他们极度优秀的地方。但是我作为一个系统设计师,我并不想在每个地方都去挑战世界最高峰的难题。
为什么呢?因为我要把每一代,我要deliver一个新的,按时按质量地deliver一个高可靠的产品。如果我同时要突破二十个物理极限,只要有一个我没突破,我的产品就挂掉了。我情愿把我的精力放在突破也许五个特别难的问题,而且高价值的问题,而把另外一些难题留给别人去做。这样的话,我的失败的就是挂掉的这种概率就大幅降低了。
因为我就算每一个成功的概率是99%,99%的20次方也是一个接近零的数字;但是如果99%的5次方,可能还是可以忍受的。所以这就是一种设计理念,或者Philosophical的问题,要扬长避短,把自己擅长的事情尽可能发挥出来,而不要在每个地方都与别人争长短。
[02:53:46] 张小珺: 所以在单片芯片是不是越做越大?你的答案是:不是。
[02:53:50] 廖恒: 我们当然在越做越大,但是我们要在自己的舒适区里面做,不是无限大,不要去挑战就是要作死的那种设计。
[02:54:00] 张小珺: 我们是不会去做的。单个机柜的密度要不要做到一兆瓦?我们不需要。
[02:54:05] 廖恒: 我们明确地知道自己不需要。我空间便宜得要死,每个机房的每一平方米可能只有2000人民币。那个空间比起一个1000万的机框来说,那2000人民币就完全可以忽略不计。所以我的空间是大把的,我是通过光的互联,让这些芯片可以很舒适地摆放在更大的空间里面,来获得10万卡甚至50万卡的数据中心。
我们都可以做出来,一个机房可能就可以做到10万,10万颗芯片,今天已经毫无问题。
[02:54:47] 张小珺: 大模型行业大家还是会说大概我们差几个月,您觉得在芯片这个行业,我们真实代差是多少?
[02:54:54] 廖恒: 我觉得这个问题大家有担忧,或者是自然的这种疑问,是很自然的。之前我提到的这个韬定律的发布,一定程度上也是一种让更多的人知道微缩不是唯一的一条路。不能微缩的时候,我可以堆叠,而且这个堆叠可以在芯片级堆叠,可以在系统级堆叠。我相信到今年下半年,大家看到最新手机吧,应该秋天会发布。
因为有大量的some semi analysis take in site,肯定会去做反向工程,会看到大量的分析报告出来,就可以看到所谓的韬定律、堆叠、逻辑折叠,到底能不能解决或者缩小这个代差。我的答案是很大程度上可以。而且大家可能一直忽略了一个最最关键的点,就是当大家在采购GPU或者NPU的时候,它实际上是在采购内存。
因为这个GPU和NPU如果按今天的成本来计算,80%都是HBM的钱,只有10%左右的钱是花在了这个先进的逻辑带上面。所以甚至这个AI芯片的主要竞争力来自于有多少带宽,而不是来自于有多大的计算规格,或者说计算规格变大时带宽必须等比例的放大。毕竟这个东西并不是HBM本身是不能独立销售的,必须要寄生在某一个GPU或者NPU的里面,所以它的变现是依赖于最终集成者。
我为什么要再扯这个话题?更大的核心竞争力并不见得是来自于
[02:57:05] 张小珺: 那一个逻辑带。
[02:57:07] 廖恒: 到底有多先进,更多的是来自于核计带以及它匹配的内存到底有多先进。
[02:57:16] 张小珺: 刚才说我们有很多结论,你们实际在摸索的过程中,是什么时候找到的这条路呢?
[02:57:24] 廖恒: 这方面我们还是能力是有所欠缺的。第一是instinct,如果你在一个深山老林里头迷了路,可能是个好的猎手,他有一种天生的直觉,应该朝哪个方向可能可以找到水喝,哪个方向可以找回回家的路,也许是看到天上的星星辨别了一些方向,然后他朝着某个方向走去。
因为所谓的instinct,在没有充分证据的情况下做的选择、直觉以及自己的一些判断,这些判断也可能不见得是一个非常严谨的、可以数学证明的这个reasoning的结论。第二个当然是需要在某一个方向上不断地求证,自己也做一些实验。还有更多的是这方面我们还是有所欠缺的,我们要找到做模型或者在做各种量化的科学前沿上面的人,跟他形成有效的对话。
我们的instinct是这样,你的工作是在这个领域,我们来看一看大家是不是能对齐。所以这也就是我刚才讲的四年的提前量当中的很重要的一部分。第一个自己也要有足够的credibility,让别人愿意跟你来往来,形成有效的交流。大家可能在这种层面上需要有一种思想的交换,并且持续的对齐。很多能力是来自于那些模型的先行者。
[02:59:27] 张小珺: 能不能聊聊昇腾这两年和一些中国大模型互相支持、适配、优化的一些故事?比如说DeepSeek。
[02:59:35] 廖恒: 这个具体我不方便说。但是我想说的是,在这个所谓的AI生态上面,可能有三个不同的等级,它的难度是不断提升的,要求是不断提升的。第一个等级,一个模型来了,我能推理,这比较简单。因为一个模型来了,它通常都会持续,它的使用寿命可能会持续半年,也许一年。因为你适配好了,把它的性能调得很好,大家就会反复地复制去部署它,这是属于推理一次性工作,可以被复制。
第二个是,如果要把一个研究团队已经确定好的模型进入初版本的这种生产型的训练,也许它的工作量是适配一个推理系统的三倍。因为所有已经推理的那些算子都是在训练里头要用到的,但是它还有一些反向的算子,反向的算子通常会更复杂一点,但是它对性能的效率的极致要求相对没有生产的推理系统这么高。
但不管怎么说,大规模的训练也是一次性,或者说做一次可以搞三个月,然后再做下一个版本,这应该还是属于靠人力可以解决的可跨越的困难。第三个阶段就是研究,研究。因为可能一个先进的研究团队,也许有几十个优秀的算法人员,每个人每天都在做不同的实验,都在不停地修改自己的代码。那么要真正地,我们认为突破推理已经基本解决了,突破训练也是完全可期待的,并不需要很长的时间。
但是突破研究就必须靠更先进的编译栈才能完成。因为研究人员现在已经切换到一种或者是其他的更高级的语言,因为它修改起来方便。不管是用谁的处理器,大家都面临同样的问题,你改一下算法,你要重新写CUDA算子,那谁都受不了。因此我们也非常努力地在去跟不管是哪家公司主导的编译站,我们都在努力地在这个方面把这个东西做好。
做好之后,我们就有条件可以期待未来一年之内,也许可以到达刚才讲的局部,达到刚才讲的研究的层次。但是确实需要时间。
[03:02:34] 张小珺: 您觉得截止到今天,你们工作中的原创性和创新性体现在哪?
[03:02:39] 廖恒: 也许可以在几个层面上讲。一个是芯片本身,我们是属于,我个人属于坚定地不抄作业。这个所谓的不抄作业,当然会造成巨大的困惑,因为不抄作业就意味着你不能借用别人的生态,但是你要付出这个代价。但是我有一种根深蒂固的认知,我们是一个科技公司,世界上没有一个科技公司可以靠抄作业获得巨大的成功。
因为科技本身就是innovation,你的最主要的价值创造的手段是靠建立一种差异化的优势。哪怕你有100个缺点,但是你必须得有一个优点。整个从事这个行业这么久的认识,我特别怕做跟别人一样的产品。因为如果我们不是海宁什么皮革城,不是温州小商品市场里头大家卖的圣诞树都长得一模一样,然后就拼谁的成本更低。
因为这个模式在低端的产业也许可以,但是在这个引领世界的行业里是绝对不可以的。一定要有自己的优点,因为只有这个优点才会转换成商品的价值。
[03:04:21] 张小珺: 不抄作业是什么时候决定的?是从第一天开始吗?
[03:04:23] 廖恒: 第一天开始,或者是说我所从事的每一个产品,都从来没有抄过别人。或者是说,一听说想要跟别人一样,我就觉得这肯定是不行。不抄作业的代价是什么?不抄作业的代价就是,比如说你的生态差距一开始非常巨大,所有人都习惯了用Windows,你突然要做一个非Windows的PC,你就要改变这些人的习惯。
或者包括现在所有人都用iOS或者Android,你突然要做一个鸿蒙,你要付出巨大的努力去建立一种独特的优势,或者是给别人切换的理由。这些问题,现在已经,我觉得正在处于跨越所谓的痛苦的平台期,可能会进入一个比较好的阶段。
[03:05:19] 张小珺: 对于您来说,是不是抄作业比不抄作业要容易?那为什么一定要不抄作业呢?作为您这个工作岗位来说?
[03:05:26] 廖恒: 我们的使命并不是为了今年获得某一个客户的交流中客户的表扬,或者是少骂几句。我们的使命是构建一个可持续发展的、可持续的产品体系。而这个产品体系中,刚才我举了Hennessey Peterson那本书上说,它的这个interface between software and hardware一体两面。
你抄作业的意思是说,我想要把自己的硬件做得跟别人足够像,然后我把它的软件就完全利用别人做的现成的软件,我就不需要付出多少努力去构建自己的生态。但是我深刻的认为,第一个,有几个致命的问题。第一个问题,你永远不可能假设我今天想要变身变得跟你一模一样,我永远不可能长得跟你完全一样,就一定会有不完全一样带来的后果。
第二个是说,这个技术体系是完全不可演进的,因为你一步抄必然是步步抄,你原来完全失去了自主设计创新的可能性,因为别人的软件已经在那,然后你就要去削足适履的把自己的鞋削到能够穿到那个白雪公主的水晶鞋里头。一旦削过一次,下一次你还得削。所以我觉得它就是一个落后者的必然落后,它在抄袭的这个过程就已经决定了它一定是落后的。而我们并不想要落后,我们想要独立自主。
而且我们的问题,我们的constrain,我即便是合作的跟他一样,他的互联能力跟我不一样,我怎么办?我就一定会有通信那一部分抄不了。一旦通信抄不了,那个通信和计算融合的算子就用不了。所以这种问题并不是说抄了一部分。
[03:07:44] 张小珺: 刚才我们聊创新性,您刚刚说了芯片价格,还有其他的方面没?
[03:07:47] 廖恒: 就是刚才讲的重要的系统层面,我们彻底走上了两条不同的道,设计理念都不一样。它要做密,我要做稀疏;我要做松,我要让每个人都坐在有自己的卧室可以舒适地睡觉,它要20个人睡在一个炕里。
[03:08:06] 张小珺: 对于后面几台芯片还没有正式发布的,包括950DT,然后包括未来的960、970、990,有什么值得我们期待的?
[03:08:14] 廖恒: 我觉得可见的未来三代都差不多,跟对手差不多,每年都是翻倍的这样一种节奏。另外是一种在系统层面,我觉得最值得期待的是,我们一直在思考一个问题是,做一个基深度非常高的积木块,还是做一些更小的积木块,通过连线的方式让不同的用户在不同场景中去获得更灵活的组合?这是一个系统层面比较有意思的问题。
你看大家过去在数据中心用的设备,最早是服务器,每一个2U的服务器,后面AI服务器可能是6U、8U,它的高度。后面又出现了POD,POD基本上是典型的是一个all in one的,整个机框是一台设备,它们正面反面都有不同的交换板、计算板和一个背板。这两种形态显然各有优点。
首先all in one的设备,它的集成度比较高,可能实现极致的密度,比如说NVIDIA的NVL72,一个all in one的大机器,后面的路标(Rubin)上面有越来越大的这种机器,这是一种重要的形态。我们也有类似的形态,但是我觉得这个形态它的优点就是密度比较高,而且可以预先集成好它的,但是它带来一个挑战,如果你放到的那个东西的比例要做任何调整。
[03:10:25] 张小珺: 你是调不了的。
[03:10:27] 廖恒: 因为这个机器相当于已经所有的这个能插进去的零件以及它们之间的配比关系以及它们的连接关系都是已经固化好的,而我们恰恰看到的是,由于业务本身模型一年就从600多B涨到1.6T,再到明年可能是5T到10T,它所需要的资源,它这个KV cache(大模型推理缓存)原来是放在DRAM(动态内存)CPU里面,现在大家都把它迁移到SSD里面去了,然后模型推理速度或者延迟从20毫秒要降到1毫秒,那么这些都是数量级的,无论是尺寸、速度还有延迟的要求,都差不多是半个数量级到一个数量级的剧烈的变化。
这些变化很有可能在设计这个Power的时候难以预测到,两年以后这个机器上市,原来那个比例已经发生了很大的变化,该怎么办呢?因此呢,未来会比较积极地考虑需要一种更加可重新配置的一种方块积木块,而这些积木块之间需要用最简的方式可以把它们重新组合起来。所以这个其实跟我刚才讲的那个相对松散的设计理念以及要用全光进行互联这些理念都是相通的,或者是相辅相成的。
换句话说,如果我一旦是全光的互联,我就可以做更小的盒子,而且这些盒子之间可以随意地通过连几根光纤就把它们找到了最优的组合方式。那么这是一个系统层面的创新也好,或者是值得期待的地方。而且我们的超节点的域也会做得很大,因为我们发现如果是一个20T的模型,它要超低延迟,它们的通信域会变得比较大,几百个节点甚至上千个节点。
[03:12:52] 张小珺: 在芯片这个领域,中国算是走出了一条中国道路吗?你觉得到现在来说?
[03:12:56] 廖恒: 我觉得这个我说了,其实不管用。我觉得你可以去看一下这些企业的财报,他们的财报其实很大程度上代表了一种汇总,绝大部分公司都是Fabless(无晶圆厂的纯设计公司模,那么大家加工不是像那无数的企业到某些Fab(晶源代工)里面去加工,所以它相当于是整个行业的一种总和。这个财报非常能说明问题,因为它代表了第一是一种经济的规模,第二个是代表了它是否能够正向盈利。
因为一个是否走出了一条中国的道路,它不但要技术上突破,它还要经济上可闭环,你不能一直补贴,或者是不能亏损一时长长期失血不可维持的一种状态。所以我觉得你可以去看看那些地方,你就会得到非常好的答案。而且这个财报也不光是只有逻辑厂一家,你还要看内存厂,你还要看NAND(闪存,固态存储)厂,还要看封装厂。
我直接或者间接的感受是,尤其是你在五年的时间线上,我觉得它们都是数量级的飙升的状态。那接下来的问题是,这条曲线是否可持续,不要跌落下来。我个人认为不会,为什么?因为第一个是我们在很多领域里其实并不落后,先进封装或者是比如说NAND(闪存,固态存储)领域其实并不落后,DRAM(动态内存)差距也没那么大,HBM(高带宽存储)差距也没那么大,有一定的差距。
只要可以正向闭环就已经很好。还有当然就是说这个宏观的中美还会不会回到过去的那种所谓的战略伙伴的这么一种互信和互相愿意互相依赖,我觉得这个事很明显是更多的问题出在那一边,别人不愿意嘛。
[03:15:17] 张小珺: 大家都说缺算力,缺算力,每家模型公司都非常的缺算力,所以今天中国算力的真实水平是什么情况?
[03:15:25] 廖恒: 我觉得这个我不知道是什么情况,但是我能从也许一些侧面数据应该是个非常不准确的猜测,据说去年中国是部署了一点几Gigawatt的数据中心,而美国大概部署了七到八个Gigawatt,所以我们大概是五倍或者五分之一到七分之一这样一种相对比例关系。当然还在其他很多莫名其妙的地方,由于这个特殊的因素,他们也部署了很多,比如说东南亚。
[03:16:03] 张小珺: 你们的供货量可以提上来吗?我们正在努力,比如说明年这个时候能比今年多多少?
[03:16:11] 廖恒: 这个不好说,但是我只能说应该还是会迅速地解决这个问题。
[03:16:19] 张小珺: 您在什么时候意识到可能熬过了那个最难的日子?哪一年?
[03:16:25] 廖恒: 我觉得当我接受到越来越多批评的时候,尤其是内部的批评的时候,我就感觉到了已经熬过了最难的日子。因为最困难的时候,别人是不会来批评你。去年前年,我觉得差不多去年前年就已经过了这个时候了。就还是被内部挑战了,是吗?为什么?我讲的这个,这是一种界定的方法。
如果你在一个沙漠里头行走,已经有七天都没喝过水,这时候你看到有任何再脏的水,它是救你的命,而且不会去挑这个水好不好喝。第一瓶水喝下去了之后,大家立刻恢复了身体。然后也许到第二瓶水的时候,大家就感觉到这个水的味道不好。这时候就是我说批评的时候。所以我觉得最困难的时候,是在没人批评的时候。
[03:17:28] 张小珺: 被批评会觉得委屈吗?
[03:17:31] 廖恒: 我觉得对我来说,也许德性不够或者性格缺陷吧,还是会有反抗。但是事后会想到,这也是人生之必然吧,所以也没有什么好委屈。
[03:17:54] 张小珺: 您形容在海外的那家半导体公司的那十几年,是一个亲历了一个漫长的跌落期和萎缩期,还是一个夕阳行业,还是一个落日?那这十年呢?这十年是一种什么样的感受?
[03:18:12] 廖恒: 这十年对于中国或者我处的环境,绝对是一个虽然说经历了这种九死一生的灾难,是一个能力的爆发期。感受是什么?感受就是说,我觉得绝大部分,除了工艺差一丢丢,规格差一点,绝大部分美国能做的芯片,中国都已经可以自己做,可以设计到制造到什么。
或者说不光是我们自己的团队,包括在华为之外的整体的能力,比如说你会看到无数的公司在做自动驾驶的芯片,或者是什么具声智能的芯片,或者是Wi-Fi芯片。你会发现这个能力已经变得比较普遍了,就是说能够设计相对复杂的、有一定门槛的SOC(Sostem on Chip集成完整系统的芯片)的能已经是百花齐放的。也就是说这个能力变得相对的不那么稀缺了。
第二个有意思的话题,就是说相对从业的人员的年龄,可是比硅谷的那些人要年轻20岁。
[03:19:35] 张小珺: 年轻20岁,比硅谷半导体行业的人。
[03:19:40] 廖恒: 我在硅谷半导体可能算是至少不算老的吧,算是年轻的,但我在中国的这个行业算是可能即将应该被淘汰的这个年龄。所以这个地方代表一种希望,或者是说因为年轻人的爆发力更足,而且他们有更多的从业的未来的时段。
[03:20:16] 张小珺: 那问题来了,你看现在这么多人都开始进入芯片这个行业了,也包括那些大模型公司,你怎么看待这种国内的竞争呢?
[03:20:29] 廖恒: 我反正不怎么担忧,我觉得有竞争还是蛮健康的吧。我希望他们能力都很强,但是我并不怕他们。
[03:20:48] 张小珺: 在这个磨难过程中,有没有所谓的濒死时刻?最绝望的一刻是什么时候?
[03:20:55] 廖恒: 我个人没有经历,所以我也不想替别人去代入到不同的角色去阐述这个时间。比如说,也许有一个最接近濒死时刻,我只是间接参加的,我们的麒麟芯片,也就是手机的那个SOC (SoStem on Chip集成完整系统),但是所幸也有一些非常坚定的人,他们坚决地不愿意放弃,然后又把他给救回来。
[03:21:28] 张小珺: 我其实访谈了大部分的公司,可能偏软。那像你们这样偏硬的行业里,它在组织和文化设计上是不是和那些偏软的企业有很大的不同?你们有什么独特的文化吗?
人才与算力 [03:21:29]
[03:21:44] 廖恒: 这个话题有点深,我只能说我并不是一个负责人才管理或者是在人力上管理非常庞大的组织,所以我觉得我说这个从组织的角度,我可能讲出来的东西也不见得很真实。但是我可以从个人的角度阐述一个人才怎么样在在一个芯片的团队里头,也许特别有价值的、特别重要的一些要点如何去成长,也许这个更有意义一点。第一个呢,就是说要做芯片的工程师或者架构师,一定要做过芯片。
一个天才博士是做不了芯片的,必须从模块级、模块设计、子系统,经历一个漫长、通常至少18个月、20个月的过程,必须要经过不止一次、好多次。是因为芯片设计跟写一个软件有很大的区别,写软件的时候,我会习惯性地写了比如说10分钟的代码,我肯定会去运行,按一下编译,然后去跑一下这个代码。
芯片是要18个月以后才能按一次按钮,你是完全没有试错的机会,按一下这个按钮,你就花掉了至少两三亿人民币的钱。芯片有非常多物理的东西,一个比较聪明的人往往会在数字世界、逻辑思维上比较强,必须要经历物理的差一纳秒、一皮秒的timing,没到这个芯片立刻就fail掉,就死给你看。所以它有极其严谨、苛刻的这个工程这一面,而学校的教育是不能给你这些东西的。
这个过程当中经历过,才会深刻地体会到为什么要对这件事这么较真,因为一皮秒都不能错,一根线都不能绕错,这个一个逻辑门不能有任何critical bug。因为你但是软件你可以一分钟以后,你发现自己有bug,运行fail掉。
所以我觉得这个过程恰恰就是说,我不是特别担心那些看上去很豪华的团队的地方,也许他们的领导或者组织者没有意识到这一点,他们过于看重人的聪明、履历好不好,或者他的education是不是名师。这个跟名师没有任何关系,一定要经历,而且这个经历是有代价的。你必须要在一个不断的一年到头三百八十几次,或者五年到头三百八十几次的投片的过程当中,就会历练了大量的人。
如果不愿意经历这个过程的人,他是永远成长不到架构师的这个岗位上去的。这是一点。第二点是说,我们如果是做芯片设计Fabless(无晶圆厂的纯设计公司模式)的设计是在七楼的话,那你有没有六楼的能力?有没有八楼、九楼?能不能够和一个做算法的人形成共识?
我觉得,那你如果没有 basic understanding,别人理都不会理你,就是他说的东西你完全听不懂,这个交流就肯定无法继续下去。那么我觉得这就是说,作为一个工程师,他需要把自己的视野和喇叭口、好奇的喇叭口张得比较开,不但关心自己手头的事,还得关心楼上的人是怎么回事,关心楼下的人怎么回事。
那么时间久了,而且不但是听别人说,你还得要多Google一下,或者现在有大模型,你可以问很多问题。比如我刚才问了一个问题,一兆瓦需要多少散热塔的面积,这个问题是也许我问了一个模型还不够,我还要连问四个,然后对比一下他们的答案是不是大概数量级以上,这样我才会信。你看,这些问题都不是一个光是负责交付自己手头职责的人会去问的,但是它是一个很有意义的问题,不是吗?
所以我想说的是,这个喇叭口张开就意味着你要付出很多额外的好奇心,而且你还要付出很多其他的,多读几篇看上去跟你一点关系都没有的论文。然后当你能够和最前沿模型的同学对话的时候,你就会发现进入到另一个舒适区,就是说不但你能理解它,你甚至可以预测它下一步在想什么,你甚至可能可以预期很多它都没有想到的问题,你有更底层的视角。
那么假以时日,流窜不同楼层的精力越来越多,就会融会贯通的层次更多,把握一个技术问题的能力。
[03:27:56] 张小珺: 那你看中这个人,如果不看履历,他可能现在也还没有真正做过芯片,那你看中他的是什么呢?
[03:28:04] 廖恒: 我第一看重的是他的价值观,或者不能说用价值观这个词可能说得太过了,就是说大家要能互相合得来,也就是说也许价值观也不见得错,就是说大家在讨论,无论是技术问题,还是对未来的期待,还是说对职业的一种预期,就算特别看上去其他quality都非常高的同学,他如果只花了半年或者一年的时间,他还没有经历,没有耐心去经历我刚才讲的那几个训练的cycle,他就走了,对我来说就是完全浪费时间,所以我们会越来越看重这种差不多的三观大致对齐才有意义,否则我们就在互相浪费对方的生命
[03:29:07] 张小珺: 你们不会天价抢人吧?天价抢人
[03:29:11] 廖恒: 我们也没这个能力,我们没有能力出天价,这也不太符合华为的所谓的奋斗者的这种文化
[03:29:20] 张小珺: 华为这样的奋斗者文化怎么来创造这个组织的创新?还是一种军事化管理的作风
[03:29:26] 廖恒: 没有没有,我觉得这个创新完全在于,比如说我的一个刚入职一年的员工,他可以到我的办公室来跟我argue这个问题,而且我非常欢迎这样的同学,我不知道这个所谓的组织文化,我只能说我们只能看到自己的周边很小的范围,我们努力地说让周边的人能够自我驱动self-driving,比被别人所驱动来得更有效
[03:30:06] 张小珺: 现在还有一些年轻人面对到底留在海外发展还是回国发展的这种问题,他们的一个普遍的顾虑是说国内的资源更受限
[03:30:14] 廖恒: 你指的是哪方面资源?
[03:30:16] 张小珺: 算力资源差距很大
[03:30:18] 廖恒: 我觉得这个问题未见得。首先在学校里面,国内的算力资源绝对是比海外要充裕得多,这是很surprising的。无论是北京还是上海,那些国家的什么实验室什么,这些地方都有万卡以上的规模,这是一个惊人的数字。在国外,你去一个最著名的高校,它可能一个系只有1000卡或者几百卡。所以算力资源在学术界,中国是绝对遥遥领先的,充足程度令人无法想象。
当然,这也是得益于某些高层的领导,他们在这个过程当中更早地意识到了需要提供算力才能够把学术研究做好。我觉得这个条件在中国是无以比拟的。所以在学术界来讲,中国的算力是很充足的。我觉得我也没有看到过度的匮乏,只要是有价值的团队,他们都还是可以获得一定的算力。你说算力这个东西是不是过于充足,可以随便浪费的?
[03:31:36] 张小珺: 你觉得算力是今天大模型的一个瓶颈吗?
[03:31:39] 廖恒: 我觉得不是主要的瓶颈,是瓶颈之一。我只能说有一些非常优秀的团队,他只用了极少的算力实现了极高的突破。比如说刚才讲到的DeepSeek团队,他们的算力就相当的少,绝对不是以什么十万卡、百万卡的规模,是以千卡的规模。也许还有鲲鹏。
大家把绝大部分注意力都放在了AI的算力上,其实通用计算也是基础设施的一部分,以及它相应的网络、光模块、网卡、SSD(闪存,固态存储相当于我们这算是继续了这些八大件)。首先这个构成一个完整的数据中心。当然最基础的器件就是CPU和NPU或者GPU,然后除此之外还有内存,它所需要存储数据的SSD或者相关的存储系统,还有网卡、交换机。
然后交换机呢,也是一个工程门槛相对高的器件。一个交换机它扇出的端口越多,它的互联能力就越强,而且会直接导致网络层次变多。比如说一个交换机可以连接512个东西,那就一层就搞定了;但是如果你要连1024个东西,一层就是搞不定的,必须得要两层。一旦有多层,它就会有延迟,以及两层之间的额外的延迟和额外的各种代价都是直接翻倍的。还有网卡。
所以我们在构建这个体系的时候,尤其是网络这些技术,它一方面需要先进,另外一方面它又需要有互联。互联就意味着兼容并包,因为你一个系统里头它存在着大量的旧的东西,你不可能说重新构造一个全新的世界。因此我们在试图构建,一方面是构建这个灵衢系统,当然我们的以太网这一整套东西也是过去多年下来是非常齐套的。
从网卡高性能到RoCE(网络协议)到交换的设备,都在每一个赛道上都力求做到至少是世界第一梯队,不会有代差这种差别。比如别人用了51.2T的时候,我还在用25.6T,这个时候就有代差。那么这个因素还挺重要的,因为如果我们只是做了单一的零件,我们非常难以构成一个完整的10万卡、20万卡的这么一个完整的系统,就势必会有大量的legacy会制约你的竞争力。
这也是为什么我们可以走出自己去创造一个全新的互联总线的必要条件。因为你只要是互联,你就会涉及要把所有必要的零件都连接在一起。一方面我们有完整的以太网的体系,这样确保跟所有的legacy的设备可以互通,而且这个互通能力是不差的,是世界一流的。当我们去构建这个超节点的技术里头,也是刚才讲的那个八大件里头,是每缺一个就会有一个重要的缺陷,缺一不可。
可以说这也就部分解释了为什么世界上有这么多厂家,但凡做通信的人都会讲它是一个标准,我必须要到IETF(网络标准组织),然后必须要通过准入的认证。
哪怕做个PCIe(常见盒内总线协议)都要到一些Compliance lab(网络标准组织与互通认证去做互联互通的测试),因为它是一个多multi vendor的,每个零件可能都来自于不同的厂家,它们之间要组合在一起才行。
我觉得我们有一个,尤其是在2019年开始去做这个灵衢系统的设计的时候,一方面是被逼的,但是在那个时候我们其实已经知道一个技术体系必须要能够自立。而自立的先决条件是你该连接的东西,这个牌你得凑齐。但凡有一个零件你没凑齐,你不具备这个条件,因为那个连接连不上。
所以这两个因素加在一起,我们恰好是所有的key component都已经完全有自主的能力,并且也已经做得所谓可以跟世界一流的产品互相替换、比肩。这时候具备了自己去定义一个私有。现在我们也把灵衢的这个协议license free,license也把它的Spec公开了,也欢迎世界各个厂家自己去使用。
但是从我们自己的角度来说,我们是具备构建一个齐套的完整的系统,也就比较勇敢迈出了这样一步。
[03:37:50] 张小珺: 还有什么欠缺吗?
[03:37:52] 廖恒: 我觉得我们最大的欠缺其实还是在软件的层面。硬件刚才固然有它的欠缺,规格我们也希望自己能大一点,每年都在未来几年可能每年都在翻倍的这种努力上。内存我们希望做得快一点,而不至于会拖后腿。但是最大的欠缺还是在所谓的软件生态上面。
我们希望说随着我们的部署量持续拉上去了之后,会有越来越多的人,他具备条件并且也具备这个必要性,加入到在这个这个新的硬件平台上面去做贡献,持续努力把性能调优这个事情。因为但凡一个厂家或者一个客户,他部署了这个系统,他就一定会有团队要把他的业务迁移上去。我觉得这里头叫做什么,就是跨越的界限。
一旦这个人群也许比现在再多一倍,我们所谓的这个共性的力量,这个群体的力量就会足够大,让这个系统可以自我持续的、良性的持续下去。所以这个地方是我们最期待的。
AI与芯片的科技前沿 [03:39:23]
[03:39:23] 张小珺: 我们最开始其实一开始聊了芯片行业的起起伏伏。您经历过它的繁荣期,然后日落期,然后到了AI浪潮又进入一轮繁荣期。那现在基于芯片上面的应用层,它们是方兴未艾,垄断格局未定。如果一旦又形成了当年像美国那些大的巨头的那种垄断效应之后,会不会芯片行业又迎来它的凋零期呢?你对于芯片行业的未来是怎么看的?
[03:39:52] 廖恒: 我觉得有这个可能。如果说,但是这里头有一些因素是不断地在刺穿这个假设。说那个垄断是一个气球的话,有一些因素不断地在刺破这个气球。因为从华尔街的角度,如果我是个投资人,如果我的退休金全部都买了OpenAI的股票,或者是Anthropic的股票,我固然是希望它的收益率最大化,它成为一个世界唯一的AGI模型的provider,对我来说是最有利的。
从投资人的角度来说,假设一家不够,有两家,那我就我下注两家也不错,同时买这两家的股票。我觉得有一些因素暂时还没有发生,其中一个原因,一个重要因素本身就是因为AI技术还没有到达饱和点,就是它的plateau,它还没有进入一个曲线的平缓期,所以任何人或者今天领先的人,也许六个月、三个月以后,另外一家就会超过它,这种可能性至少在过去几年都是一直在交替。
我们曾经认为Llama是世界最优秀的模型,但是它现在显然是暂时,也许它明天又会东山再起了。这个里面我不得不说,人类的智商的阈值并没有那么高,也就是说,如果你去五道口走一圈,你会发现可能有五千个甚至一万个学生,他都完全可以理解最新的模型的那些trick在什么地方,而且他们每天都在实操当中,在更小规模地在做实验,找到它的下一个突破点。
所以也就是说,当一个东西还没有进入饱和期的时候,它不太容易垄断,这是技术本身造成的。第二个重要的因素是说,我觉得背后可能还有一些有志向的人,他们不想要,他不想要,他就算有这个能力,他并不想要自己成为那个世界的终结者,而是想要更加普惠的,让更多人加入这个行业,可以做下一个发明。
其实我觉得,我接触到的至少中国的一两个leading的团队,他整个价值的愿景就是这样,他并不见得想要靠自己的意识的领先去获取最大化的短期利益,而是希望说这个东西全世界的聪明人可以不断地你追我赶,然后实现下一个能力的突破。所以我觉得这个本身有两种不同的价值体系共存在这里头,他们本身的愿景就不是单一的。
所以当然还有其他的因素,就是说我相信在中国这样的环境,我觉得有非常多人,甚至我们的国家本身就不希望看到,绝对不希望看到所有的AGI都被美国的一家公司垄断,这甚至会产生人类的危机。所以愿景和价值观,以及驱动力,内心的驱动力,还有中国的群星璀璨,非常充足的人才供给,一代代优秀的学生,甚至一些最重要的发明可能是个实习生做的,他这种可能一直存在。
因此我觉得开源模型这件事情特别重要,甚至就是刺破这个垄断的一个最重要的针。当然硬件上面我们也在做自己的一些努力,确保说不会变成一个单一的硬件体系,包括我们的同行很多人也在做这个努力。所以我觉得在近期,至少在我,我还是充满期待,认为这个泡泡不太可能一直就是迅速的。反正我是属于坚定的希望刺穿这个泡泡的人之一。
还有一点可能值得期待的就是说,AI现在在数字世界,也就是虚拟的digitalized world里面,看上去能力进展确实很快,因为我现在已经工作的各个方面都深度的依赖,而且我觉得他在很多方面几乎,我叫他做的所有具体的事,他都比我干得更好,这就是所谓的已经很接近数字世界的AGI了,不管你AGI的定义是什么,反正他现在已经足够有用,足够capable。
但是呢,他跨越这个物理世界还有相当大的一个鸿沟。从我们自己做自动驾驶的这七年,我就觉得刚才我已经给了一个理由,为什么这个带腿的这种机器人可能会暂时难以变现,给了一个能耗的理由,也许它拖一根线就解决了这个问题,那么拖一根线就会限定它的工作范围。
但是更大的鸿沟在于说,物理AI的模型还没有到Chat GPT的这个moment,就是这个gap还需要,也许就是下一时刻了,也许是未来的两三年,需要有重大的模型突破才可以跨越这个物理AI的从零到一的时刻。然后那个地方本身又会催生一个比较庞大的值得期待的产业规模,因为一旦是个物理的东西,它还得有身体,它一定是一台机器,是不是?那么这个机器本身又是多样性的。
所以可以期待的是说,这也就导致了说,一旦进入到物理的世界,就不太容易垄断。比如说你看汽车工业已经发展了上百年,还是有这么多不同的品牌存在于不同的国家、不同的地区,甚至还有新品牌诞生,而且还有人的胖瘦可能都会要求两种不同尺寸的车。所以我觉得它的多样性是在这里的。而且这个地方我觉得最值得期待的就是,我觉得中国是我非常看好的。
之前我听说过巴菲特可能说过Nobody wins shorting America,就是你要是做空美国,你肯定是输的。我们其实并不想做空美国,我只想I want to long China,因为我觉得中国本身无论各个方面的条件都非常值得期待,它应该是可以上很大的一个台阶。
而且包括您刚才讲到的那个访谈,我觉得很多这些访谈,他们似乎以一种你死我活的这么一种视角来看待这个问题,说中国要是赢了,美国就输了,中国的超级智能的Mission失败,能力相当的模型就会变来被用来做攻击美国网络的这个武器。我觉得这是一种非常ridiculous的视角,这种视角基本上是一种撒旦视角。如果说有这么好的一个模型,为什么我要用来攻击你?
为什么不把我自己的生活过得好一点?为什么不把自己的经济、把自己的医疗各种东西所谓的改善人民的生活,而是要用来攻击美国的网络?我觉得这个念头本身就是一个很错误的动机。
[03:49:20] 张小珺: 这是价值观的不同吗?
[03:49:22] 廖恒: 我不知道是不是价值观的不同,而是说一种海盗文化,他们习惯了用这样的视角来看待世界。中国即使是在比较强大的时候,也未见得需要去把别人搞弱小。
[03:49:39] 张小珺: 在未来可见的五年甚至是十年,你觉得全球芯片的产业格局会发生变化吗?会经历某种程度的洗牌吗?
[03:49:47] 廖恒: 第一个问题是,会不会对这个影响最大的要素是,会不会回到中美的科技战、贸易战之前的状态?因为是有短期非常现实的影响。如果再持续十年,我觉得一定会分裂成两个各自,哪怕不会有更严重的冲突,但是大家为了能活下去,也都得要各自有各自的完整的制造能力。这个看上去是因为芯片之于现代生活,它比石油,它几乎已经上升到跟水和空气相等的,就是相当的接近相当的这么一个层次。
无论是从它的经济规模,肯定是比石油产业更大。你可以想象说,回家没有电饭煲可以用,冰箱连所有的带电线的东西都没有了,这是不可想象的。所以我觉得它是一个必需品。这个必需品就导致了你所说的,如果说会不会有大的变化,第一个重要的宏观因素就是由于这些国家之间的因素所造成的影响。咱也不是这方面的专家,所以不好去预测它这个影响是什么,但是一定会有影响。
其次才是您刚才讲的那个,是不是会垄断,是不是会形成我说的那个凋零期。我说我的answer是说,没这么快,也许十年以后比较难说是不是,但是现在因为它每天都在变,这个能力都还没有谁是这个领先的厂家都还说不出来,所以也许你领先了三个月、六个月,但是大概率会有另外的人达到类似的水平,所以现在还不具备垄断的条件。
[03:52:09] 张小珺: 看看楼上,就是这个18层宝塔的楼上,您会对这些模型公司或者是AI应用公司,或者他们有什么预期和展望?
[03:52:21] 廖恒: 首先我第一个条件最好的,比如说都到一个大学,可能有很多同学,你会发现家境最好的同学不见得是最后会遥遥领先的那一个,他也许就是也不见得会差,但是他也许就是普通而已。所以我觉得钱最多、资源最丰富的这个组织未必。我们拿美国为例,美国的top模型公司不是微软,也不是谷歌,也不是Meta,也不是亚马逊。
他们钱多呀,要卡他也,他也无数的卡,他要投资的能力很强,他的研究团队也兵强马壮。因为it’s a new thing, it’s not an old thing。所以我觉得一个有规模的established的企业,它的优势是在于在各自的领域里头建立了巨大的优势,要不然它不会成为一个巨头。
但是恰恰的是说AI is a new thing,它无论是在应用或者在商业模式,最有价值的应用、最有价值的商业模式都还有待或者正在被发明出来。我刚才举了AutoVista的例子,当年Digital也是一个巨头,然后他把自己卖了。AutoVista虽然卖了个好价钱,但是谁也没有这么好的技术。我们做研究生的时候就觉得那个东西很好,我搜论文我不用去那个图书馆了。
自从有了这个东西之后,我可能几乎没有进过去图书馆,可能仅仅只是为了复印我收到的其中一篇论文,因为那个时候很多PDF的那个download的东西还没有。那么我们就得看说楼上的同学,他们是固然是各自都有无数的巨头存在。
那么我刚才表达我的期待说,当然巨头如果能发挥自己的优势,然后提供特别好的服务并且不断改进,让大家比如说我希望做AI coding是某个中国的巨头公司提供的服务,这样的话我就不用费这么大的劲去勉强用这个海外的。但是我也深刻意识到说不一定是他们,因为他们可能不想做这个生意,或者这个不是。
包括我也当然很希望这个最好的coding模型是华为的,也许我直接调华为云的服务就可以了。因为每一个企业都有自己的现状、自己的文化、自己善于就是已经建立的这个system,它就像一个免疫系统一样,就说我一个人身上突然出现一只猫的细胞的话,免疫系统就会把它清理掉了。
所以这就是为什么我们刚才提到的一本著名的书叫Innovator’s Dilemma,描述的是这么一个问题。所以一个成熟的组织通常容纳不了一个新的东西,但是这要看这个组织本身的自我革新的能力,或者是它的创始人也好,是不是有这个愿景。第二个问题说是这个愿景很重要,就说你如果说我今年就想变现并且迅速实现垄断,那么你是一种做法。
如果你有更高的愿景,说说我要让明年或者三年以后让这个天下再也没有难看的病,再也没有难debug的问题,再也没有网络安全的问题,那是另外一个愿景。你就会驱动你的团队和组织朝不同的方向去努力。所以我觉得,但是你看在Anthropic这个OpenAI创造一个Chatbot,Anthropic的最主要的收入来自于这个coding,它是通过API调用的这种方式。
那么这个时候这两个业务就没有任何类似的地方,你不觉得吗?所以销售的对象,他卖给不同的人,他收费的方式,他从business model上面就没有什么相似的地方。所以我说它是it’s a new business。
而且这个模式是不是最好的模式,你要不要去控制这个编程的入口,比如说控制某一个VS Code这样的IDE,还是说你不需要你坐在后面只要提供API就行了?你看不同的人,即使是非常伟大的人物,他们都会参与一种剧烈的竞争,基于某一种fantasy。
比如说当年这个互联网刚起来的时候,大家也许有一部分人还记得说微软的IE和Netscape的竞争,这个竞争可能持续了好多年,最后甚至还司法部美国司法部还干预,然后比尔盖茨就退休了。你看这是一个故事,对于我们现代人来讲,当你回过头去看这个竞争,真的有意义吗?
今天Windows都不装IE了,Windows上面的default浏览器Edge浏览器是Google的Chrome浏览器装了一层壳。所以当年你认为最最重要必赢的战场,当你赢下来了之后,It’s not worth it,它并没有给你带来那个fantastic的result。微软也从来没有成为互联网的霸主,对不对?
而出现了大量新的霸主,这些新的霸主他们各自找到了自己的奇怪的赛道。谁也没有想到中国会横空出世什么阿里巴巴、什么淘宝、支付宝、微信,这些It was all new,并没有在他们定义的那个赛道上去跟他们竞争。所以我觉得AI的应用层可能也是这个样子的。
而这个应用层,如果说Digital world数字世界里头,我认为一个最重要的门槛大家需要跨越的是说,如果说AI已经能力非常强很聪明,但是它缺少的是你个人的上下文。如果说我干的95%的事它都比我干得好,有一件事情它没有取代我的是,它没有带入到我的生活场景或者我的工作场景里面。
所以我就变成了一个给它提供prompt的机器,也许我并没有任何解决问题的能力,但是我只有一件事它现在还缺我不可,是它没有参加你我的这个会谈,也没有参加我的上午开的会议,也不知道我的领导给我写的KPI是什么,也不知道我这半年做的最重要的项目可能经过了几百次会议讨论的话题是什么。那么当你跨越这个门槛的时候,你一定需要有一个入口。
这个入口我个人预期就是下一个超级超级应用。比如说当然这个入口立刻就会侵犯到人类的边界,如果我在我的所有社交软件比如说微信里头直接植入让这个AI可以看到我的每一个对话上下文,那么它就在对我的在非工作的所有interaction有无所不知,它一定会侵犯到我的边界。但是他也可能不需要我给他啰嗦的描述我要干什么,他就可以帮我去干。
同样如果是他带入到我的工作的每一个软件,他可以看到我的每封邮件,跟我一起参加每个会议,看到我工作上用的华为用的这个welink,他就知道我的所有工作的上下文,always present的一个companion。他完全有可能我就可能被淘汰了,因为下一次开会可能就不需要我去了,他干得都比我好。
这个时候就会侵犯到另外一种边界,一个是我会失去安全感,我会我的公司就会说你破坏了信息安全,这些保密的会议信息你怎么能让一个chat bot或者agent知道,他会不会把它乱发给不合适的地方?你看这个地方应用层还有大量的事可以做,我只是描述了我觉得数字AI里头它缺的是人和人人带入到人的场景这一个环节。
谁先解决找到了一种novel的design,这个design可能跟模型本身没有半毛钱关系,是一个更好的APP,这个APP可能就会成为一个超级超级超级应用。因为它如果是你知道的所有东西它都知道的话,它能力又比你强,那怎么办?
[04:02:33] 张小珺: 您刚才说创新者的窘境,那你们做的这个芯片的事,在华为这个体系里应该也是新事。
[04:02:40] 廖恒: 我们并不是新事,华为海思已经存在很久了,远在我加入之前就存在了。但是它的窘境是在于说Who is going to define the future?因为这个所谓的future就是一种愿景,我要做什么?我该怎么做?
那么你在任何一个组织里头都会有一种,除非是你自己的,除非你是创始人,除非你什么资源都有,那么但凡不是你的,我们都作为一个职员或者是作为一个贡献者,我们就不得不去说服别人:Here is the future, Here is how you gonna do it。
但是往往这个时候就比如说我刚才讲的,我们要生活在2030年,这种疯话可能对另一个重要的决策就完全是痴人梦语。因此这需要大量的共识,所谓的窘境也好,这是必须的。所以我们也不把这个作为过度的,不需要过度的强化,也就是说在人类的组织社会里头必然会要互相合作。
[04:04:07] 张小珺: 如果今天是2030年,你看到了什么呢?你说你活在2030年。
[04:04:12] 廖恒: 我看到的是我们有足够多的制造能力,我看到的是我们的也许数字的AGI已经做得更好了,我看到的是也许离有一个可以帮我扫地的机器更近了,然后我就会担心说自己该干什么。
[04:04:40] 张小珺: 这些年您是更自信了是吗?
[04:04:43] 廖恒: 职业更自信,是说当你面临十倍的困难,你发现最后都有办法把它解决,自然就会有更多的自信。面临的 challenge 而且最后又跨越了这些门槛之后,就觉得,而刚才我觉得倒有一个话题也许还值得多加一句,就是这个光的通信。因为我们刚才已经讲了超级点需要把芯片离得更远,因此他们需要用光。
这里头再一次体现说,我们也必须尊重物理的边界,因为我们其实做了一个 Hi1,这个光模块它是一个 7.2T 的光模块,而现在市面上卖的光模块都是 800G,也就是 0.8T 一下,我们就说 72 除以 8 是多少?88 6489 倍吧。
那么我们立刻就面临一个非常有意思的问题,说如果大家都意识到芯片有这么高的带宽要接到外面去,目前的光模块是一个芯片,你想象一下这个机器长得像这个桌子这么大,然后你的芯片放在一块板子上,然后这个光模块是在这个芯片的面板这一侧,有一个一个连接器,那么从这个芯片到这个连接器,这地方是一段电缆,这电缆可能有几十公分,比如说最长的可能有五十公分的距离,就会成为幻想一下,这就像一个八爪鱼一样,这芯片里有无数的电缆,然后要接到一块板上面,上面有一个一个光模块,这是今天的普遍的产业模式。
那么我们刚才讲的那个 7.2T 的光模块是直接放在了芯片的边上,因此芯片和光之间、光模块之间的连接就变成了可能只有五公分,或者三一到五公分这种距离,因为那个芯片的大小也就这么大,所以就让这一段电线就去掉了,这个我们称之为,行业里头称之为 NPO(近封装光学,光模块放芯片边上,就是 Near Package Optics。
但是当我们试图去解决这个问题的时候,我们非常坚定的选择了 NPO,而没有把光一步的放到 package 里面,没有放到芯片里面,我们放到芯片的边上。那么这个问题呢,立刻就会产生,如果你有机会再去跟采访到其他的光通信的行业里头,你就会发现这个问题是无数的人争论了好多年的一个话题,放在边上还是放在里面,还是放在外面。
但是非常有意思的是说,在我来说我不需要经过争论,就直接选择了就要放在边上,在 2026 年一定要把 7.2T 的光模块一定要放在芯片的边上,既不要放在外面,也不要放在芯片里面,为什么呢?因为第二个问题,只要是光呢,一定会有一个激光器,它的光源是什么?
这个激光器会有故障的,它在比较热的工作环境里头,它会有一定的概率会失效,那么一旦失效了之后,你就要解决怎么去修复它的问题。那么又有第二个问题,有非常多人即使选择了把这个光放在了芯片里面或者放在边上,他们又坚定地选择了一定要把这个光源放在外面,因为一旦在外面坏了,我就把它拔掉,我可以拔一个插进去一个新的,把它换掉,这样来解决这个故障的问题。
而我们坚定地选择了千万不要放在外面,而且不但要放在里面,我就做了两个,坏了一个,我还有另一个可以继续工作,来降低它的失效率。你看这些,那你就会开始怀疑我说,你一个做软件出身、算法出身的人,然后又后面又假装去做芯片,你现在为什么有资格去做这样的断言,说只有这样是最好的?
你看这个话题呢,说起来也有相当漫长的,其实这个完全应和了我刚才讲的如何一个人在一个行业里头去成长,这么一个 philosophy。我刚才讲了两点,第一个要把喇叭口张开,哪怕是楼下周边上下左右 360 度都看看,多了解一下。那么大概是在 2008 年、2009 年的时候,我就已经意识到了芯片必须,因为它的 IO,它的电线传输距离太短。
[04:10:35] 张小珺: 一定要到某一天。
[04:10:39] 廖恒: 职业更自信,是说当你面临十倍的困难,你发现最后都有办法把它解决,自然就会有更多的自信。面临的 challenge 而且最后又跨越了这些门槛之后,就觉得,而刚才我觉得倒有一个话题也许还值得多加一句,就是这个光的通信。因为我们刚才已经讲了超级点需要把芯片离得更远,因此他们需要用光。
这里头再一次体现说,我们也必须尊重物理的边界,因为我们其实做了一个 Hi1,这个光模块它是一个 7.2T 的光模块,而现在市面上卖的光模块都是 800G,也就是 0.8T 一下,我们就说 72 除以 8 是多少?88 6489 倍吧。
那么我们立刻就面临一个非常有意思的问题,说如果大家都意识到芯片有这么高的带宽要接到外面去,目前的光模块是一个芯片,你想象一下这个机器长得像这个桌子这么大,然后你的芯片放在一块板子上,然后这个光模块是在这个芯片的面板这一侧,有一个一个连接器,那么从这个芯片到这个连接器,这地方是一段电缆,这电缆可能有几十公分,比如说最长的可能有五十公分的距离,就会成为幻想一下,这就像一个八爪鱼一样,这芯片里有无数的电缆,然后要接到一块板上面,上面有一个一个光模块,这是今天的普遍的产业模式。
那么我们刚才讲的那个 7.2T 的光模块是直接放在了芯片的边上,因此芯片和光之间、光模块之间的连接就变成了可能只有五公分,或者三一到五公分这种距离,因为那个芯片的大小也就这么大,所以就让这一段电线就去掉了,这个我们称之为,行业里头称之为 NPO(近封装光学,光模块放芯片边上,就是 Near Package Optics。
但是当我们试图去解决这个问题的时候,我们非常坚定的选择了 NPO,而没有把光一步的放到 package 里面,没有放到芯片里面,我们放到芯片的边上。那么这个问题呢,立刻就会产生,如果你有机会再去跟采访到其他的光通信的行业里头,你就会发现这个问题是无数的人争论了好多年的一个话题,放在边上还是放在里面,还是放在外面。
但是非常有意思的是说,在我来说我不需要经过争论,就直接选择了就要放在边上,在 2026 年一定要把 7.2T 的光模块一定要放在芯片的边上,既不要放在外面,也不要放在芯片里面,为什么呢?因为第二个问题,只要是光呢,一定会有一个激光器,它的光源是什么?
这个激光器会有故障的,它在比较热的工作环境里头,它会有一定的概率会失效,那么一旦失效了之后,你就要解决怎么去修复它的问题。那么又有第二个问题,有非常多人即使选择了把这个光放在了芯片里面或者放在边上,他们又坚定地选择了一定要把这个光源放在外面,因为一旦在外面坏了,我就把它拔掉,我可以拔一个插进去一个新的,把它换掉,这样来解决这个故障的问题。
而我们坚定地选择了千万不要放在外面,而且不但要放在里面,我就做了两个,坏了一个,我还有另一个可以继续工作,来降低它的失效率。你看这些,那你就会开始怀疑我说,你一个做软件出身、算法出身的人,然后又后面又假装去做芯片,你现在为什么有资格去做这样的断言,说只有这样是最好的?
你看这个话题呢,说起来也有相当漫长的,其实这个完全应和了我刚才讲的如何一个人在一个行业里头去成长,这么一个 philosophy。我刚才讲了两点,第一个要把喇叭口张开,哪怕是楼下周边上下左右 360 度都看看,多了解一下。那么大概是在 2008 年、2009 年的时候,我就已经意识到了芯片必须,因为它的 IO,它的电线传输距离太短。
工程师故事 [04:16:45]
[04:16:45] 张小珺: 这么多年,您对芯片行业还有很强的热情吗?
[04:16:49] 廖恒: 我的热情更多来自于Necessity。就是这么说吧,如果你走在路上,哪怕是一个陌生人,他突然倒在地上,你会觉得应该去问问他有没有什么病。我们现在看到的是说,这种需要是很容易被感知到的。我们需要算力,我们需要有一个能够自动驾驶的汽车等等,这些需要是随处可见的。我们需要有自己的智能手机,不能全中国只有苹果手机。
这些需要其实是所谓的necessity is the mother of invention,更多的是来自于这个。但是当然还有一个负面的驱动力,就是说人只要不干,或者我自己吧,只要在没有干特别好的事的时候,大概率会去干一些坏的事情。
[04:17:54] 张小珺: 使命是什么?现在个人使命还是一个企业使命,还是其他?
[04:18:01] 廖恒: 华为的使命写得很清楚,把什么数字生活带给每一个人、每一个企业、每一个社会。我个人的使命只是觉得,有限的生命能够尽可能留下一些更好的东西,或者是说建设性的东西要多于破坏性。因为人活着,生不带来,死不带走,但是只是这个过程,希望说还是有所用吧,为人所用。
[04:18:51] 张小珺: 您还给我写了两个问题,一个是Silicon Valley到底在哪,一个是AI的理想和Wall Street华尔街的理想有什么?
[04:19:00] 廖恒: 刚才我其实在过程当中已经提到了这两个话题。我觉得Silicon Valley,我说AI的Silicon Valley在哪?我猜它可能就在五道口吧,要不就是在上海的什么前滩,或者叫后海滨江那边,就是这个徐汇区的那些创智学院。那么为什么我会有这样的comments呢?因为我自己的孩子就在五道口那边,还在读三年级,或者我们也经常去那边参加一些交流讨论。
我觉得那个,如果你在那边随便哪个餐馆咖啡厅坐下来吃个饭,你就会发现边上的桌子里头可能有两个人在激烈的讨论什么昨天的那个loss为什么跑飞了啊,强化学习到底怎么弄得更好一点。我觉得因为这个地方的氛围和人群在这。而为什么不在Silicon Valley?
因为刚才讲的,不是因为Silicon Valley不再具有吸引人才的凝聚力,而是在于这些企业本身的monopoly的desire限制了Anthropic的员工可能不会跟斯坦福的一个什么本科生讨论最新的强化学习的手段是啥,因为他们想要把这个变成他们的竞争优势,或者是这个所谓的垄断正在形成当中。
因此呢,我觉得在中国具有更加充裕的人才供给,有更多的人在积极努力的解决各种各样相关的问题,而且目前中国离那个monopoly离得更远,更远了。所以在这么短暂的这一个时间里头,也许这三年,也许这五年,我们正处在这么一种群星璀璨、百花齐放、极度繁荣而且思想交流十分活跃的这么一个时期。
[04:21:28] 张小珺: 所以中国的不管是模型公司还是芯片公司,不管是什么公司的这种开源文化的形成,可能会产生比我们现在能想到的更深远的影响,是吗?
[04:21:38] 廖恒: 我是这样看的,或者我希望这个开源的文化能持续得久一点,持续得久一点,对,因为也没有任何保障说这些愿意开源的工作工作明年还会继续这样。我希望他们持续得久一点,如果他是创始人自己决定的,也许会持续得比较久;如果他是一个某某公司的某个部门,他可能连决定的选择权利都没有。
[04:22:11] 张小珺: 他可能会闭源得快一点,因为会持续在公司内。
[04:22:14] 廖恒: 不知道会不会闭源。
[04:22:17] 张小珺: 挑战更多可能会。那我还有一些最后的快问快答,一个全球范围内您喜欢的食物。
[04:22:26] 廖恒: 食物啊,我现在已经吃杂粮吃太多了,我已经不知道自己喜欢什么,或者是说那个很久没有想过自己喜欢什么。
[04:22:43] 张小珺: 一个少有人知道但必须知道的知识点。不过刚才您已经说了,那就算了。基于所有读过的书,推荐几本书。
[04:22:50] 廖恒: 我觉得推荐几本书吧。第一本,我会,我们在内部也推荐过第一本,叫 Idea Factory,或者应该在京东也有买的,我不知道,是中文版叫思想工厂。它讲的是 Bell Labs 的历史,贝尔实验室的历史。
尤其对我们感触特别有借鉴意义的是 1940 年到 1945 年这一段时间所处的时代,是说美国的经济 GDP 已经很发达了,但是他的科技离这个欧洲的老牌的英国、德国这些学术圣地还相去甚远,所以那个时候的 TOP 教授都是要留学,要不就是剑桥毕业的、哥廷根,要不就是德国什么某某大学毕业的人。
[04:23:48] 张小珺: 才是TOP教授。
[04:23:51] 廖恒: 我觉得推荐几本书吧。第一本,我会,我们在内部也推荐过第一本,叫 Idea Factory,或者应该在京东也有买的,我不知道,是中文版叫思想工厂。它讲的是 Bell Labs 的历史,贝尔实验室的历史。
尤其对我们感触特别有借鉴意义的是 1940 年到 1945 年这一段时间所处的时代,是说美国的经济 GDP 已经很发达了,但是他的科技离这个欧洲的老牌的英国、德国这些学术圣地还相去甚远,所以那个时候的 TOP 教授都是要留学,要不就是剑桥毕业的、哥廷根,要不就是德国什么某某大学毕业的人。
[04:29:21] 张小珺: 有一个达成共识的过程
[04:29:24] 廖恒: 和如何有规则的去,既不需要走到革命去破坏这个组织的极端,也不需要自己过于委屈。所以我觉得这一本书反正我送过给非常多的同事,就是说帮助他们解决了,让他们感到一定的释怀和安慰,所以我觉得这个 Roots of Work 尤其是对于年轻的听众也许是值得一看。差不多就是这些。我之前在准备的时候还想起了 Edison 这本书。
Edison 这本书首先 Edison 是个超级名人,也许倒退一百年前,Edison 就相当于那时的马斯克 Elon Musk,或者那时候的乔布斯。那么我觉得这几个人呢,他们可能是上天给他们的不断的 resurrection,说不定是同一个灵魂的不断的一次一次重生吧。但是或者是说,我觉得他们身上有一些 common 的 quality。
为什么我说的 Edison 的,你们可以去 Gutenberg.org 上面有免费的电子书,因为我找不到纸质的版本,太过久远了,是他身边的一个工作人员写的,所以他有很强的真实感。
我觉得 Edison,因为大家可能尤其是特别聪明、学业很好的同学,可能经常会 confuse,以为 Edison 和爱因斯坦这些都是人类历史上,或者是说理工男心目当中比较璀璨的历史上出现的这种大的星星,以为他们是同一类,实际上他们是完全两类。Edison 可能连初中都没有上过,是一个很穷苦的家庭,可能就小学,也许初中就辍业了,然后就去火车上卖报纸。
但是呢,他有一种天生的 engineer 的 quality,而且这个 engineer 的 quality 其实是有几个最基本的要点,第一个要做有用的事,千万不要做花里胡哨、华而不实,一定要发明有用的东西。第二个你要尊重现实,必须首先要知道说什么是值得去解决的,而不要选择浪费时间去解决那些没有意义的问题。
当然那个书里头有无数的例子讲他是发明了什么,为了发明这个东西基本上都是用一些笨办法,他并不是一个超级聪明的人,所谓的笨办法就是先要,也许他 extraordinary 的地方就是首先识别人类需要什么,所以灯泡没有,电灯就要发明一个灯泡对吧,没有电影就要发明怎么去记录运动的东西的图片,所以电影甚至第一个电影甚至还是爱迪生拍的,有很多有意思的故事在里面吧。
我相信理工男或者是工程师偏好的同学应该可以在这里找到很多有意义的 reference。另外还有一本书是我刚入行的时候读过的,叫做 The Soul of a New Machine,或者叫新机器的灵魂。
这里头讲的呢,是我刚才在故事里头讲到了一个叫 Digital,DEC Digital Equipment,与它同时代的做小型机的时代,还有一个叫 Data General 的公司,这个 Soul of a New Machine 讲的是这样一个工程师群体,也许是在 70 年代末的时候,如何去设计一个新一代的机器。
那么为什么这个书也许对我们真正的是做计算机的同行可能更有参考意义?他描述的是一个很真实的 almost day to day 的,每一个人他是怎么去参与这个项目啊,在项目里头遇到了啥困难,他有一天心情不好,又怎么怎么解决的了。
我还有幸的见到了当时那本书里头描述的一个实习生,他好像叫 Bob,当我见到时候他已经是 EMC 的 fellow,是一个白发苍苍的老头。
所以我想说的是,这个书里讲的是工程师的故事,尤其是工程师的群体的故事,而这个群体的故事呢,它是代代相传的,就是说它不断地 repeat,也许你是做一个小型机,我们现在做一个芯片,或者做一个 AI 的超节点,或者是做下一个模型,或者是做一个这个超级的下一个有希望的超级应用,他反正对我来说还是有所启示,因为你看到了前面的人,就算你所经历的一切前面的人都经历过。
而且他之所以特别,是因为工程师本来是一个超级 boring 的群体,本身以内向为主,也不善言谈,更不会为自己立书写传,所以这属于一个异类的书,他描述的是工程师的真实的、几乎是第一人称的这种体验吧,所以我觉得对工程师群体还是值得一看。
[04:35:46] 张小珺: 您说代代相承的工程师的时候,我就在想,现在大家都说软件工程师快被AI coding取代了,那如果这样的话,大家可以往硬件转一转。
[04:35:57] 廖恒: 和如何有规则的去,既不需要走到革命去破坏这个组织的极端,也不需要自己过于委屈。所以我觉得这一本书反正我送过给非常多的同事,就是说帮助他们解决了,让他们感到一定的释怀和安慰,所以我觉得这个 Roots of Work 尤其是对于年轻的听众也许是值得一看。差不多就是这些。我之前在准备的时候还想起了 Edison 这本书。
Edison 这本书首先 Edison 是个超级名人,也许倒退一百年前,Edison 就相当于那时的马斯克 Elon Musk,或者那时候的乔布斯。那么我觉得这几个人呢,他们可能是上天给他们的不断的 resurrection,说不定是同一个灵魂的不断的一次一次重生吧。但是或者是说,我觉得他们身上有一些 common 的 quality。
为什么我说的 Edison 的,你们可以去 Gutenberg.org 上面有免费的电子书,因为我找不到纸质的版本,太过久远了,是他身边的一个工作人员写的,所以他有很强的真实感。
我觉得 Edison,因为大家可能尤其是特别聪明、学业很好的同学,可能经常会 confuse,以为 Edison 和爱因斯坦这些都是人类历史上,或者是说理工男心目当中比较璀璨的历史上出现的这种大的星星,以为他们是同一类,实际上他们是完全两类。Edison 可能连初中都没有上过,是一个很穷苦的家庭,可能就小学,也许初中就辍业了,然后就去火车上卖报纸。
但是呢,他有一种天生的 engineer 的 quality,而且这个 engineer 的 quality 其实是有几个最基本的要点,第一个要做有用的事,千万不要做花里胡哨、华而不实,一定要发明有用的东西。第二个你要尊重现实,必须首先要知道说什么是值得去解决的,而不要选择浪费时间去解决那些没有意义的问题。
当然那个书里头有无数的例子讲他是发明了什么,为了发明这个东西基本上都是用一些笨办法,他并不是一个超级聪明的人,所谓的笨办法就是先要,也许他 extraordinary 的地方就是首先识别人类需要什么,所以灯泡没有,电灯就要发明一个灯泡对吧,没有电影就要发明怎么去记录运动的东西的图片,所以电影甚至第一个电影甚至还是爱迪生拍的,有很多有意思的故事在里面吧。
我相信理工男或者是工程师偏好的同学应该可以在这里找到很多有意义的 reference。另外还有一本书是我刚入行的时候读过的,叫做 The Soul of a New Machine,或者叫新机器的灵魂。
这里头讲的呢,是我刚才在故事里头讲到了一个叫 Digital,DEC Digital Equipment,与它同时代的做小型机的时代,还有一个叫 Data General 的公司,这个 Soul of a New Machine 讲的是这样一个工程师群体,也许是在 70 年代末的时候,如何去设计一个新一代的机器。
那么为什么这个书也许对我们真正的是做计算机的同行可能更有参考意义?他描述的是一个很真实的 almost day to day 的,每一个人他是怎么去参与这个项目啊,在项目里头遇到了啥困难,他有一天心情不好,又怎么怎么解决的了。
我还有幸的见到了当时那本书里头描述的一个实习生,他好像叫 Bob,当我见到时候他已经是 EMC 的 fellow,是一个白发苍苍的老头。
所以我想说的是,这个书里讲的是工程师的故事,尤其是工程师的群体的故事,而这个群体的故事呢,它是代代相传的,就是说它不断地 repeat,也许你是做一个小型机,我们现在做一个芯片,或者做一个 AI 的超节点,或者是做下一个模型,或者是做一个这个超级的下一个有希望的超级应用,他反正对我来说还是有所启示,因为你看到了前面的人,就算你所经历的一切前面的人都经历过。
而且他之所以特别,是因为工程师本来是一个超级 boring 的群体,本身以内向为主,也不善言谈,更不会为自己立书写传,所以这属于一个异类的书,他描述的是工程师的真实的、几乎是第一人称的这种体验吧,所以我觉得对工程师群体还是值得一看。
[04:37:39] 张小珺: 基于当下的认知,一个关键的重要的bet是什么?
[04:37:43] 廖恒: Betting on China并不在于说我代表bet against America。