Danfei Xu:人类数据,行为克隆,机器人GPT-3,全栈,EgoMimic,遥操作,UMI,斯坦福 _ WhynotTV Podcast #5

说明

本文由视频画面中的硬字幕逐条提取,按说话人合并成段,保留口语原貌与字幕自带的括号释义,仅补充标点、区分说话人,未作改写。时间戳为该段发言开始的时间;同一人连续发言拆成多段时,续段不重复姓名和时间。

开场 [00:00:00]

[00:00:00] Danfei Xu: 我现在感觉就是一辆高速前行的火车,有几个 lab(实验室)在前面疯狂搭铁轨,后面就是所有的资本开始往往车里面加油加柴。如果你在人身上挂足够多的 sensor(传感器),其实你可以把一个人变成一个机器人。I want to behavior clone a human(我想克隆人类行为),太 exciting(令人兴奋)了。

那段时间真的就是我天天就是一睁眼就是 let’s do this(开干吧)。所以我当时就开始给各种各样名字里带 robotics(机器人)的公司打电话,然后当时我们就聊了很久,然后他就说:“那你来吧,我们也不给你钱,但你来吧。”(博士)第二年的时候,Fei-fei 跟我说:“你要不继续做 Scene Graph(场景图)?”

我说:“不要,我要做 robotics(机器人学)。”但是为什么他们(DeepMind)没有做 behavior cloning(行为克隆)?

是因为他们的、他们的 flagship product(旗舰产品)或 flagship research agenda(旗舰研究方向)是 reinforcement learning(强化学习),所以他们强行地把这个 behavior cloning(行为克隆)这件事情压下去了。就是我真的不想在这种环境里干。

如果你看遥操作数据,其实遥操作数据本身它也不是一个完美的数据,但是人和机器人、和机器人、和机器人之间的差距真的有那么大吗?

[00:01:11] 泰然: 如果说大语言模型的跃迁来自互联网上沉淀的海量人类语言数据,那么对于机器人来说,是否也存在一种同样关键的数据?不是文字,不是图片,而是一个人拿起杯子、打开抽屉、走进房间、和另一个人互动时,在物理世界留下的痕迹。而这正是我们本期播客最重要的关键词:human data 人类数据。本期嘉宾 Xu Danfei,Danfei 一直把自己定义为一个机器人学家。

他不仅仅是坐在屏幕面前训练模型的人,更是那个喜欢坐在机器人旁边看它坏、再把它修好的人。

从早年折腾单片机小车,到在斯坦福从零搭建机器人系统,从不被看好的 behavior cloning(行为克隆),到今天思考人类数据如何成为机器人学习的底层燃料,它的技术主线从来不是一个单点算法,而是一个完整全栈的系统问题:我们如何才能达到机器人的 GPT-3 moment(时刻)?

在这期播客,我们会聊 Xu Danfei 如何走上机器人这条路,人类数据会不会成为机器人学习的基石,人类数据和人形机器人究竟是谁成就谁,当机器人开始学习人类的操作、身体,甚至是人和人的互动,它的智能上限会是什么?这里是 WhynotTV Podcast,现在请和我一起进入 Xu Danfei 的世界。

之前我们聊天的时候,你跟我说你对自己的 self-identification(自我认同)一直是一个 roboticist(机器人学家),你能不能跟我讲讲,就是比如说你最早第一次对机器人感兴趣是在什么时候?

[00:02:32] Danfei Xu: 我感觉应该是在初中到高中的时候,那个时候我一直对就是做一些小手工,然后做一些这种单片机小车这种东西比较感兴趣。然后当时我记得好像并没有很多的 resources(资源),然后我就自己在这捣鼓,其实也没有做出来什么东西,但是这个念想一直在。对,在初中高中的时候。对。

[00:03:00] 泰然: 所以你小时候是在哪儿长大的?

[00:03:02] Danfei Xu: 我在山西太原出生,然后我六年级到初一的时候搬到上海,然后初中高中在上海念的。

[00:03:11] 泰然: 比如说你初高中的时候做做什么单片机、搭搭小车,这些纯粹是自己的爱好?

[00:03:17] Danfei Xu: 对,当时纯粹是自己的爱好。就是我当时记得这些东西,我就是自己从淘宝买的,然后自己就找了一些教程,然后自己开始鼓捣这些东西。

小时候的Danfei是什么样的小孩 [00:03:27]

[00:03:28] 泰然: 那你觉得你童年时期,你是那种很早就目标很明确的人?没有,没有,还是不断地试错才发现自己的兴趣?

[00:03:37] Danfei Xu: 对,当时我其实是一个非常非常 interest-driven(兴趣驱动)的人,就是只要我不、我不想干的事情,我肯定是不会干的。然后我想干的事情,我大概会投入 anywhere between(介于)介于50%和100%的 effort(投入)来干它。但是我如果真的不想干一件事情,我是 zero percent effort(零投入)。

[00:03:58] 泰然: 当时有什么小时候你完全不想干,但是别人希望你要干的事?

[00:04:03] Danfei Xu: 就是我其实是一个学习很、之前学习很差的人,就是因为我其实非常非常非常不喜欢,就是上课或者说考试这种形式,所以其实当时就是处在一个非常、就是我也不知道为什么要干这件事情,然后的这个状态。

[00:04:22] 泰然: 所以你并不是那种从小在学校能够获得很多成就感、正反馈的那种状态?

[00:04:29] Danfei Xu: 学校其实对我来说完全没有什么,只是一个社交和 where I spend most of my day(我大部分时间待的地方)这种地方。

[00:04:38] 泰然: 所以那当时你在学校主要做的事情是折腾你自己的东西?

[00:04:42] Danfei Xu: 就是折腾一下自己的事情,然后上上课,然后作业写或者不写。

[00:04:49] 泰然: 对,哈哈哈,那这样的话会不会小时候压力挺大的?老师和家长?

[00:04:54] Danfei Xu: 对,但是我觉得我父母就是怎么说,他们也是也不是那么确定怎么样对待这件事情,然后我也当时我也没有特别顾及他们的感受这种样子,所以大家就处在一个两边都比较模棱两可这个状态,直到我可能就是高一高二的时候决定可能要出国,然后这个时候我突然我的 motivation(动力)就来了,然后所有的事情可能就是所有事情都朝着这个我要去美国读书这件事情就是往这块走。

为什么高中时决定去美国读本科 [00:05:34]

[00:05:34] 泰然: 当时这个去美国留学读本科这个决定是你的决定还是你父母的?

[00:05:39] Danfei Xu: 是我的决定。我记得当时的契机应该就是我记得应该是高一的时候去了一趟美国,然后当时觉得哦,我觉得这件事情我还挺有兴趣的。如果要是我能换一个地方体验这种生活,而且就是说 do something different(做一些不一样的事情)。

[00:06:02] 泰然: 就是一个你来美国的一个种子。

[00:06:04] Danfei Xu: 对,就是我记得那次以后,我大概就下定决心就是要干这件事情。there’s no way to turn back from there(没有回头路)。

[00:06:14] 泰然: 所以那时候的转变是什么?就开始准备(认真)申请,非常用功。

[00:06:18] Danfei Xu: 对,非常 motivated(有动力),然后所有的事情都自己干。我不知道现在是什么情况,就是申美本(美国本科),然后当时我记得美本美本有一个就是大家有一个有一波人是自己 DIY(自己申请),然后所有东西自己干,然后我是属于那波人,就是没有找任何中介,就所有东西都是自己干的。对。

[00:06:39] 泰然: 那当时你是怎么收集信息的?QQ群?哈哈哈。

[00:06:44] Danfei Xu: 当时还有 QQ 这个东西,然后还有一个论坛叫 CUUS,我不知道你有没有听说过,这是一个非常非常古早的留学生论坛。然后就是当时应该就是美本,就是准备申美本的很多 DIY(自己申请)的人都在上面,就是交流信息之类的。对,然后考 SAT(美国大学入学考试)、考托福这种信息应该都是在上面,就是大家交流比较多。对。

[00:07:06] 泰然: 所以你当时在上海是哪个中学?

[00:07:08] Danfei Xu: 是一个中学,叫上南中学,是一个类似于区重点这么一个中学。

[00:07:13] 泰然: 在那儿要申美本算是有传统。

[00:07:16] Danfei Xu: 没有,我当时记得,因为 again(还是那句话),我学习一般,所以就那个中学其实也就是大概在中等,大概这样子。所以当时我觉得,我们,我记得我们年级是去美国的,可能就那么两三个人,那一届。

[00:07:36] 泰然: 基本上申请美本的两三个,对你当时就完全的是一个极少数的选项。

[00:07:42] Danfei Xu: 对,是一个极少数的选项。

[00:07:44] 泰然: 这个会不会当时会比较有压力?大多数同学都在走高考的这个 track(路径)。

[00:07:51] Danfei Xu: 而你 again(还是那句话),就是我是一个非常 interest-driven(兴趣驱动)的人。如果要是这件事情跟我的 interest(兴趣)不 align(相关)的话,我是完全没有想要干这件事情。所以我也没有觉得有压力,因为我本来就不想干。对。

[00:08:05] 泰然: 所以你最重要的是 interest (兴趣),至于说是不是主流。

[00:08:09] Danfei Xu: (主流) 这些事情跟我完全没有关系。你从小就这样,大概是。

[00:08:13] 泰然: 哇,我觉得好厉害。所以你当时完全没有那种,因为你肯定要脱产,远离那种应试教育,甚至都不怎么去上学。

[00:08:23] Danfei Xu: 当时我觉得很开心,因为我觉得可能当时也是觉得,我有点想不起来当时这个状态是什么。我完全没有觉得自己就是脱离主流是一件很有压力的事情,是一件非常非常厉害的事情。让你觉得。

[00:08:42] 泰然: 甚至更 exciting(更令人兴奋)一点?对,exactly。那当时准备美本申请顺利吗?整个过程有没有遇到什么?

[00:08:49] Danfei Xu: 说实话很不顺利,因为就是所有事情都是我自己干,然后、然后,因为我父母其实也不是,就他们对这套系统也完全没有了解,因为他们也没有上过大学,所以就是他们也不是,比方说圈内人,所以他们也就是干着急这种事情。所以就是我也是一个人在干,然后同时平时交流信息也是跟网上认识的人交流,所以到最后其实结果就一般吧。

我最后其实去了一个 liberal arts college(文理学院)叫 Dickinson College(狄金森学院),然后当时在几个学校里面选,然后我当时可能有一个有一小波人觉得 LAC(文理学院)非常好,我可能也是其中一个人。

然后当时确实后来觉得这个选择其实没有问题,就是我觉得在LAC(文理学院)里面有更多自己 exploration(探索)的空间,然后可能跟教授的关系也非常近,所以也促成了一些之后比方说做科研这些事情。

[00:09:52] 泰然: 这个很出乎我意料,因为我觉得一般来说读美本的同学都是有很多家庭的助力,甚至父母早就给他安排好了。你完全不是这样,完全没有。

[00:10:03] Danfei Xu: 当时的状态就是我爸妈只负责,就是我说我要考试,他说好,然后比方说我说我要去考 SAT(美国学术能力评估测试),然后所有东西都是我自己定,然后我只需要他们给我出钱就可以了。

[00:10:18] 泰然: 所以你基本上从高一开始就不去学校。

[00:10:20] Danfei Xu: 对,大概高二去了一半。

[00:10:22] 泰然: 那你的十五六岁、十六七岁的那段时光,就是一个人在上海背着个书包准备自己的申请。

[00:10:29] Danfei Xu: 大概是这样。

[00:10:30] 泰然: 那段时间也没有同学,对吧?

[00:10:32] Danfei Xu: 有一些,就是我大概认识的,比方说我初中同学,或者有一些高中同学,可能会一起,有时候会一起学习,就是一起准备考试这样子,大概有那么几个人。

[00:10:44] 泰然: 好厉害。我觉得我如果在那个状态下,我是会有一种不确定感,我会有一点点害怕。

[00:10:50] Danfei Xu: 我觉得肯定是有不确定感,但是怎么说,不想干、不想做、没有兴趣的事情的动力更大,这个反向的推力更大。

[00:11:04] 泰然: 就是如果我要让你回去准备高考,你更受不了。你觉得你更受不了高考的这个主要的那个点是什么?

[00:11:12] Danfei Xu: 就是我不知道做这件事情的意义是什么,嗯,对,就是没有意义的事情,我没有办法说服自己做。我很佩服一些人,就是说他会知道 in the long run(长期来看)有些事现在做的没有意义的事情,对以后是非常有帮助的。但是我小时候我就不太能接受这一点,就是我当下觉得没有意义的事,就是对我没有意义的事情,我就不太想做,对。

18岁前的经历如何塑造了对不确定性的适应力 [00:11:40]

[00:11:40] 泰然: 18岁之前的一些经历,你觉得你现在回想起来,有没有什么部分是对你人生至今产生了比较深的影响?

[00:11:49] Danfei Xu: 可能就是让我意识到了一点,就是我对于这种很高不确定性的、没有任何框架的事情,其实做起来非常擅长,就是我可以找到很多解决一个高不确定性问题的方法。

[00:12:07] 泰然: 哇,这个我觉得非常适合做 research(研究),对,嘿嘿嘿。对,当时其实18岁之前申请美本,这个经历你有一种那种自信,就是有不确定性我也可以。

[00:12:20] Danfei Xu: 只是 in hindsight(事后看)这个确实是 in hindsight(事后看),当时我觉得我肯定也是很慌的,但只是说,again(还是那句话),就是说另外一边的反向推力更大而已,哈哈。只是后来就是后来回想起来,可能当时就不断地做这种事情,以后可能会让自己觉得有些事情可以,就很多事情都是可以自己做的。

[00:12:44] 泰然: 然后你就远赴重洋去美国读本科,那是你第二次去美国?那是我第二次去美国。然后刚到美国开始读本科的时候,你有意识到自己想学什么、对什么感兴趣吗?

[00:12:56] Danfei Xu: 有两个,就是计算机和物理,这两个可能是我在初高中的时候算是比较感兴趣的两件事情,就是没有那么抗拒,可能也是少数我比较擅长的两个学科。然后就开始类似于 major CS(主修计算机科学)然后 minor physics(辅修物理)这样子。

[00:13:16] 泰然: 你是不是本科还经历过一次转学,去了 Columbia(哥伦比亚大学)?

[00:13:19] Danfei Xu: 因为当时就是很多这种 liberal arts college(文理学院)就跟一些大学会有一个3+2的项目,就是在就是在 LAC(文理学院)读三年,然后再去那个就是这种学校再读两年,所以我后来就是去了 Columbia(哥伦比亚大学),然后读了大概 13 到 15 年的时候在 Columbia(哥伦比亚大学)

[00:13:41] 泰然: 然后我看到你第一篇本科时候的论文是 ICRA 2013(机器人与自动化国际会议),那个是在哥大做的?

大一大二 cold call 机器人公司做 research [00:13:47]

[00:13:47] Danfei Xu: 没有,那个是在 LAC(文理学院)做的。这件事情也是很有意思,因为我当时就是我记得我大一和大二,应该是大二的时候,就是我应该是大一的时候,我对做 research(研究)这件事情的渴望达到了一个阈值,所以我当时就开始给各种各样名字里带 robotics(机器人)的公司打电话,就真的就是打电话

[00:14:16] 泰然: 就是你 Google 一下他们的电话,对,打电话

[00:14:19] Danfei Xu: 然后我说你们招不招 intern (实习生),就是 summer intern (暑期实习生)。我记得我打了大概20多个电话,包括了 Boston Dynamics (波士顿动力),包括了一些很奇怪的公司。

然后最后有一个公司它叫 SynTouch RoboticsSynTouch LLC 当时可能叫,然后他们的一个产品叫 BioTac,就是那个 tactile sensor(触觉传感器),你们可能在各种各样的机器人上见过,就是一个绿色的手指,然后它是一个 bio-inspired(仿生)的这么一个 sensor(传感器),可能当时应该算是 state-of-the-art(当时最先进的)吧。

就是说说回来,就是说打完电话以后,然后那个当时接电话那个人,就是我后来的 internship mentor(实习导师),现在就是一个 lifelong friend(一生的朋友)了,就是Jeremy Fishel。然后他他当时就觉得就觉得这个小朋友很厉害,就是为什么会想到给我们打电话呢?

然后当时我们就聊了很久,然后他就说那你来吧,我们也不给你钱,那你来吧,哈哈,就是你你来做吧。然后我就去了。所以你做的都不是在学校做的research(研究)?没有,对,就是 literally cold call(直接打陌生电话)。

然后因为我实在太想干这件事情了,所以然后有人恰好恰好也觉得我对这件事情太有兴趣了,可能就是 what to to lose(反正也没什么可失去的)。但是当时可能就是他也是一个非常怎么说,哈哈,也是一个性格非常好,然后也是也是 willing to take chances in people(愿意给人机会)。

然后当时我记得我口语也非常差,所以可能当时聊了半天,可能也半懂不懂,他也可能也是半懂不懂我想干什么的,但是他可觉得我对这件事情太有 passion(热情)了

[00:16:04] 泰然: 所以你就是 Google 到他们的电话,打电话过去说:“我是这儿的本科生,能不能让我来做 robotics(机器人学)?”

[00:16:11] Danfei Xu: 对,这个公司在 LA(洛杉矶)。

[00:16:13] 泰然: 当时在 USC(南加州大学)隔壁,所以你飞到西海岸来做了。

[00:16:16] Danfei Xu: 对,然后我就开始做 research(研究),然后就是做那个项目。

然后我当时记得我们做的是一个是一个Bayesian approach to tactile sensing(贝叶斯方法触觉传感),可能当时的主要的这个 idea(想法)就是怎么样通过就是这个 sensor(传感器),就是 BioTac这个 tactile sensor(触觉传感器)来classify(分类)它接触到的这个物体是一个什么物体。

大概的道理就是说我这个 sensor(传感器)上面有三种 modality(模态),一种是 pressure(压力),就是大概这个 deformation(形变)有多大;然后一个是 heat capacity(热容量),这件事情非常神奇,就是说它这个 sensor(传感器)它会加热到跟人一样的体温,大概37度体表温度吧,大概就是跟体表温度一样,然后它会根据材料的heat transmission(热传导)的速度来做 classification(分类),这是另外一个 modality(模态);然后最后一个模态就是 vibration(振动),

它有一个 high-frequency(高频)这个 vibration sampler(振动采样器),大概是 2000 赫兹左右,如果你手指滑动在(物体)上面的话,滑动在物体表面的话,它会有一个 certain kind of vibration(某种振动)

[00:17:29] 泰然: 哇,但当时你打电话,因为我觉得好像美本,特别是比如说像文理学院这样的 education(教育环境),很少有学生会大一大二就说我要做 research(研究),我要做 robotics(机器人学)

[00:17:42] Danfei Xu: 我真的就当时实在是太想做 robotics research(机器人学研究)了,所以就是就做了一些就是可能现在有点难以想象的这种这种尝试。

[00:17:53] 泰然: 是吧,就是我觉得大多数人是按部就班的,对,但你又一次就跟你申美本一样,你在美本的时候又在打这个电话飞到西海岸。

[00:18:03] Danfei Xu: 另外后面还做了一件离谱事情,对,然后就是这件事情做完以后,当时可能是我第一次接触到灵巧手,可能后来大家听说过 Shadow Hands(Shadow 灵巧手)对吧?就是这个 Shadow Robotics,大家听说过的时候,我其实已经搞坏了好几个了,哈哈哈。

(SynTouch)可能是第一批拿到 Shadow Hands 的公司,然后我当时那个暑假可能搞断了七八根手指这样子,哇。

[00:18:37] 泰然: 但那个时候你本科那个时候学 computer science(计算机科学)的学生,其实大部分应该搞的是纯算法或者互联网公司关心的那种,对吧?那你当时为什么?

[00:18:49] Danfei Xu: 我真的太想做 robotics(机器人)了,就是我真的想让东西动起来,我对这个纯做算法其实兴趣不太大,我真的就想让东西动起来。

对,我对硬件,我后来想起来就是我觉得我对硬件有种天生的 affinity(亲和力),就是我非常喜欢就是 actually sit next to the robot(真的坐在机器人旁边)see it move(看着它动起来)and break it(把它弄坏),而且我非常非常享受这个过程。

[00:19:19] 泰然: 那么这是当时你大二到大三的那个时间,你飞到 LA(洛杉矶)在 SynTouch 这个公司做了 intern(实习),然后我看到你本科的时候还有一篇一作的论文。

[00:19:30] Danfei Xu: 是 IROS 2014(智能机器人与系统国际会议),这个是在 CMU(卡内基梅隆大学)。那个,这个是申请的那个 RISS(CMU机器人暑期项目)。RISS(CMU机器人暑期项目)然后这件事情也非常离谱,就是说这就是你说的那件第二件离谱的事情。对,第二件离谱的事情就是说我当时申请嘛,就是我当时听说了(RISS)这件事,因为这是他们第一届。

[00:19:47] 泰然: 你是第一届 RISS。

[00:19:49] Danfei Xu: 然后听说第一届,然后当时也非常混乱,因为他们类似于是跟让学生跟教授配对嘛,然后可能有这个面试流程什么。

当时我发了一个 email(邮件)给其中一个做 driving(自动驾驶)就是做 autonomous vehicle(自动驾驶车辆)的这么一个类似于 research professor(研究教授)吧,然后他回了(邮件),然后他说你这个 background(背景)可能有可能可以合适。

然后我当时觉得有可能,然后你就开车去 CMU 了,哈哈哈,然后就 show up at the door(直接出现在门口)说:“我们要不要聊一聊这件事?你觉得有可能的话?”

[00:20:27] 泰然: 我们要不要聊一聊?你就去敲他的门?你就主页搜到了他的办公室?对。

[00:20:33] Danfei Xu: 然后我们就聊了半小时,他说:“你来吧。”因为当时我们那个学校离CMU大概4个小时。

[00:20:40] 泰然: 开车你就开到匹兹堡,然后就去NSH,no actually Smith Hall。

[00:20:47] Danfei Xu: Smith Hall,对,哈哈哈。

[00:20:51] 泰然: 所以你当时觉得只要有可能,我就想要I wanna make it happen(我就想把它做成)。

[00:20:55] Danfei Xu: 就是有一点,就这件事情,I mean, why not(为什么不呢)

[00:21:03] 泰然: 所以当时做的是什么,那个project(项目)

[00:21:05] Danfei Xu: 当时是做无人车的localization(定位),然后就是,就是也是一个非常classical(经典)的problem(问题),就是怎么样在没有GPS(全球定位系统)的时候,做一个city-wide(全城范围)的localization(定位),基于RGB,基于RGB,对我们当时有一辆吉普改装的吉普,然后上面挂了6个摄像头,然后我就跟另外一个researcher(研究员)一起,天天开车出去这个收集地图信息

[00:21:30] 泰然: 你们当时都不是说有个dataset(数据集)做点?

[00:21:33] Danfei Xu: We just drove around Pittsburgh(我们就是开车在匹兹堡到处转),我记得我大概一周时间会有两天时间花在路上,一个research engineer(研究工程师)在旁边,然后我在旁边拿电脑,就是在,就是live logging(实时记录)这个数据,对,哈哈哈

[00:21:50] 泰然: 所以一周两天

[00:21:52] Danfei Xu: 对,然后大概持续几周吧,反正就是那个收数据,你当时做刚开始做算法的时候,可能就是大部分时间在办公室里,然后大概在最后 deadline(截止日期)前大概几周,就是一直在收数据,哈哈哈,那辆车后面放了6台电脑,就是,就是在做,就是data stream(数据流),然后就是live data collection(实时数据采集),哈哈哈哈,那个时候我相信你是很开心的,超开心,哈哈哈,对,我是觉得哇,这个太帅了

[00:22:24] 泰然: 哈哈,就天天跟Hardware(硬件)待在一起,后面6台电脑。

[00:22:29] Danfei Xu: 对我,天天晚上就去。我们当时一个很大的问题就是做NTP(Network Time Protocol),就是这个camera sync(相机同步)、time alignment(时间对齐),就是server(服务器)之间的time alignment(时间对齐)。我记得我那天晚上蹲在在那个实验室蹲了一晚上做这个network(网络)的,对。

[00:22:48] 泰然: 但当时你们做的那个RGB-based(基于RGB)的localization(定位),当时应该其实AlexNet已经有了。

[00:22:55] Danfei Xu: 没有哦,actually yes,2012年时候已经有了。然后,但是我们当时完全没有,就是整个CMU当时都没有很多人在讨论这件事情。他们所有的RI(机器人研究所)所有人都在做非常非常classical(经典)的东西。

我记得当时field robotics(野外机器人)是最火的,就是做driving(自动驾驶)啊,做off-road(越野)啊,就是off-road driving(越野驾驶)啊,然后做helicopter(直升机)这种东西。我记得当时这个是最火的。

[00:23:20] 泰然: 所以当时你的本科是完全就是deep learning(深度学习)是not part of it(完全不沾边)?

[00:23:25] Danfei Xu: 完全没有。对,一直到我PhD开始。其实所以你actually nothere is another one(还有另一个),但是就是说是在本科大概大四的时候,我跟Jim Fan,就是我们是大学同学,然后他开始我们做了一个项目(我觉得我们当时就是从零实现了一个卷积网络)on C++。

[00:23:50] 泰然: 所以你大四的时候第一次接触到这个,但当时你已经PhD(博士)申请过了吗,还是?

[00:23:55] Danfei Xu: 大概那个时候吧,大概就是前后那段时间。

为什么 PhD 选择了当时“机器人荒漠”的 Stanford [00:24:00]

[00:24:01] 泰然: 但当时你做了很多的robotics(机器人学)、很多的hardware(硬件),但你申请PhD(博士)你是申到了Stanford(斯坦福),Feifei给了你offer(录取)啊?

[00:24:10] Danfei Xu: 对,Feifei和Silvio当时是给了我offer(录取)。

[00:24:13] 泰然: 但其实他们之前是不符合你说的那种hard-core robotics(硬核机器人),很多硬件,对这个(选择)是

[00:24:19] Danfei Xu: That’s a great question(这是个很好的问题),当时我纠结了很久很久,哈哈哈,当时我拿到的offer(录取)是CMU(卡内基梅隆大学)、UW(华盛顿大学)和Stanford(斯坦福),然后UW(华盛顿大学)(导师)是Dieter,我当时其实在Dieter和Stanford(斯坦福)之间纠结了非常非常久,我记得我在4月14号才的时候才做的决定,就deadline(截止日期)前一天,对,哈哈哈哈哈,因为就是这个原因,因为我觉得Stanford这边做robotics(机器人学)的人太少了,没有人,当时真的一个人都没有,

除了Oussama之外,我记得Jeannette是我来的第二年才来的,然后后来有ChelseaDorsa、Shuran这些,Karen这些人是后来大概在我PhD(博士)期间才到,当时一个做robotics(机器人学)的

[00:25:09] 泰然: 所以你当时拿到offer(录取),比如说去了Stanford open day(斯坦福开放日),你觉得这就是robotics(机器人学)的荒漠。

[00:25:15] Danfei Xu: exactly(没错),一个人都没有。

[00:25:18] 泰然: not to mention robot learning(更不用说机器人学习)。

[00:25:20] Danfei Xu: no, yeah, robot learning(机器人学习)这个词那时候都不存在,这个概念不存在,这件事情对。

[00:25:25] 泰然: 但你还是选择去了Stanford(斯坦福),最后的decision factor(决定性因素)是。

[00:25:29] Danfei Xu: 我觉得可能就是隐隐感觉到那边有一个bigger thing(更大的事情),就是bigger(更大的)。It’s a bigger thing(那是件更大的事)。There’s something bigger that I can do there(我能在那里做更大的事情)。

[00:25:37] 泰然: 有什么样的迹象给了你这样的感觉?

[00:25:39] Danfei Xu: 就是UW(华盛顿大学)的确定性太高了,因为我知道我会做什么,当时可能是做3D vision(3D 计算机视觉),然后做一些state estimation(状态估计),做一些planning(规划)这些东西。但是在Stanford(斯坦福)我完全不知道会做什么,然后我觉得这件事情非常exciting(令人兴奋)。

[00:25:56] 泰然: 所以不单单是你在uncertainty(不确定性)下会做得很好,你反而会主动地去找(不确定性)。

[00:26:02] Danfei Xu: seek uncertainty(追求不确定性)后来我会开始就是做uncertainty seeking(追求不确定性)的一些事情。

[00:26:08] 泰然: 但当时你本科犹豫过要不要读PhD(博士)这个事儿吗?

[00:26:12] Danfei Xu: 没有,就是完全没去想过。

[00:26:16] 泰然: 因为你大一大二做了research(科研)之后,

[00:26:18] Danfei Xu: 我实在是太想做research(科研)了,哈哈哈,对,就是我完全没有考虑过full-time job(全职工作)这件事情。

[00:26:26] 泰然: 但这个也是一个,又是一个在你们美本的那个群体里面,对很少很少。

[00:26:32] Danfei Xu: 大概一两个吧,哈哈哈,对。

[00:26:34] 泰然: 你应该是2015年到了Stanford读PhD(博士),对,给我们讲讲那个时候的Stanford CS department(斯坦福计算机系)是什么样的?那个时候大多数人都在做vision(计算机视觉)。

[00:26:45] Danfei Xu: 很多人在做vision(计算机视觉),然后我记得当时Fei-Fei、Yuke在做Scene Graph(场景图),然后Silvio那边在做3D(Vision),然后但是都已经开始用deep learning(深度学习)了。

当时我记得Cewu当时做了一篇,就是做Scene Graph classification(场景图分类)的,我们可能当时就开始考虑一些Scene Graph(场景图)东西,然后Silvio那边是在做一些3D reconstruction(3D重建)的事情,就是我们第一篇work(工作)是在做End-to-end 3D reconstruction(端到端3D重建)。

[00:27:13] 泰然: 在我看来,这个paper(论文)是一个,这个topic(话题)是一个你不太会感兴趣的东西,因为这是个纯algorithm(算法)的东西。

[00:27:21] Danfei Xu: exactly,但是这两个东西其实是在我rotation(轮转)期间做的,因为当时Stanford是有一个rotation program(轮转项目),然后每个学期给你一个不同的组。

所以我第一个,第一个是跟Silvio做的3D-R2N2,然后第二个学期是跟Leo Guibas,然后做了一些其实是egocentric(第一人称视角的)VR(虚拟现实)这种东西,然后做human data capture(人类数据采集),然后做modeling(建模)。

其实当时是在做这个东西,没做出来什么东西,但是我鼓捣了一套从VR到human data capture(人类数据采集)这整个一套系统。我当时干了一件非常离谱的事情,就是我自己买了一个Oculus DK,就是developer kit(开发者套件),就是它刚出的那个DK,我自己买了一个拿去办公室做自己的research(研究)。

然后我记得,我记得我是在DK上面挂了一个Leap Motion,然后做hand capture(手部捕捉),就是跟后来其实做的,就是我们去年前年(EgoMimic)做的最开始prototype(原型)一模一样。

[00:28:18] 泰然: 一个VR加上camera(相机)做hand-tracking(手部追踪)。

[00:28:21] Danfei Xu: 做 ego-centric hand capture(第一人称手部捕捉)。

[00:28:23] 泰然: 这是你第二个rotation(轮转)。

[00:28:24] Danfei Xu: 2015 年冬天的时候做的事情。

[00:28:27] 泰然: 然后呢,再往后。

[00:28:28] Danfei Xu: 然后跟Fei-Fei这组,然后我跟Yuke做了这个Scene Graph(场景图)generation(生成)这个work(工作)

[00:28:34] 泰然: 当时你是处在一个尽可能想多(探索)。

[00:28:37] Danfei Xu: 对,多探索。当时就是说,探索一些,就是当时觉得 deep learning(深度学习)这件事情太酷了,这个为什么可以 work(奏效)?然后后来就开始做一些,就是比较 CV(计算机视觉)的问题。(博士)第二年的时候,Fei-Fei 跟我说:“你要不继续做 Scene Graph(场景图)?”我说:“不要,我要做 robotics(机器人学)。”

哈哈哈,然后就又回去做 robotics(机器人学)。

[00:28:56] 泰然: 那当时 Fei-Fei 问你要不要继续做 Scene Graph(场景图),你说不,我要做 robotics(机器人学)的时候,你知道你面临的是什么吗?就是一个什么都得自己来,硬件都没有,可能。

[00:29:05] Danfei Xu: I’m perfectly comfortable with that(我对此完全没问题)哈哈哈,就是我实在是这件事情,我如果真的有一件事情能让我完全主导这件事情,我非常非常开心,我不喜欢别人告诉我该做什么,只要她,只要给你个绿灯,I just went full steam ahead(我就全速往前冲)

[00:29:22] 泰然: 应该是同意了,就让你去做robotics(机器人学)

[00:29:24] Danfei Xu: 对,当时其实还有其他人一起做嘛,Yuke也开始一起做,就是我和Yuke,然后当时Ajay也来了,然后大概我们四个人就开始成立了一个,就是当时可能还叫Stanford Vision Lab吧,就是可能当时就叫Vision Lab,不是SVL (Stanford Vision Lab),后来我们改了名,然后我们开始做 robotics (机器人学)

[00:29:46] 泰然: 那当时你做 robotics(机器人学),我能理解你就是个 robotics people(搞机器人的),这就是你的热爱。那其他,比如说 Yuke,Ajay,其他人来做(机器人),是你们看到了什么东西?有什么样的迹象?大家觉得 robotics(机器人学)是?

[00:29:59] Danfei Xu: 对,这是一个非常好的问题。我也,我当时在回忆这件事情的时候,我可能要跟 Yuke confirm(确认)一下。但是可能大家就是觉得 vision(计算机视觉)这件事情可能就没那么有趣了,当时这么个感觉。然后大家就,我们就开始,就是 16、17 年的时候开始做 robotics(机器人学)。

2016-2017 年 robot learning 领域是什么样的 [00:30:18]

[00:30:18] 泰然: 那当时做 robotics(机器人学)是什么样子的状态?

[00:30:21] Danfei Xu: 当时我觉得可能分两种吧。一个是比较 CV-centric(以计算机视觉为中心),当时可能第一篇 Grasping Net,GraspNet 这种 work(工作)可能开始出现了,就是把 robotics(机器人学)当作 vision problem(视觉问题)。

然后第二种就是,就是 RL(强化学习)可能已经开始 work(奏效)了,因为当时那个 AlphaGo 嘛,然后大家觉得 RL(强化学习)非常有用。像 Sergey et al.(Sergey等人)他们就开始做这些,就做 online RL(在线强化学习)、offline RL(离线强化学习)开始做了。可能大概主流就是这两派。

然后真机很少,大概就是大家都是要不然就是 vision-based(基于视觉的),就是那种 single-action pick-and-place(单步抓放);要不然就是这种 motor babbling(电机乱试)加 exploration(探索)。就大概这两类。

[00:31:09] 泰然: 那当时其实 17 年做 robotics(机器人学),就是 vision(计算机视觉)就 deep learning(深度学习)已经开始 work(起作用了),但是没有像今天这样取得空前的成功。

[00:31:18] Danfei Xu: 对,当时其实大家有一个、有一个这么感觉,就是有两种、有两种思维模式吧。一种是 prior is a great thing (先验很重要),就是你需要尽可能多地把 prior (先验) 放进你的系统里。

这个 prior 可以是 structure (结构)、neural symbolic (神经符号)、program (程序)、dynamics (动力学),但关键是 structure (结构)。

第二种就是说,就是觉得 supervised learning (监督学习) 是可耻的,你不该在机器人里做 supervised learning(监督学习),robotics(机器人)需要自己学习,就是说他们需要自己学。

[00:31:55] 泰然: 大家看不上 supervised learning(监督学习),对。

[00:31:59] Danfei Xu: 就是要不然你需要 be smart about your prior(聪明地设计先验),要不然、要不然就得想办法让机器人自己学。

[00:32:07] 泰然: 那当时在这种情况下,你当时说有人把 robotics(机器人学)当作 vision problem(视觉问题),有人做 RL(强化学习)。你其实是很 traditional(传统机器人学背景)的,就是其实 control(控制)、planning(规划)、dynamics(动力学)那些你是知道的。对,你当时对这个事儿的定位是什么?

你当时对于 learning for robotics(机器人领域的学习)……因为我看到你在 Scene Graph(场景图)之后其实做了一段时间的 task and motion planning(任务与运动规划)。

[00:32:30] Danfei Xu: 对当时其实契机应该是说我我们当时就在想一个事情就是怎么样做可能就是一个比较不切实际的想法就是我们想做demonstration in, action out(输入示范,输出动作)就是我们叫它 one-shot imitation learning(单样本模仿学习)一条 episode(轨迹)对一条 episode(轨迹)然后我记得我当时做了以后做到一半然后突然发现 OpenAI 做了一篇一样的然后我们就改了改成一个更加 structured(结构化的)就是加了一些 structure prior(结构先验)所以这个东西叫 neural task prog

ramming(神经任务编程)NTP这个可能就是后来决定了我PhD 期间的一些 taste(品味)就是我非常喜欢 structured(结构化的)然后后来 structured(结构化)的极致是什么是 task and motion planning(任务与运动规划)

[00:33:15] 泰然: 现在回看,你还坚持你当时对 structure(结构)的这种喜好吗?

[00:33:20] Danfei Xu: 我后来想清楚了一件事情,就是 compositionality(可组合性)。可组合性是一个很好的事情,但是这个事情不一定要作为一个方法,它也可以作为一个问题:怎么样 enable compositionality(实现可组合性)。

[00:33:35] 泰然: 我理解的 task and motion planning(任务与运动规划),我觉得它想解决的问题是不是可以理解为:它要先解决 task(任务),我要先干什么、后干什么,dependency(依赖)我要怎么处理;第二个是对于某一个具体的 task(任务),我的机械臂要过去完成它,这个 motion(运动)要长什么样,还要避障,有这种需求。

[00:33:54] Danfei Xu: 对,就是它的显式是这样子,但是它的,我觉得它的本质可能就是对一个很大的、没有办法做搜索的一个很大的空间做 decomposition(分解),然后把这些 local 的 problem(局部问题)在这里面做 search(搜索),然后在空间这几个空间怎么样连接起来,再做一个 search problem(搜索问题)。

[00:34:19] 泰然: 我其实比较好奇的是,因为我觉得有很多的 robotics task(机器人任务)这种 structure(结构)是很难人为去定好的,对。然后我觉得加这种 structure(结构),当然我能理解的好处是它天然地带了 generalization(泛化),对。

但是呢,我觉得好像人的这种 structure(结构)也会变成整个这个我们能够解决什么问题的一个很重的天花板,对。这会不会现在看起来,就是因为当时还没有 The Bitter Lesson(苦涩的教训)这个文章,现在看起来 task and motion planning(任务与运动规划)是不是?

[00:34:49] Danfei Xu: 完全不 bitter(完全背离 Bitter Lesson),就是实在是 the opposite of Bitter Lesson(和“苦涩的教训”相反)。

[00:34:53] 泰然: 对,我觉得它可能在工厂那种限定的场景下应该还是会很有用。

[00:34:58] Danfei Xu: 但是大家做到工厂的时候可能会做一些更加不那么 principled(有原理依据的)的一些方法,比方说 behavior tree(行为树),然后这些就是有限状态机这样的方法。

[00:35:13] 泰然: 后来你有一个概念,我记得你也在很多地方都提到,就是你想做 generative task and motion planning(生成式任务与运动规划),这个你当时的 insight(洞见)是什么?你觉得你现在 generative task and motion planning(生成式任务与运动规划)够符合 Bitter Lesson(苦涩的教训)吗?

[00:35:28] Danfei Xu: it’s getting there(正在接近),因为我们现在已经开始做 video generative TAMP(视频生成TAMP)了,因为这些 trajectory plans(轨迹规划)可以是 video(视频),因为你一旦把它换成一个 deep generative model(深度生成模型)后,它可以生成任何空间的这个 plan(规划),所以 we’re getting there(我们正在接近),我们终于快接近任务与运动规划的 Bitter Lesson 版本了。

[00:35:51] 泰然: 那你 PhD(博士)期间是什么时候意识到,比如说我们刚刚说的这些 structure(结构),你肯定最开始是喜欢这些 structure(结构)的,后来你越来越了解到这个 limitation(局限),然后我注意到后来你就没有(继续),你就开始做 teleoperation and behavior cloning(遥操作和行为克隆)了,就没有 work on task and motion planning(任务与运动规划)了,这个转变是什么样的心路历程?

在 DeepMind 暑研如何看到 behavior cloning actually works [00:36:12]

[00:36:12] Danfei Xu: 这个契机其实是我在 2019 年的时候去 DeepMind 做了一个暑假的 intern(实习),然后当时 DeepMind 就是这个 the Mecca of robot learning(机器人学习圣地),对吧?就当时可能没有其他任何的地方,可能 OpenAI 才开始,然后 DeepMind is like the place(就是那个最重要的地方)。

我当时在里面做的一个是是说做 generative imitation(生成式模仿)。

[00:36:38] 泰然: 你的那篇论文,我在准备这期 podcast(播客)的时候我就看着很眼熟,然后我突然意识到那个是我大一在组会上分享过的论文,我就把那个 slides(幻灯片)翻出来了。

[00:36:50] Danfei Xu: 哈哈哈,对,这个当时就是 good old days(好时光),就是当时 Generative imitation(生成式模仿)是一个非常有趣的问题。

[00:36:59] 泰然: 我想跟每一个做过 GAIL(生成式对抗模仿学习)的人都聊一下,我觉得,在我看来,让我也走了很多弯路,这个 problem-solving(问题设置)上。

[00:37:07] Danfei Xu: 因为它其实听起来非常非常的有趣,非常 exciting(令人兴奋)。

[00:37:10] 泰然: 对,它这个 problem setup(问题设定)是你有一些 demonstration(示范),然后你和 environment(环境)还有交互,但没有 reward(奖励)。我觉得 real world(现实世界)是反的,就是和 environment(环境)交互是很难很难的,对,但 demonstration(示范)是可以给很多的。

[00:37:25] Danfei Xu: 但是我当时可能学到的不是说这件事情这个算法多么的 scalable(可扩展)或者 not scalable(不可扩展),当时可能看到了 DeepMind 的很多 infrastructure(基础设施),就他们一些机器人上的一些东西,真的 behavior cloning(行为克隆)有用,就是当时我亲眼看到 behavior cloning works (行为克隆确实奏效)。

但是为什么他们没有做 behavior cloning (行为克隆)?

是因为他们的他们的 flagship product (旗舰产品) 或 flagship research agenda (旗舰研究方向) 是 reinforcement learning (强化学习),他们强行地把这个 behavior cloning (行为克隆) 这件事情压下去了,做 behavior cloning(行为克隆)不政治正确。

[00:38:05] 泰然: 或者说不止 DeepMind,当时整个 community(学界)。

[00:38:08] Danfei Xu: 没有,当时整个community(学界)都觉得behavior cloning(行为克隆) is not就不是 politically correct(政治正确)的做法,我们需要机器人需要自己学,不能让让人教着学。

[00:38:20] 泰然: 因为大家天然地觉得 supervised learning(监督学习)不够好。

[00:38:24] Danfei Xu: 不够好,不够 scalable(可扩展),对,哈哈哈。

[00:38:26] 泰然: 大家天然地觉得 RL(强化学习)才是。

[00:38:29] Danfei Xu: 机器人的(正确)范式,对,因为这个机器人怎么不会呢,对吧,哈哈哈,就是只要 scale up(扩展)就可以了,对,但是后来我看了这些以后,我就觉得BC(行为克隆)这么有效,为什么不干BC(行为克隆)呢?

然后回去我们就写了,就是大概19年的时候,我和Ajay,然后我们两个就是大概三个月的时间,搞出来一个就是在Franka上做behavior cloning(行为克隆)这么一个work(工作)。

[00:38:57] 泰然: 你能不能给我们不是这个领域的观众讲一下,什么叫 fbehavior cloning(行为克隆)?什么叫机器人的行为克隆?

[00:39:04] Danfei Xu: 机器人的行为克隆or behavior cloning(行为克隆)是一个怎么说,把机器人作为一个强监督学习的一个问题,怎么样把它做成一个强监督学习的问题?

这么一个问题呢,就是你直接给它这些监督,对吧,你直接拿一个,比方说拿一个iPhone或者拿一个VR controller(虚拟现实控制器),你直接就是控制它,控制机器人,然后同时同时就是记录它当时看到的东西,所有的camera image(相机图像),然后你你control(控制)它的这个,然后把它作为一个 x 和 y,然后喂给这个大的模型或者小的模型来学习一个control policy(控制策略)。

[00:39:48] 泰然: 我觉得当时因为19年我刚进本科实验室做 imitation learning(模仿学习)的时候,所有的paper(论文)都在骂 behavior cloning(行为克隆),对,哈哈哈,introduction(引言)的前两段一定有一句是 behavior cloning(行为克隆)not good enough sample efficiency(样本效率不够好),然后又有 compounding error(误差累积),对,但当时我觉得我听了就信了,我觉得那肯定不能做 behavior cloning(行为克隆),

behavior cloning(行为克隆)是最弱的 baseline(基线),对,那你当时是因为在DeepMind看到了什么?

为什么当时整个领域看不上 behavior cloning [00:40:16]

[00:40:17] Danfei Xu: 当时就是他们有很多很多很多的数据,就他们真的拿那个应该是SpaceMouse吧,做做teleoperation(遥操作),然后用这个Sawyer(机械臂)做得很就是收集的非常非常好的数据,然后他们也有错误的数据,他们也会做 reward labeling(奖励标注),但是如果你把所有less than optimal(非最优)的东西都filter(过滤)掉,直接做BC(行为克隆),你就work(奏效)了,你不需要做RL(强化学习),对,它可以做大部分(它是一个非堂有音争力的基线),然后当时我就想,那为什么不做这件事情(行为克隆)?

我当时在DeepMind看到那个结果以后,我觉得这件事情应该可以做,但只是说我们没有很好的就是在学界没有很好的这个怎么说,对这件事情的重视,就是大家也没有做很好的就是怎么样做teleoperation(遥操作),然后怎么样做真的做好在这个上面,就是大家没做过这件事情,所以我和Ajay就开始搞这件事情,Ajay是一个非常强的人,他是我的就是最好的朋友之一,他之前在17、18年的时候跟Yuke 和 Animesh就是我们lab(实验室)的其他人做过大概一段时间,大概两年的时间,他们当时做一个项目叫Arm Farm(机械臂农场),就是我们买四五台机器人,

然后拿iPhone作为一个teleoperation interface(遥操作界面)来做 data collection(数据采集),然后把这些数据收集起来,然后当时当时他们还是可能对这个BC shame(对行为克隆的羞耻感)这件事情比较重视,所以他们当时一直在Push(推进)的就是offline RL(离线强化学习),offline reinforcement learning(离线强化学习)是一个比较怎么说,不太容易work(奏效),但是in theory(理论上)是可以work(奏效)的。

[00:42:08] 泰然: 这么一个方法,对,更好写 paper(论文)的东西。

[00:42:13] Danfei Xu: 然后我记得当时就是一直不太 work(奏效),然后我后来 Ajay 可能跟我就一拍即合,说他觉得 BC(行为克隆)会 work(奏效),不需要 offline RL(离线强化学习)。我觉得 BC(行为克隆)也会 work(奏效),不需要 offline RL(离线强化学习)。我们就一拍即合。

RSS 2020 behavior cloning paper 的前世今生 [00:42:27]

[00:42:27] 泰然: 开始搞这件事情。那给我们讲讲这篇 paper(论文)?

[00:42:30] Danfei Xu: 这篇 paper(论文)其实本质非常简单,就是我们真的真的 show(展示)的东西非常简单,就是说 BC(行为克隆)works(有效)。就是我们在 Franka Panda(机械臂)上面搭了一套做力控的 teleoperation(遥操作),就是让这个 teleoperation(遥操作)变得非常非常丝滑。

然后,然后我们搭了一套整个这个 data collection(数据采集)然后到 behavior cloning(行为克隆)。我们就做了非常多 arbitrary choice(拍脑袋的决定),比方说我们决定给机器上做一个 wrist camera(腕部相机),why not 对吧?

当时没有人做 wrist camera(腕部相机),我们就做了(Wrist Camera)。然后我们决定做 ResNet-18 作为一个 encoder(编码器),why not?然后当时做做这个叫 Spatial 应该是 spatial softmax,why not?然后加了一个 RNN,就是 we need history(我们需要历史信息)。

就所有东西都是我们就是一拍脑子想出来的东西,然后 somehow(不知怎么地)它就 work(奏效)了。就是它就是一个真的能学很多很多我们之前没有在机器人上见过的这些 behavior(行为)。比方说就是一个 30 秒长度的一个非常真实的问题 1x(实时),不需要加速,就是把一个东西放进烤箱,把这个烤箱的盘子拉出来,关上烤箱,然后把盘子放回去。

就我们之前没有人见过任何人能做出来这种水平的这个。虽然它不 generalizable(可泛化),一点也不 generalizable(可泛化),但是 it’s a big 对吧?但是呢,我们还是在上面加了一层比较好发 paper(论文)的这个故事,就是哈哈哈。

[00:44:13] 泰然: 但当时之所以要做这个事,本质上还是觉得有 BC(行为克隆)shame(羞耻感),做 BC(行为克隆)就担心 paper(论文)中不了。是的是这样子,对。

[00:44:21] Danfei Xu: 虽然我们两个人都非常非常坚信 BC(行为克隆) is going to work(会奏效),但是为了发 paper(论文),我们还是要在上面加一层东西。对。

[00:44:30] 泰然: 哈哈哈,我觉得每一个博士生听到你说为了让这个 paper(论文)能中,然后我们想一些其他的 novelty(新颖性),都能够共情。那你觉得你现在不单单是 PhD(博士)了,你现在也是教授,你在学术界也在承担更多的责任,对吧?那么你觉得 how can we do better in academia(如何把学术界做得更好)?

就是让 PhD(博士)真正去做 work(有效)的东西,而不是让 reviewer(审稿人)满意的东西。

[00:44:56] Danfei Xu: 我觉得这件事没有这么简单,不是说你一定要,就是你肯定要做 work(有效)的东西,就是说肯定要做比如说接下来两三年会火的东西。我觉得作为一个博士生来说,我觉得最重要的当然是做一个非常好的非常 solid work(扎实的研究)。第二种就是你需要经历一个培养自己品味的过程,只做 work(有效)的东西它是一种品味,但不只有这一种品味,对吧?

当然了,就是这个从一个 community(学术共同体)角度来讲,确实我们需要怎么说把这些条条框框的东西就要拆掉,就是你真的能做的 work(有效)的东西,这件事情我们需要改正。这个机器人学习就是 robot learning(机器人学习)这件事情,如果我们把它想象成一个纯的一个系统性问题,一个系统问题的话,我们该怎么做,对吧?

它不是一个单纯的算法问题,就是整个一个从硬件到算法这么一个系统问题的话,我们到底怎么样来啊,就是说评判一个 work(研究成果)。就是说如果要是你把 A 加 B 加 C 拼在一起做了一个非常非常强的系统,这个东西到底是不是 novel(新颖)?或者说你到底应该不应该以 novelty(新颖性)来评价这件事?

[00:46:14] 泰然: 这个系统?那现在看起来就是当时我觉得整个领域可以说处在一种非常狂热的 reinforcement learning(强化学习)强化学习 for robotics(机器人)的状态。像我当时我就是个大一大二的本科生,我就是盲从了,对吧?

你们当时选择 BC(行为克隆),一是你在 DeepMind 看到了 BC(行为克隆) actually works(确实有效),还有哪些你觉得看到了强化学习 RL(强化学习)里你当时觉得很难逾越的鸿沟?

[00:46:39] Danfei Xu: 就是我很难相信这件事情,就是我很难相信这件事情就是能够做、就是能够 scale up(扩展)这个,这个方法能让它做、比方说我们想让他做的比方说就是 cook a meal(做一顿饭),我们就是天天在 talk(报告)里面讲的这些任务,我就 I just can’t see a path at that point(我当时看不到一条路径)。

嗯,然后我当时就是在训练 GAIL 的时候,我花了整个 DeepMind 10% 的 compute(算力)。

[00:47:12] 泰然: for the record(顺便说明一下),GAIL(生成式对抗模仿学习)就是一个用 RL(强化学习)去解决imitation learning(模仿学习)的一个方法。

对,那当时你们是反其道而行之,整个 community(学术共同体)都在做 RL(强化学习),对,offline RL(离线强化学习)也好,generative RL(生成式强化学习)也好,对,你们做了 BC(行为克隆)之后,当时产生了什么样的影响?

[00:47:34] Danfei Xu: 没有什么影响,因为 COVID(新冠疫情)了。当时我记得唯一的影响就是我在 Stanford 里面给了一个 talk(报告),然后我记得当时 Chelsea Finn 非常 excited(兴奋),然后当时她跟我聊了聊,说这个东西就是怎么做的,什么东西的。然后就是我觉得我能看出她,她非常非常 excited(兴奋)。

其他我觉得其实没有惊起一点,就是我们 internally(内部)大家就觉得非常非常的就是这个东西 work(奏效)了。但是因为当时大家所有的都关注在就是 COVID(新冠疫情) shutdown(停摆),然后没有 robot access(接触机器人的条件),大家可能就是一个非常非常混乱的一个状态。

[00:48:08] 泰然: 就哪怕你们当时做了那个,其实没有太多人在意。

[00:48:12] Danfei Xu: 因为就是 BC(行为克隆)嘛,对吧?

[00:48:14] 泰然: 哈哈哈哦,大家就觉得OK,we all know behavior cloning(我们都知道行为克隆),斯坦福学生用一个更好的系统做了这件事,没了,对,没有了,大家不觉得这是应该发生的一个范式的转变?没有,完全没有,对,你们当时 internal(内部)觉得会

[00:48:28] Danfei Xu: 就觉得这件事情就是我们当时已经觉得大干特干,我们要在这上面一年发四五篇 paper(论文)在上面了,但是 COVID(新冠疫情)。

[00:48:35] 泰然: 所以如果当时反而如果没有 COVID(新冠疫情),你们会?

[00:48:39] Danfei Xu: 对,it’s gonna be a completely different thing(会完全不一样)。

[00:48:42] 泰然: 结果因为 COVID(新冠疫情),你们不能去实验室,没有 real robot access(接触真实机器人的条件)。

[00:48:46] Danfei Xu: 因为我们第二篇做的就是 DAgger(数据聚合),就我们 immediate next(下一步)就是 DAgger for BC(用于行为克隆的 DAgger),对吧?就我们要把 DAgger 做 work(奏效)。

[00:48:55] 泰然: 哈哈哈,结果很不巧。

[00:48:57] Danfei Xu: 对,我们只有这个 sim experiment(仿真实验)。

[00:49:00] 泰然: 我其实看了那个 RSS(机器人科学与系统会议)2020 和Ajay那篇 paper(论文)之后,我还有个疑问,就是为什么没有做 bimanual(双臂)?为什么没有做双臂的 setting(设定)?

[00:49:08] Danfei Xu: 因为当时我们只花了三个月把 Franka 从头到尾的东西搭了一遍,从C++写起,一直到 Algorithm(算法),就这个 learning rate tuning(调学习率),所有都是三个月开始干的

[00:49:19] 泰然: 那三个月是不是天天在加班?

[00:49:21] Danfei Xu: 天天凌晨三点,哈哈哈,天天凌晨三点,对,哈哈哈,就我们两个,天天在 Gates (斯坦福计算机楼)下面,就是天天凌晨三点

[00:49:30] 泰然: 但应该还是挺有趣的。

[00:49:32] Danfei Xu: 太 exciting(令人兴奋)了,那段时间真的就是我天天就是一睁眼就是 let’s do this(开干吧)

[00:49:38] 泰然: 当时你觉得是要给这个领域正本清源?

[00:49:41] Danfei Xu: 对,我当时是感觉就这个东西(BC)就真的绝对 work(有效)。

Behavior cloning 最难的为什么不是模型而是系统 [00:49:45]

[00:49:45] 泰然: 其实今天很多人把 behavior cloning(行为克隆) 讲得很简单,就是好像是觉得有数据了我们就 train(训练),对,但我觉得每一个真正做过 behavior cloning(行为克隆) 的人都知道,最难的地方往往不是模型

[00:49:56] Danfei Xu: 是这个系统本身

[00:49:58] 泰然: 数据 distribution(分布)、evaluation(评估)怎么做?你当时是怎么是通过那个 project(项目)形成了这种认识的吗?

[00:50:06] Danfei Xu: 对,就当时觉得就是整个你真要把一个 robotics system(机器人系统)搭好,从机器人硬件本身,camera(相机)怎么摆放,然后它的 controller(控制器)的这种 behavior(行为)是什么样子的,然后一直到它的 control(控制)响应,camera latency(相机延迟),这所有东西都非常非常重要。

只要你就是不注意其中一环,你肯定会有问题。

[00:50:30] 泰然: 但当时你觉得整个 community(学界) 已经转向了吗?

[00:50:34] Danfei Xu: 有一点点了,就是我当时记得2020年年底、2021年的时候,大家已经开始逐渐接受了,就是这个 BC(行为克隆)可以 work(有效),然后已经开始了一些。我觉得真正的范式转变,可能还是就是 ALOHA 这个 line of work(研究路线)。

2023年、2023 年的时候,可能大家逐渐开始10X SPEED,就是大家觉得这 just works(就是奏效)。

[00:50:58] 泰然: 那会不会觉得很可惜?因为你们 20 年就在做单臂的teleoperation(遥操作),其实你们距离 ALOHA 不是太远,对吧?

[00:51:04] Danfei Xu: 非常近(我会说我们的系统更好),只是说就是当时只有我们两个人做,可能就是有一些东西没有想清楚,而且没有时间来就是补完。就是在 2020 年就是 COVID(新冠)期间,没有办法做这些很多系统性的实验。

[00:51:21] 泰然: 这个是客观条件,当时主观上就比如说认知是哪?你觉得现在看起来 in hindsight(事后看)有点可惜,如果当时有更好的认知可能会做得更好。

[00:51:31] Danfei Xu: 对,这是一个很好的问题。我觉得当时我们是我们只有自己自己的 evidence(证据),就是说我们这个 work(奏效),但是往哪个方向努力其实我们不太清楚。到底是我们 model(模型)的问题呢?还是 action space(动作空间)的问题呢?还是 data(数据)自己本身的问题呢?

就是太多东西可以做,但是我们就是往哪个方向走其实不是一个,我们没有一个非常好的 hypothesis(假设)。因为这件事情本身可能性太多了,所以你可能需要一个一个很大的 research agenda(研究议程),就很多很多人一起来做,然后大家往各种各样的地方 push(推进)才可以做做出来比较好的效果。

所以我觉得我们两个人可能就比较困难,所以后来我们只是做一些比较 selective(有选择性的),就是 DAgger 和这个 Benchmark(基准测试)这样的事情。

[00:52:26] 泰然: 你当时因为你想,你是 15 年读的 PhD(博士),20 年发完 RSS,你已经博五,

[00:52:32] Danfei Xu: 马上博六,马上就开始找教职。

[00:52:35] 泰然: 那会不会找教职其实实际上就是这个事儿是使你分心了?当时其实那个 research direction(研究方向)是一个很大的宝藏。

[00:52:43] Danfei Xu: 对,是的,我主要当时就是 in hindsight(事后看)真的就是事后诸葛亮的话,确实对我就是应该继续 push(推进)这个东西。

[00:52:54] 泰然: 你 PhD(博士)期间还有几段 internship(实习)?我注意到16年在 Autodesk,17年在 Zoox,应该是做自动驾驶的,然后19年就是你刚刚说的,看到了 BC actually works(行为克隆确实有效)。你觉得 PhD(博士)期间你做的几段 internship(实习)当时对你的认知以及有什么样的改变?

[00:53:11] Danfei Xu: 我觉得我做 internship(实习)就是一个,就是怎么说?做完以后每一个 internship(实习)都对我来说都还挺有影响。就 Zoox 是让我觉得 driving(自动驾驶)这件事情太无聊了,哈哈哈哈哈,我绝对不要再做 driving(自动驾驶)了。

当时因为 17 年的时候大家所有人都在做 driving(自动驾驶),然后我觉得 driving(自动驾驶)那就做 driving(自动驾驶)呗。我本科时候也做过 driving(自动驾驶),我觉得这件事情还挺有趣的,然后开始做。然后我看这个问题就真的就是为什么做成这样了呢?就是所有人就基本上居然变成了一个 3D vision(3D视觉)的问题,对吧?

然后我当时觉得就很无聊。

[00:53:48] 泰然: 而且当时的 driving(自动驾驶)大家的 pipeline(流程)全部都是 perception(感知)。

[00:53:51] Danfei Xu: planning(规划)control(控制)。对,exactly,就是怎么样把 3D perception(3D感知)搞 work(起作用)

[00:53:56] 泰然: 所以当时你觉得无聊的点是这个问题已经退化成一个 vision(视觉)问题了。

[00:54:00] Danfei Xu: 对,退化成一个 vision(视觉)问题。

[00:54:01] 泰然: 不够 system(系统性)。对,exactly。

[00:54:03] Danfei Xu: 就它不是一个robotics(机器人学)问题了,我当时这个13年为什么这么 exciting(令人兴奋)?是因为我可以真的坐着车,然后我们就是鼓捣各种各样的摄像头这些底层的东西,就整个这个full-stack(全栈)(自动驾驶)现在已经变成变成了一个非常非常 engineering(工程)的问题了。

就是每个人,我们当时有个就是 2D vision team(二维视觉团队)、3D vision team(3D视觉团队)、planning team(规划团队)、simulation team(仿真团队),所有人之间都不是特别有 communication(沟通),因为不需要communication(沟通),只要把自己的 benchmark(基准) 推上去就可以了。

[00:54:33] 泰然: 那你会觉得随着机器人越来越成熟,未来有一天也会变成这样吗?

[00:54:39] Danfei Xu: 我觉得这件事情就是机器人你真的要做好的话,我觉得不是一个就是分工能解决的问题。我觉得它本质来讲,至少我觉得这条,我相信的研究路线,是一个不是分工能解决的问题。所有人都需要 know everything(什么都懂)。

[00:54:59] 泰然: 所以你觉得 full-stack(全栈)is the only way out(是唯一出路)?full-stack(全栈)我们可以等会再聊。我想最后回看一下你的 PhD(博士)这个问题,你已经回答过了。有什么当时不受欢迎的 vision(愿景)现在看起来是对的?behavior cloning(行为克隆)对吧?但有什么你当时觉得自己对的方向,结果是错的?

[00:55:16] Danfei Xu: 我觉得整个这条(面向机器人的神经符号语言)这件事情,我当时挺信的。后来我觉得看过 RT 这些 series(系列工作)以后,我觉得还是太远了。就是 language(语言)(把语言刻音锚定在动作上)这件事情,我觉得不是一个非常好的路线。你说的 RT 是 Google(谷歌)的?对对对,RT 就是 Google(谷歌)。

这个就是做 high-level language model(高层语言模型),然后 low-level policy learning(底层策略学习)。

让我说得更准确一点,就是我觉得以 language(语言)作为基础能力主导的 robotics(机器人学)的路线,比方说 language model(语言模型)生成 program(程序),program(程序)来 control robots(控制机器人),或者 language model(语言模型)生成 language plan(语言计划),然后 plan(计划)以 language model(语言模型)主导做,比方说我接下来一步该做什么。

这件事情我觉得是不对的。就是说,就是 symbolic layer(符号层)和 physical layer(物理层)差太远了。

[00:56:17] 泰然: 所以那个 symbolic layer(符号层)都不单单是学术界之前做的传统的那种 neural symbolic(神经符号)的语言,你觉得哪怕是 LLM(大语言模型)也不够?也不够。你觉得差在哪?

[00:56:29] Danfei Xu: 它能够给我们的 prior(先验),也就是我们的先验知识和我们真正机器人需要的what makes robots hard(机器人真正难的地方)差得太远了。就是 task planning(任务规划)这件事情,就是任务规划这件事情是非常非常简单的,比起精细操作来说,他们之间中间是离得太远了。

就是我们能把精细操作这件事情做好,那其他问题其实也就是 it’s much easier(容易得多)。

[00:56:59] 泰然: 所以你觉得精细的操作是今天最难最重要的问题?

[00:57:03] Danfei Xu: 精细操作以及这种 physical(物理)physical common sense(物理常识)吧。物理常识,机器人自己的操作来表达出来的物理常识,就是能体现出来物理常识,这是一个非常非常难的问题。

[00:57:17] 泰然: PhD(博士)最后你决定了要找教职,这个是一个你觉得一直就想当教授,还是到最后你 come to this decision(做出这个决定)?是怎么决定要找教职的?

[00:57:28] Danfei Xu: 这是个好问题。当时我其实在 DeepMind intern(实习)之前,我一直都不太确定。Intern(实习)之后我确定了,因为我真的不喜欢。就是当时 intern(实习)DeepMind 是一个什么样的环境呢?

是从一个非常 open(开放的),就是非常 explorative(探索性的)这么一个研究部门,到一个非常非常 top-down(自上而下)的这么一个方向的转变过程。大概 2019 年夏天的时候,就是他们在做 AlphaFold 的时候,所以基本上就是 what Demis(Deepmind CEO) says goes(Demis 说了算)。

这件事情让我觉得,就是我真的不想在这种环境里干(我不想让别人告诉我该做什么)。我需要干我自己有兴趣的事情。所以怎么样能让我自己干我自己有兴趣的事情呢?要不然创业,要不然找教职,对吧?

[00:58:18] 泰然: 所以你觉得你是有一个你自己有一个很强的对未来自己要做什么的坚持,你不希望有任何的客观因素来影响这个事,而教职能给你最多的自由度?OK,那你觉得当时是 20 年 21 年对吧?我觉得 26 年的今天好像情况又有很大的变化了,就是某种程度上学术界我会说还是有那个自由,但是这个领域变得越来越 resource-intensive(资源紧张)。

对你觉得没有资源的自由还能叫自由吗?

[00:58:50] Danfei Xu: 这是一个非常非常好的问题,我觉得我不是回答这个问题最好的人选,因为我现在就是可能也有一些(工业界)资源,也在教职里,但是绝大部分人没有这个选择的空间,所以我觉得真让我在我没有这个资源的情况下再选的话,我觉得我可能会偏向于先在业界,有些东西真的不在业界,你可能真的没办法做。

什么是 robot learning,它和传统 robotics 的区别是什么 [00:59:24]

[00:59:25] 泰然: 我想着重和你聊一聊 robot learning(机器人学习)和 human data(人类数据)这两个事儿,你能不能给我们的观众简单的介绍一下什么是 robot learning(机器人学习)?它和传统的 robotics(机器人学)的区别和分野在哪?

[00:59:38] Danfei Xu: 我觉得 robot learning(机器人学习)其实是一个,与其说是分野,它只是说我们想解决的问题都一样,就是怎么样让机器人做更好的规划、更好的精细操作、更好的就是 whole-body control(全身控制),只是把这里面的所有方法都换成了,就是我们需要数据来喂这些 model(模型)。

你比方说现在非常火的这些全身控制的一些问题,它其实是一个非常好的例子,就是之前可能大家都会写下来一些 dynamics(动力学),就是 whole-body dynamics(全身动力学),然后再做一个 optimization problem(优化问题),就是做一个优化问题,然后现在可能就是完全用这个 reinforcement learning(强化学习)来解决了。

[01:00:28] 泰然: 那传统的 whole-body control(全身控制)是大家写这个物理方程、写 dynamics(动力学)、解 optimization(优化),那传统的 manipulation(操作)又是怎么做的?今天又是怎么做的?

[01:00:38] Danfei Xu: 传统的 manipulation(操作)有一部分人也是在写、写下来这个 dynamics equation(动力学方程),就是你和物体之间的这些就是 linear(线性)和 nonlinear(非线性)的 dynamics(动力学),你真的在开始 contact(接触)和 contact 之前,它的 dynamics(动力学)完全不一样了,然后你怎么样做这些,就是你把它变成一个 mixed-integer programming(混合整数规划),对吧?

然后现在大家可能就是说完全不做这些 modeling(建模),我们只关心机器人有没有输出正确的 action(动作),就是根据你的训练数据或者可能做 reinforcement learning(强化学习),就是你这个物体有没有达到这个目标,对吧?所有这些中间的这些 modeling(建模)可能就没有了。

[01:01:25] 泰然: 你觉得这几年 robot learning(机器人学习)这个领域最被高估的东西或者最被低估的东西会是什么?

[01:01:32] Danfei Xu: 这是个好问题,最被高估的东西我觉得可能是大家对于 algorithm(算法)的这个重要(重视)程度,就是 model(模型)和 algorithm(算法)这件事情的重要程度,我觉得最被低估的可能还是 system(系统)方面的,就是整个从软硬件结合的这一块的重要程度。

什么是机器人数据,什么是人类数据 [01:01:53]

[01:01:53] 泰然: 刚刚我们聊到你 20 年的时候在做 teleoperation(遥操作),在做 behavior cloning(行为克隆),但是其实今天 26 年你很重要的一个 bet(押注),你相信的一个东西叫 human data for robot learning(用人类数据来做机器人学习),你能不能跟我们讲一下什么叫机器人数据?什么叫人类数据?

[01:02:10] Danfei Xu: 现在大部分人说机器人数据,可能说的就是10X SPEED teleoperation(遥操作)遥操的数据。然后人类数据有很多很多种,现在比较主流的是第一人称视角,比方说让你想象在头上绑摄像头,然后看着你的手在做一些操作,这种数据。当然也有第三人称视角数据,就是从旁边一个摄像头看你,或者是多视角的第三人称数据。

[01:02:37] 泰然: 你今天讲的这种人类数据human data(人类数据),我相信你说的已经不只是说拿人类数据来补一点机器人数据。我觉得你可能想说的是,它要根本地改变我们训练机器人的方式。对,今天大家做 robot learning(机器人学习)都是 data-driven(数据驱动),有什么比较重要的 data(数据)?

而为什么你最重要的 bet(押注)是 human data(人类数据)?

[01:03:00] Danfei Xu: 最主要的主流数据可能就是遥操数据了,就是在各种各样不同机器上采集的遥操作数据,这可能是现在大家最主流的数据。然后第二次主流的数据,我觉得应该是在各种各样的就是物理引擎里面synthetic data(合成数据)。然后我觉得第三类可能就是就是非机器人数据吧,就是广义上来讲,大家可能会觉得比如说从 YouTube 上来采集这些数据会是有用的。

然后如果你真的要细分这个非机器人的真实数据的话,那么可能就是分两类:一类就是就是从网上下载下来,直接下载下来就没有任何constraints(约束)的这些数据,比如 YouTube 的 data(数据);然后另外一类就是我们真的让人去采集这些手部操作数据的这些第一人称数据。

EgoMimic 的起点:为什么相信第一人称 human data [01:03:52]

[01:03:52] 泰然: 重点我想聊的一个 project(项目)是 EgoMimic。跟我们讲讲 EgoMimic 用的是什么样 的 data(数据)?它的前世今生?为什么会想做这个项目?

[01:04:00] Danfei Xu: 对,EgoMimic 是是我在可能是我开始教职以后开始第一或者第二个 project(项目)吧。当时我和一个是一个别的组的博士生 Simar,Simar当时有一个非常非常强的这么一个想法,就是说他想做第一人称视角数据。我问他为什么要做第一人称数据,他觉得这个东西可能是最 scalable(可扩展)的。

然后我们当时讨论,我记得我们当时探讨了一周左右,然后我们最后达成了(共识)let’s just do egocentric(第一人称视角)这件事情。这件事情我觉得能成为什么?

我当时有一点点 hesitation(犹豫),是因为我知道真的搭 egocentric(第一人称)这件事情,就是做数据采集,当时是一件非常难的事情,因为没有一个很就是成熟的这么一个采集的这么一个一个方案。所以我当时担心就是这件事情会从头开始搭,这件事情会就是让这个 project(项目)变得非常非常长,因为从硬件开始搭起这件事情。

然后后来我们就是他想做这件事情,那我说那我们开始做吧。然后我们就开始搭了这一套采集就是第一人称视角采采集人类操作(数据)的这么一套东西。我们当时开始的时候是用Oculus就是这个VR(虚拟现实)对吧,然后上面挂了一个,我记得最开始Leap Motion就跟我2015年做的东西是一模一样的,哈哈。

对,只是因为Leap Motion变成了Orion,就是它最新一代的,我已经想不起来最新一代是什么了,反正就是最新一代。然后Oculus变成了Quest对吧,然后我们就搭了这么一套系统。然后后来发现这个东西效果非常不好,因为 calibration(标定)非常不稳定。

就是这个这个你可以想象,就是它有一个摄像头,它可以采集手部数据,然后视频数据是从另外一个摄像头来的,然后我们的VR是这个VR(虚拟现实头戴)是用来定位定位你的头在哪里的。所以我把三个东西所有东西都在同一个坐标系里面calibrate(标定)转到同一个坐标系里面,所以这里面的这个gap(差距)非常大。所以后来我们搞了大概几周吧,然后后来就觉得这东西太困难了。

然后正好当时我们有一个同事,他们在做Ego4D,Meta的那个Meta的那个Ego4D,然后他们有一个有一个东西叫 Project Aria,就他们的一个眼镜,就是Meta他们自己做的一个眼镜。

那个眼镜完美符合我们的所有需求,就是它可以做手部数据的状态估计,就是我可以把这10个手指的位置信息,它眼镜自己可以做定位,我知道我的头在哪里,它也同时可以采集第一人称视角RGB(视频)数据。然后我们说那我们要不然做这个吧,然后我们就把它拿过来了。然后整个这个项目就开始就是在数据采集这一条就变得比较顺利。

但是作为一个前几个就第一个拿这个做真的做 robot learning(机器人学习)的一个项目,其实我们踩了很多很多的坑。我们整个跟这个我们到最后Meta其实已经变成我们的专职的这个(支持了),他们整个那个 team(团队)有一个给我们开了一个 P0(最高优先级),就是所有我们的 support requests(支持请求)到他们那就是P0。

前前后后这个数据采集这边搞了大概有四五个月吧,才搞通这个事情。Meta这个就是用这个 Aria(眼镜)搞通。还有另外一个我想做的事情就是我想把机器人变得更像人,就是我需要如果我们真的要从人类数据里面学学操作(技能)学这种操作(技能)先验,然后把它更好地转到机器人的话,机器人一定要变得更像人。

就是我们需要有两个手,需要有一个像人一样的肩和躯体关节,然后我们需要一个相机要放在头的类似位置。当时没有任何一个机器人符合我们这个要求,所以我们就自己搭了个机器人。然后这个机器人是我搭的,就是我自己去那个 Vention,就是他们做那种他们其实算是一个像集成商吧,就是卖各种各样的铝部件然后把机器人搭成一个系统这么一个商店。

我就买了各种各样的部件,然后我自己搭了一个双臂加肩和这个两个棍子这样一个东西出来。肯定对你来说有意思极了。超有趣。我记得我那段时间我不是教课就是在在实验室里搭这机器人。

[01:08:59] 泰然: 所以那个时候你作为一个assistant professor(助理教授),然后你其实在一线在那打螺丝。

[01:09:04] Danfei Xu: 对,exactly(没错)。所有东西都是我设计的。然后当时就是一作他他在搞数据收集那方面,他非常专注于数据收集。然后我来我来做这个机器人本体这方面的东西。

[01:09:20] 泰然: 这个project(项目)是22年中开始的还是23年中?应该是23年中。23年中,当时应该整个领域所有人都觉得teleoperation(遥操作)非常work(有效),非常 work(奏效)。

为什么从 teleoperation 转向 human data [01:09:24]

[01:09:33] Danfei Xu: ALOHA 刚出来。

[01:09:34] 泰然: 以及大家觉得最后最炫酷的 demo(演示)还是要用遥操作。human data(人类数据)总是在做一些遥操作能够做的 subset(子集)子集的 task(任务)。你为什么当时觉得意识到了 human data(人类数据)的价值,然后从20年做遥操作数据变成了23年开始要转型做human data(人类数据)?

[01:09:56] Danfei Xu: 这个可能就是一个逐渐的转变吧。但是我觉得做到项目做到后期,我其实有个非常强烈的想法,就是说如果你看遥操作数据,其实遥操作数据本身它也不是一个完美的数据。

你看每一个系统的每一层,它都会带来比方说给你举个简单的例子,就是我有一个机器人,我在这个机器上做了遥操的数据收集,然后我把这个机器人的底层的这个控制器稍微改了一下,比方说我把它的gain(增益)稍微改了一点点,然后它的整个(系统)你给它发一个控制指令,它的反应其实完全不一样的。所以就是你在机器人一个机器人本体本身其实都可能有很大的gap(差距)。

但是人和机器人,和机器人和机器人之间的差距真的有那么大吗?对吧?因为我们如果我们真的能把机器人的就把人的动作转换成可用的action(动作),把它的perception(感知)转换成可用的policy input(策略输入),那其实我觉得这件事情不是不可能,对吧?我直接把把人类的数据当做机器人数据来用,这件事情不是不可能的。

就是我项目做到中后期,就是我我逐渐怎么说,就是意识到这一点。

[01:11:22] 泰然: 就是逐渐意识到人只是another robot(另一个机器人)。对,exactly(没错)。或者说 robot 只是 another human(另一个人)。

[01:11:28] Danfei Xu: robot(机器人)只是 another human(另一个人)。如果你在人身上挂足够多的 sensor(传感器),其实你可以把一个人变成一个机器人。从这个操作,从这个 control(控制)的角度来说,明白。

从 ego video 里机器人到底能学到什么 [01:11:40]

[01:11:41] 泰然: 我想深入聊一聊,比如说 EgoMimic 里面用的是 Aria(眼镜),其实人类数据有很多的模态,我有很多想跟你聊的。第一个我觉得蛮重要的 video(视频),就是 EgoMimic 应该基本上只有 video data(视频数据)对吧?然后里面包括手部的姿态估计都是从 video(视频)里面来的,对。

我想知道我们从 human ego video(人类第一人称视频)里面给机器人能够学到的到底是什么?就是当我们有很大量的人类的第一人称视角的视频数据的时候,是一个更好的视觉编码器 visual encoder(视觉编码器),还是说我们真正学到的是人的 planning prior(规划先验)?

还是说我们能够学到人的这种 visual-motor(视觉运动)操作的真正的技能?你觉得我们到底是在学什么从 ego video(第一人称视频)里面?

[01:12:31] Danfei Xu: 我可以先从一个比较广的角度来讲一下这件事情,然后我再解释一下EgoMimic 到底干了什么。从广的角度来讲,我觉得其实有三部分。就是你如果就是你把一个机器人或一个人跟人类世界交互这件事,你可以把它分成三个子问题,就是交互的这么几个子问题。一个是你想让这个世界怎么改变,就是 how the world should change(世界应该如何改变)。

第二个是一个本体怎么样让世界造成这些改变,怎么样在世界造成这些改变,比方说我想拿起来这个杯子,或者把这个杯子往前推5厘米。一个(第三个)是本体自己通过什么样的就是操作信号来让本体自己造成这些运动,我的 motor(电机)需要多大的力。

[01:13:28] 泰然: 第二层和第三层区别是什么?第二个是

[01:13:31] Danfei Xu: 就是本体和世界的交互。第三个是怎么样产生本体的这些动作。人类数据其实很(适合)第一种,就是世界应该怎么改变,其实都有了对吧?只要你把这个人是谁造成的这些改变去除的话,这个东西(世界如何改变)人和机器没有任何区别。只要你的机器人足够比方说有能力做这件事情。

第二层其实也可以学到,就是比方说我有一个五指灵巧手的机器人,然后跟人的它的操作空间差别没有那么大,它的能施的力也差不多,那么第二种我大概也可以学到,就是一个本体到底怎么样能让世界产生影响,就大概是我推哪里,或者说是我拿杯子哪里可以把它拎起来,对吧?但是第三个,我们是从人类视频里非常非常难学的,就是怎么样让一个本体来产生这些动作。

比方说一个极端例子,就是扔球这件事情,一个机器人到底怎么样把一个球扔出去,是一个非常非常难的问题。因为你需要通过这个,就是你需要怎么样让每一个关节产生足够的力来把这个球扔出这么一个轨迹,其实你没有办法直接从视频数据里学出来。

[01:15:03] 泰然: 这个对我们来说也很难的一点是,人的驱动其实是肌肉的电信号,我们也没有办法造一个肌肉出来。

[01:15:13] Danfei Xu: 你没有办法把肌电信号和每个关节电机的关系连接起来,也没有意义。

为什么强调第一人称视频,而不是 YouTube 第三人称视频 [01:15:20]

[01:15:20] 泰然: 但其实我一直很想问的一点就是,你刚刚也说了 Simar 和你用了一周的时间达成了共识,你们觉得 ego video(第一人称视频)是最 scalable(可扩展)的。

对,如果我要反驳一下的话,我觉得 third-person(第三人称)是最 scalable(可扩展)的,因为 YouTube 上有大量这种 third-person(第三人称)第三人称做东西的(视频),而且我们人类从第三人称视角,比如说我经常,比如说给汽车换个空调滤芯,我就看个第三人称的视频,我一下就学会了。对,我有这样的能力,为什么你这么强调第一人称?

现在

[01:15:53] Danfei Xu: 我觉得本质上两个点,一个是就是 fidelity versus scalability(精确性和可扩展性之间的取舍),就是一个数据的它到底有多么的 scalable(可扩展)和它有多少有用的信号,其实这两个事情是很大程度上呢是没有办法就是一下子 optimize both(同时优化两者)。

第三人称数据是非常非常 scalable(可扩展)的,你可以直接从 YouTube 上 download(下载),但是它作为一个数据源是非常非常难处理的,因为我们现在的理解就是说,你的就是数据的 distribution(分布)需要尽可能地一样,就是人和机器人数据的 distribution(分布)尽可能一样。

你要从整个 YouTube data(YouTube 数据)里拿出拿出那一部分正好跟机器人数据 align(对齐)的这些数据,非常非常难。然后真的把它做归一化,做成 normalization (归一化),做成 distribution (分布)一样,是一个更难的问题。所以说你真的能用到的数据非常非常少。

从 YouTube data (数据)上面反倒来讲,如果要是我们真的让人采集第一人称视角数据的话,这件事情没有那么难。如果我们有很好的一些设备的话,以及很多人都想干这件事情的话,其实没有那么难。

[01:17:10] 泰然: 我其实比较好奇的一点,因为我在想以前的 NLP(自然语言处理)其实有很多 sub-tasks(子任务),可能做 translation(翻译)的人觉得做做文本总结的人的数据没有用,你觉得那是因为他们没有正确的 paradigm(范式) 对不对?他们没有找到 GPT 这样的 next-token prediction(下一个词元预测) 的范式。

而今天你觉得 YouTube 的 data(可用数据) 很少能够被用在机器人的学习上,会不会我们也在 miss(错过)一个更大、更好的 paradigm(范式)?

[01:17:36] Danfei Xu: 我觉得非常有可能,只是说我觉得很大程度来讲 somebody(某个人)就是得有一个人把 sign of life(可行性迹象)这件事情做成 1 到 99。这件事情其实比 0 到 1 这件事情可能不确定性更低,所以大家都会选择做不确定性更低的东西。所以 0 到 1 这件事情如果真的有人能把 0 到 1 这件事情做出来,那么 1 到 99 其实发展速度会非常快。

但是如果你想做 0 到 1 的话,你就要把所有东西 you need to get a lot of things right(你得把很多事情都做对)(比方说完全从 YouTube 数据学习)这件事情怎么做,我觉得我没有一个很好的方法。但是我至少知道现在第一人称视角数据是可以做的,我们有 sign of life(可行性迹象)。

[01:18:21] 泰然: 所以你会定位 EgoMimic 是某种程度上 0 到 1 的一个 project(项目)?Exactly(没错)。我还想再在 video(视频)上深挖一下,就是你刚刚说有三层嘛,一个是这个世界要怎么改变,这个机器人应该和它怎么交互造成那种改变,第三是怎么让机器人达到那个交互的控制。

那你会想象有一天就是也有那种第一人称乔丹打篮球、费德勒打网球的视频,我们会 get to a point(到达某个点),到时候机器人看费德勒打网球的第一人称视频就能够学到费德勒的网球技巧吗?就是这个的边界到底在哪?上限在哪?

[01:18:58] Danfei Xu: 这是一个非常非常好的问题。我觉得边界可能就是取决于第三层有多好,就是我们机器人本体的这个控制能达到这个人类所展现出来的这个状态,就是这个控制目标的这个能力有多好。

比方说我们如果我要,比方说人类做了一件事情,就是我把这个球扔出去 30 米远,然后我知道末端的速度是什么样子,那么我如果我的机器人能够准确地 trace(跟踪)这个末端速度或者末端加速度的话,我觉得这件事情是可以做的。但是就是如果你这件事你能做出来的话,其实 it’s actually a hard problem(这其实是个难题)。

但是如果能做出来的话,我觉得第一人称视角(学)打篮球我觉得不是很远。

[01:19:50] 泰然: 就从第一人称视频学打篮球,不是很远。

[01:19:54] Danfei Xu: 当然还有很多很多其他问题,就是第一人称视角,它是一个 partially observed problem(部分可观测问题),因为你比方说还有手的手部的这些信号,就是 tactile haptics(触觉)这些东西,我们现在还没有在 capture(采集),但是假设我们把 ego(第一人称)就是人本体的这个数据都采集,能采的都采了,那我觉得做打篮球这件事情

为什么 SLAM / VIO 对 human data 如此重要 [01:20:17]

[01:20:17] 泰然: 不是不可能。那我们正好聊,我想聊下一个模态。其实 EgoMimic 我刚刚没有提到的一点是,除了 video(视频),你们应该还有 IMU(惯性测量单元)的信息来做 SLAM(同步定位与建图),来做 VIO(视觉惯性里程计),就是基于视频和 IMU(惯性测量单元)的 odometry(里程计)。

SLAM(同步定位与建图)和 VIO(视觉惯性里程计)对于人类数据这么重要,它是在哪一环被用到?

[01:20:36] Danfei Xu: 这是一个非常非常好的问题。因为我们现在其实出现了两种对人类数据(的理解)。就是现在 2026 年,对人类数据有两种完全不一样的理解。一种是世界模型的方法,就是说我只需要知道下一帧世界长什么样就可以了。第二种是用人类当做另一种机器人,把人类当做另外一种,就是 BC data(行为克隆数据)来用。这两种用人类数据的方法是完全不一样的。

就是第一种是我只需要第一人称(视觉)数据就可以了,视频数据就可以了。第二种是说我需要把人类动作,以及比方说 tactile(触觉)这些所有的 input(输入)、input(输入) output(输出),就是人类作为一个一个方程的 input output(输入输出),所有东西都要能 capture(采集),尽量 capture(采集)。

然后需要 capture(采集)比方说 action(动作)的时候,我们就有一个问题,就是说它这个 action(动作)到底是什么?像你之前说的是 kinematics(运动学),kinematics(运动学)是什么?就是你手或者说末端控制器在世界中的位置。那这个东西怎么取?

那只能通过比方说 hand pose estimation(手部姿态估计),就是通过第一人称视角看你这个手的位置在哪里。那么知道你的手在相机里面的位置还不够,因为你还得相机你也不知道在哪里。

所以 IMU(惯性测量单元)和比如说 VIO(视觉惯性里程计),就是 visual inertial odometry(视觉惯性里程计),it comes in right(这时候就派上用场了),you need to localize yourself(你需要先定位自己),就 localize the glasses themselves(定位眼镜本身)。

所以它就变得非常重要。

[01:22:11] 泰然: 所以这个 SLAM(同步定位与建图)是对于把人当机器人的这条技术路线非常重要,因为我们希望从人的数据里面尽可能多的挖掘 action label (动作标签)。

[01:22:21] Danfei Xu: action labels (动作标签)。

[01:22:23] 泰然: 我觉得我有一个疑问,就是因为我总是在类比我是怎么学的。因为我觉得我看别人的 video (视频),对,学装家具也好,修车也好,我不需要他的 inertia(惯性),我也不需要他很准的 IMU(惯性测量单元)的信息。这个 gap(差距)到底在哪儿?

是因为我们现在的 video model(视频模型)不够强,所以我们必须要加这种 action label(动作标签)?SLAM(同步定位与建图)会不会只是一个过渡性的措施?在长期来看它可能不重要。

[01:22:48] Danfei Xu: 我觉得有可能。但是现在的范式,就是我们现在推的这个范式,其实就是说拿人类的数据当做机器人的遥操作数据来用,对吧?这件事情,如果你你 extrapolate(外推)这个范式的话,其实我们需要更加精细的这个 state estimation(状态估计),而不是说不需要 state estimation(状态估计),对吧?

但是如果要是你说人类数据另外一个范式,比方说人类数据只是告诉你怎么样做这件事情,你已经知道怎么样达到每一个状态,它比方说它给你 show(展示)了一个做了一顿饭,你每一步骤你都知道怎么做的话,那其实是另外一种范式,对吧?那种范式可能不太需要这种精细的 state estimation(状态估计)。

所以就根据你的研究、你的自己的理论,可能会你需要的 数据不一样。

[01:23:42] 泰然: 但你现在觉得你最相信的一个技术路线,还是从人里面找 action label(动作标签),做 behavior cloning(行为克隆)?

[01:23:50] Danfei Xu: 对,因为我我觉得我坚信还是解决底层精细操作以及操作这方面,就是 manipulation(操作)和 full-body loco-manipulation(全身移动操作)这件事情,我们还没有解决。所以我觉得人类数据是唯一能(扩展到足以解决这个问题的数据源)。

[01:24:08] 泰然: 我想再聊聊 SLAM(同步定位与建图),因为 SLAM(同步定位与建图)是一个相当相当 traditional robotics(传统机器人学)的一个 stack(技术栈)。可能今天做 robot learning(机器人学习)的人,大多数人是没有了解过怎么做 SLAM(同步定位与建图)的。

但是 turns out(结果是)SLAM(同步定位与建图)变得非常非常重要。你的一个 Twitter post(推文)也聊到了这个,跟我们讲讲现在 SLAM(同步定位与建图)state of the art(最先进水平)在哪?为什么这么难?它的护城河到底在哪?

[01:24:31] Danfei Xu: SLAM(同步定位与建图)state of the art(最先进水平)在这些 VR(虚拟现实)公司,比方说 Meta、Apple 以及少数 driving company(自动驾驶公司)。

但是对于我们有用的这些 SLAM(同步定位与建图),比方说 sub-centimeter-level SLAM(亚厘米级同步定位与建图),只有在这些 AR/VR company(增强现实/虚拟现实公司)有。这件事情是毋庸置疑的,对,就是他们已经搞了十年了。

然后如果你看这个 Aria,他们自己发了一个 benchmark(基准测试),就 city-scale SLAM(城市尺度同步定位与建图),就是在一个城市规模的这个 SLAM(同步定位与建图),就是 open-source(开源)和 academia(学术界)这些 SLAM pipeline(流程)和他们差得真的太远了。

就等于说类似于用 VLM 跟这个 SIFT(传统计算机特征)比的这种感觉,就真的差这么远。对。

[01:25:22] 泰然: 我做过一个测试,就是我当时刚买 Apple Vision Pro,我带着它在大街上走,因为我在实时地 visualize(可视化)它那个 VIO(视觉惯性里程计)。我走了两个 block(街区)回来,还在那。对。

[01:25:33] Danfei Xu: 就是我给你举个例子,就是 Project Aria 他们能做到什么程度?SLAM(同步定位与建图)最重要的一个事情,其中一个很重要的事情,就是它有 6 个摄像头,每个摄像头之间的关系你都需要非常稳定。但是作为一个眼镜,它可没有办法稳定,因为它会变形,对吧?然后它比方说它跟你当天的气温也有关,就是它的镜头之间的关系也不一样。

他们能做到的就是 online calibration(在线标定)taking temperature into consideration(把温度考虑进去),就他们会有一个就是对于镜头和热效应之间的关系,然后根据这个关系来做 calibration(标定)。

[01:26:12] 泰然: 哈哈,那这个事儿对你来说会不会某种程度上有点沮丧呢?因为你是非常希望 own full stack(掌握全栈)的,你希望我们要把 human data(人类数据)做好,肯定是要有这个东西的。但不幸的是,这些东西在 VR 公司里面。

[01:26:25] Danfei Xu: 我觉得真的有很多人对这件事情感兴趣,以及就 capital investment(资本投入)的话,我觉得这个事情是可以做的。对,就是就是这是个工程问题,这就是一个纯纯的工程问题,没有那些什么我需要 invent next GPT(发明下一代 GPT)去解决的问题,就这是个纯纯的工程问题。

[01:26:47] 泰然: 就你觉得有钱有资源,我们花时间去磨细节。

[01:26:50] Danfei Xu: 绝对是可以做出来的。而且就是说现在有一个非常好的一点,就是说 learning-based approach(基于学习的方法)它是一个 smooth ramp(平滑提升)。你的数据量好,你的 transfer(迁移效果)就好;你数据差一点,它 transfer(迁移效果)就差一点。它不是完全没有。

触觉 tactile 会在人类数据中扮演什么角色 [01:27:02]

[01:27:03] 泰然: 好,我想聊第三个模态,人类数据中的是触觉 tactile,这也是你本科的第一个 topic(研究主题)。我觉得想聊触觉的原因是,触觉是缺失的一环,而对我们人类的操作来说,触觉又是一个可以说是我不知道它和 vision(视觉)到底谁重要。就是我闭着眼睛,我也可以现在转这个笔;我闭着眼睛,我也可以把我的钱包拿出来。对我们到底需要多大规模的触觉(数据)?

你觉得触觉会是人类数据里面什么地位级别的数据?

[01:27:38] Danfei Xu: 我觉得会是一个第二重要的数据。我觉得视频数据还是第一重要的,然后接下来有一个数据模态,我其实一直没有很好的系统 study(研究),就是 wrist camera(腕部摄像头)。就是这个东西到底和触觉,你想象你在你的手腕上挂了一个摄像头,你的手和这个物体之间的交互,它解决了一大类就是 egocentric(第一人称视角视频)很多的问题。

egocentric(第一人称视角视频)你正在拿这个东西的时候,你可能很大程度上都被挡掉了,被你自己的手挡掉了。但是如果你腕部有摄像头的话,你是可以看到你的手在做什么的。当你有这个摄像头以后,你还有多需要触觉数据?这件事情其实我是一直不太清楚的。

触觉肯定是非常非常重要的,因为我有一个理论就是说,所有的 agent(智能体)或者所有的 robot(机器人)、human(人类),其实它本质上讲就是一个 force exertion engine(施力引擎),就是你的你在这个世界上的目的就是给世界产生力。你产生了这个力,力改变了世界的状态,对吧?

所以我们最重要的不是去 measure tactile(测触觉),是 measure force(测量力),就是你到底给这东西产生多少的力。tactile(触觉)只是一个最直接的一个 imperfect measurement of force(不完美的对力的测量)。

[01:29:04] 泰然: 我特别好奇的是,触觉传感器到今天发展到什么地步了?有多 ready(成熟)?

[01:29:10] Danfei Xu: 我觉得最大的问题是就是太不统一了。所有人做的这个触觉传感器都是不一样的,有太多不同的这种就是 GelSight,就是光学的触觉传感器,然后有压感的,有电阻的,有这个磁场的,对吧?就太多不同的触觉传感器,它们自己都有不同的 property(性质),就是它们的好处和坏处都不一样。

但是如果要是我们真的想要达到这个摄像头这么一种 standardized representation(标准化表示)的话,

[01:29:44] 泰然: 我觉得还是有一段路的。所以触觉传感器没有像 RGB(红绿蓝)这样的统一表示的量纲。

[01:29:50] Danfei Xu: 对,而且它每一个根据它的物理属性不一样,它的这个属性完全不一样。对,你可以把它想成不同的传感器。

[01:30:00] 泰然: 如果说触觉很重要,而触觉传感器现在又这么的还没有 converge(收敛),那会不会最后 end up(变成)我们就是用 RGB wrist camera(腕部摄像头)来?

[01:30:09] Danfei Xu: 有可能,非常有可能,就是 just riding on a beat-up car(像坐一辆破车一样)(这车总会把我们带到某个地方)。

Human data 各种模态的重要性排序 [01:30:16]

[01:30:17] 泰然: 我给你准备了一个,就是我觉得可能的所有的 human data(人类数据)的模态,okay。我希望跟你让你从里面按照最不重要开始慢慢往外扔,okay。里面有,你可以跟我们看看有什么。

有 ego video(第一人称视频),就第一人称视频;有 hand pose(手部姿态),手的数据;whole-body pose(全身姿态),全身的动作;force(力)和 tactile(触觉);音频 Audio;以及 smell(嗅觉)。

[01:30:51] Danfei Xu: 就是如果要是 if I give up something(如果我要放弃一个)。

[01:30:53] 泰然: 对,好,第一个是没有的,是嗅觉,对。

[01:30:58] Danfei Xu: 我觉得这件事情我们还 we’re not there yet(还没到那一步),哈哈哈。如果要是我第二个要 give up(放弃)的话,嗯,我觉得可能是,就是根据我们现在的范式来说,我觉得可能是 audio(音频),audio(音频)。

因为 audio(音频)这件事情我们现在采集设备还是太粗糙了,因为最重要的可能是定位,就是 audio(音频)从哪里来,这件事情我觉得我们现在的 microphone(麦克风)还没有。我可以做,但是没有人关注到这件事情。

对,第三个的话,I mean(我是说)depending on what you believe in(取决于你相信什么),我觉得 language(语言)和这个 whole body pose(全身姿态)可能就是,其实 force/tactile(力觉和触觉)我们现在不知道怎么用。

[01:31:50] 泰然: force/tactile(力觉和触觉)其实我我比较好奇的是,如果我们要从里面学,它应该在 input(输入)端还是 output(输出)端?

[01:31:56] Danfei Xu: that’s a great question(这是个很好的问题)。就是说你是一个 force exertion machine(施力机器),所以 in theory(理论上)you need to measure the output(你需要测量输出),对吧?

但是你自己的受力状态也(很重要),就是你需要根据你的受力状态来估计你要施加多大力,所以 input(输入)和 output(输出)两者都要。

OK,再来,然后就是 I guess(我猜的话)we haven’t solved manipulation(我们还没有解决操作问题),所以(排除) whole body pose(全身姿态),然后就是 language(语言)、hand pose(手部姿态)、video(视频)。

什么是 UMI data,它到底是人类数据还是机器人数据 [01:32:27]

[01:32:27] 泰然: 所以你的第一名是 video(视频),第二名是 hand pose(手部姿态),第三名是 language annotation(语言标注),第四名是 whole body pose(全身姿态)和 tactile(触觉),然后最不重要的是 audio(音频)和 smell(气味)。

所以这个是我们聊的 human data(人类数据),就是如果我们要去 collect(采集)。但是现在机器人数据和人类数据的界限越来越模糊了,一个最好的表现方式就是 UMI data(通用机器接口数据)。能不能跟我们讲讲什么是 UMI data(通用机器接口数据),以及 UMI data(通用机器接口数据)到底是在,你会觉得在机器人(数据)那一端

[01:32:59] Danfei Xu: 还是人类(数据)的这一端?对,UMIdata(通用操作接口数据)universal manipulation interface(通用操作接口)是大概就想象一下,你把你的手换成了一个机械臂的手,就是一个 gripper(夹爪)。这个 gripper(夹爪)自己本身它有自己的状态估计,它自己在哪里,以及它开合的状态。

你是用你的人手来操作这个 gripper(夹爪),所以就是你大概装作自己的手是机械手

[01:33:25] 泰然: 它强行把人类的手退化成了一个夹爪,对,exactly。

[01:33:29] Danfei Xu: 但是好处是什么?是它有非常好的状态估计,比方说上面会插一个摄像头或者一个定位(模组),所以它知道这个这个东西在 3D 空间里的位置在哪里。第二个就是说这些 gripper(夹爪)会直接被装在机器人上,所以它没有 embodiment gap(形态差异),就是它们的数据采集和 deployment(部署)之间几乎没有 gap(差异)的。

在末端执行器上、碰撞模型上是没有的,但是有很大的 gap(鸿沟)是在本体,对吧?因为你和机器人的操作空间是不一样的,你的手有很多,你的手不止7个自由度,然后你机器人可能自由度上会有一些限制。

[01:34:07] 泰然: 但是这个对于纯的 human video(人类视频)来说也是存在同样的问题,对?

[01:34:11] Danfei Xu: 这就是说回答你的问题是,就是它到底是机器人数据还是人的数据?

我觉得它是人的数据,因为它本身来讲是人和环境是有直接交互的,就是你可以感受到通过你的 gripper(夹爪)来 however indirect(虽然是间接的),你可以感受到力,你可以感受到它,你对这个手部这个东西有极强的操控性,它没有一个 robot controller(机器人控制器)夹在中间来让它变得更 indirect(间接)。

[01:34:41] 泰然: 那假如说我们前面三个东西 teleop(遥操作)、UMI 和 human data(人类数据)纯的那种 human data(人类数据)不加 gripper(夹爪)的,他们今天各自在这个领域有他们的重要地位,随着时间会怎么变化?

因为现在好像觉得 UMI 是一个 sweet spot(甜蜜点),最 work(有效),它能给你精细操作的能力,同时也比 teleop(遥操作)更能 scale up(规模化),fidelity(保真度)也比纯的 video(视频)好很多,你会怎么想这个?

因为你刚刚谈到了一个是 fidelity(保真度),一个是 scalability(可扩展性),我其实相信最后的 performance(表现)是这两个的乘积,对?那么这三种你会怎么看?

[01:35:15] Danfei Xu: 我觉得 UMI 最后和 human data(人类数据)会变得 indistinguishable(难以区分),我觉得因为现在已经有这么个趋势了,你比方说最近看这个 Generalist,他们的这个操作,这个他们的 gripper(夹爪)其实跟人手已经很像了,他们其实就是在人手上 面穿了两个 fingertips(指尖套),然后上面挂了摄像头,如果你把这个 fingertips(指尖套)拿掉,就变成了我们现在所说的 sensorized human data(传感人类数据),它只是说有这个 fingertips(指尖套),

所以它跟那个 robot(机器人)gripper(夹爪)的操作区别会小很多,但是 the price is fidelity(代价是精确度),对吧?

因为你没有办法做 dexterous manipulation(灵巧操作),就是五指的 dexterous manipulation(灵巧操作),所以最后其实我觉得大部分人从 data(数据)往上,所有东西都会 share(共享),所有东西都差不多跟 human data(人类数据),只是说在 data(数据)这个方面,你的 transfer(迁移),也就是这个从 human(人类)到 robot(机器人)这个 transfer(迁移)到底有多少,这件事情不太确定,对?

就是说更像机器人的 human data(人类数据),就是这个 gripper(夹爪),它会 transfer(迁移)更多,如果直接用人手的话,就会根据你的机器人的手有多像人手,你的 capability (能力)有多像人手来决定,你就说能 transfer(迁移)多少。

五指灵巧手和人类数据 transfer 的关键瓶颈 [01:36:35]

[01:36:36] 泰然: 你会觉得 in the long run(长期来看),你刚刚说会越来越难以分辨这几个数据之间,那你觉得会有什么大的趋势吗?因为现在最 work(有效)的 UMI 还是夹爪,对吧?你是相信五指的必要性的?

[01:36:49] Danfei Xu: 我觉得其实是这样子的,就是说真正 work(有效)的 human data(人类数据)是需要从底层 build up(构建)的,就是你的机器人这边需要你的执行器,你的 controller(控制器)需要跟人能 execute(执行)的速度差不多,比方说我关上我的手和机器人关上手的速度需要差不多,这件事情绝大部分人都没有 get it right(做对),就是我现在能看到唯一 get it right(做对)的就是 Generalist,他们的 controller(控制器)做得非常非常好,你是说 gripper(夹爪)的那个,就是整个手臂的这个集成器,

我的 conviction(判断)是说如果要是我们真的要做 human dexterous hand(人类灵巧手),就是五指到 dexterous robot hand(灵巧机器人手)这个 transfer(迁移),其实我们中间的 gap(差距)没有那么大,我需要一個稍微比 Sharpa Hand(灵巧手)小一点的手,就是 Sharpa(灵巧手)是一个 22 自由度的手,比它稍微小一点,然后执行速度更快一点的手,然后它的机械臂可能我们要换一个速度(更快),就是说 performance(性能)更好的一个机械臂,我现在也就不 name names(点名),

然后把这东西连起来,把整个底层执行器做好,其实我们可以做到 UMI(夹爪)级别的 transfer(迁移)。

[01:38:07] 泰然: 所以你觉得现在五指的人类数据的 transfer(迁移)是卡在了硬件上?

[01:38:12] Danfei Xu: 我觉得大部分是卡在机器人硬件上面,不是数据采集硬件上,而是那个机械臂不行,对?就是也不是机械臂不行,只是大部分人没有把这个东西串起来。

Human data 和人形机器人是一荣俱荣吗 [01:38:21]

[01:38:22] 泰然: 我有个问题,就是如果说 human data(人类数据)要取得巨大的成功,是不是意味着有双腿和五根手指的人形机器人也会取得巨大的成功?所以这两个是一荣俱荣。

[01:38:35] Danfei Xu: 我不知道双腿这件事情,但是至少上半身。

[01:38:39] 泰然: 所以就是至少一个上半身像人的双臂加五指。

[01:38:43] Danfei Xu: 然后下半身就是至少 holonomic(全向移动的),就是你可以往全向(移动),有全向移动能力。

[01:38:50] 泰然: 有一个概念,就是,就是关于整个 technology(技术)的一个概念,叫 hardware lottery(硬件彩票)。就他们说,其实是因为有了 GPU(图形处理器),deep learning(深度学习)才能 take off(起飞)。

所以,如果没有 GPU(图形处理器)的话,可能我们永远都不知道 deep learning(深度学习)会这么 work(奏效)。我比较好奇的是,你觉得机器人的未来是 hardware lottery(硬件彩票),还是 data lottery(数据彩票)?

换言之,到底是 human data(人类数据)成就 humanoid(人形机器人),还是 humanoid(人形机器人)成就 human data(人类数据)?

[01:39:16] Danfei Xu: 好问题。我觉得 both(两者都是)。humanoid(人形机器人)本身其实 human-like embodiment(类人的硬件)其实没有任何的实质上的意义,对吧?除了你可以用工具,看起来 less scary(没那么吓人)。

但是有了 human data(人类数据)以后,humanoid has its purpose(人形机器人才有了它的意义),对吧?就是 it’s the future(这就是未来)。反过来讲,就是如果没有 humanoid(人形机器人)的话,human-to-robot transfer(人到机器人的迁移)会变得更难。所以这个还是互相成就。

[01:39:46] 泰然: 所以 human data(人类数据)现在本质就是帮机器人更像人,用以人为中心的数据。就是这个某种程度上会不会也把机器人锁死在了 human-level performance(人类水平表现)?如果我们今天想造的是一个腰可以无限转、手可以无限转的一个 super humanoid(超人形机器人),一个超人 类的机器人,我们可能造不出这样的机器人。

会有这样的风险吗?

[01:40:12] Danfei Xu: 这是一个非常好的问题。我觉得两方面吧。其实我退一步来讲,我觉得操作,就是精细操作,或者说(教机器人如何操作物体)这件事情,其实只是 human data(人类数据)的一部分。另外一部分我没有提到的,其实是机器人和人之间的交互。

这个如果要是我们把它想成是一个 learning problem(学习问题),就是 data-driven problem(数据驱动问题)的话,你现在是完全没有办法通过遥操作来采集这些数据的,只能通过人和人之间的交互来采集数据。

所以另外一块就是 HRI(人机交互),就 human-robot interaction(人机交互)这一方面,其实是一个人类数据的一个巨大空白。回过来讲,就是这个到底有没有把它锁死在 human data(人类数据)、humanoid(人形机器人)这个 embodiment(具身形态)?我觉得倒也不至于。

我觉得因为其实 robotics(机器人学)大家讲(零空间),就是说我只要我的 degrees of freedom(自由度)够多,我可以 dumb myself down(把自己降维)(去模仿一个更低自由度的系统),对吧?如果我比方有 20 个自由度的手,我可以 imitate(模仿)一个只有一个夹爪的手。

所以我也不一定要用一个只有人类这么多机械自由度的这么一个(机器)人来 imitate human(模仿人类)。我们可以有一个更多自由度的机器人,然后来模拟一个更少自由度的这么一个人,对吧?

[01:41:36] 泰然: 嗯嗯,但是这样的话,我们可能就很难激发出他真正的潜力。

[01:41:42] Danfei Xu: 对,所以我的感觉就是说,当我们跨过这个 GPT-2、GPT-3 moment(时刻)以后,之后的 RL fine-tuning(强化学习微调)可能就是可以提上议程了,对吧?

[01:41:52] 泰然: 我们今天还是以人为中心的这种 data(数据),像很多的 lab(实验室)也在,比如说 Yann LeCun 一直在 advocate(倡导),就说我们今天连松鼠都造不出来,a squirrel-level intelligence(松鼠级智能)我们都没有,那如果说从你的理论上来讲,如果我们要造乌鸦、松鼠、章鱼的智能,是不是也得给它们戴上 sensor(传感器)才能造得出来?

[01:42:14] Danfei Xu: (我们直接奔着人类水平去了)这个 LLM(大语言模型)是 human-level(人类水平),我们没有从这个松鼠和松鼠之间的交流开始做起,对吧?这是因为我们有人类数据,所以才能造出来 LLM(大语言模型)。

so I make the same argument(所以我有同样的论点),因为我们有人类第一视角数据或者人类的操作数据,我们才能造出来这个 human-level(人类水平)的这么一个机器人。

[01:42:35] 泰然: I guess(我猜)我的问题是,我们想要达到一些动物的 sensorimotor intelligence(感觉运动智能),是不是也只能像今天做 EgoMimic 那样给它们戴 sensor(传感器)?

[01:42:46] Danfei Xu: 但是我觉得,我们如果能达到人类的就是 physical intelligence(物理智能)的话,其实 dumbing it down is easier(降维更容易)。

如果数据、算力、硬件无限,human data 的智能上限是什么 [01:42:51]

[01:42:52] 泰然: 我想跟你聊聊你对 human data(人类数据)真正的愿景,因为我们刚刚其实大部分东西是在聊 manipulation(操作),聊精细的操作。假如说数据无限、算力无限、机器人硬件也足够好,你觉得我们最终能从 human data(人类数据)到底能学到什么样的级别的智能?这个的上限是什么?

[01:43:14] Danfei Xu: 我觉得上限是一个a human-like robot(像人一样的机器人)that’s indistinguishable from humans(和人类无法区分)。

[01:43:20] 泰然: 就你无法判别它是人还是机器人。

[01:43:22] Danfei Xu: 就是 human-level 的 Turing test(图灵测试),就是我可以 talk like a human(像人一样说话),behave like a human(像人一样行动),interact like a human(像人一样互动),不只是在跟物理世界交互(也不只是)跟物体交互,而是跟其他人交互,就是所有这些 physical(物理)方面的东西都是 indistinguishable(无法区分的)(那就是 human data 的上限)。

[01:43:44] 泰然: 所以本质上你是希望能够建模所有的人类的感官数据。

[01:43:50] Danfei Xu: I want to behavior clone a human(我想克隆人类行为)。

[01:43:54] 泰然: 所以你要做的是human-level behavior cloning(人类水平的行为克隆)exactly,那我是不是可以说今天的大语言模型LLM也只是在behavior cloning language of human(克隆人类语言行为)?

[01:44:04] Danfei Xu: 对,well it’s not just(也不只是这样)对吧?因为我们肯定后面做了很多很多的就是 supervised fine-tuning(监督微调),reinforcement learning(强化学习),才可以成为 superhuman coder(超人类水平的程序员),对吧?那么我们(机器人)还没有达到第一步。

机器人如何获得类似互联网之于 LLM 的数据基础设施 [01:44:16]

[01:44:16] 泰然: 那我觉得如果要达到你的那个愿景,就是 behavior clone a human(克隆人类行为),我们拿 language model(语言模型)今天的发展现状来看,他们之所以能做到这一天,你在你的 CoRL talk(CoRL 演讲)也讲了,他们是因为有 Internet(互联网),是因为他们有鼠标键盘,大家打字变成 Internet(互联网)上面的 data(数据)。

但 Internet(互联网)、手机电脑这种东西不是为了 train LLM(训练语言模型)专门打造的,但今天的 human data(人类数据)是为了 train robot model(训练机器人模型)打造的。我们怎么达到像 language model(语言模型)那样的 infrastructure(基础设施)?

[01:44:49] Danfei Xu: 我觉得这是一个,这个就是一个决定性的问题,就是这个 research agenda(研究议程)能走多久。因为我们现在就是有很多很多公司,大概我现在数了可能100多家公司了吧,开始采集这些数据,是因为这件事情大家都觉得可以做、有前途,所以才开始有了这个数据。

如果我们能继续往前推进,就是我们的这个 trajectory(轨迹)是一个往上的角度,而且这个 gradient(斜率)还不错,那么就会有更多的人来贡献这些数据。如果我们长时间停滞没有往前发展的话,那么贡献这些数据的人就会更少。I’m hopeful(我很乐观),就是我觉得这件事情是有希望的,就是我们能在大家失去兴趣之前把这件事情做完、做成。

[01:45:44] 泰然: 所以你现在对这个事儿的期待是,你做的这个事儿human data for robot learning(用人类数据做机器人学习)越来越 work(奏效),导致越来越多的人也一起来做,导致越来越多的人愿意为这个数据付费,导致越来越多的数据公司再采更多的这样的数据。

可能我觉得与之相比较的是language model(语言模型)、video model(视频模型),它们有 Internet(互联网)和 YouTube(视频网站)这样的东西,这样的数据是无心插柳柳成荫,而你今天是非要把这个柳插出来。

[01:46:14] Danfei Xu: 对,我最开始的愿景也是希望无心插柳。

就是 2024 年我给那个 talk(演讲)的时候,我当时讲的就是说之后我们这些什么 Meta glasses(眼镜),就是 Ray-Ban glasses(Ray-Ban智能眼镜),这些就是 AI wearables(AI 可穿戴设备),they are going to have cameras(它们会配备摄像头)(它们会提供很多这类数据)。

我当时想的也就是说OK,in the next five years(在未来五年)可能会有很多很多数据,但是没有想到就是因为这件(人类数据)事情火了,所以有很多很多人来贡献这个数据,所以整个 timeline(时间线)就提前了。

[01:46:50] 泰然: 这么说吧,你本来想当的是配角,没想到 robot learning(机器人学习)、human data(人类数据)变成主角了。你本来想吃的是可穿戴设备的红利,对,本来想等这个事儿,没想到这一下整个 community(社区)开始对。exactly(没错)。

那你对这个事儿,你刚说要做成,然后要 behavior clone human(行为克隆人类),你对这个事儿需要的数据量级、资金投入会有什么样的估计?它不会绝对比 language model(语言模型)需要的 data(数据)更多,只会更多。

要 behavior clone human 需要多少小时数据 [01:47:22]

[01:47:22] Danfei Xu: 这个嗯,我觉得我的估计应该是在一亿小时数据左右。一亿小时?对,就是 a hundred million(1亿)、a hundred million(1亿)。

[01:47:39] 泰然: 而今天我觉得可能大家做的,

[01:47:42] Danfei Xu: 我听说过最大的数据大概是在10万小时到20万小时之间。

[01:47:48] 泰然: 那如果有一个很有钱的公司把所有人的数据都买一买,可能能凑个几 million(几百万)小时出来

[01:47:53] Danfei Xu: 可以凑出来大概 1 到 2 million(100 万到 200 万)小时高质量的数据。

[01:47:57] 泰然: 那我们要到那儿(一亿小时)还有一百倍,还有一百倍,听起来一百倍也不是很多,也不是很多,对,可以做成

[01:48:05] Danfei Xu: 哈哈哈,对,所以后来可能就是就是数据传输带宽的问题了,和数据存储的问题,然后这些 management(管理)方面,就是 filter(筛选)、exploration(探索)这些技术infrastructure(基础设施)的问题

[01:48:17] 泰然: 但这个有个问题是,language model(语言模型)也好,video model(视频模型)也好,他们是比如说有他们的 representation(表征),有 MP4(视频格式)这样的东西也好,human data(人类数据)今天还没有,对吧?我们连什么模态、什么传感器都没有,都没有 converge(收敛统一)。

那如果我们直接 push for(推进)要 1 亿个小时的数据,这个本质上是有可能最后变成浪费

[01:48:39] Danfei Xu: 完全没问题,这件事情也是我现在感觉就是一辆高速前行的火车,然后有钱的人在搭这个(铁轨),搭铁轨,搭铁轨,对,其实就是这本身来讲就是这个样子,就是就是有几个 lab(实验室)在前面疯狂搭铁轨,然后后面就是所有的资本就开始就是往那个车里面加油加柴

[01:49:08] 泰然: 其实我还注意到你经常强调的 human data(人类数据),你一直说的是我们希望有不经意的 human data(人类数据),而不是说专门为你这个 task(任务)、机器人这个 task(任务)采集的 human data(人类数据),为什么?

[01:49:21] Danfei Xu: 因为我觉得人类的 physical intelligence(物理智能)很多程度上讲是我们不会想的一件事情,就是我们做一件事情,比方说我用脚开门,或者用用手肘把这个抽屉关上,或者说是怎么样把一个东西拿起来不把另外一个东西碰到,这件事情其实没有办法 demonstrate(演示),就是你在正常的你的生活中会做这些事情,但是你真的让一个比方说找一个数据采集中心给你这么多任务让你做,那你其实做的时候可能就会把这些(富含物理智能)物理互动变少,因为你需要optimize for the task completion(为任务完成做优化)对吧?

所以我觉得最后这个范式可能是 something in between(介于两者之间),就是我们可能需要一些故意采集的数据来就是 show something is possible(证明有些事情是可行的),然后大部分采集的数据可能还是就是 daily life(日常生活),然后最后会变成一个像比方说 Tesla(特斯拉)要解决的问题,就是 data filtering(数据筛选),就是什么样的数据是重要的,我们再把这个数据拿出来,然后再训模型。

[01:50:26] 泰然: 但这个麻烦的一点是,今天的 human data(人类数据)的这种供应商它就是为你服务的,对你让他采不经意 的数据,他还不知道怎么给你采。

[01:50:36] Danfei Xu: 对,所以就是这些就是我们 research(研究)的重要性,就是我们我们如果今年能证明不经意 的数据有用,那就会有很多人来采集这些不经意 的数据。

[01:50:45] 泰然: 我就在想,其实我有很多不经意的数据,可能对你来说 robot learning(机器人学习)没有任何意义,比如说我颈椎不好,我就喜欢这样,对我在拉伸。

[01:50:54] Danfei Xu: 就是 filtering(筛选)的问题,对吧?就是有一些 filtering(筛选)的问题,你比方说,而且就有很多很多 modeling(建模),就是你真的要细想这个(怎么行为克隆人类)这件事情是非常非常难的,就是你比方说我就是我在做菜,我突然扭头看一下表,为什么要看表,对吧?这个这个东西到底要不要 clone(克隆)?

因为我不知道时间,机器人是知道时间的,我们要不要 clone 这个 action(克隆这个动作)?这个所有东西都是一件真的 behavior clone an agent(行为克隆一个智能体)是一件非常非常难的事情。

[01:51:25] 泰然: 我觉得这个和自动驾驶还有一个区别,就是其实自动驾驶也不是某种程度上在人身上加 sensor(传感器),它是在车身上加 sensor(传感器)。

[01:51:33] Danfei Xu: 它是一个 constrained task(受约束的任务),就是你只要 get from point A to point B(把它从 A 点开到 B 点),就所有大部分人都是这么干的,嗯,对吧?就是大部分人做的都是有效操作。

[01:51:42] 泰然: 很少有人会去收集不经意开车的视频,这会很危险。

[01:51:46] Danfei Xu: exactly 对。

[01:51:48] 泰然: 刚刚我们谈到有whole body pose(全身姿态)有 Tactile(触觉)这些东西,我觉得好像有一种我的一种感觉,就是感觉 camera(相机)会吞噬掉很多其他模态的传感器,嗯,一个例子,比如说hand tracking (手部追踪) 这个事儿,如果没有东西遮挡的话,其实 video (视频) 能给你比较不错的 hand tracking (手部追踪),包括whole body pose estimation (全身姿态估计)。

[01:52:09] Danfei Xu: 你摄像头的焦距够大,

[01:52:11] 泰然: 你就可以estimate (估计)会不会最后变成一个非常video-heavy (视频主导) 的model (模型)?

[01:52:15] Danfei Xu: 我觉得有可能,我觉得非常非常有可能。我觉得现在已经有这个趋势了,就看你怎么想这些问题,对吧?就是因为这些东西都是 partial measurement(部分测量),什么东西能给你measurement(测量),那就用什么东西。fidelity versus scalability(精确性可扩展性)。

[01:52:29] 泰然: 其实相机给我们的fidelity(保真度)非常非常好,而且它是一个成熟的产业,对cost(成本)。

[01:52:36] Danfei Xu: 然后这个 supply(供应链),

[01:52:38] 泰然: 对,像你说你本科去的那个那个做 Tactile(触觉)的那个startup(初创公司),你说有温度传感,我都不敢想一套要多少钱

[01:52:47] Danfei Xu: 一万(美金)一个,哈哈哈

[01:52:50] 泰然: looking forward(展望未来)就是现在我们处在一个火车在高速前进,大家在往前(边开边)搭铁轨的状态,那什么样的human data(人类数据),你觉得这个火车 in the long term(长期来看)in the long term(长期来看)会最有价值

[01:53:02] Danfei Xu: 我其实不知道这个问题的答案,但是我觉得就是说这些data collection company(数据采集公司)需要跟这些做研究的这些机构进行非常非常紧密的合作。就比方说我们GT Lab(佐治亚理工学院实验室),我们需要数据来做来做研究,然后他们(数据采集公司)也需要知道什么样的数据有用。所以这是一个非常互利互补的关系。

数据分布是什么样子的,什么样的数据是有效的,怎么样让一个人采集更有效更有效率的数据,我觉得这个是一个大家需要共同研究的事情。

[01:53:38] 泰然: 你同时也在学术界也在工业界做ego human data(第一视角人类数据),我相信你能看到很多行业的趋势。我比较好奇的是,你觉得human data(人类数据)整个这个采集的设备也好,这个pipeline(流程)也好,最后会变成frontier lab(前沿实验室)的护城河?

随着这个东西的竞争越来越激烈,普及越来越好,会变成一个commodity(基础标配)?

[01:53:59] Danfei Xu: 我觉得会变成 commodity(基础标配),因为这个东西frontier lab(前沿实验室)也不知道自己要什么数据。所以就是大家就是怎么说,frontier lab(前沿实验室)来在教这些数据供应商采集什么样的数据,但是他们也不能说你只能卖给我。

他们(数据采集商)也会卖给其他人,所以就会变成一个就是这么是一个数据供应商做成一个中间(层)一个交流的这么一个平台了。

[01:54:21] 泰然: 所以因为有这种frontier lab(前沿实验室)和数据供应商的这种interaction(互动),所以导致交流是不可避免的。所以你采了什么数据,你用了什么设备,最后都会流通下去。是的,那会不会有一个组织,嗯,一个足够有野心的公司,他们要所有东西都in-house(内部完成)自己来 build(搭建)?

你会喜欢这样的路径,还是说一个frontier lab(前沿实验室)是做 research(研究),然后找 data(数据)的供应商买?

[01:54:48] Danfei Xu: 我会想做像Tesla那种own everything(全都自己掌控),但是作为一个academic person(学术研究者)(研究需要由所有人共同推动),所以我觉得可能最后可能也是会变成一个frontier lab(前沿实验室)driving(带动)几个data vendor(数据供应商)这样子。

[01:55:03] 泰然: 你们最近有个project(项目)叫EgoVerse,也是你就是说想让human data(人类数据)变成一个open collective efforts for academia(面向学术界的开放协作),对?为什么你还有这个坚持?因为听起来,比如说要一亿个小时的数据,如果一个小时几十刀,这个对学术界来说是天文数字,对?

[01:55:22] Danfei Xu: 我觉得原因就是因为这个train track(铁轨)和train(火车)这个比喻,就是我们这个对数据的这个热情实在是超过这个研究(超过)基础研究太多了。嗯(火)车可能已经在地上跑了,它已经不在轨道上跑了,已经开出去了。

我觉得就是说,所以我觉得要更多的人来做更基础的研究,是什么样的数据有用,然后怎么样更好地用这些数据,以及用这些数据去做不同的东西,比方说human-robot interaction(人机交互),做一些其他更有趣的研究。我觉得就是数据作为一个平台,是一个非常好的一个开展大家合作的方法。

第二个就是我希望在数据厂商这边做一个 centralization(中心化),就是我需要通过可能我自己或者我的合作者的 credibility(公信力),让他们相信我们,如果他们给我数据,他们做一定程度的 quality check(质量检查),我们的研究能让他们的数据变得更 credible(可信),然后就是这样一个互利互惠的关系。

[01:56:31] 泰然: 但你会不会想,如果假如说你真的做出来了,做成了最后的 end game(终局),最后一定会演化成今天 language model(语言模型)这样大家高度商业化,然后非常封闭的状态?

[01:56:46] Danfei Xu: 嗯,我觉得对吧,我觉得真的要一亿小时数据的话,一个open science(开放科学)这么一个,你像之前这些就是做什么这些 open science(开放科学)的language model(语言模型),后来其实也没有特别的成功,对吧,其实也就是这么回事,因为需要一个高度集团化运作,一个 capital-driven(资本驱动)的东西来促成这件事情,虽然可能最后结果没有那么,可能不会像我预想的那么好,但是我觉得还是需要尝试的,某种程度上

[01:57:19] 泰然: 你的成功就等于你的失败。

[01:57:22] Danfei Xu: 哈哈哈哈,对,我在 scale is all you need(规模化)上面的成功会让 open science(开放科学)这边失败,对。

[01:57:32] 泰然: 因为你说十年前大家都在做 driving(自动驾驶),driving(自动驾驶)在一开始大家都想探索各种各样的 data sources(数据来源)(从YouTube驾驶数据中学习),但 driving(自动驾驶)最后十年之后收敛到了和车厂高度绑定的数据和硬件高度绑定的数据。你觉得机器人会走不一样的路?你不担心机器人(数据)最后也会和机器人的主机厂高度绑定?

[01:57:55] Danfei Xu: 绑定的原因是因为他们不给别人数据啊,对吧?因为他们就是他们不愿意公开这些数据。这些公司的数据会对其他人也会有帮助,你比方说你车上就装了六个摄像头,那这些摄像头如果别的车有大概类似的camera layout(摄像头布局),其实是可以transfer(迁移)的。但只是因为这种 capital interest(资本利益),所以没有transfer(迁移)。

现在人类数据其实道理是一样的,如果有一个人真的有人买了一亿个小时数据,他不给别人,那也会产生同样的问题。所以最终来讲,不是一个跟硬件绑定,而是一个跟商业商业绑定的这么一件事情。

[01:58:31] 泰然: 如果我告诉你一个预言,告诉你 human data(人类数据)最后没有成为 robot learning(机器人学习)的 GPT 的一个基石,你觉得可能是你的哪一层假设错了?

[01:58:42] Danfei Xu: 我觉得可能我会比方说,我对 simulation-based learning(基于仿真的学习)的这个认知有根本上的错误,就是它的 scalability(可扩展性)跟我的预想完全不一样,for example(例如)对吧?

但是或者说,可能是 human(人类)和 humanoid(人形机器人)之间的 gap(差距),第三层或者第二层的这个 gap 太大,然后完全没有办法做到是 zero-shot(零样本)或 few-shot(少样本)transfer(迁移)。

[01:59:08] 泰然: 我能想象的还有一个就是非人形机器人百花齐放,这就会导致human data(人类数据)的transfer(迁移)越来越难,有可能我们造三指三爪的很高的,然后无限转的那些机器人

[01:59:23] Danfei Xu: 对,有可能,但是就是我觉得还是这波机器人火是因为 data-driven(数据驱动),如果 where data is needed(哪里需要数据),我觉得机器人厂商会造一些跟就是 data(数据)绑定的这么一些本体

[01:59:39] 泰然: 最后想跟你聊一下就一些其他的部分,一个就叫 full-stack robotics(全栈机器人学)。因为你之前强调了很多,你觉得今天大家对算法的强调过重,而对 system(系统)有点低估。为什么对 robotics(机器人学)来说 system(系统)这么重要?

[01:59:55] Danfei Xu: system is a thing for everything(所有东西都离不开系统), 我觉得就是你, 你比方说计算机就是CS(计算机科学), 本身是有一个 systems discipline(系统方向), 对吧? PL(编程语言)、compiler(编译器)、database(数据库), distributed system(分布式系统), robotics(机器人学)或者robot learning(机器人学习), 还处在一个大家对整个这个 system(系统)没有那么好的研究, 没有那么方便的一个system(系统)这种情况下, 就等于说大家

对这个东西的认知没有那么的深, 所以会导致一些项目或者一些方向的进步会比较慢, 因为我我觉得可能就是因为system(系统)的不够成熟导致, 所以我觉得大家需要认真对待这个, 就是为什么full-stack(全栈)这件事情这么重要。

[02:00:40] 泰然: full-stack(全栈)等于什么都要自己造吗?

[02:00:42] Danfei Xu: 不是什么都要自己造, 是你需要知道对你最后的 outcome(结果)会有影响。

[02:00:48] 泰然: 所以要对整个东西的每一个细节有足够深的理解。对,很多团队今天机器人的团队,startup(初创公司)也好,大公司也好,因为整个机器人的 ecosystem(生态系统)在起来,我们可以买到很好的硬件,我们也有足够多的数据供应商。

你觉得对于一个足够好的、要解决 robotics(机器人学)solve physical AGI(解决物理 AGI)的团队,buy or build(买还是造)这个 decision(决策)应该怎么做?哪些东西应该买,哪些东西应该自己来做?

[02:01:15] Danfei Xu: 我觉得 you can buy everything(什么都可以买),但是你的 integration(整合)要足够深。你对这件事情有足够理解以后,你会自己选择到底是买还是自己造。

[02:01:26] 泰然: 所以你今天看起来,你觉得是绝对不能放弃、一定要自己 in-house(内部完成)的,会有哪些部分?

[02:01:31] Danfei Xu: 比方说整个这个 evaluation training loop(评估训练闭环)这件事情,就是肯定你一个团队肯定要自己搭 post-training(后训练)数据采集,然后就是 pre-training(预训练)这些 data(数据)的这些 filtering(筛选),然后自己要看这些数据到底采得怎么样,然后符合不符合你自己的这个对于这个数据分布的预期,以及就是 closed loop(闭环)。

比方说我们自己在学校里面做的,也就是我们学生自己采数据、自己 deploy(部署),每一个研究者都要对、对这整套东西的就是 what data makes what(什么样的数据会带来什么)(每一小块数据如何改变系统行为)这件事情,需要一个足够深刻的了解。

[02:02:14] 泰然: 如果你的 data(数据)是来自 vendor(供应商)的话,他们其实肯定会对你来说更像一个黑箱,对吧?他们怎么采的,他们的 synchronization(同步)做得好不好?对,那这个会不会是一个挑战,如果你要做到一亿个小时?

[02:02:27] Danfei Xu: 对,这是一个很大很大的挑战。我觉得就是,我觉得很多人都在 struggle with this(在为这件事挣扎)。

[02:02:35] 泰然: 最后我想和你聊聊 modeling(建模),这个是我们今天其实整个 community(社群)聊得最多的地方,world model(世界模型)或者 VLA(视觉语言动作模型)。但是我想从 human data(人类数据)这个角度来聊,因为我觉得每一种、每一种 data(数据)对于 modeling(建模)有自己的 inductive bias(归纳偏置)。

如果 human data(人类数据)如果取得巨大的成功,它会偏好什么样的 modeling method(建模方法)?

[02:02:57] Danfei Xu: 我觉得 long context(长上下文)这是一个非常非常重要的事情。again like what I said(还是像我刚才说的),就是如果你要解释就是 behavior cloning human(行为克隆人类)这件事情,其实是你在用你的 context(上下文)来解释你的 action(动作)的这么一个问题,对?

所以你没有足够的 context(上下文),你没有办法解释这个 action(动作),你只是把它当作一个 very broad distribution(非常宽泛的分布),对吧?你可以干 A,因为你没有足够的 context(上下文)来理解为什么他要干这件事情。

[02:03:26] 泰然: 你刚刚说的 human model(人类模型)、human data(人类数据)对应的 foundation model(基础模型),它是一个 system two model(系统二模型)还是 system one model(系统一模型)?both(两者)你会考虑这其中的 interface(接口)会是什么吗?

[02:03:38] Danfei Xu: we need a new language(我们需要一种新的语言), 就是我现在想的一点是, 你就想一个不会说话的人, 他做就是正常跟物理世界交互, 他是不会用 system two(系统二)、system one(系统一)或者把 language(语言)当作 system 2 / 1 这种事情来解释他自己的行为的, 对吧? 他规划和操作这两件事情可能在一个另外的一个空间里面做的, 但是这个空间是什么, 我现在完全没有 clue(头绪)。

[02:04:07] 泰然: 也许那个空间就是得用 human data(人类数据)学出来。

[02:04:09] Danfei Xu: 我们需要就是 learn from scratch the space(从零学出这个空间), 就是我觉得 system one(系统一)system two(系统二)现在we’re taking this quite literally(我们现在把这件事理解得很字面), 因为我们有一个 LLM(语言模型), 但是我觉得 again(再说一次), 就是我觉得 LLM(大语言模型)grounding(落地)到 action(动作)这件事情其实距离太远了, 我觉得我们如果有足够多的数据的话, 我们可以就是从头推倒。

[02:04:34] 泰然: 你的一个 slide(幻灯片)里面,你介绍到了一个叫 Betty the crow 的一个乌鸦的 behavior(行为)。你觉得今天的机器人系统距离它的智能差多少?很远,太远了。

[02:04:44] Danfei Xu: 就是 Betty the crow 是一个非常著名的实验,就是有一个乌鸦,然后研究者发现它可以通过用工具来(够东西)。就是它有 几个长短不一的管子,然后里面有一些工具,然后它会从同一个管子里去够另外一个管子里的工具,再够另外一个管子里的工具,直到最后把食物够出来。这个东西它是第一次看到,它之前没有见过这个这个任务。

我觉得现在机器人对于这种程度的规划可能还是非常非常远。如果真的是说让它 zero-shot(零样本),如果我们没有之前跟这个 system(系统)做过任何的 pre-training(预训练),就是这种类型任务的 pre-training(预训练)的话,我觉得差的非常非常远。

因为我觉得这种问题还是处在一个就是通过你自己系统里的 component(组件)来产生一个新的解法的这种能力。现在看来我见到最多的可能就是不一样颜色的杯子,我可以把它拿起来倒水。所以就我觉得差的还蛮远。

[02:05:53] 泰然: 以及 Betty the crow 这种 task(任务), 我们用 RL(强化学习)去 overfit(过拟合)一个肯定能。

[02:05:57] Danfei Xu: 可以 overfit(过拟合)的, 但是 generalization(泛化)我觉得(还差很远)。

[02:06:01] 泰然: 我想和你聊聊你作为教授在 Georgia Tech(佐治亚理工学院)以及对未来的一些展望。你觉得你当上教授之后,你现在是哪种 advising style(指导风格)的导师?

[02:06:13] Danfei Xu: 我觉得是在非常 hands-on(亲力亲为)和比较 hands-off(放手型)之间反复横跳。有些东西我真的想自己干,有些东西我真的让学生自己做一些 open-ended exploration(开放式探索)。然后(我)也只做了就是大概不到四年吧,满打满算不到四年的教授,我觉得这个度我可能还是还在探索当中。

对,但是真的就是有些东西我真的想 push forward(推进),我真的会就是我想自己干。

[02:06:42] 泰然: 比如说 EgoMimic 里面,EgoMimic 真的就是自己干了。你当时干了那个,造了那个机器人。

[02:06:47] Danfei Xu: 对,然后我还自己给自己自己做了一个 gripper(夹爪)。我自己在暑假自己在家里弄了个 3D printer(3D打印机),自己 design(设计)了一个 gripper(夹爪)。因为之前它那个夹爪坏太多次了,所以我自己做了一个,自己造了一个。然后有一天我直接给学生拿这个用。

[02:07:02] 泰然: 但你对一线的 engineering(工程)是还是有很浓厚的兴趣的,certain part of it(其中一部分)。

[02:07:07] Danfei Xu: 就是我觉得跟硬件越跟硬件相关,我越感兴趣,哈哈哈,对,就是我会,就是两个极端吧,就是完全是算法这方面我也感兴趣,就是有些非常顶层的设计真的我非常感兴趣,然后跟硬件非常相关的东西,就是就是做 control(控制)选硬件这种,我也非常感兴趣,我可能会比较让学生自己做

[02:07:35] 泰然: 你是更享受哪一种,就是 IC(个体贡献者)的自己写代码实践呢,还是 manager(管理者)的 faculty(教职)这样的工作?

[02:07:42] Danfei Xu: 我觉得可能会比较享受嗯 the freedom(自由度),就是这个我可以选择自己做什么,这根据项目不一样,但是我还是比较喜欢,就是可以让自己的一个 vision(愿景)有一些人能帮我来做这件事情

[02:08:01] 泰然: 那你应该一直都挺享受的,感觉你从本科到 PhD 到现在,是一直都在做自己想做的。

[02:08:07] Danfei Xu: 对,然后现在有人帮我做想做的事情,哈哈哈。

[02:08:11] 泰然: 所以你是很难有一个像 Danfei 这样的 PhD(博士生)在你的 lab(实验室)里的。

[02:08:15] Danfei Xu: 对,就是我跟我老婆讨论好几次,就说 I will be a terrible student(我会是个很糟糕的学生),就是我完全不想招自己,哈哈哈,对。

[02:08:27] 泰然: 你现在在 lab(实验室)里面有什么你坚持的价值观和要求?

[02:08:31] Danfei Xu: 我其实有一个 lab culture doc(实验室文化文档),然后就是其中几条比较重要,就是说我非常讨厌就是这个分工这件事情,因为我们现在 project(项目)其实很大,然后也有很多人就是自己只做自己的东西,我觉得这件事情让我觉得就是我不太喜欢,因为就是你需要 care about the whole thing(关心整体)(你需要了解一切),no work is beneath anyone(没有什么工作是低人一等的)。

比方说有一次这个我们机器人这个 motor (电机) 坏了,我直接进去,就是没有人知道怎么焊这个东西,我直接自己去焊了。我想要我所有的学生都非常 full-stack (全栈)(愿意做全栈或者喜欢做全栈)小yUNC原音做全栈或者喜欢做全栈),这可能是我这个实验室比较 unique(独特)的一个点。

[02:09:22] 泰然: 那你现在选学生、带学生,你最看重的特质是什么?

[02:09:27] Danfei Xu: 我的一个 bias(偏好)就是,你不能讨厌硬件,对?

[02:09:32] 泰然: 你讨厌讨厌硬件的学生?我讨厌讨厌硬件的学生,对?哈哈哈,你觉得学术界真正现在吸引你的那个本质是什么?

[02:09:40] Danfei Xu: 我一直对这个 thought leadership(思想领导)这件事情我很看重,这件事情就是这是就是可能最开始 Fei-Fei 跟我讲的就是 academia(学术界)最终要达到的是一个 oversized impact(巨大影响力),你需要用你的 idea(想法)来影响别人,然后让别人你觉得一件事情是对的,然后你有能力让别人觉得这件事对,然后共同推进一件事情。

[02:10:07] 泰然: 如果你今天给一个年轻的学生、年轻的 researcher(研究者)一个建议,在今天的工业界和学术界这样的状况下,怎么找到他自己的位置?就是我希望的。

[02:10:18] Danfei Xu: 但是我不知道怎么做。

我希望这个学生能够尽早地培养自己的 taste(品味),就是自己觉得什么是对的、什么是不对的,或者是自己相信什么、不相信什么,然后尽早的把自己的一些对于整个系统的理解做出来,就是不要一个项目不要只 care about one thing(只关心一件事),然后就是最开始时候做一些尽可能做一些比较 full-stack(全栈)的东西,然后到第二年以后你就开始选择你到底是想就是做一些比较就是比较 open-ended(开放式)的问题呢,还是说我就是想把一个问题做了,就是我把一个问题解决了,或者说是我想比方说跟工业界一些合作,

然后把这个一些工业界的东西做得更加 rigorous(严谨)一点。我觉得就是说这个基础一定要打好。

[02:11:10] 泰然: 你觉得今年读 PhD 的 2026 年读 PhD(博士生)做 robotics(机器人学),比十年前你们那一波 2016 年左右做 robotics research(机器人学研究)是更难了还是更简单?

[02:11:20] Danfei Xu: 更难了,就是这个因为 FOMO(错失恐惧)的情绪太高了,我觉得现在就是真的你不跟主流有连接的话,可能就会真的觉得会被 left out(被落下)。所以你就是培养 taste(品味),你需要真的能够想清楚一件事情大概为什么要做它,然后想清楚很多不同的路大家为什么做它或者不做它,对吧?

你有这个耐心,为什么有这个耐心,是因为可能没有一个就 winner takes all(赢家通吃)这么一个状态,对吧?但是现在 clearly(显然)就是在业界可能有一个 winner(赢家),对吧?currently there’s a winner(现在已经有赢家了),所以大家可能会没有那么大的耐心来培养自己的 taste(品味)。

对,我觉得可能这件事情会变得更难,但是反过来讲 resource(资源)变多了,然后 tools(工具)变多了,有 Claude Code 这些东西可能让你研究变得更加简单一些,所以就是专注变难了,然后做成一件事情 if you choose correctly(如果你选对了)(把事情做得更好会容易得多)。

[02:12:31] 泰然: 关于taste(品味),我觉得你是怎么判断随着这过去10多年的旅程,你是怎么判断一个方向只是看起来重要还是真的会改变领域?你自己内部的一个internal test(内部测试)这种机制长什么样?

[02:12:47] Danfei Xu: 我是一个比较 evidence-based(基于证据的)的人,就是我需要看到一件事情showing signs of life(显现生命迹象),我才会比较相信它。就是我不会,就是说当然有两种可能性吧,一种是 first principles(第一性原理),就是这种事情肯定会发生;另外一种就是说我已经看到它有一些苗头了,我才会比较相信这件事情。

但是 taste(品味)这件事情跟这个,我觉得又不是特别一样。我觉得 taste(品味)可能就是对于一个你要研究什么样的问题的这么一个选择。我觉得我不是说我有很好的 taste(品味),我只是觉得 taste(品味)这件事情非常重要。比方说我现在有一个非常 practical taste(务实的品味),我这个跟我 PhD 的时候完全不一样。

我也不是说我现在 taste(品味)很好,只是说我觉得 taste(品味)对一个人的研究实在是太重要了,对它导致了你做什么样的 research(研究)。

Robotics 的 GPT-3 moment [02:13:47]

[02:13:47] 泰然: 那你自己 personal(个人的)你的 career goal(职业目标)是什么?

[02:13:50] Danfei Xu: 我其实没有什么目标,我只是想有朝一日能看到robotics(机器人学)这个领域就是能达到 GPT-3 moment(GPT-3 时刻)。这不是我自己的目标,而是说我想我能尽我自己微薄的力量把这件事情促成,这件事情发展我当然很开心了。但是 again(再说回来),就是我其实我感觉我对研究这件事情没有那么强的 ego(自我),就是谁做这件事情都可以。

[02:14:16] 泰然: 你刚刚说 robotics(机器人学)的 GPT-3 moment(时刻),你怎么定义这样的 moment(时刻)?

[02:14:21] Danfei Xu: 在任何场景下,任何人能做的事情大概百分之四五十的成功率能做成。

[02:14:26] 泰然: 如果现在因为我想让你给年轻人一些建议,现在很多的青年的学生进入机器人进入AI对吧,你会对十年前刚入行的自己说什么?你会提醒他些什么东西?

[02:14:38] Danfei Xu: 我觉得多看一些好的人的研究轨迹,就是他为什么,你理解一下一些比较好的你喜欢的一些研究者,他为什么做他们的事情,而不是说他们做了什么。我觉得这件事情是最重要的,因为其实你是在学习他的 gradient(导数),不是在学习他的 trajectory (轨迹)。然后如果你能真的想清楚他为什么做这件事你理解的版本的话,那么你也会对你自己的研究会有一个更清晰的认知。

如果要真的就是说你真的想做robotics (机器人学) 的话,真的就是把 robotics(机器人学)当成 robotics(机器人学),就是你不能把一些东西说这个东西不是robotics(机器人学)。

就比方说这个control(控制)不是robotics(机器人学),hardware(硬件)不是robotics(机器人学),或者说是之前做的一些东西比方说 planning(规划)不是robotics(机器人学),然后做object detection(目标检测)不是 robotics(机器人学),对吧?这些东西其实都是 robotics(机器人学)。

很多人会把方法和问题混淆在一起,就是你要解决的是一个问题,然后你有很多很多不同的方法,你不一定要所有人都用一个方法解决这个问题,不一定代表这个方法就是这个问题,或者这个问题就是这个方法。

[02:15:52] 泰然: Danfei,感谢你的时间。就是在这个时间节点,我们做了这期播客。然后这个播客会一直留在这里,我希望你最后讲留一些话在这个播客,作为一个时间胶囊。可能这个会是你5年、10年甚至20年后会回看的,也是给观众的一段话留在这里。你会说什么?

[02:16:11] Danfei Xu: 我觉得真的能够参与在一个能够改变世界的一个领域,在正确的时间、在正确的地方,是一个非常幸运的事情。我觉得这个并不是说我一直想要改变世界,或者说是想要做成一件大事,才导致我在正确时间、在正确的地点。而是我觉得大部分情况下,对于我,我可能会把自己当做一个没有那么强天赋的人,就是一个正常普通人。

只是我觉得在大部分人,我觉得绝大部分人可能做自己想做的事情,还是会让你在就是 career(职业生涯)或者你自己的生活变得更容易一点,然后也没那么,也没有脱离大部队,有时候也没有那么坏的后果。

勇敢做自己想做的事:What’s to lose? [02:17:11]

[02:17:11] 泰然: 所以是勇敢地做自己想做的事。

[02:17:14] Danfei Xu: 不要有那么多的包袱吧,就是 what’s to lose(有什么可失去的),对吧?

[02:17:20] 泰然: 好,谢谢你的时间。我们今天就录到这里,谢谢。