对话穹彻智能:十万小时无本体数据与 Noe-0|视频转录
转录说明
视频总长 02:58:58,时间从文件开头计算。本稿以全片连续画面中的中文字幕为底稿,覆盖开场预告、正片和结束语,并核对关键画面与部分疑难处的音频。
正文是按发言人整理的阅读稿,保留问题、回答、例子、分歧和保留意见,清理口头重复与重说的短句。文末另附按时间排列的完整字幕校订记录,便于查找更接近现场措辞的表述。依照文字风格要求,少量对照句改成直接陈述;两部分均经过文字整理,不作为未经编辑的逐字引文。
无法明确对应姓名的发言标为“嘉宾”;无法确认的词用方括号注明。嘉宾涉及“唯一”“第一”“最好”等说法时,保留其个人判断,不另作事实认定。
00:00:00—00:01:57|开场预告与片头
[00:00:00] 吕峻: 如果你手握更多的数据,没有做对这件事情,那你可能犯了一个比较严重的错误。
[00:00:05] 汶川: 我一直的看法就是,不能因为加速而放弃智能。
[00:00:12] 刘馨云: 穹彻最近发了一个新的技术博客。我们邀请到了非常多位嘉宾,也请他们来做一个自我介绍。
[00:00:19] 嘉宾依次自我介绍: 大家好,我是汶川。大家好,我叫吕峻。大家好,我是李彦玮。大家好,我叫陈文迪。大家好,我是张翰博。Hello,大家好,我是杨理欣。
[00:00:31] 陈文迪: 数采这块其实一直有一个,可能叫“难度守恒定律”吧。UMI 的难点,可能在你部署的那一刻才会凸显出来。
[00:00:39] 李彦玮: 我们现在这套范式,除了架构本身的问题,更多关注的是数据怎么来,第二个是 loss 怎么来。我会把世界上所有的视频全部收集起来,然后进行清洗。
[00:00:49] 吕峻: 任何东西的 scaling law 都不应该被怀疑。但前提肯定是你搞对它:你要把数据弄干净,用正确的方式采集。
[00:00:57] 杨理欣: 很多事情,我们想用语言描述一幅图片或者一件发生的事情,其实很难讲清楚。视频生成包含的信息,肯定比文字多。
[00:01:07] 张翰博: 在字节,我是没有脑子的,我只有算力。但是在学校,完全没有基建,我有脑子。
[00:01:12] 汶川: 你做大模型、做后训练的时候,用了 GRPO、PPO。Pieter Abbeel 教授本来也是做机器人的,对吧?很难讲这里面没有借到机器人的东风。
[00:01:24] 刘馨云: 大家都说穹彻是一个特别偏学术的公司。外界总是有一个声音:卢老师好像不太管公司。会怎么回应这个问题?
[00:01:33—00:01:55] 片头画面: 节目用论文与动画回顾 SayCan、Diffusion Policy、RT-2、Open X、UMI、π 系列等工作,并介绍 Noe-0 的无本体数据、隐式世界想象、动作规划和执行反馈。此段以音乐及画面展示为主。
[00:01:55] 刘馨云: 哈喽,大家好。
00:01:57—00:07:01|节目缘起与嘉宾介绍
[00:01:57] 刘馨云: 欢迎大家来到《灵光一现》的特别期。这一期是因为我们看到穹彻最近发了一个新的技术博客 Noe-0,主要通过 UMI 做预训练。我觉得这也是我目前在国内看到的,唯一一家把 UMI 大规模预训练跑通的公司。所以邀请了穹彻以及穹彻的学术顾问们,一起讨论最新的博客,包括一些学术趋势。
我们邀请到了非常多位嘉宾,请大家做个自我介绍。我一个一个来,先从汶川老师开始。
[00:02:32] 汶川: 大家好,我是汶川。我现在是上海交通大学人工智能学院的助理教授,也参与了很多穹彻智能和交大联合实验室的项目。我去年刚从清华大学交叉信息研究院毕业。
我主要的研究方向是可规模化的大规模机器人学习系统,包括如何定义机器人数采、更可规模化的数采设备,以及如何更好地做预训练和后训练的 training infra。
[00:03:06] 刘馨云: 好的,感谢汶老师。下一位是峻哥,请做个自我介绍。
[00:03:13] 吕峻: 大家好,我叫吕峻,目前全职在穹彻,做模型相关的一系列工作。整个链路还挺长,从数采方案、数据采集运营,到 data infra,再到训练和测评,都是我这边协调很多同事一起完成。
我很早就跟卢老师合作,大概 2017 年大二时加入卢老师团队,一直做科研。去年从交大博士毕业后,全职加入公司。
[00:03:46] 李彦玮: 大家好,我是李彦玮。我现在是上海交通大学人工智能学院的助理教授,刚加入交大不久。我在 2024 年博士毕业,2024 到 2026 年在美国字节跳动 Seed 做多模态基础模型。
整个博士阶段和后续研究,方向都是多模态基础模型。我目前关心的问题,是如何把多模态从这一代依赖语言的模型,发展到下一代,让多模态模型具有智能;或者利用语言,让多模态智能达到更高的上限。
[00:04:27] 陈文迪: 大家好,我叫陈文迪。我现在是上海交通大学和上海创智学院的在读博士生,也在穹彻作为见习研究员实习,是穹彻这边模型的负责人。
我主要的研究兴趣是通用机器人操作。我关心的问题是:如果未来有一个通用机器人系统,它的系统结构会是什么样?我们应该按怎样的顺序实现它?
[00:05:04] 张翰博: 大家好,我是张翰博。我可能是在座各位里面最老的。我在 2022 年博士毕业,毕业后在字节跳动做机器人基座模型研究。2024 年离开字节之后,到新加坡国立大学做博士后,研究机器人规划和长程移动操作。现在在上海创智学院做助理教授。
我目前最关心的问题,还是如何让机器人在长时程任务里做稳健的决策和执行。
[00:05:44] 杨理欣: 大家好,我是杨理欣,也是上海交通大学人工智能学院的助理研究员。我博士就读于卢策吾老师课题组,毕业后留校任教。
我博士期间主要研究人类的行为、人手操作,关心怎样从图像里重建人手、怎样生成人手动作,或者把人手动作交给机器人学习。现在主要关心两个方向:第一,大规模人类第一视角下的手物交互数据,如何帮助机器人多模态大模型学习操作技能;第二,能否找到更好的通用动作表征,用来辅助机器人模型。
[00:06:29] 刘馨云: 虽然大家可能都是上交系,但研究方向很不一样:从通用操作、手部建模和表征,到如何通过语言获得智能、如何搭建 infra,再到穹彻从预训练到后训练的整个模型搭建过程,有很多可以聊的点。
我们这次的起因是 Noe-0,也想先请大家简单介绍一下穹彻最新发布的技术进展。
00:07:01—00:12:06|Noe-0 的整体思路
[00:07:01] 陈文迪: 我简单讲一下。我们从卢老师的实验室到公司,很早就关注无本体数采。在一些早期实验里,看到了它在场景泛化、物体泛化上的表现,所以比较相信它是一个相对可规模化的数据来源。这推动我们在今年年初决定大规模做无本体数据采集。
我们希望通过模型,把采集到的数据转换成智能。一开始还没有决定具体的模型架构。VLA、World-Action Model 在今年年初都已经出现了。我们做了一些内部实验,发现即便使用比较多样、没有那么干净的真实环境数据,去微调 World-Action Model 或 VLA,World-Action Model 的数据效率也非常高。所以今年年中开始选定自己的模型结构,做预训练。
[00:08:49] 陈文迪: 为了支撑数据管线和模型训练,我们相应搭建了基础设施。过程中踩了很多坑,也花了很多精力。不过最后算总账,它让整个效率得到很大提升,也让科研人员有条件继续修改和迭代模型。
整个模型比较不同的一点,是全流程的无本体训练。预训练、后训练用的都是无本体数据,也就是类似 UMI 的数据。
为什么这样决定?因为我们发现,如果后训练使用遥操作数据,会损失动作的灵巧度。无本体数据的一个最大优势,在于设备直接穿戴在人手上,人会产生很多动作上的直觉响应。这些动作很难通过遥操作获得。后训练切换到遥操作,会在很大程度上牺牲这种优势,所以我们全流程都采用无本体数采。
[00:10:41] 陈文迪: 我们一开始也担心,这会不会和 world model 的形式产生冲突,因为涉及跨本体的情况。最后发现两者其实是相辅相成的,后面也会讲到。
Noe-0 的发布,相当于给这一段工作做了一个收尾。数据、模型和 infra 都完成了基础构建。接下来会更快速地迭代模型,今年下半年也会有更多结果,希望到时候继续和大家分享。
[00:11:36] 刘馨云: 接下来想问一些细节,也一起探讨前沿问题。报告正好分成数据、模型和 infra,我们就从这三个部分开始。听了文迪的讲述,在座各位有没有想问的问题?如果没有,我先开个场。
00:12:06—00:18:48|UMI、外骨骼与 iPhone
[00:12:06] 刘馨云: 什么是无本体数采,什么是 UMI?当时为什么决定用 UMI data?比如还有 ego,穹彻之前也用外骨骼采集,后来为什么选择 UMI?
[00:12:20] 吕峻: UMI 是美国团队提出的一种数据采集方案。简单理解,就是把机器人的夹爪拿在人手上,由人直接操作物体。人不用遥操作设备,同时拿着一个和机器人夹爪构型相同的装置,使采集的数据尽可能可以在机器人上使用。
选择 UMI 是个比较长的故事。卢老师团队很早就开始做机器人数采,大概在 2021 年。那时我还没有参与这个项目,当时是方浩树他们,可能受到 GPT 的启发,在实验室通过遥操作大规模采数据。理欣应该也有印象:实验室里堆满各种机器人设备,每天雇一些数采员在那里操作。
但我们很快意识到一些问题。首先是成本,其次是灵巧性。体验过遥操作的人会知道,灵巧性还没有那么高,练习可能可以提升。更重要的是,至少在当时的采集方案里,数据与真实世界有很大差别。我们用铝型材桌子,铺很多桌布,买很多物体摆上去,整个分布和真实环境差别很大。
所以团队很早就认识到,固定工位的遥操作,在预训练数据规模化方面有明显局限。后来开始做无本体采集。最早那篇 AirExo 应该是 2023 年发出来,工作大概在 2022 年一直做,也算学术界比较早的无本体采集研究。
[00:14:27] 吕峻: 后来没有继续坚持外骨骼,原因也没有那么复杂。外骨骼与 VSLAM 方案,本质上是末端位置靠编码器定位,还是靠视觉 SLAM 定位。
VSLAM 会受到视觉纹理限制,定位可能不够准。编码器更稳定,但设备更复杂、成本更高,穿戴也不够灵活。当时主要是综合这些因素选择了 UMI,并没有一个特别强的理由要求我们终止外骨骼路线。
后来的实验也印证了:虽然 UMI 的 VSLAM 有问题,但在当时使用的设备上,这些问题对于预训练,甚至一定程度上的后训练,都可以接受。我们能用这种数据训练出正常的策略,所以走向现在叫 RoboPocket 的方案。
如果一直走编码器方案,我觉得也能达到不错的状态。我个人不觉得这里有特别本质的差别。至于为什么没有选择 ego,后面应该还会聊,这里先不展开。
[00:15:55] 刘馨云: 替观众问一个感兴趣的问题:为什么选择 iPhone?当时怎么想的?
[00:16:04] 吕峻: 有几点。之前外骨骼版本已经做过一些采集尝试。数采员可能在自己工作的便利店里采数据,但采集过程中,我们没办法和他沟通。他会遇到很多问题,也可能主观或客观地没有认真采。
当时的设备很简单,就是编码器连到一个“小盒子”上,全程几乎没有交互功能,采集过程就会慢慢失控。
iPhone 首先能记录图像和轨迹,达到采集的基本要求。额外的好处是有屏幕、能交互、能联网,方便我们联系数采员,这是很重要的原因。
一个能采图像、记轨迹、有屏幕、能交互和联网的东西,本来就很像手机。短期内,我们的研发能力很难超过成熟商业产品。这也涉及公司的研发节奏:一边研发下一代设备,一边用稳定的商业产品采数据。早期自营采集还用了很多二手设备,成本相对可控。综合成本、稳定性和功能要求,最开始就选择 iPhone。
[00:17:48] 刘馨云: 明白。我觉得很有创意,好像每个人有一部手机就能采集。刚才也提到下一代设备,相对这一版会往哪些方向迭代?
[00:18:08] 吕峻: 方向很多。一方面,希望传感器和空间定位达到 iPhone 级以上的水平。另一方面,会长期迭代末端。
UMI 有一个非常重要的特点:它与机器人末端同构。我们希望同一个构型,装在机器人上是很好的 gripper,装在人手上也是很好的数采设备。所以会沿这个方向持续迭代,让人更好地采数据,也让机器人完成更多、更灵巧的任务。
00:18:48—00:21:22|为什么自采,为什么在六月收缩采集
[00:18:48] 刘馨云: 你们采了将近十万小时的数据。当时怎样考虑自己采集和从外部购买这两种方式?
[00:19:06] 吕峻: 原因有很多。首先我们也对外采购,比如会买 ego data。因为这类数据的许多问题,大家的定义比较有共识。公司总有边界,有些东西需要通过购买或合作获得,所以 ego data 比较适合从外部获取。
但 UMI 这件事,我们启动得很早。回到当时,市面上没有能够工业级交付数据的成熟设备,供我们采购。即便都叫 UMI,很多具体问题也没有形成共识,需要自己把认为正确的部分做出来。还有一个原因:外部买来的数据,很多时候可信程度也需要判断。
[00:20:18] 刘馨云: 自己跑通采集流程,后面也能成为可复用的能力。十万小时数据量不低,采了多久?
[00:20:31] 吕峻: 从今年年初开始,大概八个月。中间经历过把采集量降下来的过程。峰值大概在六月份,之后阶段性地收缩了进度。
[00:20:50] 刘馨云: 背后的原因是什么?
[00:20:53] 吕峻: 现在这个数据量,我们还没有玩得特别明白,需要认真研究。我们希望先弄清楚问题,再继续扩大数据规模。
有一个可能比较众所周知的结论:PI 没有用特别多的数据就完成了预训练。如果手握更多的数据,却没有做对这件事情,可能就是犯了一个比较严重的错误。
00:21:22—00:31:24|UMI 难在哪里
[00:21:22] 刘馨云: 海外像 Generalist、Sunday,好像跑通了 UMI 范式。但之后没有特别多玩家把它跑通。大家也做过 UMI 训练,觉得原因是什么?还有哪些坑没有解决?穹彻遇到过什么问题?
[00:21:53] 吕峻: 我先说一点。UMI 想搞对,有很多细节要注意,比如时间戳对齐、控制层面的问题。
实践里也发现,同一个任务,用 UMI 训好时,采集要注意的地方、采集流程里的小技巧,和遥操作不太一样。遥操作有更多可以参考的开源方案,比如大家常说的 PI。UMI 的开源方案相对少。这些因素共同造成了现在看到的差别。
[00:22:45] 陈文迪: 我补充一下。数采可能一直有一个“难度守恒定律”。遥操作的难度,在采数据那个时间点就发生了。UMI 的难点,可能到部署时才凸显。降低采集难度的同时,也带来其他困难。
举一个容易忽略的例子:夹爪形状设计。如果是遥操作设备,采集时就能知道夹爪是否可靠,能否在大部分时候夹住物体。甚至在遥操作控制精度比较低的情况下,也能夹取成功,说明夹爪有容错。这可以很快验证。
UMI 由人直接拿着夹爪操作,人的精度通常比策略或机器人高。人能完成很多操作,但把这些数据拿去训练策略后,策略精度可能满足不了夹爪的要求。
这样一来,对硬件、算法和数据的真正验证,都从采集时延后到了训练、测试时。难点往后延,迭代周期就会变长;周期越长,事情越难做成。这是无本体采集比较不同的地方。
[00:24:43] 张翰博: 我问一个问题:有没有一个时刻,UMI 从完全不 work,变成有一点性能?那时做了什么?
[00:25:00] 吕峻: 我们上来就有一定效果,没有完全不 work 的阶段。但某个阶段,训出的策略大趋势是对的,精度总是很差。后来发现,本质问题在数据多样性;再往回推,就是采集过程设计得不够好。
这也引出 UMI 的另一项困难。遥操作可以做类似 DAgger 的事情:策略不好,人接管进去。第一轮数据分布有问题,可以用接管补齐,这是比较有共识的方案。
只用 UMI 本身,很难完成 DAgger 的过程。这可能也是它难跑通的原因之一。对我们来说,当时很重要的改进,就是调整数据采集过程。
[00:26:18] 陈文迪: 真做 UMI 会发现,没有官方或公认的训练 recipe。出问题的时候,你会怀疑一切:硬件、数据精度、任务分布、部署流程。
真机遥操作里,很多问题在采集那一刻就排除了,因此后面 debug 时更有信心。
[00:26:59] 吕峻: 我们团队内部最经常发生的事情,就是相互质疑。
[00:27:05] 陈文迪: 你可能觉得 A 模块出了问题,A 的负责人却不认为有问题。因为缺少公认的验证和训练方式,大家会怀疑这些东西。
[00:27:23] 吕峻: 比如买回来一个 ALOHA,再下载 π0.5 的代码和参数,你会相信这两部分大体可靠。接下来属于你自己排查的部分,就没有那么多了。
[00:27:34] 陈文迪: 最后还是靠对比实验说话。这也是复杂系统排查问题的方法。怀疑某一步,就把前面的部分,通过可视化、数值实验逐个排查。相信前面没问题,再看这一步,然后一点点往后走。最终用数值说话,虽然一开始的质疑不可避免。
[00:28:09] 汶川: 我第一次用 UMI 应该是博四,2024 年。最开始的感觉是,懂模仿学习与不懂模仿学习,定位问题的速度很不一样。比较幸运,我和师弟们对模仿学习有经验,迭代出了一些 know-how。
后来发现,想大规模采集,还要把懂模仿学习的博士积累的经验,交给普通人或数采管理人员。他们可能没有机器人学习背景,怎样让他们快速明白哪里出了问题?
最开始很多问题确实是数据多样性。经验丰富的博士会看数据分布、策略推理时的行为,发现它在哪些状态突然失控,再倒查:相似状态下,数据里的动作是什么?数据是否到过这个状态?有没有分布偏移?
不同人获得这些经验的速度和周期不同。这也能解释一部分,为什么 Generalist 和 Sunday 跑通得更快。尤其 Sunday 本来就有 UMI 的作者,踩坑可能更快。快速试错,把经验积累成可复现、可迁移的 SOP,是很重要的事情。
[00:30:17] 吕峻: 我对这件事印象很深。汶川老师一年多前加入我们时,讲过他们做 data scaling law 的故事。因为需要采集数据做实验,每个人来了先采一次、训一次。能训出来,证明你有这个天赋;训不出来,以后就告别无本体数采。
这其实是在 data scaling law 里,用了一个很难规模化的数采人员选拔方式,毕竟算力昂贵。
穹彻花了很多时间,把博士才有的经验总结下来,传给普通数采员。我们基本从第一天起就雇数采员采数据,在这方面踩了很多坑。
[00:31:13] 刘馨云: 这个特别值得深究,放到第三部分 infra 里详细聊:怎样把博士的经验交给这么多数采员?
00:31:26—00:48:40|如果预算无限,会怎样配置数据
[00:31:26] 刘馨云: 讲完 UMI data,也想听听大家对数据的想法。如果给你无限预算,你会怎样分配?人类视频、ego、UMI、遥操作、仿真都可以。先聚焦预训练,大家会怎么配比?
[00:31:56] 吕峻: 我希望数据足够多样,会有一些人类数据,甚至自然视频。这部分先不展开,彦玮老师应该会重点讲。
如果真有无限预算,除了自然视频,我可能会把机器人开到真实场景里做遥操作。我觉得这种数据是对的。但无限预算无法实现。在可控预算下,希望同样的投入带来更多研发成果,UMI 就是更合适的方案。
[00:32:49] 陈文迪: 我认同。无限预算下,我也会大量投入真实机器人数据。UMI 和真机数据起的作用相近,真机数据与机器人更对齐。
除此之外,我会把很多预算花在数据打标和清洗上。这个点可能长期被忽略,也可能因为过去机器人数据还没有那么多。一旦数据规模非常大,清洗、标注,以及能否标得更细致,都会非常重要。
[00:33:47] 李彦玮: 这个条件其实很难成立:即便有无限的钱,也没有无限的人和场景。如果经费没有上限,我可能让 70% 的视频,或者 70% 的 token,来自自然场景。把世界上的视频收集起来,清洗、打标,钱多就把标注做得更好。剩下大约 30% 是机器人数据。
UMI 是中间的一种平衡状态。如果视频模型已经训得足够好,接下来要把人类、机器人和模型对齐。预训练主要解决的是,这个世界里存在什么东西,获取相应的知识。模型与机器人动作之间的对齐,还需要依靠机器人硬件、模型层面的数据,比如遥操作,当然 UMI 也属于一种衔接方式。
[00:35:21] 杨理欣: 我认同峻哥刚才的看法。现在使用 ego、UMI,很大原因是本体遥操作太贵,方案还不够理想。经费足够时,研发更好的带本体遥操作,应该是很好的选择。
如果经费有限,需要在真实环境采无本体数据,我觉得还有一部分数据很关键,但很多人还没用上:从失败中恢复的数据。
现在大部分采集都以成功完成任务为目标。采集者也希望赶快做完,可能会用比较省事的方式。我们看过一些 ego data,人可能放低手臂、手腕,用比较偷懒的姿态完成任务,机器人可能学到一些 shortcut。
但部署机器人时,任务失败的情况有很多,没法穷举。我们希望机器人具备从失败中恢复的能力,所以我会把更多重心放在这种数据上。比如一个人采集,另一个人专门捣乱。捣乱方式可以很多,让两个人持续对抗并记录数据,我觉得也会有效果。
[00:37:08] 张翰博: 真有无限的钱,优化目标就变成:用尽可能短的时间拿到想要的东西。我会选择采集效率最高的方式。
从我的角度,吕老师他们已经把 UMI 的路走通,采集效率很高。剩下几件事:第一,有一个真正能像人一样高效执行这些动作的机器人本体;第二,不计成本地优化 UMI 采集流程,产出最高质量的数据;第三,把设备分发给所有人,让大家去采。这可能是最短时间内拿到最多数据、最后拿到模型的途径。
[00:38:15] 汶川: 这是个好问题,我的想法在这个过程中发生过变化。我对“无限预算就把机器人推到外面遥操作”的选择,有不同看法。
我最开始做从人类视频学习,很相信这条路线,做了很久。后来发现,数据不对齐导致动作不对齐,造成很多问题。ALOHA、GELLO 出来后,我又觉得遥操作很好。第一次用 GELLO,感觉非常跟手,动作也对齐。
但时间久了,会发现 ALOHA、GELLO 的构型限制了很多动作。有些非常灵巧的动作,即便机器人构型和动力学本身能满足任务,也很难通过遥操作做出来。有时只有肌肉控制特别强的少数人才能做,这就很难规模化。
后来 UMI 出现,人手直接拿着设备,同时兼顾了人的灵巧性和 embodiment gap,我又觉得应该大规模扩展 UMI 数据。
现在我的想法可能又有变化。宏观上,我倾向于把 ego 和 UMI 按某个比例混合,比如 8:2、5:5。这只是一个感觉。把机器人推到外面采数据,无论从成本、灵巧性还是可行性看,我仍觉得很难。
[00:40:14] 吕峻: 这个问题本身是非常理想的假设。无限预算时,遥操作数据可能最适合机器人学习,但条件极其苛刻,这也是穹彻没有选择它的原因。
采集者可能要像退役魔术师一样,手非常灵巧;设备要很昂贵,集成各种传感器和动力结构;每去一个新场景,都要花很多时间搬机器人、布置设备,还要做大量清洗和标注。显然很难规模化。
我也想补充,UMI 对我们来说是一个明确的中间状态。硬件稳定性问题可以解决,更根本的考虑,是短期落地二指灵巧手有必要。如果预算无限、也不用考虑短期落地,可能可以更耐心地等待五指灵巧手的采集方案,例如肌电手环、手套,等它们成熟一些再扩大数据规模。这也可以成为另一种选择。
[00:41:58] 陈文迪: 听了讨论,我觉得可以拆成两种问题。
一种是,已经有很多存量数据,我有无限预算,应该怎么买?那我会把所有数据都买过来,真机、ego、UMI 都买。现在整体数据量还没有特别大,合在一起可能都会带来提升。
另一种是,要去采原本不存在的数据,怎样安排配比?这个问题比较开放。真机与目标本体的差异小,但灵巧度有问题,也是我们做 Noe-0 的原因。数据差异与灵活性的取舍,在什么数据量、什么配比下能得到比较好的解决,目前还没有答案。我们最近也在做很多消融实验。
这件事对机器人很有价值。大语言模型的数据工作,像从已有的全世界数据里挑选、删减,找到合适配比。机器人这边,很多数据原本就没有,需要一点点采出来、搭起来。我们可能刚打好基础,后面是什么结构,还要花精力验证。这也是我们最近一直探索的重要方向。
[00:44:16] 李彦玮: 本质上还是怎样得到可规模化、足够多样的数据。可规模化,就是尽量少的人工干预,以低成本、大规模获得数据。多样,就是能见到更多场景。
我们希望机器人除了剪快递,同一个模型稍微微调,或者通过 in-context learning,也能完成其他事情。
[00:44:49] 刘馨云: 彦玮老师的回答里有 70% 自然场景视频。其他人更多在讨论机器人数据,或者怎样变成机器人数据,想进一步理解你的考虑。
[00:45:05] 李彦玮: 这可能与机器人学习和大模型的背景有关。当前大模型的发展范式,是尽可能收集所有数据,作为它学习的材料。
自动驾驶发展多年,模型比机器人模型成熟很多,最难的还是最后那些特殊情况。机器人还比较早期,当前讨论更多是怎样夹得更好、更准。但实际应用会有各种奇怪的场景。
比如家里养了狗,一个东西掉到沙发下面,怎么拿出来?抬起沙发,还是借助工具?人可能比较容易想到办法。用遥操作去定义任务时,很难提前想到这些场景。很多任务是日常生活里偶然遇到问题才产生的,需要解决临时出现的情况。
我说 70% 自然视频,也是希望建模真实世界的分布,让机器人见到世界怎样运行。不同背景的研究者会有不同思路,这也是团队需要多样性的原因。
[00:47:04] 吕峻: 我完全认可。在真实、预算有限的世界里,我相信最终很成功的采集方案,会是人用灵巧的双手直接操作,设备可能是肌电手环、手套,或者今天想象不到的形式。
一方面,我们希望机器人具有人一样的灵巧度,数据也要有相应灵巧度。另一方面,这种方式才能真正伴随生产生活采集,记录自然发生的事情。
刚才理欣提到的错误恢复,会自然出现在人的生产生活中,也就能自然记录下来。各种需要专门安排的采集方式,想充分刻画真实世界分布,就得构造很多情况,再用大量后处理筛选和调整。预算压力会很大。
[00:48:32] 刘馨云: 大家讨论中既有分歧,也有共识,让我收获很多。我们再把问题收回来,聊 UMI 和 ego。
00:48:40—00:58:40|UMI、ego 与触觉
[00:48:40] 刘馨云: 徐丹飞老师之前画过 UMI 和 ego 的曲线,认为 ego 的上限更高、增长更陡,UMI 会先到一个上限。你们怎样理解两类数据的上限、增长速度和优缺点?
[00:49:10] 吕峻: 这个问题的维度很复杂。我甚至觉得 UMI 和 ego 本质上可以理解为同一类方案。二指 UMI 可以看成只有两根手指的手套;手套也可以看成一种 UMI,都是人拿着一个与机器人末端相近的东西。区别在同构程度。
我想到几个影响上限的原因。第一,大家通常默认 UMI 是二指,最多像 Sunday 那样三指,自由度本身有天然上限。
第二,今天这些二指、三指方案,还很难真正做到伴随式生产。采到的数据可能更接近真实环境,但与人类最自然的生活操作仍有距离。
第三,大家相信一种可能:未来人戴着相机和手套,正常工作时就能采数据。由于是伴随式采集,可能只需给额外奖励,边际成本有机会降得很低,获取规模也会更大。
[00:50:58] 刘馨云: 理欣老师,你怎么看?
[00:51:08] 杨理欣: 和峻哥讲的比较接近。UMI 是当前机器人本体还不够灵巧时的一种过渡方案。现在很多人在做数据手套或手部外骨骼。从整只手的外骨骼,到二指夹套,都是给人一定自由度限制,以便和机械臂、灵巧手对得更好。
两类方案都可能遇到手腕姿态估计不准的问题。真实环境采集主要依靠相机,Generalist 用的是前后都能看的全景相机。即便 SLAM 很准,某个具体机械臂也可能解不出逆运动学。人手能伸到很远的位置,机器人未必能够适应。这个也需要关注。
[00:52:25] 陈文迪: 我觉得 ego 背后还有一层意义,就是触觉。我没有说现在所有 ego 数据都有触觉,但如果我们做 ego,最终希望支持灵巧手形态,那么触觉很重要。
触觉使它从纯 RGB,扩展为带有物理感知的信息。通用机器人操作要建模世界运行规律,纯视觉方案缺少一些物理、几何、接触信息。人手提供了一种获取这些信息的方式,其他来源很难拿到。
当前大家更多还在解决传感器问题:一方面,想要准确的位姿、手部关节信息;另一方面,又不想给人太多负担。裸手与很重的外骨骼手套,处在两个极端。外骨骼手套可能很准,但影响操作;裸手不影响操作,又会损失触觉模态。
大家在寻求平衡。假设有设备,能让人几乎无感地获得触觉和关节角信息,那么 ego 很可能成为很大一部分数据的来源,因为它补充了纯视觉以外的信息。
[00:55:00] 吕峻: 我认同。这也解释我们为什么选择 UMI。Ego 的设想是,人用最自然的方式完成任务。但人能自然完成任务,是因为有触觉和很强的感知。
如果阶段性认定机器人还没有这么强的感知系统,UMI 就相当于让人只用两根手指完成任务。这里的触觉还不止手指。在工厂工作,很难一整天只用手,人会用胳膊抱东西,用手臂夹物体。那就意味着,可能还要采到大臂、小臂等部位的触觉。
能不能得到这些信息,我也有疑问。如果采不到,就会把更多困难交给后端模型。模型学到了用手臂夹物体这样的动作模式,却缺少相应的感知输入,学习就会更困难。
[00:56:30] 刘馨云: 刚才谈预算时,大家说想要很多机器人数据,现在又讲了很多人类数据。到底应该采更多 robot data,还是 human data?
[00:56:48] 陈文迪: 我觉得是阶段性问题。刚才回答时,我还是按照当前面临的问题来想。
在 2026 年,如果给一个人一百万规模的机器人数据,或者一千万规模的 ego 数据,他可能选择前者,因为相信能训出一个超过现有模型的结果。这里说的是一个举例,原话没有明确数据量单位。但跳出今年这个时间点,答案会变化。
从更长远看,我一直认同李老师的观点:视觉知识很大一部分要靠不受限制的自然视频支撑。真机、UMI 等数据也会放进去,用来和真机对齐;真正支撑广泛泛化的,很可能是自然视频。
触觉和力又是相对独立的维度,视觉数据无法直接补上。视觉部分的配比可能随着时间动态调整,触觉和力则需要单独增长、单独讨论。
00:58:40—01:05:38|灵巧手数据要怎样规模化
[00:58:40] 刘馨云: 如果真的要采灵巧手数据,并让它规模化,现在还缺哪些环节?
[00:59:05] 吕峻: 我跟文迪的一个共识是,灵巧手与触觉强相关。如果采数据,可能预训练阶段就需要较多触觉模态。
但到今天,一个能很好地采回触觉的设备,大概率是手套,技术上还没有完全准备好。我也不确定肌电手环能否做到。此外,设备必须工业级交付:能量产,发到很多普通人手里仍然稳定,大家能正确使用。
[00:59:56] 陈文迪: 从二指 UMI 到灵巧手,会有技术路线变化。很多 know-how 可以复用,但同构手持设备能支持的自由度可能有上限,未必能支持十个以上自由度的执行器。
同构会限制自由度,而更高自由度本来就是做灵巧手的诉求,两者存在冲突。要在灵巧手上复现 UMI 的成功,需要新的技术路线。
今年年初的 EgoScale 是让大家兴奋的结果。接下来能否有更好的进展?数据规模上去后,中训练和后训练的数据要求会不会降低?学术界和工业界都还没有完全解决。
举个可能有点直接的例子,你问做触觉手套的人:这些数据最后能否一定训出模型?他可能也很难回答。大家相信数据有用,但怎样真正迁移到机械手上,仍未彻底解决。我们期待出现解决方案,这样大家会更相信这条路线,也愿意投入更多资源。
[01:02:08] 吕峻: 文迪的话给了我启发。我很认同“难度守恒定律”,甚至愿意叫它“陈文迪第一定律”。
具身预训练的链路很长:设计采集硬件、预训练、中训练、后训练,后训练可能还有 DAgger、强化学习等阶段。任何一个环节缺少完美方案,都可能把问题交给下一个环节解决。
最理想时,我们希望预训练就有触觉。但如果技术暂时采不到高精度触觉,也可能在中训练或后训练再引入。代价就是后面的训练更重,需要更多数据。这是刚才交流给我的一个感悟。
[01:03:40] 汶川: 灵巧手数据在业内还没有很好的结论。比较好用的灵巧手出现得不够早,大家研究时间还不长。硬件构型、传感器选型等都没有共识,很难集中力量。
比如触觉,到底只关注指尖,还是要全掌?只关注指尖,DexUMI 及后续工作可能能做一些事情;如果全掌加指尖都要,就复杂很多。即使非常贵的手套,也很难做到完全没有差异的触觉采集。
整个行业的硬件和系统还没到共识状态,很多判断只能是设想。
[01:05:12] 吕峻: 而且整条链路都有这种不确定性。硬件怎么定,会牵引采集方案变化。需要先有一两件事情确定下来,其他问题才更好解决。就像数独,先解出几个位置,其他格子才容易填。
01:05:38—01:13:13|自然视频、数据分布与 scaling law
[01:05:38] 刘馨云: 哪些数据很重要,但被行业低估或者没有用好?比如触觉、3D 表征?
[01:05:56] 吕峻: 我觉得具身里面最被低估的,应该是自然视频,可以让彦玮讲讲。
[01:06:05] 李彦玮: 我觉得也没有被低估,最近甚至可能有点被高估。大家都知道重要,问题是怎么用好,怎样让随着数据增长带来的提升更明显。
比较普遍的数据形式,大家都挺重视。触觉现在数量还不够,需要触觉的任务也还没有很多,短期可能会增长比较快。如果说用途还没发挥好,我觉得是自然视频。
[01:06:59] 吕峻: 这里有大模型背景和机器人创业公司视角的差别。机器人市场里能听到很多关于触觉的声音,但对自然视频的关注相对少。大模型、视频生成团队当然很重视它。
[01:07:30] 陈文迪: 我跟一些基模背景的同行聊过。自己做爬虫、清洗互联网数据,对他们来说,可能就像我们创建 Python 环境一样习以为常。
这说明团队多样性很重要。机器人需要不同研究方向的合作。过去几年,很多机器人进展来自多模态、图像和视频生成的进展。我们也在慢慢引入这些方法。自然视频等生成领域常用的材料,后面可能在机器人里起很重要的作用。
[01:08:54] 吕峻: 话说回来,具身这么热,很难有什么被低估,可能普遍被高估。每个人高估、低估的东西不同,参与者又足够多,把关注度取个最大值,会发现所有东西都有人重视。
[01:09:14] 刘馨云: 自然视频应该是什么样的分布,才更有利于具身模型?现在有行业定论吗?
[01:09:27] 李彦玮: 这是很重要的问题,我们正在探索。直觉不重要,要让结果说话。
模型在建模这些数据,模型不同、训练时长不同,答案都会变化,是持续迭代的过程。比如固定在一千小时,可能全是真机数据最好;随着一万、十万、一百万甚至更大规模增长,情况会改变。很难有固定答案。
从较长时间看,含有运动的视频,或者现在说的 ego,会是重要数据来源。
[01:10:43] 刘馨云: 行业内 ego 数据扩大得很多,甚至超过 UMI。Ego 数据的 scaling law 是否真正验证了?还有哪些环节被忽视?
[01:10:59] 李彦玮: 从判断上,我觉得它可以规模化,问题是提升的斜率有多陡。现在大家用得还不够好。我个人认为,数据多样性和标注非常重要,数量只是一个直观体现。
[01:11:30] 吕峻: 我很认同。我觉得在现在这个时代,任何东西的 scaling law 都不应该被怀疑。如果有人不相信,我觉得都是不对的。但前提肯定是你搞对它:你要把数据弄干净,用正确的方式采集。只要做对这些,我觉得 scaling law 一定存在。
[01:11:53] 汶川: 除了数据,还要考虑现在的 policy class 是否合适。就像 Sergey Levine 教授说的,要证明某件事的 scaling law,需要一个能吸收这么多数据的策略模型。
一年前大家讲 VLA,半年前讲 World-Action Model,两者也许都还有很大变化空间。我们可能还没发现机器人领域的 ChatGPT 应该是什么架构。
如果架构还不清楚,增长曲线可能没有那么陡。给定这些数据类型,还需要时间探索模型结构,之后 scaling law 才可能更明显。
[01:13:04] 刘馨云: 汶老师给了一个很好的衔接,下一部分正好讨论模型。
01:13:13—01:17:37|预训练的研发过程
[01:13:13] 刘馨云: 针对报告,也想请大家介绍一下:做一个预训练模型,大概经历哪些阶段?从时间线上做了什么,未来哪些地方可以优化?就从 Noe-0 来讲。
[01:13:45] 陈文迪: 这一版模型,我们更多希望把整个流程跑通。预训练让我体会很深的一点,是模型和 infra 联系非常紧密。
模型结构会影响基础设施的实现难度,基础设施又影响很多后续事情。卡多了、数据量大了,能否顺利扩展?这些都要考虑。
Noe-0 的研发经历了先发散、再收敛的过程。开始试了很多模型,包括 VLA、World-Action Model 及其各种变体。我们选过一个小规模下比较可靠的结构,实验很有希望。当时第一次做预训练,觉得小规模有效,马上上大数据,应该就会变好。
后来发现,预训练研发的验证周期很长。模型出来后,还要后训练、真机部署、评测和反馈。一个结构在小规模下很好,但如果很复杂,后续推理、部署、评测和扩展 infra 都会遇到困难。
基础设施没有实现,就无法做预训练和后训练。复杂度乘上整个验证链路的长度,就会消耗很多时间。
[01:16:17] 陈文迪: 所以后来我们逐渐收敛。中间尝试过一些更复杂、认为方向更对的思路,但最终保留了 World-Action Model 最核心的技术。这些技术对 infra 的压力相对小一些,做规模化实验、测试时,可以更快拿到结论。
我后来觉得,一个比较好的思路,是先做减法,形成完善的 baseline,再做加法、做完整验证。慢慢增加复杂度,控制迭代周期。这是预训练给我们比较深的认识。
[01:17:25] 刘馨云: 这也能联系到六月份降低数采速度的原因:弄清楚各部分的问题,再进一步迭代。
01:17:37—01:29:39|为什么选择 World-Action Model
[01:17:37] 刘馨云: 最后你们选择了 World-Action Model。更广泛地说,大家怎样理解它和 VLA,两种范式哪个上限更高?我在 WAIC 看到很多人用 π0.5 微调,真正把 World-Action Model 跑通的好像还不多,想听大家的看法。
[01:18:27] 汶川: 做策略类型选型时,我们做了很多实验。最开始用内部少量高质量数据,关注的是泛化:几个场景采的数据,能不能泛化到新场景?同时也关注预训练基座本身到了什么水平。
例如 π0.5 的基座,是经过多任务训练的 VLM。World-Action Model 常用 Wan 这类已经训练得很好的视频预测模型。
VLM 的强项是推理,更偏 System 2:一个任务先做什么、后做什么,有思维链。World-Action Model 则建模物理世界的规律。针对当前的机器人任务,我们当时判断后者更重要。这个判断也未必完全正确。但如果能更好地建模物理规律,产生灵巧、自然的动作,应该更合理。
[01:20:09] 汶川: 还有一个观察:World-Action Model 能吸收更多数据。当时 UMI 采集有一些固有问题,例如 SLAM 不够精确,造成 action label 不够准,但视频本身是准确记录。
World-Action Model 可以兼容这两种数据情况。VLA 对纯视频,或者更长远的自然视频数据,相对难兼容。这是我们当时做选择的原因。
[01:20:59] 陈文迪: 两种模型各有可取之处。现在很多 VLA 也加入世界建模功能,只是 World-Action Model 借助视频预训练,在这方面更擅长。
我们的判断比较一致:World-Action Model 更偏 System 1,希望它忠实地把视频观察转成动作,不一定涉及很复杂的推理。VLA 有思维链和推理能力,在 System 2、规划层面可能更适合。
这也回到我开始提到的问题:系统最后长什么样,我们先做什么?当前最先采到的是动作数据,所以我更想探索怎样把这些数据变成动作层面的智能,怎样高效地把一个小任务转成动作指令。
从实验和后续思考看,World-Action Model 更符合当前需求。我们想先做一个好的 System 1,再探索 System 2。
高层推理、思维链,在大模型和多模态领域已经有很多探索。留给机器人领域非常重要的问题,是怎样可扩展、高效地学会准确的动作。作为机器人团队,我们希望解决这个问题,这也是很多做 manipulation 的同学关心的事。
[01:23:56] 李彦玮: 这反映了当下语言智能和视觉智能的讨论。VLA 自然借助语言智能。语言模型已经发展得很好,泛化得到验证,也看过大量文本,所以 VLA 可以利用这些已有的预训练知识。
前面说 PI 用较少数据就能有不错的泛化,也要考虑语言模型已经形成的知识和能力。在这个基础上,机器人数据负责进一步对齐。
但 VLA 需要输出 action,动作标签不像视频的下一帧那样,可以直接从自然数据里获得。基于视频模型,让大家看到一种可能:利用相邻帧之间的时间信息,把 motion、manipulation 这些 System 1 的事情做好,再借助语言推理完成上层 System 2。
这是一种有希望的方向,还需要验证。说不定再过两年,视觉智能有更大进展,架构又会变化。
[01:25:51] 张翰博: 我没有一手训练 WAM 的经验,对它了解有限。但我应该是国内比较早接触后来称为 VLA 的方向的人,当时还没有这个概念。
最初动机很简单:觉得 GPT 好用,就想训练一个类似 GPT 的模型,试试看。像刚开始买股票,也不知道哪个好,看到 GPT 好就想跟着试。
做完后能感受到,泛化还不太行。这也是我后来离开字节,去探索其他、包括较少依赖数据的方法的原因。
我对 WAM 的直觉,是它可能更能发挥数据潜力,数据效率更高。视频预测像是给网络加一种约束,要求参数去解释看到的数据。除了预测正确动作,还要解释动作与前后帧、视频片段首尾帧之间的关系。这是我的粗浅理解,我在 WAM 上的直接经验确实不多。
[01:27:57] 杨理欣: 我自己更相信 World-Action Model。动作标签可能有误差,视频则直接记录发生的事情,从视频学习,相对少受这类误差影响。
第二,很多动作很难用文字讲清楚。比如手再向右一点、夹取角度再大一点,很难准确描述。买新的电器或物品,说明书通常会配图;网上买东西,也希望看到图文教程。视频包含的信息很多。
现在 World-Action Model 可能只能做短程,会有幻觉,速度也未必够快,但我相信这些问题会逐步解决。VLA 有强大的语言模型,可以作为上层规划器,规划子任务、子目标,再由世界模型执行。
还有一点,world model 可以输出动作和视频,也可以成为动作的生成式模拟器。给出很多动作选项,模拟后判断哪个更好,这也是很有价值的能力。
[01:29:39] 吕峻: 我有个问题,可以先把机器人放一边:VLM 与视频生成模型之间,真正的边界是什么?
01:30:00—01:39:25|理解、生成与训练监督
[01:30:00] 刘馨云: 彦玮老师,对 VLM 和视频生成模型有没有看法?
[01:30:06] 李彦玮: 目前看来是很不一样的模型,也不太好融合。建模的东西不同:一个在给定条件下,用自回归方式建模偏判别式的结果;另一个是在给定条件下,建模生成分布。
这也让使用数据的范式不同。VLM 更多基于语言模型,用接入视觉的形式处理理解任务;生成模型把文字作为条件,建模像素空间的输出。
[01:31:17] 汶川: 这联系到视觉、多模态领域长期讨论的“生成理解统一”。我有很多朋友、老师和同学做过,希望把视频生成和理解统一成一个模型,但研究多年,好像还没有到理想状态。
以前在视觉领域,很难想到哪个具体网站或应用必须同时具备这种统一能力。但具身场景很需要:生成能力要强,能建模世界,同时推理能力也要强。机器人可能是促进生成理解统一的一个好场景,只是目前还没实现。
[01:32:31] 李彦玮: 生成理解统一一年前很热,后来也没有被彻底证伪。更多是发现,在通用理解任务上,生成能力没有带来很明显的提升;但对生成本身,理解能力确实带来很多提升。
现在类似 agentic 的方式,让语言模型提供更多智能。放在具身里,就是两套系统协作。借助语言推理,也许等视觉智能在具身里得到发展,会进一步推动统一。
[01:33:34] 刘馨云: 刚才提到两种模型的数据范式不同,这对具身的影响是什么?
[01:33:48] 李彦玮: 影响很大,也与 VLA 和视频生成模型的选择有关。现在除了架构,我们关注两个问题:数据怎么来,关系到规模和多样性;loss 怎么来,也就是怎么监督模型。
VLA 需要动作作为监督,动作可以通过遥操作采集。VLM 则需要给图片、视频做标注,告诉模型在做什么、说明了什么。
生成模型是在给定条件下学习分布。例如给一段文字,生成图片,会有很多合理结果,可以从分布中采样。
对于机器人基模,可以给前一帧和任务条件,预测后续画面。训练时,把真实的下一帧当 ground truth,上一帧当条件,让模型推断接下来发生什么。对视频本身而言,这个监督不需要另行人工标注。世界上有很多视频,都可以拆成连续帧来学习。这就是监督信号来源上的重要区别。
[01:35:51] 刘馨云: 两种模型作为 backbone,会怎样影响数据标注的要求?
[01:36:07] 李彦玮: 理论上,VLA 对 action 标签的要求更多,因为要从这里得到 loss 和监督。除非换一种范式,但当前主要如此。
基于生成模型,可以自然地把下一帧作为信号。当然 VLM 也有一些方法能做到类似事情,只是生成模型本来就在建模这个过程。
[01:36:49] 刘馨云: 能理解成 World-Action Model 对标注的需求会下降吗?
[01:37:01] 李彦玮: 我觉得可以这么理解。
[01:37:06] 刘馨云: 文迪,上次你提到希望有更多 prompt,例如光照、环境描述,可能有助于效果。从实际训练看,你怎么看?
[01:37:27] 陈文迪: 这也和数据分布有关。如果来源简单、单一,不需要很复杂的 prompt,模型就能收敛,但可能难以泛化到没见过的场景。
我们的 UMI、无本体采集,场景和分布很多样。我们希望多样性带来好处,覆盖足够多,能泛化到新场景。但训练时,也需要更多标注提示模型,让它学会这些分布之间的对应关系。
这是多样数据带来的要求,对很多模型都适用。VLA 以前也会加额外标签,比如 VQA 标注。它本来就在开放任务上有一定问答能力,额外标注也帮助保留这些能力。
我们现在做标注的思路类似:一方面利用 Wan 本身的预训练能力,另一方面借助标注,让模型更好地在多样数据上收敛。
01:39:25—01:46:13|模型能力与推理效率
[01:39:25] 刘馨云: 有人质疑 World-Action Model 计算量大、推理时间长。Noe-0 怎么处理这个问题?
[01:39:40] 陈文迪: 我对计算量的基本看法,是当前先追求模型能力的上限。现在具身模型的能力,连大家对 foundation model 的期待都还没满足,更别说 AGI。在这个阶段,我不想过早给计算量太多约束。
假设这个世界上真正有效的模型,需要 1000B 参数,我们可能要先接受。做出来后,再想办法缩小参数量,蒸馏、剪枝,各种技术都可以用。前提是先看到能力上限。
更多计算量,某种程度上甚至是我觉得 WAM 可能更好的理由。看 VLA,很多参数集中在前面的 VLM,最后动作部分相对少。做动作生成时,前面有很大一部分参数没有直接用于动作输出。
举一个显式 WAM 的例子:先预测视频,再预测动作。假设 backbone 是 5B,可以认为这些预训练参数都参与了动作推理,也利用了相应计算量。投入更多计算和参数,我更愿意相信它能达到更高上限。
WAM 是以视觉为中心的架构。从我们的判断看,推理时参数和计算的利用程度会更高。
[01:42:28] 陈文迪: 自己的模型实际部署时,目前还没遇到效率成为问题的情况。我们做了一些隐式世界建模,解决了一部分问题。
研发顺序是,先做效果好、推理可能较慢的显式模型,再想办法变成隐式模型。这个过程有探索和反复。
[01:43:10] 吕峻: 我们最近也在探索更大尺寸。至少以当前认识,5B 的视频生成模型还没有那么好。
我认同文迪。即便 π0.5,也还没有达到大家对基模的预期。先看看多大的模型能做到想要的能力,再考虑缩小。
但行业里有个有意思的现象:技术还很早,大家又同时要求落地。很多关于推理速度的担心,来自要把模型放到 Orin、Thor 这类硬件上,部署到产线。
这有矛盾。ChatGPT 真正商业化,已经到 GPT-3.5 的阶段。很难想象强行商业化 GPT-1、GPT-2 会怎样。这也反映了具身行业当前的状态。
[01:44:41] 汶川: 我一直的看法,是不能因为加速而放弃智能。如果已知一个 100B 模型显著更强,只是更慢,肯定要先把这个模型做出来,再做推理加速。
大家都是学计算机的,这些事情可以继续解决。大模型也是先有足够好的模型,之后才有更多推理加速框架,比如 vLLM。性能足够好,社区里也会有很厉害的 AI infra 人才来做优化,或者招人来做。
先把智能做到一个水平,再加速,这是我认同的迭代顺序。一个效果很差的模型,只有快,也没有意义。
[01:45:51] 刘馨云: 大家给了一个更长的时间视角。接下来想聊“原生”。现在很多模型都说自己原生,大家怎么理解?是否一定需要,当前架构又有什么问题?
01:46:34—01:52:46|“原生”具体指什么
[01:46:34] 吕峻: 我想起我们之前做 PR,也希望讲自己是原生,最近好像忘了这件事。
我觉得可以把范围放大。例如做 RoboPocket 这个 UMI 设备时,我们同步设计 gripper 和采集末端,这在我看来就是原生。
第一代设备,是绑定市面已有的连杆式二指夹爪,今天不少团队也还这样做。但这些夹爪可能诞生在 ChatGPT 之前,人们对 AI 的认识还没到今天的程度,未必符合具身智能对硬件的要求。
所以“原生”一个很大的含义,是站在 AI、具身的角度,重新考虑整个流程的每个环节。硬件如此,data infra 也一样。具身数据里视频很多,存储方案会有相应要求,当然也会和视频生成的要求接近。
VLM、视频生成模型来自其他领域,未来大家会尝试更贴合具身的架构。我不好说最后长什么样,但这是重要问题。随着数据、算力增加,未来半年到一年可能有很多变化。
同时,也可能最后发现,处理视觉、语言这两个模态,现有架构已经很合适,因为其他领域也一直在研究它们。以后再扩展到触觉、3D 等模态,又可能带来新的架构理解。
[01:49:46] 陈文迪: 我觉得机器人一定会有原生的概念,但可以分两层看。
首先,我们处理的模态包括语言和视觉。一个好的 VLA,应该也有不错的 VLM 能力,具备通用世界知识。一个好的 World-Action Model,也应该有不错的视频模型能力。
真正更贴近机器人的部分,可能在细节。处理基础模态的技术不会差特别多,但监督目标会变。比如机器人视频模型,更关注物理场景结构和物体位姿是否准确,这会影响 loss 设计。
具体需求也不同。视频生成可能追求一次生成十五秒、三十秒、六十秒的视频。机器人是否需要一次生成那么长?可能只需生成五秒,执行一下,再从真实世界得到新的画面。
真实世界会不断给反馈。前面生成的片段,一部分已经由真实观测校正,再继续预测后面五秒。与从头生成完整三十秒视频相比,任务条件变化了:每一步都有真实世界提供依据。
这些会影响任务难度和模型结构。基础数据、训练范式可以继续使用通用模型的成果,在 loss 和结构细节上,则根据机器人的需求设计。这是我对原生的定义。
01:52:46—01:57:01|怎样使用其他 AI 领域的成果
[01:52:46] 刘馨云: 具身好像一直在借大模型的成果。从 VLA 到 WAM,是大模型成熟带来的变化,还是具身自身也有范式进展?想听彦玮、翰博老师的看法。
[01:53:27] 李彦玮: 我觉得这是好事,能借助其他领域研究者的智慧,以及大公司的成果。我们应该基于已有知识和模型继续做,关键是怎样在具身里用好。
刚才说的“原生”,也可以是在训练初始阶段就加入机器人领域的知识。已有的成果能用,当然应该用,这是自然的事情。
[01:54:41] 张翰博: 我的亲身经历是,最开始只是用了 GPT,想把它拿过来试试。但实际做的时候,会发现不同的问题。
我同时做过早期类似 VLA 的工作,也做过类似 VLM 的工作。训练时付出的努力、标注和清洗的数据可能差不多,最后效果却很不一样。我亲身经历过这种落差,两类问题的复杂度不同。
过程中也积累了一些经验,比如 VLA 应该怎样设计,未来怎么提升性能。后面还尝试用基于模型的方法,尽量减少数据依赖,很多尝试最后也失败了。但初步结果会引导自己继续探索其他方法。
这就是我的经历:从想模仿一个已有成果开始,逐渐走出后面的研究路径。
[01:56:53] 刘馨云: 借这个问题继续问,具身要更好地使用这些工具,本领域最需要解决什么?无论架构还是数据,应该先做什么?
01:57:20—02:05:11|机器人还要解决哪些自身问题
[01:57:20] 张翰博: 对一个通用 policy 来说,我认为它一定是数据驱动的。这里包括上层决策,也包括下层动作。至于是 VLA、分层结构还是 WAM,本质上都在定义策略和数据分布,哪些在分布内,哪些在分布外。
生活中很多任务,其实不需要每次重新推理。比如番茄炒蛋,步骤大致一样,变化的是物体位置、大小、颜色。策略层面有很多类似的过程。
我会把世界看成很多近似线性的任务流程,可能有几十亿种。数据驱动方法擅长把它们记住,并做一定插值。比如在三十个家里做过番茄炒蛋,到第三十一个家里也可能会做;如果在三万个家里做过,泛化又会不同。这里未必每一步都需要推理。
[01:59:26] 张翰博: 我觉得主要有两个问题。
第一,数据再多,策略也很难有百分之百成功率。机器人执行长任务时,中间总会犯错。我们要处理的是,怎样让错误不造成严重后果。
我设想策略外面可能有一层类似 harness 的系统,但用途与语言模型的 harness 不同。机器人这层系统可能会让策略保守一些,甚至看起来笨一点,却更安全。
第二,策略应该能够采样,在任何环境里提供足够多的选项。这样,即使有外层约束,也还有可执行的策略可选。这是我接下来想探索的方向。
[02:01:08] 刘馨云: 这个视角很务实,也是机器人需要解决的核心问题。理欣老师有没有补充?
[02:01:28] 杨理欣: 我一直关注不同机器人本体之间,是否有共享的运动表示。
现在末端 6D 位姿加夹爪开合,是比较通用的一种表示。但模型未必真正理解机器人本体。也可以像 RDT 那样,把可能的自由度列成很大的本体词表,只是这个方案还不够理想。
拓展到灵巧手时,关节自由度、构型不同,问题会更大。这是机器人领域需要自己解决的事情。
一种中间方案,是找一个通用手型,能兼容不同形态和大小。学界常用从图形学发展来的 MANO 统计手模型。可以把不同采集方案映射到 MANO,再把 MANO 与各厂家的灵巧手分别建立映射。
不同本体、构型和灵巧手之间的这些问题,很难直接从大模型领域获得现成经验。
[02:02:56] 吕峻: 我们借鉴的语言模型、多模态模型、视频生成模型,很少像机器人这样,天然同时要求模型很小、运行很快、成功率接近百分之百。现有最强模型也还达不到这种要求,视频生成尤其如此。
一种可能,是不断扩大数据和训练,直到策略在各种任务上足够可靠。当前大家更多做后训练:用预训练参数,再针对一个任务拟合,以追求又快又好。
这种方式是不是正确?如果正确,更合适的范式是什么?未来可能需要更灵活的任务适应方式,逐个场景重新后训练的成本很高。这个也是值得探索的问题。
[02:04:32] 汶川: 我发散说一句,AI 各方向也在互相借鉴。无论 NLP、CV 还是机器人,本质都在做 AI。大模型后训练用了 GRPO、PPO,Pieter Abbeel 本来也是做机器人的,这里面也有机器人研究的贡献。
[02:05:08] 吕峻: 最懂大语言模型的,其实是搞机器人的。
02:05:11—02:12:49|怎样把研究经验传给数采员
[02:05:11] 刘馨云: 回到 infra。刚才汶老师提了很好的问题:怎样把博士的经验给到普通数采员?穹彻有千人规模的采集团队,你们怎么做?
[02:05:33] 吕峻: 可以拆成两部分。预训练阶段,算法团队对数据有很多要求,比如多样性、采集规范。我们做得比较好的一点,是算法团队和数据团队之间合作非常紧密。
例如每天有数据质量会,包括汶老师、文迪,大家必须坐在那里看半小时数据。博士对数据的经验很难一次写成规则,甚至自己也很难完整说清楚。需要长期看数据、发现问题、不断调整。
要做到这一点,运营响应必须快。如果一条反馈三天、一个星期才能传到数采员,系统就失效了。算法人员或已有质检规则发现问题,要尽快反馈给采集者。
面对千人规模的平台,数据流转本身就有难度。当天的数据当天处理,交给质检员,尽快检完并反馈,都会对技术基础设施提出要求。
[02:07:33] 吕峻: 到后训练阶段,我们更希望某个任务的数据精准达到预期,所以需要更快的验证循环:让策略实际运行,观察问题,再让采集团队针对性补充。
我们以前有些论文也批评过这种人工调整方式,但现阶段,虽然有 DAgger 等方案,很多时候仍然要靠快速迭代机制。这也可能成为未来重要的研究方向。
[02:08:29] 陈文迪: Infra 的作用,一方面是给模型提供训练平台,另一方面是给人提供监管接口。
基础技术包括怎样存数据、怎样建立处理管线、怎样在不同计算单元之间调度、怎样批处理,让每天回来的数据当天处理、入库并用于训练。这些在自动驾驶时代已经有很多成熟经验。
对当前比较早期的机器人工作,更重要的还有:让人方便地理解和调整数据结构。直接给人一百万条原始数据,很难做判断。需要先提供可参考的资料,例如任务标签、聚类和分布分析。
我们每天看数据,很多问题就是在看时突然发现的,再加入质检标准,通过绩效等方式调整分布。早期这样做很有效,能较快形成一个相对合理的数据分布。然后再做配比实验,进一步调整,类似先用经验找到一个合理范围,再做局部搜索。
[02:11:02] 陈文迪: 训练和推理部分,还是要考虑模型复杂度与后续验证流程的关系。另一个做法,是让 infra 提前准备。
模型团队如果对下一代有初步想法,infra 团队可以提前尝试、验证,再反过来告诉模型团队这个想法是否可行。数据、模型、infra 团队必须紧密合作。
特别在 AI 编程时代,一个人可以既做模型,也参与 infra、看数据。AI 让人更容易学习之前不熟悉的领域,快速参与新流程。实际效率可能更高,因为跨模块协作时,丢失的信息更少。
02:12:49—02:17:08|报酬、数据质量与自动化
[02:12:49] 汶川: 把博士的一些能力传给普通采集者,这件事很重要,但我们现在的做法,还没有大家想象得那么算法化。未来希望更算法化。
数采有一种矛盾:希望利用人的自然能力,采到灵巧动作,但人的一些倾向又会影响质量。比如大家可能偷懒,或者利用奖励规则。
按时长结算,采集者可能做得很慢;按条数结算,又可能只做很短的任务。所以我们希望通过算法和奖励机制,让众包采集者自然倾向于采更多样、更灵巧的数据。
[02:14:28] 张翰博: 有没有想过直接衡量每条数据对最终性能的提升,再按这个价值发工资?
[02:14:41] 汶川: 最理想应该是这样,但管理上困难。很多人工资日结,很难第二天就知道前一天数据对最终模型的影响,也很难向采集者解释清楚结算逻辑。
长远看,可以参考一些平台的管理方式。也许先用一些中间指标来检测质量,作为结算依据,会更可操作。
[02:15:32] 杨理欣: 我发散想一下,未来也许有个 critic 模型,拿到一个人当天采的视频,判断数据价值。采集者上传前,模型就能报价,按这个价值付钱,只收高价值数据。
[02:15:54] 汶川: 可能可以,但现阶段听起来还是偏研究问题。
[02:16:01] 陈文迪: 这又联系到为什么用 iPhone:希望把反馈直接带给每个数采员。人收到反馈,当时就会调整,这在未来也很重要。
现在管线里有人参与,我们也希望逐渐引入更多自动化。我们的一个看法是,一件事既然人能判断,最终也有机会由 agent 判断。现在已经用了不少 AI 判断流程,等标准比较稳定后,会进一步用自动化降低人工参与程度。
02:17:08—02:19:38|基础设施和团队规模
[02:17:08] 吕峻: Infra 的价值,就是更快完成想做的事情。比如更快找到、看到数据,或者更快把新想法传给数采员。首先要正确,在正确基础上追求效率。训练基础设施天然也在追求效率。
有了好的 infra,同样时间里能做更多轮尝试,更容易把事情做对。第一天不一定能完整说清楚怎样采好数据,但系统要允许多次迭代、调整奖励,观察采集者往哪里变化,再调整权重。
另外,infra 还有技术以外的价值:帮助保持团队精简。很多事情可以由系统承担。增加人手未必更贵,但一定会增加沟通、决策和协作的复杂度。
我们数据、算法、infra 合作紧密,也因为核心团队不大,坐在一个屋里说话,大家都能听到。团队膨胀得太大,组织就容易失效。这是我觉得 infra 很重要的另一个原因。
[02:19:30] 刘馨云: 这也引到穹彻是什么样的公司,后面再聊。先用一个问题结束 infra 部分:大厂、学校、创业公司的基础设施,到底有什么差别?
02:19:38—02:30:14|大厂、学校和创业公司的研究条件
[02:19:38] 刘馨云: 大家背景不同,有从大厂到学校的,有在学校做公司顾问的,也有在创业公司的。比如大家都说字节 infra 完善,到底完善在哪里?
[02:20:16] 张翰博: 我感受到的字节 infra,是广义的,包括 GPU,也包括组织架构。在我的位置上,只用做一件事:训练模型。
比如一千张卡训不起来,能找到人教我;训练中遇到问题,也能找到相应的人,约个会,当天在线解决,我继续训练。精力不需要消耗在这些问题上。
代价是,大家都很高效。别人当天解决我的问题,我也得及时解决别人的问题。所以我的感受是:“在字节,我没有脑子,我只有算力。”每天有人在后面推着走,因为东西都准备好了。
学校是另一个极端:基建少,什么都要自己学、自己解决,会在各种问题上花时间,但也有更多自由思考的空间。
我没有长期在创业公司工作过,只是最近跟卢老师团队合作,去过几次穹彻。感觉它处于两者之间:像一个氛围活跃的课题组,又有较好的算力和基础设施。比学校强很多,同时也没有大厂那种完备程度。有些成果从创业公司出现,我觉得有这样的原因。
[02:22:59] 李彦玮: 大厂有明确分工,是商业上降低风险的一种组织选择,每个人的工作也更可替代。这种环境适合一些人。
好的 infra 可以让人专心完成具体目标,这个目标往往服务于商业。算法人员遇到基础设施问题,能有人解决。它是必要的支持,让工作顺利开展。
现在有个说法:算法、数据、infra 紧密联系,几乎分不开。学校比较自由,但算力少。像 Noe Lab 或创业公司这样的形式,可以把算力、人员和自由结合起来,对研究者来说可能是比较舒服的状态。
[02:25:07] 刘馨云: 理欣老师一直在学界,你的感受是什么?
[02:25:17] 杨理欣: 大模型时代,小规模数据上得到的结论,放大后可能就不重要了。所以很需要公司团队提供平台,把前期小模型的结论扩大验证。
穹彻给我们提供了这样的平台,让高校的小科研团队也有做大模型的机会。
[02:25:57] 刘馨云: 那创业公司自己的团队,会怎么评价穹彻的 infra?
[02:26:16] 吕峻: 我没体验过别的 infra,但感觉自己的还不错。目前它没有成为运转的主要卡点。当然,这是因为我们在招人、时间和精力上投入了很多。
[02:26:36] 陈文迪: “机器人大模型”包含机器人和大模型两部分,基础设施要求也不同。
过去一段时间,机器人这里有个现象:一些基础设施由学界做,大规模模型由工业界做。例如 Google 训练机器人大模型时,UMI 这类采集装置可能由学界提出。原因也与算力主要集中在公司有关。
穹彻与交大联合实验室,提供了一种连接。机器人所需的技术层次更深,包含真机推理、传感器系统,甚至硬件本身。学术界与工业界各有所长,需要更紧密合作。
[02:28:27] 汶川: 我很有感触。至少五年前,还很少有今天这样明确的“AI infra 人才”概念。我在清华叉院读博士时,机器人、CV、NLP、体系结构等方向的人都坐在一起,亲眼看到身边同学怎样成为 AI infra 专家。
人是可以培养的,没人天生就会这些。穹彻和交大的联合实验室,也承担人才培养目标。像文迪这样比较全面的学生,是这个时代需要培养的。
希望学生能做真正系统层面的突破,涉及数据、模型、infra、硬件和推理等方面。公司与学校互相补充,一方面培养人才,另一方面也为公司每一代产品提供新的力量。
[02:30:02] 刘馨云: 这里也为 Noe Lab 打个招呼。成为各位老师的学生,就有机会获得穹彻的算力和自由的学术空间。
02:30:14—02:40:05|穹彻的早期工作、工程团队与卢策吾
[02:30:14] 刘馨云: 穹彻是一家比较低调的公司,很长时间不主动对外发声。想请大家分享一个关于穹彻的冷知识,或者外面不知道的特点。
[02:30:42] 吕峻: 我觉得穹彻全是冷知识,因为我们宣传少。先说一个轻松的:我们这里有人演过电影,当过男主角,与非常知名的女演员合作过。这够冷了吧。
[02:31:13] 汶川: 我说一个不太冷的。叠衣服一直被认为比较难,但穹彻很早在 WAIC 展示时,第一个 demo 就是叠衣服。应该是 2024 年的 WAIC。
[02:31:42] 陈文迪: 我当时也参与那个 demo,印象很深。我们觉得可能是当时全世界第一个这样的现场展示。当然,当时技术和现在不同。
整个卢老师团队很多事情做得很早。大规模数采,RH20T 那个阶段就在做;无本体有 AirExo。可能因为低调,大家不知道。在具身还没有这么热的时候,已经有很多尝试。现在也是重新认识这个团队的机会。
[02:32:41] 杨理欣: 我说一个甚至更早、非夕时期的事。2019 年我刚读博,卢老师就说要布局灵巧手,要从人类动作里学习。所以后来有了我一系列博士课题,做人手重建。
那时还没有想清楚完整路线。卢老师以前做过很多人体姿态工作,就想扩展到手部,先从图像里提取手部姿态,相信未来机器人会用到。现在 ego data 这么热,回想 2019 年,感觉这个判断很有前瞻性。
[02:33:30] 刘馨云: 听到了很多我之前不知道的事情。
[02:33:39] 陈文迪: 我还想到一个:大家要知道,Noematrix 的中文名叫穹彻。以前很多材料是英文,可能有人没把两个名字对应起来。
[02:34:00] 刘馨云: 我替外界问一个稍微尖锐的问题。大家说穹彻特别偏学术,这有前瞻性的一面,也有人担心一直停留在学术里。你们怎么回应?
[02:34:28] 吕峻: 我觉得学术属性本身很好,具身与前沿研究高度相关。
同时,穹彻也有工程和落地积累。2023 年成立时,是非夕孵化的团队与卢老师交大实验室的一次结合。从非夕来的团队,有多年工业落地经验。卢老师本人也有创业经验,曾长期负责非夕在工业场景中的 AI 落地。
我们一直认可工程化价值。在商业化、infra 等方面,引入了自动驾驶等较成熟行业的人才,包括数据基础设施、算法量产经验。学术是公司的核心,同时也长期重视其他能力。
[02:36:02] 刘馨云: 我自己的认识也有很大变化。不了解时,以为穹彻很偏学术,深入后发现有不少落地场景,包括药房,我觉得可能也是国内做药房做得最好的团队。
[02:36:17] 汶川: 穹彻确实有一支规模不小的工程落地团队,里面有很多我们的师兄。当年既有很好的研究成果,也做过很多机器人落地工作,在非夕和穹彻积累了经验。
公司现在呈现出学术为中心的样子,也离不开他们背后的工程经验和落地订单支持。
[02:37:00] 刘馨云: 卢老师虽然不在场,大家一直提到他。刚才灵巧手的故事让我很惊讶。但外界有个声音:卢老师好像不太管公司。你们怎么看?
[02:37:22] 吕峻: 一个有意思的现象是,我从学生变成公司正式员工后,和卢老师接触明显变多了。
接触过的人可能觉得他很乐天,但进入公司后,我也发现他有时会焦虑。以我的观察,他现在大部分时间和精力放在公司,尤其是大方向的选择。很细的代码管理,当然主要由团队负责。
更重要的是,我理解他是一个很纯粹的人。他在交大、创智、穹彻有不同身份,但在他眼里,这些地方共同服务于一件事。各有优势,有人才、有资金、有算力,他希望把这些资源结合起来,促成具身智能的进展。
这个目标很早就有。他刚从斯坦福回来时,就一直劝大家从计算机视觉转向机器人。所以我觉得,他始终在推进自己认定的这项事业。
[02:39:26] 汶川: 在公司大半夜也经常能看到卢老师过来,问问大家在做什么,说这个挺有意思。
[02:39:41] 陈文迪: 当时我们评测模型,模型还很早、效果不够好时,卢老师给了我们很多鼓励。
[02:39:56] 刘馨云: 一直是引领者和支持者,这也是外界可能没有看到的部分。
02:40:05—02:47:43|看 Generalist 的采集设备与动作表现
本节及下一节的判断性质
这部分讨论基于嘉宾看到的公开演示和博客。涉及设备内部改动、同步方法、后训练和未公开模型细节时,嘉宾多次说明是在猜测。下文保留这些限定。
[02:40:05] 刘馨云: 最近海外密集发布了不少模型。国内比较少见专业、具体的评价。大家也在训练基模,怎么看这些经验?
先看技术路线很接近的 Generalist。从专业研究者角度,有哪些细节是外行不容易看到的?可以举一些小例子。
[02:41:01] 陈文迪: Generalist 出来时,我们花了很多时间盯着它的网站,可能是大家访问最多的网站之一。
它还没公开数采方案时,我们就判断应该是 UMI 一类方式。因为从结果里,看到了无本体采集带来的灵巧性。它们把这个叫作“物理直觉”,我们很认同。这能让动作更高效,有些行为通过遥操作很难做出来。
我们前几代模型的主要对标对象,就是这种模式,技术路线确实接近。
[02:42:15] 刘馨云: 为什么它们用 Insta360?SLAM 和定位问题又是怎么解决的?
[02:42:31] 吕峻: 我个人觉得,和我们用 iPhone 有相似原因。它是成熟的商用消费设备,相机素质、售后体系都比较完善,坏了也知道找谁,这很难得。
另外,我最近有一点怀疑:它可能已经改过内部,只保留类似 Insta360 的外壳。但这只是一个很不负责任的猜测。
[02:43:06] 刘馨云: 为什么会这么想?
[02:43:10] 吕峻: 这些视频看了很多遍,感觉外观有一些变化,但很难在这里解释清楚。
[02:43:21] 嘉宾: UMI 最初用的就是 GoPro,与 Insta360 属于同一类产品。
更有意思的是夹爪设计。我个人觉得,到目前为止,它应该也是最优秀的夹爪设计。在 UMI 基础上,改成让两根手指套进去的操作方式,提高了灵巧性。这是很重要的贡献,也影响了后续无本体设备设计。
Generalist 采到的数据,和原版 UMI 在行为模式上有明显差别。
[02:44:22] 刘馨云: 感觉整体做得更精细,也更容易操作。
[02:44:29] 陈文迪: 但即使公开了设备,大家还有疑惑:怎么同步时间戳?怎么统一坐标系?
另一方面,如果确实用这样的设备采数据,也给大家很多信心:只要把整个流程里的问题解决,就能训出高效模型。我们的信心也有一部分来自 Generalist 的结果。
[02:45:09] 刘馨云: 时间戳同步一定要解决吗?有没有可能不处理也能用?
[02:45:21] 嘉宾: 我觉得肯定要解决。只能推测,它有些视频里,手腕上会多出一个像小盒子的东西。
[02:45:38] 刘馨云: 哪一个?
[02:45:38] 嘉宾: 可能要找一个 demo 比较多的视频。我猜测那里有额外设备。
[02:45:43] 刘馨云: 没事,后面补图。能理解为它可能只在后训练时这样做吗?如果只是向采集者发设备,好像比较难。
[02:46:00] 嘉宾: 我倾向于认为,后训练有不同方案,设备可能有调整,和已经公开的方案不完全一样。
[02:46:13] 刘馨云: 设备上那两个码有什么用?整体怎么定位?
[02:46:21] 嘉宾: 应该用于定位,因为是 AprilTag。共享坐标系时,靠一个 AprilTag 就能同步两个相机的坐标。
[02:46:39] 刘馨云: 开始前定位就够,还是要实时看到?
[02:46:45] 嘉宾: 应该开始前能看到就可以。我猜可能还会有共享地图之类的操作。
[02:46:59] 刘馨云: 它好像一直没有用 ego 数据,是这样吗?
[02:47:07] 嘉宾: 应该没有。推理相机上也没看到 ego 相机。
[02:47:19] 嘉宾: 用 marker 定位这件事让我有点惊讶。以前用原版 UMI,也用 ArUco marker 建图,但精度感觉没有那么强。不知道 Generalist 怎么解决,或者这些任务对精度的要求没有想象中那么高,还不好说。
02:47:43—02:51:53|Harmonic、历史信息和动作速度
[02:47:43] 刘馨云: 大家都在猜 Generalist 的模型架构。它说要超越 VLA 和 world model,也公开了 Harmonic。你们有什么研究和想法,里面到底做了什么?
[02:48:08] 陈文迪: Harmonic 是推理架构。谈网络结构,它们之前应该分享过:视频和动作作为输入,用自回归方式预测下一个动作,没有视频预测。这是我看到的信息。
这个网络形式本身未必特别,重要的是保留历史。历史能解决一些问题。
比如时间戳同步,我一直怀疑历史能缓解一部分:从历史里,可能推断两个相机的时间偏差,再减少不同步对训练和推理的影响。
GEN-1.5 展示的 in-context learning 也有意思。它们第一次设计时,可能没有特别想着这个能力,但历史信息让模型有机会做到一定程度的上下文学习。
当然我也有疑问:怎么避免 copycat?有历史后,模型可能直接照抄以前的行为。也许数据规模大了可以缓解,但值得研究。
[02:49:59] 嘉宾: 感觉它们有一些特殊的后训练,也讨论过 forward KL、reverse KL,应该做过探索。
我以前的经验是,加入历史后,如果不额外处理,模型经常会学到 shortcut;做一些后训练会好很多。
除了模型结构,我也对它们的推理框架很感兴趣。最早 demo 出来,看到非夕机械臂能运行得那么顺滑,而我们当时自己使用同类机械臂,还没见过那么顺滑的策略,所以感觉它们在推理系统上做了工作。
[02:50:47] 陈文迪: 动作确实很顺、很快。我自己的猜测是,动作速度和预测误差有关。动作预测误差越小,能达到的速度越快,因为可以更可靠地预测较长的未来动作。
它们能这么快,一方面可能因为后训练用了手持式、无本体采集,数据动作本来就快;另一方面,也可能说明预训练后动作精度比较高。
[02:51:43] 嘉宾: 感觉全世界都在根据它们的博客解谜。
[02:51:53] 刘馨云: 确实。也正好回到 in-context learning 和 memory 的问题。
02:51:53—02:58:23|Generalist、Skild AI 与上下文学习
[02:51:53] 刘馨云: Skild AI 最近也有 in-context learning 的工作,能做较长任务。我发过一篇英文文章,Deepak 还特意私信我,希望强调 Skild AI 是长程,Generalist 是短程。他认为有些短程表现未必需要上下文学习。
大家怎样理解这两家的 in-context learning,有什么区别?
[02:52:40] 汶川: 感觉 Deepak 确实很在意这个问题。我们去年也讨论过:给一段人或机器人的视频作为 prompt,到底想告诉策略什么?
是抓哪个物体?以什么风格抓?还是按怎样的顺序完成哪些任务?我估计 Deepak 想强调第三层,也就是带规划的上下文学习。
目前 Generalist 展示的任务比较短,我觉得更多到第二层,即 motion 层面的上下文能力。
[02:53:46] 刘馨云: 听文迪讲,Generalist 可能因为架构带有历史,出现了一些上下文学习能力。Skild AI 是否专门设计了数据?实现方法会不会不同?
[02:54:14] 嘉宾: 我听别人讨论过,有人怀疑 Skild 的数据可能成对采集、成对训练。这很合理。也可以通过检索找相同任务的片段,互相作为上下文来训练。但我不确定它们具体采用哪种方式。
[02:54:45] 陈文迪: 上下文学习大概率还是需要这种配对数据。只是有时连续做很多任务,历史里本来就包含同样任务,可能形成一种 self in-context learning,自己的历史已经提供了提示。
这个问题很有意思。回看以前纯行为克隆的策略,它能解决什么?像汶老师做的 scaling law,说明有足够多样的数据,可以做到物体泛化、场景泛化。换个物体、换个场景,仍然能做。
但以前的 BC 策略在任务泛化上比较欠缺。最近这些工作,是希望用上下文学习,为任务泛化提供一种可能。
Generalist 展示的 demo 相对简单,也不能据此认为所有任务都能上下文学习。Skild 展示的是组合多个小任务的情况。它们至少在任务泛化这个层面做了尝试。
[02:56:29] 陈文迪: 神经网络很多时候在做插值。如果见过世界上大部分物体,也许能通过插值处理没见过的物体。但从一些任务直接插值出一个新任务,难度不同。
前面我提到 copycat,担心模型从历史直接背轨迹。上下文学习某种程度上,是正向利用这种行为:当数据足够多,历史与当前任务之间确实存在有用联系,就可以利用它泛化到新任务。
今年 π0.7 的工作,其实也有这种感觉。刚才还说成去年,进展太快了。那时大家未必称它为 in-context learning,本质上也是用提示,只是更偏高层图像、语言提示。现在更进一步,到低层动作也能用上下文。
这是很重要的方向,我们也在观察。而且它很适合视频模型,从连续像素里学习。
02:58:23—02:58:58|结束语
[02:58:23] 刘馨云: 这是很好的讨论,我们也期待 in-context learning 接下来会发展到什么程度。
今天聊了很久,已经十一点半了。本来应该十一点或者十点半结束,已经多聊了一个小时。非常感谢大家的时间,也希望大家更全面地认识穹彻、Noe Lab,了解团队的能力、氛围和这次模型发布。谢谢各位。
附录|按时间排列的完整字幕校订记录
如何使用这份记录
下列各段可以在 Obsidian 中展开。每行时间对应字幕开始显示的位置,便于回到视频核对。已合并连续画面中同一条字幕的重复显示,保留更完整的口头措辞和前后顺序。少量句子按前述风格要求整理;方括号标出仍无法确认的词。片头以画面和音乐为主的部分另行注明。
参见text_collection/Obsidian_notes/穹彻智能_Noe-0_视频转录.md,这个附录的内容太他妈多了,全部渲染会让obsidian出现很鬼畜的问题
来源
- 主要来源: 用户提供的 noematrix.mp4 视频。
- 人物与拼写核对: 用户提供的 Noe0.md 存档。
- 节目原文: 对话穹彻智能:十万小时无本体数据与 Noe-0。