对话穹彻智能:十万小时无本体数据与 Noe-0|详细总结
阅读说明
本文依据用户提供的 02:58:58 视频,按完整对谈整理。时间均从视频文件开头计算。存档文章用于核对人物、名称和少量背景数字;下文涉及实验经验、路线判断和未来预测时,均保留发言者立场。文章所说的“三个半小时”是对录制过程的描述,所提供视频的实际时长约为三小时。
Noe-0 这一轮工作的重点,是把无本体数据采集、模型预训练、后训练和实际部署连起来。团队已经积累接近十万小时数据,但访谈中反复谈到的,是怎样把数据用好:采集设备会改变人的动作,数据分布会影响策略表现,模型结构又会决定基础设施和验证工作的难度。
嘉宾对长期路线保留了不少不同意见。自然视频、ego、触觉、灵巧手,以及上下文学习都有潜力,但数据配比、传感器方案、模型结构和训练方法仍在探索。后面关于 Generalist、Skild AI 的部分,尤其需要区分公开观察与推测。
人物与分工
| 人物 | 访谈中的身份、研究重点 |
|---|---|
| 刘馨云 | 主持人,围绕数据、模型、基础设施和公司情况提问。 |
| 吕峻 | 穹彻研究科学家,协调数采方案、运营、数据基础设施、训练和测评;交大卢策吾团队博士毕业。 |
| 陈文迪 | 交大与上海创智学院在读博士、穹彻见习研究员及模型负责人,研究通用机器人操作与系统结构。 |
| 汶川 | 交大助理教授,参与穹彻与交大联合实验室,关注可规模化机器人学习、采集设备和训练系统。 |
| 李彦玮 | 交大助理教授,曾在字节 Seed 做多模态基础模型,关注视觉、语言与多模态智能。 |
| 杨理欣 | 研究手物交互、手部重建、动作表征与灵巧操作;自我介绍中称交大助理研究员,存档简介称助理教授。 |
| 张翰博 | 上海创智学院助理教授,曾在字节研究机器人基础模型,关注长任务中的稳健决策与执行。 |
卢策吾没有参加这次对谈,但多次被提到。其他提及的人物包括方浩树、徐丹飞、Sergey Levine、Pieter Abbeel,以及 Skild AI 的 Deepak。
全片时间索引
| 时间 | 内容 |
|---|---|
| 00:00:00—00:01:57 | 精华预告、研究进展片头。 |
| 00:01:57—00:07:01 | 节目缘起、六位嘉宾介绍。 |
| 00:07:01—00:12:06 | Noe-0 的数据、模型和基础设施。 |
| 00:12:06—00:21:22 | UMI 的定义;外骨骼、iPhone、自采与六月收缩采集。 |
| 00:21:22—00:31:26 | UMI 的部署难点、数据分布、调试与经验传递。 |
| 00:31:26—00:48:40 | 无限预算下的数据选择;各人的考虑与讨论中的修正。 |
| 00:48:40—01:05:38 | UMI、ego、触觉与灵巧手采集。 |
| 01:05:38—01:13:13 | 自然视频的价值、数据配比与 scaling law。 |
| 01:13:13—01:17:37 | 预训练研发如何从复杂结构收敛到可靠方案。 |
| 01:17:37—01:39:25 | WAM、VLA、理解与生成、监督信号和标注。 |
| 01:39:25—01:52:46 | 模型能力、推理效率与“原生”的具体含义。 |
| 01:52:46—02:05:11 | 其他 AI 成果如何使用;机器人安全、动作表征与任务适应。 |
| 02:05:11—02:19:38 | 千人数采的质检、反馈、激励、自动化和团队组织。 |
| 02:19:38—02:30:14 | 大厂、学校与创业公司的研究条件。 |
| 02:30:14—02:40:05 | 早期工作、工程落地团队和卢策吾的参与。 |
| 02:40:05—02:51:53 | Generalist 的设备、Harmonic、历史信息与动作速度。 |
| 02:51:53—02:58:58 | Generalist、Skild AI 的上下文学习与结束语。 |
1. Noe-0 做到了哪一步
时间:00:07:01—00:11:36;模型示意图约 00:08:40—00:09:10。
陈文迪把 Noe-0 看作一个阶段性成果:数据、模型、基础设施都完成了基础构建,后面可以更快地迭代。
团队很早就从无本体采集的实验中,看到了场景和物体泛化的潜力,因而在 2026 年初开始扩大采集。最初没有锁定模型架构,VLA、World-Action Model 及不同变体都做过尝试。内部实验发现,用多样、带有真实环境噪声的数据微调时,WAM 的数据效率较好,年中才逐渐选定结构并推进预训练。
预训练和后训练全程使用无本体数据,是这一轮的明确选择。 团队发现,在后训练中切换到遥操作数据,会损失一部分动作灵巧度。手持设备由人直接控制,可以记录快速、直觉性的调整;这些动作通过遥操作较难采到。
画面展示的模型图,把图像和任务语义放入共享表示,同时做隐式世界想象与动作规划。执行动作后,再接收真实观测,进入后续预测。访谈没有给出足以复现模型的完整层数、参数量、损失权重和训练配方。
数据规模的来源
视频主要以“接近十万小时”讨论规模。存档文章给出的最新汇总为 97,387.7 小时,覆盖 18 个省级行政区、47 座城市,平台累计支持 2,000 多名采集人员。这些精确数字来自存档补充。
2. UMI 为什么有吸引力,外骨骼又为何退居次位
时间:00:12:06—00:15:55。
吕峻用一个直接的说法解释 UMI:人把与机器人夹爪构型相近的设备拿在手上,直接操作物体。它保留人的操作能力,同时让动作形式尽量适合机器人。
团队此前做过固定工位遥操作。大约 2021 年,实验室摆满机器人,每天雇人采数据。很快暴露出几个问题:设备成本高,动作灵巧性有限;桌布、桌子、购买的物体组成的环境,与真实生产生活的分布有较大差别。后来逐渐转向无本体采集,AirExo 是早期代表工作。
外骨骼与当前 UMI 方案的一项主要区别,在于末端位置如何测量:
- 编码器方案: 定位较稳定,但设备结构复杂、成本较高,穿戴灵活性受影响。
- 视觉 SLAM 方案: 设备可以更轻便,但受到纹理和视觉条件影响,轨迹可能不够准确。
团队实验后认为,当时设备上的定位误差,对于预训练以及一部分后训练可以接受,能够训练出有效策略,于是继续发展 RoboPocket。
吕峻没有把这次选择说成唯一正确的路线。他认为,坚持编码器方案也可能做出不错的结果,取舍包含工程条件和研发节奏。
3. iPhone 解决了采集过程里的沟通问题
时间:00:15:55—00:18:48。
选择 iPhone,首先因为它能记录图像和轨迹。但吕峻更看重屏幕、交互和联网。
此前外骨骼设备主要是编码器接一个“小盒子”。数采员在便利店等真实场所工作时,团队很难及时沟通。设备问题、操作不规范、敷衍采集等情况,会让过程逐渐难以管理。
手机能把任务、检查结果和反馈送到人手里,帮助团队管理分散的采集活动。成熟消费产品还有稳定性和售后优势。早期使用二手机,也让成本相对可控。公司可以一边用稳定设备采集,一边研发下一代硬件。
下一代改进方向有两项:提高传感器和空间定位水平;继续共同设计采集末端与机器人夹爪,让同一个构型既便于人操作,也适合机器人完成更多任务。
4. 为什么自己采,又为什么六月主动放慢
时间:00:18:48—00:21:22。
穹彻也购买外部数据,例如 ego data。吕峻认为,公司有能力边界,定义较清楚、有成熟供应方式的部分,可以购买或合作。
UMI 自采有不同背景:项目启动时,市场上缺少能稳定、批量交付数据的成熟设备;即使都称为 UMI,采集规范和技术细节仍有不同认识;外部数据的可信度也需要判断。因此,团队需要自己完成设备、采集和验证。
十万小时大约积累了八个月。采集峰值在六月,此后主动收缩。吕峻给出的原因很朴素:现有数据还没有用明白。
他的参照是 PI:如果其他团队用较少机器人数据就取得较好结果,自己握有更多数据却做不好,就要检查数据与训练方法。扩大采集前,应先弄清当前问题。
5. UMI 的难点常到部署时才显现
时间:00:21:22—00:31:24;“难度守恒”解释从 00:22:45 开始。
吕峻先列出一些具体问题:时间戳对齐、控制实现、任务采集规范,以及与遥操作不同的小技巧。UMI 缺少成熟、公开、被广泛验证的训练方案,排查问题更费力。
陈文迪用“难度守恒定律”概括他们的感受:采集容易一些,后面就可能承担更多困难。最清楚的例子是夹爪容错。
遥操作采集时,可以立即发现夹爪是否可靠、控制精度稍低时是否仍能抓住物体。UMI 由人直接拿着操作,人的精确控制可能掩盖夹爪的不足。数据拿去训练后,策略达不到同样精度,才暴露出夹爪对位置要求过高的问题。
这样,硬件、数据、算法的验证都推迟到训练和部署阶段。每次尝试必须走更长的流程,迭代也更慢。
数据分布比“调一个参数”更关键
时间:00:24:43—00:26:18。
张翰博追问有没有突然“跑通”的时刻。吕峻说,团队早期已经有一定效果,主要问题是动作方向大致正确,但精度差。后来发现,原因与数据多样性及采集流程设计有关,重要改进来自调整采集过程。
遥操作还可以通过 DAgger 一类方法,在策略出错时由人接管,补充策略实际遇到的状态。仅依靠 UMI 本身,很难直接完成同样的接管补数过程。
缺少公认方案,会让所有环节都被怀疑
时间:00:26:18—00:31:24。
出问题时,团队可能同时怀疑硬件、轨迹精度、任务分布和部署。陈文迪主张用可视化、数值检查、对照实验逐项排查,先确认前面环节,再继续往后。
汶川补充,懂模仿学习的人更容易从策略异常倒查数据:某个状态是否出现过?类似状态下是什么动作?有没有分布偏移?大规模采集的难题,是把这些经验变成普通人能执行的流程。
吕峻举过一个早期科研做法:让新人先采一次、训一次,能训出来才继续采。这对实验有效,却很难扩展到大规模团队。穹彻从早期就主要使用普通数采员,因此必须持续整理研究人员的经验。
6. 无限预算问题,暴露了大家真正关心的约束
时间:00:31:26—00:48:40。
主持人让大家设想无限预算下的预训练数据配置。回答并不一致,讨论过程中也有人修正了最初的想法。
| 发言者 | 初始选择与重点 |
|---|---|
| 吕峻 | 自然视频之外,把机器人带入真实场景遥操作;现实中成本、人员和布置条件苛刻,因此选择 UMI。 |
| 陈文迪 | 重视与本体对齐的真机数据,同时大幅投入清洗和细致标注。后来区分“购买存量数据”和“新增采集”两种问题。 |
| 李彦玮 | 设想约 70% 视频或 token 来自自然场景,约 30% 来自机器人数据。先获得世界知识,再完成动作对齐。 |
| 杨理欣 | 资金足够时改进带本体遥操作;现实条件下特别重视失败恢复数据,提出用人为干扰采集恢复行为。 |
| 张翰博 | 将时间视为主要约束,沿已有 UMI 路线优化设备、质量和分发,尽快获取大量高质量数据。 |
| 汶川 | 倾向 ego 与 UMI 混合,举出 8:2、5:5 的设想。强调遥操作可能限制本来能完成的灵巧动作。 |
这些比例的性质
70%/30%、8:2、5:5 都是在假设问题中的个人设想,访谈没有把它们作为已验证的最佳配方。
汶川回顾了自己的变化:早期相信人类视频,后来遇到动作对齐问题;ALOHA、GELLO 带来更直接的动作对应,但又暴露灵巧性限制;UMI 则在人的操作能力与机器人动作形式之间提供了新的选择。
陈文迪进一步区分了两类决策。面对已有存量,可以尽量收集和实验;面对尚不存在的数据,需要决定采什么、采多少,必须用消融实验回答。机器人有大量数据需要主动生产,采集决策本身就是研究的一部分。
自然视频为什么占那么大比例
时间:00:44:49—00:48:32。
李彦玮关心预先定义任务很难覆盖的生活情况。例如物体掉到沙发下面,人可能抬起沙发,也可能找工具。很多需求由偶然情况产生,难以提前列成遥操作任务清单。
自然视频有机会记录更广泛的世界状态和处理方式。吕峻因此看好伴随正常生产生活的数据采集:人在真实工作中,自然产生动作、意外和恢复行为,数据获取成本也可能降低。
7. Ego 的长期价值,还涉及触觉和身体感知
时间:00:48:40—00:58:40。
讨论 UMI 与 ego 的上限时,吕峻认为两者有连续关系:二指 UMI 可以看成一种受限制的手套,完整手套也可以看成更复杂的操作接口。
当前 UMI 的限制包括二指、三指设备的自由度,以及对自然生产生活的干扰。即使在真实场景采集,专门拿着设备做任务,也与完全自然的工作动作有距离。
杨理欣提醒,ego 与 UMI 都面临姿态估计及动作可执行性问题。SLAM 准确,也不代表机器人能完成同样动作:人手能到达的位置,机械臂未必能解出可行的逆运动学。
陈文迪把讨论引向触觉。他期待的长期 ego 采集,可以获得手部关节、接触和力等信息。这里讨论的是理想的数据能力,当前 ego 视频不一定具备这些模态。
纯视觉较难补上接触信息。但设备要同时做到准确、轻便、几乎不影响操作,也很困难。外骨骼手套可能更准,却妨碍动作;裸手采集自然,却缺少直接触觉记录。
吕峻进一步指出,人类工作还会用前臂抱、夹物体。若数据记录了这些动作,却没有记录对应感知,模型会承担更多困难。
陈文迪最后把时间尺度分开:当前阶段,真机数据可能更直接地提高表现;长期视觉泛化可能更多依赖自然视频。触觉与力需要独立建设,无法仅靠增加视觉数据替代。
8. 灵巧手还缺一套经过验证的完整方案
时间:00:58:40—01:05:38。
嘉宾认为,灵巧手规模化的困难同时存在于多个环节:
- 触觉、关节与位姿怎样稳定、准确地采集。
- 设备能否量产,普通人能否长期正确使用。
- 只采指尖,还是连全掌、手臂接触都采。
- 人手数据怎样迁移到不同机械手。
- 中训练、后训练需要多少本体数据才能补上差异。
陈文迪认为,同构手持设备支持的自由度可能有上限,二指 UMI 的成功难以直接照搬到十个以上自由度的执行器。他提到 EgoScale 带来的希望,同时强调,触觉手套数据怎样真正训练出可迁移到机械手的模型,仍有待解决。
吕峻把“难度守恒”延伸到训练阶段:预训练采不到触觉,可以在后面补,但中训练、后训练就会更重。汶川则认为,灵巧手出现和成熟的时间还不够长,硬件、传感器、系统没有形成共识,很难集中验证同一条路线。
9. 数据规模需要与质量、配比和模型一起讨论
时间:01:05:38—01:13:13。
“自然视频是否被低估”,不同背景的嘉宾有不同体感。吕峻从机器人团队视角看,行业更常讨论触觉;李彦玮认为大模型领域早已重视自然视频,真正欠缺的是用好它的方法。
对于最合适的数据分布,李彦玮没有给固定答案。模型结构、训练时长、规模都会改变配比。在较小预算下,真机数据可能更直接;规模大幅增长后,含运动的视频可能占更重要的位置。
谈 scaling law 时,李彦玮与吕峻都相信数据增长有潜力,但强调多样性、清洗和标注。汶川增加一个条件:模型必须有能力吸收这些数据。 当前 VLA、WAM 可能都还会变化,不能仅凭某个模型的平缓曲线,认定数据本身没有价值。
陈文迪也提到,互联网数据获取、清洗对基础模型团队很常见,机器人团队需要吸收这些经验。这是不同研究背景合作的实际价值。
10. 预训练研发:先把可靠方案完整验证,再增加复杂度
时间:01:13:13—01:17:37。
陈文迪回顾,早期团队找到过小规模实验效果很好的结构,直觉上想直接扩展数据。但预训练结果还要经过后训练、部署、测评才能确认,复杂架构会增加每一环的实现难度。
模型的局部优势,可能被更长的实现和验证时间抵消。因此,团队后来收敛到 WAM 最核心的技术,降低基础设施压力,先形成可靠的基准方案,再逐项增加设计并验证。
“复杂度乘以验证链路长度”,是他对研发时间的一种经验概括。它也解释了为什么模型、数据和基础设施难以各自独立决策。
11. 选择 WAM,首先是为了学好当前的动作
时间:01:17:37—01:29:39。
团队选型时,重点观察小规模高质量数据能否泛化到新场景,同时评估可用预训练基座的能力。
汶川归纳了两个主要考虑。
第一,当前更需要准确建模物理变化。 VLM 的语言理解、任务推理能力较强;视频模型学习帧间变化,有望帮助机器人生成自然、灵巧的动作。针对当时任务,团队更重视后者。
第二,WAM 更适合利用动作标签不够准的数据。 UMI 的轨迹可能受 SLAM 误差影响,但视频仍记录了实际变化。联合学习世界变化和动作,使模型有机会继续利用视觉监督,也方便未来接入自然视频。
陈文迪把当前研发顺序概括为:先做好快速的感知与动作执行,再探索更高层的规划。高层语言推理已经有较多通用研究,机器人团队更需要解决准确动作如何高效、可规模化地学出来。
关于两种模型的边界
嘉宾也指出,VLA 可以加入世界建模,WAM 可以与上层推理协作。这里讨论的是当前架构、数据与任务条件下的研发选择。访谈没有证明某个名称对应的路线已成为最终方案。
其他嘉宾补充了不同角度:
- 李彦玮: VLA 使用较少机器人数据取得效果,也借用了语言基座已经学到的知识。视频模型的机会在于用时间信息学习运动,再与语言规划结合。
- 张翰博: 他没有直接训练 WAM 的经验,但把视频预测理解为一种训练约束:网络需要解释动作与前后画面的联系,有机会更充分地利用数据。
- 杨理欣: 精细角度、位置调整很难只用文字描述,视频能保留更丰富的信息。他还看好世界模型作为生成式模拟器,对多个候选动作的后果进行预测。
杨理欣也承认,当前 WAM 仍有短时预测、幻觉、速度等问题。他提出由上层规划子任务、世界模型负责执行的分工方式。
12. 视频预测的监督来自哪里,标注为什么仍有用
时间:01:30:00—01:39:25。
吕峻追问 VLM 与视频生成模型的边界。李彦玮从当前范式解释:理解模型通常在给定图片、视频后输出语言或判断;生成模型学习条件下可能出现的视觉结果分布。不同目标影响数据组织和监督方式。
汶川认为,机器人同时需要理解、推理和生成预测,可能成为“生成理解统一”的实际推动场景。李彦玮补充,当时生成能力对通用理解任务的提升还不明显,但理解能力已经明显帮助生成。
下一帧可以直接成为训练目标
时间:01:33:48—01:37:01。
对于视频预测,可以把前一帧作为条件、真实下一帧作为训练目标。大量视频天然包含这种监督关系,降低对人工补充动作标签的依赖。
VLA 当前的动作学习,通常需要对应 action 标签;VLM 的理解任务,也常需要图片或视频的问答、描述标注。李彦玮因此认为,视频模型在监督来源上更容易利用自然数据。
数据多样后,描述信息仍能帮助收敛
时间:01:37:06—01:39:25。
主持人追问,既然视频能提供监督,为什么还要增加光照、环境等 prompt?
陈文迪的回答是,标注要求与数据分布有关。单一数据容易收敛,却未必能泛化。场景多样时,额外描述可以帮助模型理解条件与结果的对应关系,更充分使用原有预训练能力。
因此,视频可以降低一部分人工监督需求,同时仍值得投入清洗、标注和条件描述。两件事作用不同。
13. 先看能力上限,再处理部署效率
时间:01:39:25—01:46:13。
陈文迪认为,现有具身模型尚未达到大家对通用基础模型的期待,应先探索能达到什么能力,再限制尺寸和速度。
他用“假如真正有效的模型需要 1000B 参数”举例,说明研发顺序:先确认能力,再蒸馏、剪枝和加速。这个数字是思想实验,视频没有宣布 Noe-0 具有这个参数量。
他还从结构角度解释,WAM 的视觉预测与动作学习可以更紧密地使用预训练参数,因此愿意投入相应计算量。这里属于他的架构判断,视频未提供统一条件下的参数效率、延迟或成本对照实验。
关于 Noe-0 的实际状态,他说当前采用了部分隐式世界建模方法,效率暂未成为主要问题。探索顺序是先得到效果好的显式模型,再改进为更高效的形式。
吕峻指出行业的现实压力:技术还在早期,公司却已经被要求部署到 Orin、Thor 等硬件和产线。汶川也强调,不能为了速度牺牲尚未建立起来的智能;先做出足够好的模型,才更有依据开展推理优化。
14. “原生”应体现在具体设计里
时间:01:46:34—01:52:46。
吕峻把“原生”放到整个系统看。RoboPocket 的采集末端与机器人 gripper 同步设计,是一个例子。已有工业夹爪诞生时,未必考虑今天的数据采集、模仿学习和动作容错需求。
数据基础设施也要根据具身视频、轨迹和传感器数据的特点设计。未来触觉、3D 等信息的重要性增加,还可能改变架构。
陈文迪则强调两个更具体的地方。
监督目标。 机器人更关注物理结构、物体位姿与动作后果是否准确。这些要求会影响 loss 设计,不能只按照通用视频生成的观看效果评估。
执行中的反馈。 普通视频生成可能一次输出几十秒。机器人可以短时预测、执行,再拿真实观测继续预测。每一步都得到现实校正,对模型时长、误差积累和结构的要求会变化。
同时,好的机器人模型仍需要通用世界知识和视觉能力。李彦玮随后也指出,可以使用已有预训练成果,在训练初期和具体设计中加入机器人知识。
15. 机器人领域需要自己补上的三类问题
时间:01:52:46—02:05:11。
关于使用大模型成果,李彦玮认为这是自然且必要的合作方式。张翰博分享了自己的经历:最初想把 GPT 式方法用于机器人,但做 VLM 与动作模型时,即使投入相近,结果也可能差很多;这促使他继续探索更适合机器人的方法。
长任务出错后,怎样控制后果
时间:01:57:20—02:01:08。
张翰博认为,很多日常任务有相对稳定的步骤,数据驱动策略可以学习这些流程,并适应物体和场景变化。问题是长期执行总会出现错误。
他的研究重点,是在策略外增加约束或检查,使错误不造成严重后果。同时,策略需要给出足够多候选方案,在约束存在时仍能找到可执行动作。
不同本体怎样共享动作表示
时间:02:01:28—02:02:56。
杨理欣关注跨本体表示。末端 6D 位姿加夹爪开合在二指操作中较通用,但灵巧手的关节数、结构和尺寸差异更大。
他提出一种中间思路:先把不同采集数据映射到 MANO 等通用手模型,再分别映射到具体机械手。这类形态和执行问题,需要机器人研究本身推进。
怎样低成本地适应具体任务
时间:02:02:56—02:05:11。
吕峻指出,机器人同时要求速度、体积和可靠性,而当前常用办法是预训练后针对单一任务继续训练。未来需要探索更灵活的适应方式,减少逐场景重复工作的成本。
这也与片尾的上下文学习问题相连:能否利用示范、历史等信息,让模型更快适应新任务?
16. 千人数采如何把反馈送回现场
时间:02:05:11—02:12:49。
算法团队对多样性、规范和质量的判断,很难一次写成完备规则。穹彻的做法,是让算法、数据和基础设施人员持续一起工作。
吕峻提到每天的数据质量会:包括汶川、陈文迪在内,大家一起看半小时数据,发现问题后加入质检标准。研究经验通过反复观察逐步形成,而非一次培训就能全部传递。
同样重要的是反馈速度。发现问题到采集者收到意见,如果要几天甚至一周,采集过程就很难及时调整。系统要支持当天数据当天处理,交给质检,尽快反馈。
后训练还需要加入实际策略测试:让机器人运行,观察失败,再回到数据侧补充相关情况。这种人工参与的循环仍有局限,但当前是实际可用的办法,也是未来研究可以改进的地方。
陈文迪把基础设施的作用分成两类:
- 支撑存储、批处理、调度、训练和推理。
- 给人提供理解数据的工具,例如任务标签、聚类和分布分析。
先利用经验把分布调整到合理范围,再做配比实验,会比直接面对海量原始数据更容易推进。模型团队也会提前提出下一代方向,让 infra 预先验证可行性。
17. 采集报酬会改变数据分布
时间:02:12:49—02:17:08。
汶川指出,人的自然操作能力很有价值,但采集者也会对奖励作出反应:按时长付费,可能拖慢动作;按条数付费,可能只做短任务。
所以质量管理需要考虑激励,促使人采到更灵巧、更多样的数据。当前做法还没有完全算法化,团队希望逐步改进。
张翰博提出,能否按每条数据对最终性能的贡献结算?汶川认为,这是理想目标,但难以满足日结,也难向采集者解释。中间质量指标可能更实际。
杨理欣提出用 critic 模型提前估计数据价值、报价,这是讨论中的研究设想。陈文迪则提到,团队已经引入一些 AI 判断,等规则更稳定,会逐步增加自动化。
手机在这里再次体现价值:采集者能即时收到反馈,及时调整行为。
18. 基础设施也在影响组织方式
时间:02:17:08—02:30:14。
吕峻认为,基础设施首先保证正确,再提高效率。它要允许团队反复调整标准和奖励,用较短时间完成更多实验。
另外,系统承担重复工作后,核心团队可以保持精简,减少沟通和决策成本。他们数据、模型、infra 合作紧密,也与人员规模和共同工作方式有关。
后面讨论不同研究环境时,嘉宾主要分享个人经历:
- 大厂: 张翰博举例,千卡训练遇到问题,可以找到专家及时解决。研究者能集中训练,但也处于高响应、高效率的组织要求里。
- 学校: 研究自由较多,基础设施和算力相对有限,研究者需要自己处理更多技术问题。
- 创业公司与联合实验室: 有机会结合较自由的探索、算力、工程支持与人才培养,但条件各不相同。
杨理欣强调,小规模实验结论需要在大规模条件下重新验证,公司平台使高校团队有机会做这件事。
陈文迪提醒,机器人基础设施还包括采集装置、传感器、真机推理和硬件,合作范围比单纯训练软件更广。汶川则希望联合实验室培养能同时理解数据、模型、系统和硬件的人,人才可以在真实项目中逐步成长。
19. 团队早期经历与工程落地
时间:02:30:14—02:40:05。
这部分包含较轻松的冷知识,也补充了团队背景。
- 吕峻提到团队有人演过电影,作为聊天趣事带过。
- 汶川、陈文迪回忆 2024 年 WAIC 的叠衣服现场展示,说明团队较早就在做困难操作任务。
- 陈文迪提到 RH20T、AirExo 等早期数采工作。
- 杨理欣回忆,2019 年卢策吾就提出从人类动作学习灵巧手操作,推动了后来的手部重建等课题。
- 陈文迪提醒,Noematrix 对应的中文公司名就是穹彻,早期英文材料较多,外界未必熟悉对应关系。
回应“偏学术”的评价时,吕峻介绍,公司由非夕孵化团队与交大实验室结合而来,有工业落地经验,也引入了自动驾驶数据基础设施、算法量产等人才。汶川补充,工程团队、落地经验和订单也在支持研究。
关于卢策吾是否参与公司,吕峻说自己成为正式员工后,与卢老师接触更多;卢老师投入较多精力在大方向选择和资源协调。汶川提到深夜仍见到他与团队交流,陈文迪回忆早期模型评测时得到鼓励。
这些属于当事人的经历与评价。视频没有公布完整经营数据或客户项目明细。
20. Generalist:从设备和动作里观察技术线索
时间:02:40:05—02:47:43。
陈文迪说,Generalist 公开演示中的自然、灵巧动作,让团队在采集方案披露前,就推测它用了 UMI 一类方式。它也是穹彻早期模型的重要参考对象。
嘉宾重点看了几个细节:
成熟消费相机。 使用 Insta360,可能与 iPhone 类似,考虑了成像、可靠性和售后。吕峻猜测设备内部也许改动过,但明确表示没有确认。
手指操作方式。 将手指套入夹爪的设计,有助于更自然、更精细地控制,可能改变采到的动作分布。
时间同步与坐标系。 嘉宾认为必须处理。腕部小盒子、AprilTag、共享地图等,被当作分析线索;后训练设备是否不同,仍是猜测。
定位精度。 他们对原版 UMI 使用 marker 的精度有实际经验,因此追问 Generalist 怎样解决,或任务是否允许一定误差。对谈没有给出确定答案。
未公开细节请保留“推测”标签
相机内部改造、腕部设备用途、后训练专用方案,以及是否使用某类 ego 数据,都没有在这场访谈中得到直接验证。
21. Harmonic、历史与更快的动作
时间:02:47:43—02:51:53。
陈文迪先区分了两件事:Harmonic 描述的是推理系统;网络内部结构需要另看公开信息。按照他当时的理解,Generalist 使用视频和动作历史,以自回归方式预测后续动作,未加入视频预测。
他认为,保留历史是值得关注的设计。历史可能帮助估计相机间时间偏差,也可能为上下文学习提供条件。但加入历史后,模型也可能直接复制先前行为,形成 copycat 或 shortcut,因此后训练方法很重要。
其他嘉宾注意到,同类非夕机械臂在演示里运行得特别顺滑,推测推理系统有专门优化。
对于速度,陈文迪提出一种解释:较低动作预测误差可能允许更可靠地预测更长的未来动作,进而加快执行。自然快速的无本体数据,也可能有帮助。访谈没有给出足以验证该解释的测量结果。
22. 上下文学习能让机器人学到什么
时间:02:51:53—02:58:23。
主持人转述,Skild AI 的 Deepak 希望强调其长程任务能力,并认为它与 Generalist 的短程示范有所不同。汶川把视频提示可能表达的信息分成三个层次:
- 要操作哪个物体。
- 用什么动作方式或风格操作。
- 按什么顺序组合多个任务,包含规划信息。
按他们看到的演示,Generalist 更多展示较短任务、动作层面的适应;Skild 强调更长的任务组合。这是对公开演示的解读。
对于实现方式,嘉宾猜测可以使用成对任务数据,也可以检索同类示范作上下文;连续任务历史里还可能自然出现相似示范。具体训练方案并未确认。
陈文迪把意义放在任务泛化上。此前行为克隆在足够多样的数据下,可以做到物体、场景变化后的泛化。新任务的动作顺序、执行方式,却可能需要额外提示。
上下文学习提供了利用示范和历史的途径。过去担心模型照抄历史,而在合适数据和任务条件下,历史中的关联也可能成为有用信息。嘉宾没有据此宣称新任务泛化已被普遍解决。
对谈最后还提到,π0.7 的图像、语言提示与这个方向有关,现在大家进一步探索更低层的动作提示。视频模型处理连续视觉信息,可能适合继续研究这一方向。
23. 这场访谈留下的几个待验证问题
以下都是对谈中反复出现的开放问题:
- 给定模型规模和训练时间,真机、UMI、ego、自然视频怎样配比。
- 扩大数据量后,性能改善受限,主要原因在数据质量、覆盖范围还是模型结构。
- 灵巧手的触觉应该在预训练、中训练还是后训练引入,各自需要多少数据。
- 能否做出准确、轻便、稳定量产的手部采集设备,并把数据迁移到不同机械手。
- 模型如何利用历史,同时避免机械地复制旧动作。
- 怎样用示范和上下文,可靠地适应新任务与长任务。
- 怎样缩短“发现策略问题—检查数据—调整采集—重新验证”的时间。
常用术语速查
| 术语 | 本文中的含义 |
|---|---|
| 无本体数采 | 采集时不直接操纵目标机器人,由人携带设备记录操作,再用于机器人学习。 |
| UMI | 手持操作接口,使人的演示动作尽量接近机器人末端的动作形式。 |
| Ego data | 第一人称视角的数据;具体是否包含手部位姿、触觉等,取决于采集方案。 |
| VSLAM | 利用视觉信息估计设备运动并建立环境地图。 |
| VLA / VLM | 视觉—语言—动作模型 / 视觉—语言模型。 |
| WAM | World-Action Model,同时考虑世界变化与动作的模型。 |
| Policy | 根据观测和任务产生动作或决策的策略。 |
| DAgger | 在策略实际遇到的状态上,由专家提供动作指导、继续补充训练数据的一类方法。 |
| BC | 行为克隆,通过示范数据学习动作。 |
| Post-training | 后训练,用进一步训练适应任务、修正行为或增强能力。 |
| In-context learning | 利用输入中的示范、历史和提示适应当前任务。 |
| Infra | 支撑数据、训练、推理、测试和反馈的基础设施。 |
来源与整理方式
- 主要依据: 用户提供的 noematrix.mp4 视频,完整读取其连续画面字幕,并核对关键展示画面。
- 辅助核对: 用户提供的 Noe0.md 存档,用于人物、专名和背景数字。
- 原文页面: 对话穹彻智能:十万小时无本体数据与 Noe-0。
- 措辞参考: 台大写作教学中心:字句精简,仅用于减少重复修饰、冗余转折和不必要的否定句式。
PROMPT
prompt
- 存档的md文件 https://www.dropbox.com/scl/fi/hv48kz5fanvh2gedks14y/Noe0.md?rlkey=tkfr16yvz10bqhl0p5lej88p5&st=vrbcvxul&dl=0
- 主要是参考里面有哪些人物,以及可能提了一嘴大纲
- 这个文件,你直接去下载就行了,不要走插件入口
这个微信公众号里面有个播客采访视频,我帮你下载好了,在 https://www.dropbox.com/scl/fi/r2z71mrjlkwgwoko3wopi/noematrix.mp4?rlkey=yb6hemeugfp8dshugiell2m8u&st=va2v1iah&dl=0 你直接去下载就行了,不要走插件入口
帮我总结这个视频,要求如下
首先,我希望你的总结能够全面详细地阐述视频里讲解的内容,条理清晰,以及关键点最好标注一下视频时间节点在哪里。你主要是看视频本身,不要敷衍跳着看,我需要你的总结覆盖全部内容
其次,你要交付的是2个md文件,1个是总结,另一个是原文内容转录,格式要求如下
需要注意轻重缓急,有些东西没必要那么详细,甚至可以一笔带过,有一些难点则可以详细一点.不过总体还是详细一点为好
使用Obsidian的语法,如
#、##、> [!note]来增强可读性,但同时也遵守markdown规范不要乱加双链文件引用
文件开头属性需要包含
创建日期: YYYY-MM-DD # 这里写入对话当天的日期
author: gpt-6-astra
请你直接给出md文件
语言要求如下:
首先,忠于原文,你的文字不能喧宾夺主
其次,
我觉得你生成的文字ai味道太浓厚了,我读起来不舒服,你去网上看看如何按照人类一般用语正常表达,不要加莫名其妙的黑话和句式和比喻,不用公文腔、口号和生硬术语,尤其是“不是…而是…”和与之类似的话术,力求通俗易懂,简练清晰,自然朴素,标题,小标题,正文内容都需要润色
不允许使用“不是…而是…”句式;如果不需要对比的话,就不要对比;不要再任何话说完之后都提一句“不是其他的xxx”
如果没有叫你进行对比,就不允许使用“不是…而是…”“要..而不是..”等类似的句式,你根本就没有需要说“不是”的对象,不要虚空打靶。所有类似的句式都不允许使用。
交付的2个md文件,打包成1个压缩包供我下载