中文翻译
多模态数据：通用机器人缺失的要素

作者：韩磊博士（Dr. Lei Han） 诺亦腾机器人首席科学家（Chief Scientist, Noitom Robotics）

在过去十年，机器人技术的进展令人瞩目：它们可以奔跑、平衡、抓握，甚至穿行于复杂环境之中。但它们仍然有充分的进步空间，业内普遍观点认为——大多数机器人依然是“专才”而非“通才”。它们在特定环境下表现优异，却难以适应变化的外部环境。

问题的根源在于数据。

对于机器人而言，“经验”（experience）即“先验知识”（prior knowledge），而经验的来源正是数据。更准确地说，是视觉、触觉、运动与听觉等多种模态高保真、同步融合的数据，来自真实世界的多模态数据（real-world multimodal data）。

为什么多模态数据至关重要

如果我们参照人类学习的方式会意识到一点：人类的学习从不单线进行。我们看见、听见、感受并行动——所有这些同时发生。当一个人类伸手拿杯子的时候，视觉、空间感知（proprioception）、触觉反馈与对环境的语义理解共同作用，形成了稳定的决策。

而机器人同样需要具备这种整合能力。这要求数据集能够融合多种感知维度：

视觉感知（visual perception）：RGB、深度信息、语义标签；
触觉与力数据（tactile and force data）：纹理、滑动、抓握压力；
本体感知（proprioception）：关节角度、速度、扭矩；
环境感知（environmental sensing）：温度、声学、物体动力学；
人类运动数据（human motion data）：熟练操作者的动作样本。

单一模态的学习往往无法闭环，而通过多模态数据学习则是产生能够迁移的能力（transferable skills）的基础——让机器人能将所学知识从一种任务环境扩展至另一种，甚至跨越不同形态的本体（embodiment）。

跨本体挑战（Cross-Embodiment Challenge）

当下机器人学最艰难的问题之一，是如何让一种技能从A型机器人迁移到B型机器人，在本体结构、驱动机制、传感系统均不同的情况下依然有效。也就是所谓的本体差异（embodiment gap）。

在先前任职于腾讯Robotics X 实验室的工作中，曾经尝试构建一个统一的AI控制系统——TAIROS。它能在工业机械臂与多足机器人之间共享智能，而无需从零重新训练。这一成果的关键，是在多种本体之间实现数据接口与控制接口的统一。

但要进一步突破这一瓶颈，必须具备更完善的多模态采集管线（multi-modal acquisition pipeline）：能够在多环境、多本体、人机共融的条件下，高精度、时序对齐地采集并整合感知数据流。

为什么选择诺亦腾机器人

2025年8月，我正式加入诺亦腾机器人（Noitom Robotics）担任首席科学家，专注于这一方向。诺亦腾已构建出系统化完备的多模态数据基础设施：将动作捕捉（motion capture）、触觉感知（tactile sensing）、视觉与音频流（visual and audio streams）、机器人遥测（robot telemetry）以及环境背景信息（environmental context）汇聚为统一的数据集。

关键不在于“采集”，而在于“可用”：

在毫秒级精度上实现数据流对齐（stream alignment）；
将人类动作精准映射至机器人运动学模型（human-to-robot mapping）；
融合控制日志与传感反馈（control logs + sensor feedback）；
以标准化格式供AI模型直接调用，不损失任何保真度（fidelity）。

基于这一体系，我们得以训练能像相机一样观察、像指尖一样感知、像人类一样适应的具身智能模型。

让智能理解世界本身，而非本体

我在诺亦腾机器人的目标，是打通数据采集与通用具身智能（general-purpose embodied AI）之间的闭环：

扩展多模态采集规模，覆盖上千种任务与环境；
构建可从多模态数据中学习可迁移技能的模型架构；
在多种机器人形态间复用这些技能，而非重训重构。

一个“单一智能体（single robot brain）”可无缝控制不同形态机器人的时代正在到来—— 家中的人形助手、野外的四足机器人、工厂中的机械臂，同源智能，不同身体。让智能理解世界本身，而不仅是所依附的本体。机器人领域的下一次飞跃，不仅仅来自硬件革新，更将源自丰富、融合、具备结构的多模态数据，以及能够从中学习、泛化并理解世界的人工智能。