用7500条轨迹数据训练，CMU、Meta让机器人达到全能的厅堂与厨房水平

仅仅通过使用7500条轨迹数据进行训练，这个机器人可以展示出12种不同的操作技能，在38个任务中，不仅仅限于拾取和推动，还包括关节对象操纵和物体重新定位。而且，这些技能还可以应用于数百个不同的未知情境，包括未知物体、未知任务，甚至完全未知的厨房环境。这样的机器人真的很酷吧！

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

数十年来，创造一个能够在不同环境中操纵任意物体的机器人一直是一个遥不可及的目标。其中一个原因是缺乏多样化的机器人数据集，无法训练这样的智能体，同时也缺乏能够生成此类数据集的通用智能体

为了克服这个难题，来自卡内基梅隆大学和Meta AI的作者花费了两年时间开发了一个通用的RoboAgent。他们的主要目标是开发一种高效的范例，可以在数据有限的情况下训练一个能够具备多种技能的通用智能体，并将这些技能推广应用于各种未知情境

RoboAgent 由以下模块化构成 ：

• RoboPen - 一个采用通用硬件构建的分布式机器人基础设施，能够长期不间断运行；
• RoboHive - 一个统一的框架，用于在模拟和真实世界操作中进行机器人学习；
• RoboSet - 一个高质量的数据集，代表了各种场景中使用日常物品的多种技能；
• MT-ACT - 一种高效的语言条件多任务离线模仿学习框架，通过在现有机器人经验的基础上创建多样的语义增强集合，从而扩大了离线数据集，并采用了一种新颖的策略架构和高效的动作表示方法，在有限的数据预算下恢复出性能良好的策略。

RoboSet：多技能、多任务、多模态数据集

构建一个能够在许多不同情境下推广的机器人智能体，首先需要一个具有广泛覆盖范围的数据集。鉴于扩大规模的努力通常会有所帮助（例如，RT-1 展示了约 130,000 条机器人轨迹的结果），因此需要在数据集有限的情况下理解学习系统的效率和泛化原则，低数据情境往往会导致过拟合。因此，作者的主要目标是开发一种强大的范例，可以在低数据情境下学习可推广的通用策略，同时避免过拟合问题。

机器人学习中的技能与数据全景是一个重要的领域。在机器人学习中，技能是指机器人通过学习和训练获得的能力，可以用于执行特定的任务。这些技能的发展离不开大量的数据支持。数据是机器人学习的基础，通过分析和处理数据，机器人可以从中学习并改进自己的技能。因此，技能和数据是机器人学习中不可或缺的两个方面。只有通过不断学习和获取新的数据，机器人才能不断提升自己的技能水平，并在各种任务中展现出更高的智能和效率

用于训练 RoboAgent 的数据集 RoboSet（MT-ACT）仅包括 7,500 条轨迹（比 RT-1 的数据少 18 倍）。该数据集提前收集并保持冻结状态。该数据集由在多个任务和场景中使用商品机器人硬件（Franka-Emika 机器人配备 Robotiq 夹具）进行人类遥操作收集的高质量轨迹组成。RoboSet（MT-ACT）在几个不同的情境下稀疏地涵盖了 12 种独特技能。数据通过将日常厨房活动（如泡茶、烘焙）分为不同的子任务来收集，每个子任务代表一个独特的技能。数据集包括常见的拾取 - 放置技能，还包括接触丰富的技能，如擦拭、盖盖子，以及涉及关节物体的技能。 重写后的内容： 用于训练 RoboAgent 的数据集 RoboSet（MT-ACT）仅包括 7,500 条轨迹（比 RT-1 的数据少 18 倍）。该数据集提前收集并保持冻结状态。该数据集由在多个任务和场景中使用商品机器人硬件（Franka-Emika 机器人配备 Robotiq 夹具）进行人类遥操作收集的高质量轨迹组成。RoboSet（MT-ACT）在几个不同的情境下稀疏地涵盖了 12 种独特技能。数据通过将日常厨房活动（如泡茶、烘焙）分为不同的子任务来收集，每个子任务代表一个独特的技能。数据集包括常见的拾取 - 放置技能，还包括接触丰富的技能，如擦拭、盖盖子，以及涉及关节物体的技能

MT-ACT：多任务动作分块 Transformer

RoboAgent基于两个关键洞察在低数据情境下学习通用策略。它利用基础模型的世界先验知识以避免模式崩溃，并采用了一种新颖的高效策略表示，能够摄取高度多模态的数据

需要进行改写的内容是：1、语义增强：RoboAgent通过对RoboSet（MT-ACT）进行语义增强，将来自现有基础模型的世界先验知识注入其中。由此产生的数据集将机器人的经验与世界先验知识相结合，而无需额外的人力/机器人成本。使用SAM对目标物体进行分割，并在形状、颜色、纹理变化方面对其进行语义增强。 改写后的内容：1、语义增强：RoboAgent通过对RoboSet（MT-ACT）进行语义增强，将来自现有基础模型的世界先验知识注入其中。这样，机器人的经验和世界先验知识就能结合起来，而不需要额外的人力/机器人成本。使用SAM对目标物体进行分割，并在形状、颜色、纹理变化方面进行语义增强

2、高效策略表示：由此产生的数据集是严重多模态的，包含丰富多样的技能、任务和情景。我们将动作分块方法应用于多任务设置，开发了一种新颖的高效策略表示——MT-ACT，能够在数据量较少的情况下获取高度多模态的数据集，同时避免过拟合问题

实验结果

RoboAgent的样本效率比现有方法更高

下图比较了作者提出的MT-ACT策略表示与几种模仿学习架构。作者仅使用了包括物体姿态变化和部分光照变化的环境变化。与之前的研究相似，作者将此归于L1泛化。从RoboAgent的结果可以清楚地看到，使用动作分块来建模子轨迹明显优于所有基准方法，从而更证明了作者提出的策略表示在样本效率学习方面的有效性

RoboAgent 在多个抽象层面上表现出色

在下图中展示了作者对不同泛化层次上测试方法的结果。同时，还通过可视化展示了泛化级别，其中L1代表物体姿态变化，L2代表多样的桌面背景和干扰因素，L3代表新颖的技能-物体组合。接下来，作者展示了每种方法在这些泛化层次上的表现。在严格的评估研究中，MT-ACT在比其他方法中表现显著优异，特别是在更困难的泛化层次（L3）上

RoboAgent 具有高度的可扩展性

作者对RoboAgent在不断增加的语义增强级别下的表现进行了评估，并在一个包含5个技能的活动中进行了评估。从下图可以看出，随着数据的增加（即每帧增强的数量增加），在所有泛化级别上的性能都有显著提升。尤其值得注意的是，在更难的任务（L3泛化）中，性能提升更为明显

RoboAgent 能够展示其技能在各种不同的活动中