“进取的机器人学习对象操纵的基础”

麻省理工学院的研究人员编译了一组捕捉机器人系统详细行为的数据集，该机器人系统物理推进数百个不同的对象。 数据集-同类中最大、最具多样性的数据集-研究者可以训练机器人推进动力学。 这对于许多复杂的对象操作任务很重要，例如重新定位和检查对象，以及漂亮的场景。

为了捕捉数据，研究人员设计了自动化系统，包括具有精密控制的工业机器人、3d运动跟踪系统、深度和以前流传的摄像机、缝合一切的软件。 用手臂按压模块化物体，可以调整重量、形状、质量分布。 每次推送时，系统都会捕捉这些特征如何影响机器人的推送。

一个名为omnipush的数据集包含250个对象的250次不同推送，总共约有62，500次独特推送。 例如，研究人员为了让机器人预测物体被按压时会掉落到哪里，采用了该模型。

机械工程系( meche )研究生、第一篇描绘omnipush的论文作者maria bauza说:“要使机器人能够学习，需要大量丰富的数据。 智能机器人和系统。 这里是从实际的机器人系统收集数据，同时“对象”足以捕捉丰富的推进现象。 这对理解机器人推进的工作原理，帮助其将新闻转化为其他类似的新闻很重要。 现实世界的物体。

参加bauza的论文有: ferran alet和lin yen-chen lin，计算机科学与人工智能实验室和电气工程与计算机科学系( eecs )的研究生； 工程学院杰出教育教授tomas lozano-perez； leslie p. kaelbling，松下计算机科学与工程系教授； ECS助理教授飞利浦isola； 和meche副教授alberto rodriguez。

多样性数据

为什么要集中精力推进行动？ rodriguez先生解释说，在建模中，涉及物体与表面摩擦的推进动力学对更高级的机器人任务很重要。 请考虑一下jenga的视觉和技术上给人留下深刻印象的机器人可以玩的事情。 这是rodriguez最近共同设计的。 罗德里格斯说，机器人执行着许多复杂的任务，但驱动这一任务的机制的核心仍然是推进受块间摩擦等影响的物体。

omnipush基于rodriguez、bauza和其他研究者在操作机制研究所( mcube )建立的类似数据集。 这个数据集只捕获了10个对象的推送数据。 年公布数据集后，他们收集了研究者的反馈。 一个投诉是对象缺乏多样化。 在数据集上接受过训练的机器人正在努力向新对象宣传新闻。 也没有视频。 这对计算机视觉、视频预测和其他任务非常重要。

针对他们的新数据集，研究人员利用工业机械臂准确控制了推进器(基本上是垂直钢棒)的速度和位置。 当手臂移动物体时，电影、虚拟现实和研究中采用的vicon运动跟踪系统将跟踪物体。 另外，还有rgb-d摄像头，可以添加到捕捉到深度新闻的视频中。

重要的是构建模块化对象。 铝制均匀的中央构件看起来像方形的星星，重约100克。 每个中心部分的中心和点都包含标记。 因为这个vicon系统可以在1毫米以内检测出姿势。

可以将四个小形状零件(凹形、三角形、矩形和圆形)磁性连接到中心零件的任一侧。 每块的重量在31克到94克之间，但多余的重量( 60克到150克)会落在这些块的小洞里。 拼图之类的物体都是水平和垂直对齐的。 这有助于模拟形状和质量分布相同的单个物体的摩擦力。 根据侧面的不同，重量和质量分布的所有组合增加了250个唯一的对象。

每次按下时，手臂都会自动移动到距离对象几厘米的随机位置。 然后选择随机方向，按对象一秒钟。 从停止的地方开始，选择另一个随机方向，然后重复这个过程250次。 每次推送时都会记录对象和rgb-d视频的姿势，这些姿势可以用于各种视频预测目的。 每天消耗12个小时收集数据，需要两周，共计超过150个小时。 只有手动重新配置对象时，才需要手动干预。

这些对象并没有特别模仿现实生活中的东西。 相反，其目的是捕捉现实世界对象所期望的运动学和质量不对称性的多样化，从而对现实世界对象的运动进行建模。 然后，机器人可以将质量分布不均匀的omnipush对象的物理模型外推到重量分布不均匀的任意现实世界对象上。

想象一下用四只脚移动桌子。 其中最大的重量超过了一只脚。 移动桌子，你会看到它在沉重的脚上旋转。 有必要重新调整。 了解这个质量分布及其对结果的影响推动力是机器人可以在这个小组的对象中学习。 rodriguez说。

推进新的研究

在一个实验中，用omnipush训练了模型，预测了被推物体的最终姿态，只给出了推的初始姿态和说明。 他们用150个omnipush对象训练了这个模型，并在对象的伸出部分对其进行了测试。 结果表明，用omnipush训练的模型精度是用稍微相似的数据集训练的模型的两倍。 在他们的论文中，研究者还记录了其他研究者可以用于比较的准确性标准。

因为omnipush捕捉推送的视频，所以这个潜在的应用程序是视频预测。 例如，一位合作者现在用数据集训练机器人，实质上想象着两点之间的推进物体。 在omnipush中进行训练时，会向机器人提供两个视频帧作为输入，并显示开始位置和结束位置的对象。 机器人使用开始位置预测所有未来的视频帧，以便对象到达结束位置。 然后，以与各预测视频帧一致的方式按对象，直到到达有结束位置的帧。

机器人，如果我做了这个动作，物体会在这个框架的哪里？ 然后，选择使物体位于期望位置的可能性最大化的动作。 bauza说。 首先，想象图像中的像素如何变化，以确定对象如何移动。

本文：《“进取的机器人学习对象操纵的基础”》