在过去的几十年里，计算机科学家开发了越来越先进的技术来训练和操作机器人。总的来说，这些方法可以在越来越广泛的现实世界环境中促进机器人系统的集成。
卡内基梅隆大学(Carnegie Mellon University)的研究人员最近发明了一种新系统，用户只需在摄像机前演示他们希望机器人复制的动作，就可以远程控制机器人的手和手臂。该系统是在预印本服务器上发表的一篇论文中介绍的，它可能为机器人在日常环境和人类无法到达的环境中完成任务的远程操作和远程训练带来更多的可能性。
开发这一新系统的研究人员之一迪帕克·帕塔克（Deepak Pathak）说：“这一领域之前的工作要么依赖手套、运动标记器，要么依赖校准的多摄像机设置。”“相反，我们的系统使用一个未校准的摄像机。由于不需要校准，用户站在任何地方都可以成功地远程操作机器人。”
帕塔克和他的同事开发的新系统是基于一个模型，该模型可以将人手的动作转换成一系列指令，进而指导机器人的动作。这个模型是在一系列YouTube视频上训练的，在这些视频中，人类会做出动作，并与不同的物体进行互动。
“巨大的被动视频数据的多样性有助于它在未经训练的用户、任务和对象之间工作。”帕塔克解释说，“我们的系统提供了一种低成本和自然的方式，通过演示来教授机器人，而不是戴上手套或动作捕捉套装来操作机器人。”
通过分析单一的二维(2D)图像，研究人员的系统可以推导出人的手和手臂在三维(3D)空间中的动作。随后，它重新瞄准人类的手关节，以匹配机器人的手关节，以重现相同的动作。
“由于人类和机器人的手在形状、大小和结构上有所不同，这种转换受到一些限制，特别是在单一图像的情况下。”参与该项目的两名成员介绍说：“虽然成对的人类–机器人对应数据的收集成本很高，但互联网包含了大量的丰富多样的人类手部视频素材“。
为了完全使用被动视频数据来训练他们的系统，研究人员的研究建立在几十年来专注于3D人类姿势估计和计算机视觉的成果之上。初步结果看起来非常有希望，因为他们发现这个系统可以让未经训练的用户远程操作机器人并完成不同的灵巧任务。
“就我个人而言，对我来说最激动人心的部分是将各种互联网数据用于机器人技术。”帕塔克说，“希望我们最近的工作只是未来许多方向中的一个，在这些方向中，除了机器人视觉之外，互联网视频还可以作为机器人控制训练的丰富资源。”
要使用这个系统，用户只需站在一台RGB相机前，执行他们希望机器人复制的手部或手臂动作。由于它非常容易使用，不需要复杂的设备，该系统最终可以用来解决许多现实世界的问题。
“机器人遥控和类似技术将使机器人训练能够在更广泛的环境中进行，包括在家庭中执行日常任务时。”帕塔克补充说，“仅使用一个未经校准的摄像头，我们的系统理论上就可以从世界任何地方进行控制，从而使机器人训练更容易为任何人所用…我们现在正在使用机器人遥控系统收集大规模的数据，以教会机器人在现实世界中自主行动和适应。”
（独家编译：科幻世界）
本文来自： techxplore
本文网址：
