本周在Arxiv.org发表的一篇印前论文中，来自英伟达和斯坦福大学的研究人员提出了一种新方法，将经过模拟训练的人工智能模型转移到真实世界的自动机中。它使用细分作为感知和控制之间的接口，这导致其合著者将其描述为在机器人抓取等工作负载中“非常成功”。

在模型训练中，模拟器比现实世界有优势，因为它们是安全的，几乎可以无限扩展。然而，为了将模拟中学习的策略扩展到现实世界的机器(无论是自动驾驶汽车、机器人还是无人机)，必须进行调整，因为即使是最精确的模拟器也无法解决所有的干扰。

NVIDIA和斯坦福的技术有望比以前的方法更有效地弥合模拟和真实环境之间的差距，因为它将视觉和控制任务分解成可以独立训练的模型。通过使用所谓的特权信息(模拟环境和真实环境之间的语义和几何差异)，可以提高性能，并且该模型可以在其他机器人和场景中重用。

视觉模型在由真实环境中拍摄的背景图像和模拟的前景对象组成的数据上训练，然后对相机图像进行处理，并且以分割掩模的形式从环境中提取感兴趣的对象。(遮罩是指示给定像素属于哪个类别或实例的函数的乘积。分区掩码用作控制器模型的输入，控制器模型在仿真中使用仿真学习进行训练，并直接应用于实际环境。

如前所述，在涉及真实世界操纵器的实验中，研究人员最初在每次迭代中使用1000帧的语料库来训练控制器(对应于大约10次抓取尝试)，并在模拟对象的图像和真实背景上训练视觉模型。接下来，他们从机器人手臂抓取球体的模拟演示中收集了数千张图像，然后将其与背景相结合，并对形状、大小、位置、颜色、光线和相机视点进行随机化，从而获得2万张训练图像。最后，他们通过运行模拟机器人的控制器并将轨迹复制到真实环境中，从真实机器人中收集了2140幅图像，并对训练有素的人工智能模块进行了评估。

机器人被给予250步在5个固定位置抓取一个球，并在每个位置重复抓取5次，从而穿越训练控制器的空间。没有混淆，使用视觉模块的成功率可以达到88%。异物(如黄色和橙色物体)使机器人在五次实验中失败两次，但通常它可以从失败的抓取尝试中恢复过来。

抓取机器人是一个非常困难的挑战。例如，机器人试图执行所谓的“机械搜索”，即当它们必须从一堆其他物体中识别和拾取一个物体时。大多数机器人的适应能力都不是特别强，也没有足够强的AI模型来引导机械手进行机械搜索。然而，如果这篇最新论文的合著者是真的，可能会有一个更强大的系统。