最近，科研人员让机器狗从人工智能生成的图像和视频中学会了追球和翻越障碍的技能。这可能是更快更准确地训练机器人的一条捷径。相关研究成果公布于arXiv。

  ?

  ?

四条腿的机器狗通过在模拟现实世界障碍的虚拟平台上练习，学会了表演新技巧     图源：MiT

  ?

麻省理工学院的研究小组开发了一款训练平台“LucidSim”，该平台采用了一种遵循真实世界物理原理的流行计算机模拟软件，并插入了一个生成式人工智能模型，以生成石子路等人工环境。

他们还利用OpenAI的ChatGPT生成了数千条文字描述，这些文字描述被输入到人工智能图像生成器中，从而生成了各种图像。这些图像还包括不同的天气和光照条件，例如阳光透过低垂的雾气照在昏暗的地方。

研究小组能生成1000万张逼真、在物理上也正确的图像。接下来，他们将人工智能生成的图像转换成短视频，为机器人提供虚拟训练体验，例如在不同台阶上放置锥形筒的短楼梯。

他们的训练程序分析了每个场景的三维几何图形，并计算了机器狗在虚拟世界中移动时的视角变化，包括移动场景中的每个图像细节，以营造运动感。

然后，研究小组训练机器人首先按照人类专家老师的示范，掌握每种技能的最佳动作，然后再让它在人工智能构建的环境中接受额外的训练。

尽管在训练过程中机器人始终无法“看到”真实世界，但在经过人工智能强化训练后，机器人在88%的时间内都能成功地追逐真实世界中的球并翻越物体。而当机器人完全依赖人类老师的训练时，成功率只有15%。

这种训练捷径最终可以消除基于人类指导的艰苦学习，同时还能提高准确性。

相关论文信息：https://doi.org/10.48550/arXiv.2411.00083