麻省理工学院研究人员开发出用于设计和训练智能软体机器人的系统
想象一下，你想打造世界上最好的爬楼梯机器人。你需要同时优化它的大脑和身体，或许还要为机器人配备几条高科技的腿和脚，再结合一个强大的爬楼算法。
尽管物理结构和“大脑”（控制系统）都是让机器人运动的关键组成部分，但现有的基准环境只重视后者。同时优化这两个部分很困难——即使不考虑设计因素，训练不同的机器人模型完成不同任务也需要大量时间。
麻省理工学院计算机科学与人工智能实验室（CSAIL）的科学家们希望填补这一空白，他们开发了“Evolution Gym”——一个大规模测试系统，用于软体机器人的结构与控制协同优化，其灵感来源于自然界和进化过程。
模拟器中的机器人有点像俄罗斯方块中柔软可动的组件，由网格上的柔性、刚性和驱动“单元”组成，可用于行走、攀爬、操控物体、改变形状以及在密集的复杂地形中导航。为了测试机器人的能力，团队开发了自己的协同设计算法，将标准的设计优化方法与深度强化学习（RL）方法结合起来。
协同设计算法的运作方式就像一对搭档：设计优化方法负责“进化”机器人的身体，而强化学习算法则针对所提出的设计优化控制器（即连接到机器人、用于控制其运动的计算机系统）。设计优化会问：“这个设计效果有多好？”而控制优化则给出一个评分，可能类似于“行走五分”。
结果很像一场机器人的小型奥林匹克运动会。除了行走和跳跃等标准任务外，研究人员还加入了一些独特的任务，例如攀爬、翻转、保持平衡和爬楼梯。
在30多种不同环境中，机器人在行走或搬运物体等简单任务上表现出色，但在接球和爬楼梯等更复杂的情况下却力不从心，这显示了当前协同设计算法的局限性。例如，经过优化的机器人有时会表现出团队所称的“挫败感”——即在许多任务中明显的非最优行为。比如，接球机器人经常向前猛扑，去接住身后掉落的方块。
尽管机器人的设计是在没有协同设计算法先验知识的情况下从零开始自主演化的，并且逐步趋向于更接近进化的过程，但它们往往与现存的自然生物相似，其表现甚至超过了人工设计的机器人。
“在开发Evolution Gym的过程中，我们致力于拓展机器学习和人工智能算法的边界。通过打造一个注重速度和简便性的大规模基准测试，我们不仅为强化学习和协同设计领域的思想与成果交流创造了通用语言，还让研究人员能够利用先进的计算资源，为这些领域的算法发展做出贡献。我们希望，我们的工作能让我们离那样一个未来更近一步，在那里，像你或我一样聪明的机器人将成为现实。”
在某些情况下，当机器人以与人类相似的方式学习时，反复试错可以让它更深入地理解强化学习背后的任务。机器人学会了完成推动方块这样的任务，同时获取一些帮助它的信息：例如，“看见”方块的位置以及附近地形的样子。
随后，机器人会获得一个评分，反映其表现的好坏（即“奖励”）。机器人推动方块的次数越多，奖励就越高。机器人需要同时平衡探索（可能会自问：“跳起来能否增加奖励？”）和利用（进一步学习能够提高奖励的行为）。
算法为不同设计所想出的各种“单元”组合非常有效：其中一个机器人演变成了一匹跳跃的马，拥有类似腿的结构，模仿自然界中的形态。攀爬机器人发展出了两只手臂和两条类似腿的结构（类似猴子），帮助它向上攀登。抓取机器人则像一个双指夹爪。
未来研究的一个方向是所谓的“形态发育”，即机器人随着解决更复杂任务的经验积累，逐渐变得更加智能。例如，你可以先优化一个简单的行走机器人，然后保留同样的结构，将其优化为搬运物体，最后再让它爬楼梯。随着时间推移，机器人的身体和大脑会“转变”成一种能够解决更复杂任务的形态，相比从一开始就直接针对这些任务训练的机器人，它的能力更强。
“Evolution Gym体现了人工智能界日益增长的共识：身体与大脑是支撑智能行为的平等伙伴。要弄清楚是什么塑造了这种伙伴关系，还有大量工作要做。这个健身房很可能会成为研究此类问题的重要工具。”
Evolution Gym是开源的，可免费使用。这是有意为之的，因为研究人员希望他们的工作能够激发新的、更优秀的代码算法的诞生。
