ZH
搜索
图片来源:Robohub

模拟训练的机器人群在真实机器人上依然有效,研究发现

布鲁塞尔自由大学人工智能实验室 IRIDIA 报告了一种方法,可将机器人群在软件中学到的行为迁移到实体机器人上。团队称,用该方法训练的机器人群在真实机器人上仍能可靠运行。相关结果发表于《Science Robotics》。

强化学习让机器通过反复尝试发现行为,通常在模拟器中进行。研究人员将这一问题称为“现实鸿沟”:摩擦、嘈杂的传感器和不完美的机械结构在模拟器与物理世界之间存在差异,因此在软件中学到的技能往往在硬件上失效。

群体机器人学走了另一条路线。其模块化设计方法用预先定义好的模块组合出行为,研究人员称,这些行为能可靠地迁移到真实机器人上,但依赖缓慢且成本高昂的搜索过程。两种方法此前很少被严格比较过。

研究人员没有让算法直接设定每个轮子的速度,而是让它逐步从几种经过验证的行为中选择,包括朝向光源、加入同伴和探索。研究人员称,这样限制机器人的行为,可以防止它们学会只存在于模拟器中的捷径。

“多年来我们一直认为,现实鸿沟本质上是过拟合问题:设计方法过于灵活,学到的是模拟器而不是任务,”

Mauro Birattari,该研究的负责人

研究人员在五项集体任务中进行了250次实体机器人实验,使用了由20台 e-puck 机器人组成的机器人群。团队称,以这种方式训练的机器人群迁移效果可靠,并且明显优于一种领先方法,后者由算法直接控制电机。这一对比方法一旦离开模拟器,表现就很吃力。

另一项发现是,受约束的简单控制策略比规模更大、适应性更强的策略更能顺利迁移到真实机器人上。这一结果与人工智能领域的一个普遍假设相悖,即更大、更灵活的模型通常表现更好。

“让我兴奋的是,这使强化学习成为群体机器人学中一种实用的工具,”

Ilyes Gharbi,该研究第一作者

Gharbi表示,下一步是在其他机器人平台上、在控制较少的环境中测试规模更大的机器人群。作者将这项工作定位为连接两个此前基本各自独立发展的研究传统。他们认为,要让自主机器人团队承担搜救或环境监测任务,两者都是必需的。

来源