シミュレーションで訓練したロボット群、実機でも安定して動作 研究で判明
IRIDIAは、ブリュッセル自由大学の人工知能研究所である。ソフトウェア上で学習したロボット群の動作を、実機に移す手法を報告した。チームによると、この手法で訓練したロボット群は、実機でも安定して動作し続けたという。成果はScience Roboticsに掲載された。
強化学習は、繰り返しの試行を通じて機械が動作を習得する手法で、通常はシミュレーター内で行われる。問題となるのは、研究者が「現実のギャップ」と呼ぶものだ。摩擦、ノイズの多いセンサー、不完全な機構は、シミュレーターと現実世界で異なるため、ソフトウェア上で習得した技能は実機では機能しないことが多い。
群ロボティクスは別の道筋をたどってきた。そのモジュール式の設計手法は、あらかじめ定義されたブロックから動作を組み立てる。研究者によると、この方法は実機にも確実に移せるが、探索の手続きに時間とコストがかかる。両アプローチが厳密に比較されることは、ほとんどなかった。
研究者らは、アルゴリズムに各車輪の速度を設定させる代わりに、光に向かう、仲間に加わる、探索するなど、実証済みの数種類の動作の中から一歩ずつ選ばせた。研究者らによると、ロボットの動きをこのように制限すると、シミュレーターにしか存在しない近道を学習してしまうのを防げるという。
「「長年、我々は現実のギャップの核心は過学習の問題だと主張してきた。柔軟すぎる設計手法は、課題ではなくシミュレーターを学習してしまう」」
研究者らは5つの集団任務にわたり、20台のe-puckロボットからなる群れを使って、実機での実験を250回行った。チームによると、この方法で訓練した群れは実機でも安定して機能し、アルゴリズムがモーターを直接制御する有力な手法を大きく上回った。対抗するアプローチは、シミュレーターを出た後に苦戦した。
さらに、制約のある単純な制御方針の方が、より大規模で適応性の高い方針よりも実機でうまく機能することも分かった。この結果は、より大きく柔軟なモデルほど通常は高い性能を示すという、AIの一般的な想定に反する。
「「私が興奮しているのは、これによって強化学習が群ロボティクスにとって実用的なツールになるということだ」」
ガルビ氏によると、次の段階として、より大規模な群れを他のロボットプラットフォームで、より管理の緩い環境において試験する予定だ。著者らは、これまでほぼ別々に発展してきた2つの研究分野を結びつける研究だと位置づけており、自律型ロボットチームが捜索救助や環境モニタリングに取り組むには、両方が必要だとしている。
出典
- シミュレーションで試行錯誤により訓練したロボット群、実機でも動作し続ける(Robohub)