MITの研究者ら、ロボットの記憶内の信頼性の低い物体ラベルを検出・修正するシステムを開発
マサチューセッツ工科大学（MIT）の研究者らは、ロボットが保存している物体の説明文のうち誤りの可能性が高いものを特定して修正するメモリシステムを開発した。MIT Newsが11月5日に報じた。
システムの名称はUQ-DAAAMで、「Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment」の略称だ。研究チームは、このシステムがやがて家庭用や産業用ロボットによる複雑で多段階の作業、例えばダイニングテーブルの片付けや機械の組み立て補助などを支援できる可能性があると述べた。
問題：誤った記憶が残り続けること
UQ-DAAAMは、研究グループが以前開発したシステムDAAAMを基にしている。DAAAMは、視覚言語モデル（画像とテキストを結び付けるAIモデル）を使い、ロボットの搭載カメラが捉えた物体を説明する。その説明は、後でロボットが参照できる環境の3Dマップにキャプションとして保存される。
研究者らによると、ロボットは物体を一部しか見えない場合や、遠くから見る場合、ぼやけた画像や暗い画像で見る場合があり、その際DAAAMは誤った説明をしてしまうことがある。例として挙げられたのは、屋根の上の灰色の煙突をリスと誤認した事例だ。
「自ら修正する手段がなければ、この誤った記憶はロボットが環境内で活動を続ける間も残り続け、後続のアプリケーションに影響を及ぼしかねない、」
修正の仕組み
ロボットは移動しながら、異なる角度から同じ物体の画像を多数収集する。MITによると、UQ-DAAAMはまず、モデルがある物体について生成した単語に対する確信度を算出し、次に同じ物体について別の視点から得られたキャプションとその説明がどの程度一致しているかを確認する。
「我々はこれら2つの不確実性の源を1つの数値にまとめる。その数値は、VLMが物体についての全体的な理解にどれだけ確信を持っているかを捉えるものだ、」
その数値がしきい値を超えると、システムは単純な規則、つまりヒューリスティックを用いて追加の視点を選ぶ。研究者らは、この規則によって視覚言語モデルを再実行することなく最適なフレームを特定できることを数学的に証明したとし、計算量を大幅に削減できると述べた。その後、大規模言語モデルが選ばれたキャプションを1つの説明文にまとめるが、より新しく曖昧さの少ないキャプションにより大きな重みを与える。
報告された結果
MITによると、この改良ステップは、ロボットの環境内にある物体の約92パーセントについて曖昧さを解消し、物体ごとに必要な追加キャプションは2つだけで済むという。報告によれば、最先端技術と比べて物体の説明の精度は5パーセント向上したという。
MITによると、従来手法と比較して、このシステムはロボットがどの物体を観測したか、どこで見たか、最後にいつ遭遇したかに関する質問に対しても、より正確な回答を示したという。
「ChatGPTとは異なり、物理AIについて考えるとき、ロボットが時に誤るかもしれないという免責事項を付けるだけでは不十分だ。ロボットが自分の知らないことを知れるようにすることは、この技術を安全に展開し、社会に好影響を与えるために不可欠になるだろう、」
今後の展望
カルロネは論文の上級著者であり、チャンとニコラス・ゴルロが共同筆頭著者を務める。この研究は神経情報処理システム会議で発表される予定だ。
チームは、UQ-DAAAMをモバイルマニピュレータなど他種類のロボットの誘導に使うことや、その不確実性の手法を他の分野にも応用することを計画している。また、不確実性の高い領域をロボットが再訪するよう指示する方法や、ロボットの周囲の変化を予測するシステムにおける不確実性手法も研究している。資金の一部は米国陸軍研究所と米国海軍研究局から提供されたとMITは述べている。
出典
- ロボットのぼんやりした記憶を整理する — MIT News | Massachusetts Institute of Technology
