CMU『R³』、VLMに自然言語で推論させてから行動させる後訓練法 推論の中間学習とRLで模倣ベースラインを上回る

カーネギーメロン大学のAviral Kumarらは、視覚言語モデルに自然言語で推論させ、その推論でロボットの操作方策を誘導する後訓練法「R³」を発表した。既製のVLMをロボット用の推論器に変える手順は2段階で、まず専門家の推論トレースを用いた中間学習で「行動の前に考える」形式を教え、次にオフラインデータを使った単一ステップのルーブリック型強化学習（Dr.GRPO）で推論を磨く。報酬はLanguage Tableでは意味的一致、食料品詰めでは文字列の完全一致で与える。

評価はLanguage Tableの長期ブロック配置14タスク（関係の転移と構成的汎化を測る）と、7自由度xArm-7を2本使うシミュレーションの食料品詰め。未見の分布外タスクで指示のみの模倣学習を一貫して上回り、食料品詰めの未見12タスクでは47.9%対38.0%だった。分析では、推論を学習時の教師としてだけ使うよりも、推論時に実際に言語で考えさせるほうが汎化が伸びることを示している。「言語推論をテスト時計算として方策の誘導に使う」という主張は、LLM側の推論スケーリングをロボットに持ち込む試みと読める。42ページの論文で、コードは公開予定。