Levineら『ARLI』、推論遅延のある大規模方策をRLで微調整する枠組みを提案

Sergey Levineをシニア著者とするUC Berkeley・Siemens・Microsoft・ETH Zürichの20名が、推論遅延のある汎用ロボット方策を強化学習で微調整する枠組み「ARLI（Asynchronous RL with Intermediate Information）」を発表した。大規模VLAは推論に時間がかかるため実行中に一時停止やぎこちない動きが生じ、これがRLの前提であるマルコフ性を壊して標準的な手法では改善できない、という問題設定から出発している。

ARLIは非同期推論とRL向けの方策設計を組み合わせる。すでに確約した行動と推論の途中で得た観測を状態に加えて準マルコフ構造を取り戻し、推論窓の間も反応できる低遅延の方策を用意する。シミュレーションと実機の操作タスクで、遅延なしの標準RLと同等かそれ以上の性能に達したとする。先週のGEN-1.5が100Hz出力を売りにしたように、大規模モデルの遅延は実機で使う上での現実的な壁で、それを学習側で吸収する提案といえる。