「世界モデルは動画を増やしても伸びない」 ゲーム開発を検証可能な報酬源にするRLHEVをNUSらが提案

シンガポール国立大学のYang Youらのグループが、世界モデルのスケーリング則そのものに疑義を呈する論文を公開した。従来の路線はクロールした動画データを増やし計算資源を積むというものだが、著者らはこれを非効率と断じ、代わりに「接地した報酬信号を返す再帰的なデータエンジン」が要ると主張する。比較対象に置かれているのはコードエージェントで、生成物が実行可能であるためコンパイラとランタイムが強化学習の信号をそのまま返せる。一方で空間生成の評価はCLIPスコアのような近似指標に依存しており、何が正しいかを機械が判定できない。

そこで着目されたのがゲーム開発環境である。ゲームエンジンは衝突判定・物理・移動可能性・プレイ可能性を効率よく検査できるため、生成された空間が成立しているかを自動で判定できる。提案するRLHEV(Reinforcement Learning with Human-Engine Verification)は、このエンジン由来の密な信号に、開発工程で人間が採否を判断する暗黙のフィードバックを重ね、実際の開発ワークフローから得られる長期のトラジェクトリをRL事後学習に使う。今週前半のPAWBenchが映像世界モデル11系統のいずれも確率的に整合しないと報告したことと合わせると、世界モデルの評価と学習の両方で「機械が正誤を判定できる場」を確保する動きが同時に出ていることになる。