論文『WorldEcho / WorldSync』、ロボット世界モデルが「行動に従っていない」ことを診断し補正

北京大学の張尚航らのグループが、ロボット向け行動条件付き世界モデルの「行動追従性」を検査する診断ツール「WorldEcho」と、その欠陥を補正する学習枠組み「WorldSync」を発表した。WorldEchoは多様な行動分布のもとで生成された未来を視覚的整合性とSE(3)軌道の一致度で採点する。その結果、既存モデルは専門家のデモ行動はそれなりに再現できる一方、専門家から外れた軌道では指令を無視するか、物理的にあり得ない映像を出すことが分かった。

論文は、世界モデルを方策学習に使う際に「生成した未来が任意の妥当な行動を正しく反映する」という前提が検証されていなかったと指摘する。WorldSyncは学習データの行動分布を広げること、Action-Forcing Expertで映像表現をロボット力学に接地すること、行動介入後の予測変化を真の未来と整合させることの3点で対処し、RoboTwinベンチマークと実機タスクで指標が改善、反復的な方策改善に使ったときの成功率も上がったとする。世界モデルを「見た目がもっともらしい」ではなく「制御に使えるか」で測る流れの一つ。