Tencent、World Action ModelをゲームとGUI操作に持ち込んだ「GameWAM」 映像とキーボード・マウス操作を同時生成

Tencentの研究チームが、World Action ModelをビデオゲームのプレイとデスクトップGUI操作に適用したGameWAMを公開した。既存のゲームエージェントは視覚と課題文脈から行動へ直接写像するだけで世界の力学を明示的に持たず、逆にインタラクティブなゲーム世界モデルは与えられた行動から未来映像を予測するだけで方策にはならない。WAMはこの2つの目的を1つのモデルに統合する枠組みだが、ゲームのように力学が多様で相互作用が開放的な領域ではほとんど検証されてこなかった、というのが出発点である。

実装は、未来の視覚観測と実行可能な操作列をブロック因果条件付けとflow matchingで並行に生成する構成。キーボード操作とマウス操作という性質の異なる制御を扱うため、各ステップでゲームプレイとGUIのどちらのモードかを予測する仕組みを持つ。長期の操作にはblock-cycle制御を採り、コミットした地平の先まで予測しておきながら実際には短い行動接頭辞だけを実行して新しい観測から再計画する。ロボット側で今週続いたRiemann-1.0やCLAPと同じ「1モデルで方策と模擬を兼ねる」構図が、身体を持たない領域にも同じ語彙のまま展開されている。