テクノロジー
Generalist AI、3〜12秒のデモ1回で新タスクを覚えるGEN-1.5を公開
出典: Generalist AI Bloghttps://generalistai.com/blog/gen-1.5公開:
原文を読む
3行まとめ
13〜12秒の単一デモをコンテキストに挿入する「物理的プロンプティング」により、追加学習なしでone-shot学習を実現
210タスクでone-shot成功率59%(±10%)。5分・10ステップのfew-shotでは83%(±9%)まで向上
31分のデータ・1ステップの極端な適応でも成功率66.5%。100Hzで動画とセンサ入力から行動を出力するマルチモーダル基盤モデル
要約
Generalist AIが、映像とセンサ入力から100Hzで行動を出力するロボット基盤モデル「GEN-1.5」を発表した。特徴は3〜12秒の単一デモをモデルのコンテキストウィンドウに挿入するだけで新しい物理タスクを覚える「物理的プロンプティング」で、追加の勾配更新なしに新タスクへ対応できるとしている。デモタスクにはポーチのジッパーを開ける、瓶のふたを開ける、物を皿に払い落とすといった細かい操作が含まれる。
定量評価では、10種類の多様なタスクでone-shot(デモ1回のみ)の平均成功率は59%(標準偏差±10%)。5分・10ステップの勾配更新を伴うfew-shotでは83%(±9%)まで向上し、逆に1分・1ステップという極端に少ないデータでも66.5%を達成したという。VLAが大量の類似デモを要求しがちな中、単発デモからの汎化性能を具体的な数値で示した点が特徴で、同時期にNVIDIAが提唱するWorld Action Model路線とは異なるアプローチだが、「少ないデータで物理世界に汎化する」という目標は共通している。
出典: Generalist AI Bloghttps://generalistai.com/blog/gen-1.5公開:
原文