テクノロジー

NVIDIA、Jetson Thor向け4BパラメータのCosmos 3 Edgeを公開 オンデバイスでロボット制御

3行まとめ
1NemotronベースReasoner(2B)を含む4Bパラメータのomniモデル。BF16でメモリ使用量は約9GB、Jetson Thorに搭載可能
276,000件のFranka Pandaテレオペ軌跡(86タスク・350時間分)で学習した公開方策で、RoboLab120タスクのクローズドループ評価で成功率22.9%
3推論は640×540解像度・15Hzで1行動チャンクあたり約1.53秒。学習にはGB200 Grace Blackwell×4を積むノード64台を使用
要約

NVIDIA Developer Blogは、エッジ搭載ロボット向けに軽量化したCosmos 3 Edgeを発表した。フルサイズのCosmos 3が持つ物理世界の事前学習を保ちながら、2BパラメータのNemotronベースReasonerを含む4Bパラメータまで縮小し、BF16形式で約9GBのメモリに収まるようにした。狙いはロボット搭載ハードウェアという「モデルとランタイム状態がメモリに収まり、かつリアルタイム制御に十分な速度で動く」という二重の制約を同時に満たすことだとしている。

公開された方策は、Franka Pandaによるテレオペ軌跡76,000件(86タスク・350時間分)で学習されたもので、対象デバイスはNVIDIA Jetson Thor。RoboLabベンチマークの120マニピュレーションタスクによるクローズドループ評価で成功率22.9%を記録し、640×540解像度・15Hzでの推論では1行動チャンクあたり約1.53秒のレイテンシだったという。学習自体はGB200 Grace Blackwellを4基搭載するノードを64台使用しており、モデルサイズの縮小がそのまま学習コストの縮小を意味するわけではない点は留意が必要。同日近くに公開された「Beyond VLAs」記事とセットで読むと、NVIDIAがCosmosファミリーをフルサイズ・エッジ・ポリシー派生の3層で展開しようとしている構図が見える。

出典: NVIDIA Developer Bloghttps://developer.nvidia.com/blog/post-train-nvidia-cosmos-3-edge-for-on-device-robot-control/公開:
原文