Perceptron、36BのMoEロボット基盤モデル「Isaac 0.5」を公開 一般動画100万時間で教示データを210分の1に

Perceptronは、ロボット向けの基盤モデル「Isaac 0.5」を公開した。同社はMeta FAIRの研究者だったArmen AghajanyanとAkshat Shrivastavaが2024年11月に設立し、これまでは1B〜3Bの視覚言語モデルIsaac 0.1/0.2を出してきた。0.5はQwen系のVLMを土台にした36Bパラメータのスパース混合エキスパートで、動画・画像理解、空間接地と物体追跡、タスク進捗の推定、連続・離散の行動生成、リアルタイムの閉ループ制御を1つのモデルで扱う。出力はテキスト・座標・状態のいずれの形式も取れる。

学習データは35種超のロボットシステムから集めた実演10万時間に、一般動画100万時間を加えた計3兆マルチモーダルトークン。一人称視点の動画、人の手の動きを記録するUMIデータ、遠隔操作データを混ぜている。モデルカードは、一般動画100万時間で事前学習した場合に同水準へ到達するために必要な遠隔操作データが、動画をほとんど使わない場合の5,900時間から約28時間へ減ると述べる。約210分の1という数字は同社の主張で第三者検証はない。GitHubのコードはApache 2.0で、LeRobotをピン留めしたサブモジュールとして学習・推論に使い、重みはHugging Faceで配布する。同社はBessemer Venture Partners主導で2,100万ドルを調達したと報じられている。想定用途は倉庫や工場での視覚誘導ロボットと、その映像からの知見抽出。