テクノロジー

Lightwheel、一人称の人間作業データ「EgoSuite-Open100K」を公開 10万時間計画のうちまず1万時間、商用学習も許可

3行まとめ
1
計画総量10万時間のうち1万時間分を先行公開。1.5万超のタスク(18分類)、1.5万超の実環境シーン(128種・家庭/小売/オフィスなど7環境)を一人称視点で収録
2
一部サブセットに手の姿勢・身体姿勢・行動区間の意味注釈を付与。学術研究に加えて商用モデルの学習利用も許可するライセンス
3
用途はVLAの事前学習、世界モデル、人からロボットへの行動転移など。この規模の一人称データはこれまで大半が非公開だった
要約

Lightwheelは8月26日、一人称視点の人間作業データセット「EgoSuite-Open100K」をHugging Face上で公開した。計画総量は10万時間で、まず1万時間分から提供する。1.5万を超えるタスク(18分類)と1.5万超の実環境シーン(128のシーン種別、家庭・小売・オフィスなど7つの環境カテゴリ)を頭部視点の映像で収録し、一部のサブセットには手の姿勢・身体姿勢・行動区間の意味注釈が付く。ライセンスは学術研究に加えて商用モデルの学習利用まで許可する。

想定用途はVLAの事前学習、世界モデルの構築、人からロボットへの行動転移、手と物体の相互作用のモデリングなど。今週はRiemann-1.0が一人称動画20万時間超での事前学習を掲げ、PerceptronのIsaac 0.5が一般動画100万時間で遠隔操作データを210分の1に減らすと主張するなど、人間の映像データの規模が競われているが、その大半は各社の非公開データだった。Figure Indexのようなクラウドソース収集、J-HRTIのような共同データ工場に続き、「公開データセット」という第三の形がこの規模で加わったことになる。

出典: Hugging Face Blog(Lightwheel)https://huggingface.co/blog/LightwheelAI/egosuite-open100k公開:
原文