01 / UNDERSTAND
仕組みと使いどころ
NVIDIAのGR00T-Dreamsでは、逆動力学モデル（IDM）を、2D動画をロボット学習用データへ変換する工程に使用します。モデルは「動作前」と「動作後」の2枚の画像フレームを入力として受け取り、その間に生じた一連の動作を予測します。これにより、画素情報だけの動画から3Dの行動軌道を生成し、動画と3D行動データを組み合わせた「ニューラル軌道」を作成できます。ただし、資料では推定精度、対応できる動作の範囲、適用条件は示されておらず、予測結果が常に正しいとは確認できません。
02 / IN PRACTICE
Inverse Dynamics Modelの活用例
たとえば、こんな場面で
ロボットが物を動かす合成動画に適用し、動作前後のフレームから、その間の操作を3D行動軌道として推定する用途が考えられます。得られたニューラル軌道は、視覚運動方策の学習データとして利用できます。
03 / GOOD TO KNOW
使うときのポイント
利用時は、出力が映像から予測された行動である点を踏まえ、対象動作への対応範囲や推定品質を個別に確認してください。資料だけでは精度や汎用性を判断できません。
参考資料
Enhance Robot Learning with Synthetic Trajectory Data Generated by World Foundation Models | NVIDIA Technical Blog （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。