01 / UNDERSTAND
仕組みと使いどころ
ARRは、インタラクティブな世界モデルの生成映像が、入力された操作をどの程度反映しているかを測る指標です。評価では、実映像で学習した固定済みの逆動力学モデルに映像フレームを入力し、映像を生じさせた操作を推定します。その復元可能性を実映像での結果と比較するため、ARRが1なら実映像と同等です。ロボット操作、運転、屋内移動、人の手作業など、環境ごとに別の推定モデルと操作表現が使われます。映像の鮮明さや長時間生成の安定性を直接評価する指標ではなく、推定モデルが映像から読み取れる操作情報を評価するものです。
02 / IN PRACTICE
ARRの活用例
たとえば、こんな場面で
複数の世界モデルが同じ運転データと操作条件で生成した映像を比較し、速度や曲率の指示が映像からどの程度復元できるかをARRで確認する、といった利用が考えられます。
03 / GOOD TO KNOW
使うときのポイント
ARRを見る際は、対象環境、操作の定義、使用した逆動力学モデル、入力映像の条件を確認してください。画質評価にはFID、FVD、PSNR、LPIPSなど別の指標も併せて検討します。
参考資料
Rethinking Video Autoencoders for Interactive World Models (新しいタブで開きます)kyutai/cadre-action-probes · Hugging Face (新しいタブで開きます)GitHub - kyutai-labs/cadre-autoencoders-and-world-models: CADRE: causal video autoencoders and real-time interactive world models. Code for "Rethinking Video Autoencoders for Interactive World Models" (新しいタブで開きます)用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。
