01 / UNDERSTAND
仕組みと使いどころ
CADREの因果的拡散デコーダーは、凍結されたDINOv3特徴と学習済みボトルネックから得た潜在表現を動画へ復号します。CADRE-2x16x16では、幅1024の時空間Transformerを24ブロック使用し、最後の4ブロックは元のフレームレートで処理します。復号はフローマッチングによって行われ、論文の設定では1回または2回のステップで実行されます。これは、行動を条件として次の潜在フレームを予測する、幅2048・16ブロックの1.2Bパラメータ因果的拡散Transformer型ワールドモデルとは別の構成要素です。
02 / IN PRACTICE
Causal Diffusion Decoderの活用例
たとえば、こんな場面で
CADREを使う対話型ワールドモデルでは、ワールドモデルが予測した潜在表現を、このデコーダーによって時間順の動画へ戻します。
03 / GOOD TO KNOW
使うときのポイント
モデル構成を確認するときは、潜在フレームを予測するワールドモデルと、潜在表現を動画へ戻すオートエンコーダーのデコーダーを区別してください。復号ステップ数や圧縮設定も併せて確認します。
参考資料
Rethinking Video Autoencoders for Interactive World Models (新しいタブで開きます)GitHub - kyutai-labs/cadre-autoencoders-and-world-models: CADRE: causal video autoencoders and real-time interactive world models. Code for "Rethinking Video Autoencoders for Interactive World Models" (新しいタブで開きます)kyutai/cadre-world-models-2x16x16 · Hugging Face (新しいタブで開きます)用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。
