AI LAB / KEYWORD DICTIONARY

動画生成

Causal Diffusion Decoder(因果的拡散デコーダー)とは?

CADREの動画オートエンコーダーで、潜在表現から動画を時間方向に因果的に復元する拡散デコーダーです。

仕組みと使いどころ

CADREの因果的拡散デコーダーは、凍結されたDINOv3特徴と学習済みボトルネックから得た潜在表現を動画へ復号します。CADRE-2x16x16では、幅1024の時空間Transformerを24ブロック使用し、最後の4ブロックは元のフレームレートで処理します。復号はフローマッチングによって行われ、論文の設定では1回または2回のステップで実行されます。これは、行動を条件として次の潜在フレームを予測する、幅2048・16ブロックの1.2Bパラメータ因果的拡散Transformer型ワールドモデルとは別の構成要素です。

Causal Diffusion Decoderの活用例

たとえば、こんな場面で

CADREを使う対話型ワールドモデルでは、ワールドモデルが予測した潜在表現を、このデコーダーによって時間順の動画へ戻します。

使うときのポイント

モデル構成を確認するときは、潜在フレームを予測するワールドモデルと、潜在表現を動画へ戻すオートエンコーダーのデコーダーを区別してください。復号ステップ数や圧縮設定も併せて確認します。

参考資料

Rethinking Video Autoencoders for Interactive World Models (新しいタブで開きます)GitHub - kyutai-labs/cadre-autoencoders-and-world-models: CADRE: causal video autoencoders and real-time interactive world models. Code for "Rethinking Video Autoencoders for Interactive World Models" (新しいタブで開きます)kyutai/cadre-world-models-2x16x16 · Hugging Face (新しいタブで開きます)

用語の説明や活用例に関連する参考資料です。

READ & LEARN

用語を知ったら、活用を知る。

AI LABで、AIの動向や業務に取り入れるヒントを読む。

記事一覧を見る