01 / UNDERSTAND
仕組みと使いどころ
CADREは、RGB動画を潜在表現へ変換し、その潜在表現から動画を復元する動画オートエンコーダー群です。公開モデルの一つであるCADRE-4x24x24は、4フレームおよび24×24画素ごとに一つの潜在位置へ圧縮します。デコーダーはフローマッチングにより、時間方向に因果的に動画を復元します。入力は20fpsのRGB動画で、フレーム数は4の倍数である必要があります。前処理では動画を16:9にパディングし、学習解像度の288×512画素へ変更します。この構成では、凍結されたDINOv3 ViT-B/16エンコーダー、学習対象のストライド畳み込み、時空間Transformerデコーダーなどが使われています。
02 / IN PRACTICE
CADREの活用例
たとえば、こんな場面で
公開例では、20fps、288×512画素、16フレームの動画をCADRE-4x24x24で潜在表現へ変換し、その潜在表現を1ステップで16フレームの動画へ復元しています。
03 / GOOD TO KNOW
使うときのポイント
モデルごとに時間・空間の圧縮率や入力条件が異なるため、使用するチェックポイントの仕様を確認してください。公開重みはCC BY-NC 4.0で非商用利用に限定され、含まれるDINOv3の重みにはDINOv3 Licenseも適用されます。
参考資料
kyutai/cadre-4x24x24 · Hugging Face （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。