01 / UNDERSTAND
仕組みと使いどころ
動画オートエンコーダーは、フレーム列からなる動画を潜在表現へ変換するエンコーダーと、潜在表現から動画を再構成するデコーダーを組み合わせたモデルである。資料中のAutoencoderKLKVAEVideoは、KL損失を用いる3次元VAEで、動画の潜在表現への符号化と動画への復号を行い、KVAEで使用される。VideoMAEは、動画の一部をマスクして再構成する自己教師あり事前学習にオートエンコーダーを応用し、動画分類に利用できる表現を学習する。圧縮率、入力フレーム数、潜在チャネル数などはモデルごとに異なり、すべての動画オートエンコーダーが同じ構成や用途を持つわけではない。
02 / IN PRACTICE
Video Autoencoderの活用例
たとえば、こんな場面で
動画生成モデルで、入力動画を潜在表現へ圧縮して後段の処理に渡し、処理後の潜在表現を動画へ復号する用途が考えられる。また、マスクした動画部分の再構成を事前学習に使い、そのモデルを動画分類向けに調整する活用も可能である。
03 / GOOD TO KNOW
使うときのポイント
採用時は、生成用の符号化・復号モデルか、VideoMAEのような事前学習モデルかを区別し、対応する入力フレーム数、時間方向の圧縮率、潜在チャネル数を公式資料で確認する。
参考資料
AutoencoderKLKVAEVideo · Hugging Face （新しいタブで開きます）VideoMAE · Hugging Face （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。