Progressive Self-Distillation（プログレッシブ自己蒸留）とは？

01 / UNDERSTAND

仕組みと使いどころ

CADRE-2x16x16の公開資料では、プログレッシブ自己蒸留が動画オートエンコーダーの学習に使われています。学習レシピには、フローマッチングとdiffusion forcing、L1、LPIPS、DINO潜在表現の整合性、3D Haarウェーブレット損失、プログレッシブ自己蒸留が含まれ、勾配バランシングも適用されます。また、アクション条件付き世界モデルの学習では、PSD-Uという手法が各バッチの固定された4分の1に適用されています。公開資料は、オートエンコーダーのデコーダーが1または2ステップで復号できることも示していますが、それがPSDだけによる効果であるとは説明していません。PSDとPSD-Uのアルゴリズムや両者の違いも、本文だけでは確認できません。

02 / IN PRACTICE

Progressive Self-Distillationの活用例

03 / GOOD TO KNOW

使うときのポイント

PSDが使われているという事実と、復号ステップ数を因果関係として結び付けないでください。教師信号の作成方法、段階的な処理、PSD-Uとの違いを確認する場合は、論文や公開コードによる追加確認が必要です。