01 / UNDERSTAND
仕組みと使いどころ
DiTは、潜在拡散モデルの中核となるネットワークをTransformerで構成する手法です。元論文では、画像の潜在表現をパッチに分けて処理し、モデルの深さ・幅や入力トークン数を増やした場合の拡張性を調べています。実験範囲では、順伝播の計算量が大きいDiTほどFIDが低下しました。公式実装では、ImageNetで学習したクラス条件付きモデルによる画像生成や、独自モデルの学習が可能です。ただし、報告された品質や拡張傾向は特定のデータセット、解像度、モデル、評価条件に基づくもので、他の用途でも同じ結果になるとは限りません。
02 / IN PRACTICE
Diffusion Transformerの活用例
たとえば、こんな場面で
活用例として、潜在拡散型の画像生成モデルを設計する際に、U-Netに代えてDiTを採用し、クラス情報を条件として画像を生成する構成が考えられます。公式実装の学習・サンプリングコードを検証の出発点にもできます。
03 / GOOD TO KNOW
使うときのポイント
DiTという名称だけで性能を判断せず、モデル規模、入力トークン数、画像解像度、条件付け、計算量、学習データ、サンプリング設定を確認してください。論文の評価値は、その評価条件と併せて扱う必要があります。
参考資料
Scalable Diffusion Models with Transformers （新しいタブで開きます）GitHub - facebookresearch/DiT: Official PyTorch Implementation of "Scalable Diffusion Models with Transformers" （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。