01 / UNDERSTAND
仕組みと使いどころ
離散マスク拡散では、トークンなどの離散的な要素をマスクしたデータから、隠された要素を復元するようモデルを学習させます。学習目的は、マスク言語モデルの損失を組み合わせた形や、重み付き交差エントロピーの積分として表せます。自己回帰モデルの代替となる離散データの生成手法として研究され、サンプリングによる文章生成にも利用できます。一方、性能は学習方法、モデル規模、データ、評価課題に左右され、自己回帰方式より常に優れるとは限りません。NeoMMEでは、画像を含む例で見えている画像パッチを条件とし、テキストの事前学習に使用されています。
02 / IN PRACTICE
Discrete Masked Diffusionの活用例
たとえば、こんな場面で
多言語の文書と画像を扱うエンコーダーで、文章の一部をマスクし、残りの文章や見えている画像パッチから復元する事前学習に利用することが考えられます。また、離散的なトークン列を扱う文章生成モデルへの応用も提案されています。
03 / GOOD TO KNOW
使うときのポイント
採用時は、エンコーダーの表現学習と生成のどちらが目的かを区別し、マスク方法、復元・サンプリング手順、対象データ、同条件での評価結果を確認してください。
参考資料
NeoMME: A Single-Tower Multimodal-Native Multilingual Foundation Encoder for Efficient Fine-Tuning and Inference （新しいタブで開きます）Simple and Effective Masked Diffusion Language Models （新しいタブで開きます）Simplified and Generalized Masked Diffusion for Discrete Data （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
