01 / UNDERSTAND
仕組みと使いどころ
疎な専門家混合モデルとの対比で使われる。専門家混合では一部のフィードフォワード層を複数の専門家に置き換え、各トークンに対して少数だけを選択するが、密な構成では入力を全体の層とパラメータで処理する。構造が直接的である一方、規模を拡大すると学習費用、推論遅延、必要メモリが増えるという限界がある。
02 / IN PRACTICE
Dense Transformerの活用例
たとえば、こんな場面で
専門家混合モデルの計算効率を調べる際、同規模の比較対象として採用する。
03 / GOOD TO KNOW
使うときのポイント
総パラメータ数だけでなく、各入力で実際に使われるパラメータ量も比較する。
参考資料
Mixture of Experts (MoEs) in Transformers （新しいタブで開きます）Mixture of Experts Explained （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。