01 / UNDERSTAND
仕組みと使いどころ
MoEでは、複数の「専門家」と呼ばれるサブネットワークと、各入力をどの専門家に送るかを決めるゲーティングネットワーク（ルーター）を組み合わせます。大規模言語モデルでは、Transformerのフィードフォワード層をMoE層に置き換え、トークンごとに少数の専門家を選択し、その出力を統合する構成が用いられます。全パラメータを毎回使うDense型と異なり、モデル全体の容量を増やしながら、処理時に有効化する計算量を抑えられる点が特徴です。一方、推論時にも全専門家のパラメータをメモリへ読み込む必要があり、RAMやVRAMの使用量は小さくなりません。また、特定の専門家に処理が偏る負荷不均衡、機器間の通信負荷、学習やファインチューニングの複雑さが課題になります。
02 / IN PRACTICE
Mixture of Expertsの活用例
たとえば、こんな場面で
大規模な文章生成モデルを設計する際、各トークンを少数の専門家へ振り分けるMoE層を採用し、全体のパラメータ数を増やしつつ、トークン当たりに実行する計算を限定する構成が考えられます。
03 / GOOD TO KNOW
使うときのポイント
モデルを比較するときは、総パラメータ数だけでなく、トークンごとの有効パラメータ数、必要メモリ、ルーティング方式、負荷分散や機器間通信の条件も確認します。
参考資料
What Is Mixture of Experts (MoE) and How It Works? （新しいタブで開きます）Mixture of Experts Explained （新しいタブで開きます）What is mixture of experts? | IBM （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。