Dense Model（稠密モデル）とは？

01 / UNDERSTAND

仕組みと使いどころ

Dense Modelは、入力に応じて一部の専門ネットワークだけを選ぶMixture of Experts（MoE）との対比で使われます。稠密モデルでは、すべての入力についてネットワーク全体を実行します。パラメータ数を増やすとモデルの容量を拡大できる一方、学習や実行に必要な計算資源も増えます。MoEでは、ルーターが入力ごとに使用するエキスパートを選び、一部のパラメータだけを有効にすることで計算量を抑えます。ただし、MoEでも全パラメータをメモリへ読み込む必要がある場合があります。稠密モデルかMoEかという区分だけで、品質や用途への適合性を判断することはできません。

02 / IN PRACTICE

Dense Modelの活用例

03 / GOOD TO KNOW

使うときのポイント

総パラメータ数だけで負荷を判断せず、稠密モデルかMoEか、推論時に使われるパラメータ数、必要なRAMやVRAMを確認してください。MoEでは一部だけを計算しても、モデル全体の読み込みが必要な場合があります。