01 / UNDERSTAND
仕組みと使いどころ
専門家混合型のモデルでは、すべてのパラメータを毎回使うとは限らず、入力に応じて一部だけを有効化する。資料のモデルでは、総数とトークンごとの有効数が別々に示されている。有効数は一回の計算規模を捉える手掛かりになるが、それだけで必要メモリー、応答時間、同時処理能力を確定できるわけではない。
02 / IN PRACTICE
Active parametersの活用例
たとえば、こんな場面で
専門家混合型モデルを比較するとき、総数と各トークンで有効になる数を分けて見る。
03 / GOOD TO KNOW
使うときのポイント
総数や有効数に加え、必要メモリー、応答時間、同時利用時の処理能力も確認する。
参考資料
GitHub - deepseek-ai/DeepSeek-V3 （新しいタブで開きます）Kimi Linear: An Expressive, Efficient Attention Architecture （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。