01 / UNDERSTAND
仕組みと使いどころ
通常はFP32などで保存されるモデルの重みを、FP16、BF16、FP8、INT8、INT4などの低精度形式で扱います。これにより、モデルのメモリ使用量やメモリ帯域への負荷を抑え、対応環境では推論スループットを高められる場合があります。量子化方式ごとに、対応するモデル、CPUやGPUなどのハードウェア、保存、微調整、コンパイルへの対応が異なります。精度を保つためにキャリブレーションを必要とする方式もあり、変換後の精度や処理性能は方式と実行環境によって異なります。
02 / IN PRACTICE
Quantizationの活用例
たとえば、こんな場面で
大規模モデルを利用可能なメモリに収めるため、対応するINT8やINT4の量子化方式を検討できます。導入時は、対象モデルとハードウェアへの対応を確認し、必要に応じて元の精度との比較を行います。
03 / GOOD TO KNOW
使うときのポイント
量子化方式、ビット数、対象モデル、ハードウェア、キャリブレーションの要否、保存や微調整への対応を確認してください。方式ごとに利点と制約が異なるため、用途に合うものを選びます。
参考資料
Overview · Hugging Face （新しいタブで開きます）Quantization — PyTorch main documentation （新しいタブで開きます）Quantization — NVIDIA NeMo Framework User Guide （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。