01 / UNDERSTAND
仕組みと使いどころ
符号に加え、指数4ビット・仮数3ビットの形式と、指数5ビット・仮数2ビットの形式がある。前者は精度を多く確保し、後者は精度と引き換えに広い値域を扱う。16ビット形式より表現精度と値域が限られるため、テンソルの値を範囲内へ収めるスケーリングが用いられる。学習と推論の高速化に利用できるが、量子化処理自体の読み出し負荷や対応機器の制約がある。
02 / IN PRACTICE
FP8の活用例
たとえば、こんな場面で
順方向では精度寄りの形式、逆方向では値域寄りの形式を使う混合設定で、低精度学習を試すことができる。
03 / GOOD TO KNOW
使うときのポイント
利用機器の対応状況に加え、二つの形式の使い分け、スケーリング方法、精度への影響を確認する。
参考資料
FP8 Formats for Deep Learning （新しいタブで開きます）FP8 Current Scaling — Transformer Engine 2.14.0 documentation （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。