01 / UNDERSTAND
仕組みと使いどころ
投機的デコーディングでは、小さなドラフトモデルが複数の候補トークンを提案し、ターゲットモデルがまとめて検証します。受理長は、1回の検証ステップで生成されるトークン数で、受理されたドラフトトークンにターゲットモデルが生成する追加の1トークンを含みます。ドラフト長をDとすると、受理長の範囲は1からD＋1です。値が大きいほど1回の検証で多く進めますが、処理速度の向上を単独で保証する指標ではありません。ドラフト生成や検証にかかる時間も影響します。
02 / IN PRACTICE
Acceptance lengthの活用例
たとえば、こんな場面で
ドラフト長が5で、ある検証ステップにおいて候補のうち3トークンが受理された場合、追加の1トークンを含む受理長は4です。複数の入力やタスク領域で測定し、ドラフト方式や長さを比較する用途が考えられます。
03 / GOOD TO KNOW
使うときのポイント
受理長と、受理されたドラフトだけの割合であるドラフト受理率を混同しないことが重要です。速度を評価するときは、受理長だけでなくドラフト生成と検証の負荷も確認します。
参考資料
Co-Designing AI Models Using Speculative Decoding for Faster LLM Inference | NVIDIA Technical Blog （新しいタブで開きます）Per-Request Speculative-Decoding Acceptance | NVIDIA AIPerf Documentation （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。