01 / UNDERSTAND
仕組みと使いどころ
ドラフターは、通常の自己回帰生成でターゲットモデルが1トークンずつ処理する代わりに、複数の候補トークンを素早く下書きします。ターゲットモデルは候補をまとめて検証し、受理できる連続部分を採用します。不一致のトークンとそれ以降の候補は破棄されるため、ドラフター単独で最終出力を決めるものではありません。候補が多く受理されれば逐次処理の回数を減らせますが、受理率が低い場合は高速化が小さくなります。また、EAGLEや複数トークン予測のように、独立した小型モデルを使わず軽量な予測ヘッドで候補を作る方式もあります。
02 / IN PRACTICE
Drafter modelの活用例
たとえば、こんな場面で
対話型LLMの応答生成で、ドラフターに数個の後続トークンを提案させ、ターゲットモデルが一括検証する構成が考えられます。候補が連続して受理されれば、応答生成に必要な逐次ステップを減らせます。
03 / GOOD TO KNOW
使うときのポイント
導入時は、ドラフターの候補数だけでなく、ターゲットモデルによる検証方法と候補の受理率を確認します。ドラフターを追加すれば常に高速になるとは限らず、候補生成と検証の負荷も考慮が必要です。
参考資料
An Introduction to Speculative Decoding for Reducing Latency in AI Inference | NVIDIA Technical Blog （新しいタブで開きます）Speculative Decoding: Exploiting Speculative Execution for Accelerating Seq2seq Generation （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。