01 / UNDERSTAND
仕組みと使いどころ
TTFTは、生成AIが応答を開始するまでの待ち時間を測り、対話型サービスの体感的な応答性を確認するために使われます。測定値には、ネットワーク遅延、待ち行列、入力やプロンプトの処理、最初のトークン生成などが含まれ得ます。エージェントでは、コンテキスト取得やプロンプト構築を含むモデル呼び出し前の処理も対象になります。TTFTが示すのは応答開始までの時間であり、回答全体の完了時間や、その後の生成速度、品質、費用を単独で表すものではありません。また、測定方式によっては最初の一語ではなく、複数トークンを含む最初の応答チャンクまでを測ります。
02 / IN PRACTICE
Time to First Tokenの活用例
たとえば、こんな場面で
チャットサービスの応答性を比較する際、同じ条件で複数のリクエストを送り、TTFTの分布を確認する使い方が考えられます。回答開始後の速度も評価する場合は、後続トークン間の待ち時間など別の指標を併用します。
03 / GOOD TO KNOW
使うときのポイント
測定結果を比較する前に、開始時点、最初の応答の判定方法、ストリーミングの有無、ネットワークや待ち行列を含むかを確認してください。推論トークンを出すモデルでは、最初の非推論出力までの時間とは区別が必要です。
参考資料
AIPerf Metrics Reference | NVIDIA AIPerf Documentation （新しいタブで開きます）Definitions - Agentic AI Lens （新しいタブで開きます）What is AI Inference? （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。