Prompt Cache（プロンプトキャッシュ）とは？

01 / UNDERSTAND

仕組みと使いどころ

モデルが入力を処理して作るKV状態を、変更されていないプロンプトの先頭部分に対して保存・再利用する。再利用時も追加された入力と新しい出力の生成処理は必要だが、共通部分の計算量、応答開始までの時間、対象入力の料金を抑えられる。先頭部分や関連設定の変更、期限切れ、配置先の違いなどにより、キャッシュ利用は保証されない。

02 / IN PRACTICE

Prompt Cacheの活用例

03 / GOOD TO KNOW

使うときのポイント

共通部分を先頭にまとめ、モデル、ツール定義、出力形式など、照合対象となる設定の変更有無を確認する。