AIに案内文の作成を頼んだのに、なかなか回答がそろいません。別の質問ではすぐに返事が来たため、「難しいことを聞いたからでしょうか」「時間をかけているなら、正確な答えなのでしょうか」と気になるかもしれません。返事の速さに違いがあると、何を基準に待てばよいのか迷うものです。

一言で答えると、AIの返事にかかる時間は、入力や回答の長さ、回答を作る仕組み、処理に使う設備などに左右されます。この待ち時間を表す言葉が「レイテンシ」です。Googleの機械学習用語集では、モデルが入力を処理して返答を生成するまでの時間と説明されています。ここでいうモデルとは、学習したパターンをもとに回答などを作るための仕組みです。（出典: Google for Developers）



「レイテンシが高い」は待ち時間が長いことを、「低い」は短いことを意味します。普段の利用では、この言い換えができれば十分でしょう。ただし、画面を見て長く感じたというだけでは、どこに時間がかかったのかまでは分かりません。待ち時間という言葉は、原因を一つに決めるための言葉ではないのです。

また、返事の速さと、内容が役に立つかどうかは分けて考える必要があります。すぐに届いても必要な条件が抜けていれば使いにくいですし、長く待っても日付が間違っていれば修正が必要です。待ち時間を見るときの出発点は、「遅いから優秀」「速いから雑」という印象をいったん脇に置くことでしょう。自分が何を入力し、どれだけの回答を求めたのかを振り返ると、速さ以外の判断材料も見つかります。

レイテンシを身近な場面に置き換えるなら、飲食店で注文してから料理が出るまでの待ち時間がよい例です。注文を受け取り、内容を確認し、調理して提供するまでには、いくつかの作業があります。客席から見えるのは待ち時間だけでも、その内側で必要な作業は注文によって異なります。

一品だけ頼む場合と、品数の多い料理を頼む場合では、準備する量が違います。同じ料理でも、調理方法や厨房の設備によって提供までの時間は変わるでしょう。AIでも、入力と出力の長さ、モデルの複雑さ、実行に使うインフラストラクチャー、つまり計算処理を支える設備や基盤がレイテンシに関わると説明されています。（出典: Google for Developers）



このたとえでは、注文内容がAIへの依頼文に、調理する仕組みがモデルに、厨房が処理設備に対応します。完成して提供される料理は、出来上がった回答に当たります。ただし、関係を理解するためのたとえです。AIが料理人のような気持ちや意図を持って文章を作っている、という意味ではありません。

たとえの中でも、待ち時間だけで料理のおいしさは判定できないはずです。時間がかかった理由が品数なのか調理方法なのか分からない以上、「長く待ったから必ずよい料理」とは判断できません。AIの回答にも同じ見方が役立ちます。待った長さから品質を想像するより、注文に当たる依頼が適切だったか、出来上がりが目的に合うかを確かめるほうが実用的です。飲食店の仕組みとAIの処理が完全に一致するわけではありませんが、待ち時間には複数の要因があることをつかむ助けになるでしょう。

AIの待ち時間を考えるとき、目につきやすいのは回答の長さです。短い案内文と、背景や注意点まで含む詳しい説明では、作る文章の量が異なります。ただし、AIに渡す文章の量も見落とせません。長い資料を読ませて一文だけ答えてもらう場合は、回答が短くても、入力まで短いわけではないからです。

Googleの用語集では、レイテンシに影響する要因として、入力と出力の「トークン」の長さが挙げられています。トークンは、ここでは文章を処理するときの単位と捉えてください。また、自己回帰言語モデルについて、それまでに予測したトークンに基づいて次のトークンを予測する仕組みと説明されています。回答文は、完成した文章を丸ごと取り出すだけのものとは異なります。（出典: Google for Developers）



架空の例として、会議室の利用案内を作る場面を考えましょう。「利用後は机を拭き、椅子を戻してください」という材料だけを渡す場合と、長い施設規約全体を渡して該当箇所を探してもらう場合では、読ませる量が違います。同じ二文の案内を求めても、依頼全体の条件は同じではありません。

反対に、同じ材料から「二文の掲示文」と「理由や例外を含む詳しい説明」を頼めば、今度は出力する量が違います。ここから、入力も出力も必要な範囲を意識する、という使い方を提案できます。ただし、短くすれば必ず何秒で返る、という保証ではありません。必要な条件まで削ると、回答を直す手間が生じることもあるでしょう。目指したいのは、情報をひたすら減らすことではなく、回答に必要な材料と、欲しい完成形をそろえて伝えることです。

「昨日と同じくらい短い質問なのに、今日は待つ」と感じても、文章の長さだけでは説明できない場合があります。レイテンシに関わるのは入力と出力だけではありません。回答を作るモデルの複雑さや、そのモデルを実行する設備も要因として挙げられています。（出典: Google for Developers）

モデルという言葉を、ここでは回答を組み立てるために学習で作られた仕組みとして考えてみてください。Googleの用語集には、大きなモデルは小さなモデルより推論時に多くの計算資源を使うという説明があります。「推論」は、この文脈では、学習済みのモデルを使って入力への回答を生成する処理を指します。日常語の「じっくり考える」と完全に同じ意味ではありません。（出典: Google for Developers）



ここで、学習と回答を分けておくと混乱を避けられます。IBMは、生成AIの学習をモデルを作る段階として説明しています。一方、回答を生成する際には学習済みのモデルを使うとGoogleの用語集で説明されています。返事を待っている時間を、その質問のためにモデルを最初から学習し直している時間と捉える必要はありません。（出典: IBM、Google for Developers）

利用者が画面で確認できる情報には限りがあります。そのため、一度の返事が遅かっただけで「設備が原因です」「モデルが複雑だからです」と特定するのは避けたいところです。モデルの種類を選べるかどうかも、利用するサービスによって確認すべき事柄でしょう。初心者の段階では、設定を探し回るよりも、「待ち時間は文章の長さだけでは決まらない」と理解しておけば十分です。そのうえで、自分で調整できる依頼内容から見直すと、無理なく使い方を整えられます。

仕組みが分かったら、回答の量をどう指定するか考えてみましょう。ここからは、会議室の利用案内を作る架空の場面を使った提案です。実際のサービスで操作した結果や、応答時間を測定した比較ではありません。狙いは、速さを競うことではなく、必要な完成形を依頼の段階で明確にすることです。

材料は「利用後に机を拭く」「椅子を元に戻す」「忘れ物を確認する」の三点とします。入口に貼る小さな掲示なら、読む人がすぐ確認できる短い文章が向いているでしょう。例えば、「次の三点を使い、会議室の利用後のお願いを、です・ます調の二文で作ってください。理由の説明は不要です」と頼む方法があります。AIへの依頼や入力を指す「プロンプト」は、このような普通の文章で考えられます。



新しく施設を利用する人に配る文書なら、同じ短さでは説明が足りないかもしれません。その場合は、「次の三点を使い、初めて会議室を使う人向けの案内を作ってください。見出しと各項目の短い説明を付けてください。材料にない施設の決まりは加えないでください」という依頼が考えられます。詳しさを求める場合でも、勝手にルールを補ってほしいわけではないことを伝えられます。

Googleの用語集では、入力と出力の長さが待ち時間の要因として説明されています。ただし、この二つの依頼のどちらが何秒早いかは、資料からは判断できません。（出典: Google for Developers）実務では、掲示用なのに長い説明を受け取り、後から削るという行き違いを避けることにも意味があります。「短くお願いします」だけでなく、「誰に、どこで、どのくらいの量で見せるか」を一つ添えてみてください。必要な回答量を決めやすくなるはずです。

時間をかけた返事には、つい安心したくなるかもしれません。しかし、レイテンシは入力を処理して回答を生成するまでの時間を表すもので、正しさを採点した点数ではありません。Googleの用語集でも、遅延と、出力の品質を判断する評価は別の項目として説明されています。待ち時間だけを根拠に、回答をそのまま採用することはできません。（出典: Google for Developers）

生成AIには、事実らしく見えても誤った内容を出力する「ハルシネーション」があると説明されています。（出典: Google for Developers）先ほどの架空の会議室案内なら、渡していない利用時間や清掃当番まで文章に加わっていないかを確かめたいところです。文章が丁寧で長くても、元の材料にない決まりが混ざれば、そのまま掲示するわけにはいきません。



確認する対象は、目的に合わせて絞れます。短い掲示文なら、三つのお願いが抜けていないか、二文という指定に合っているか、不要な説明が増えていないかを見ます。詳しい案内なら、項目ごとの説明が分かりやすいかに加え、施設のルールと食い違わないかも確認する必要があるでしょう。これは、待ち時間の長短にかかわらず行う確認です。

明日から試すなら、いつもの依頼に「完成した回答をどこで使うか」と「必要な量」を書き足すことを提案します。例えば「入口に貼るため、お願いを二文で」と指定し、回答後は材料との一致を確かめます。説明が足りなければ、必要な箇所だけ追加で尋ねればよいでしょう。毎回長い回答を求める必要も、すべてを最短にする必要もありません。レイテンシを知る意味は、待ち時間からAIの能力を想像することより、依頼する量と受け取る内容を自分の目的に合わせて判断できるようになることにあります。

- 機械学習用語集: ジェネレーティブ AI
- What Is Artificial Intelligence (AI)? | IBM

資料の取得日は2026年11月6日です。IBMの記事には公開日が2024年8月9日、更新日が2026年10月2日と記載されています。取得日は記事の公開日ではありません。