2026/10/30
今更聞けないAI知識
生成AIは文章を丸暗記している？「次のトークン予測」でわかる自然さと正しさの違い
すらすら答えるAIは、頭の中で何をしているのか
メールの書き出しを頼むと、生成AIは数秒ほどで自然な文章を返します。あまりにも滑らかなので、「どこかに保存されていた完成文を探したのではないか」「質問の意味を人間と同じように理解したのではないか」と感じるかもしれません。しかし、文章を作る仕組みを考えるときは、別の見方が役立ちます。
**一言で答えると、文章を扱う生成AIは、それまでの文脈に続きそうな次のトークンを予測し、その操作を繰り返して文章を作ります。** トークンとは、AIが文章を処理するときの細かな単位です。詳しい区切り方はモデルによって異なるため、ここでは「文字や語をそのまま扱う代わりに使う文章の部品」と捉えてください。
たとえば、「会議の日程を変更するメールを書いてください」という入力があったとします。AIは保管庫から一通の正解メールを取り出すのではなく、入力された依頼や、すでに生成した部分を手がかりに続きを選びます。その結果、「お世話になっております」「日程変更のお願いです」といった、文脈に合いやすい表現が順番に並びます。これはあくまで仕組みをつかむための簡略化した説明であり、内部では学習済みのモデルが多くの関係を使って予測しています。
ここで覚えておきたいのは、「自然に続く文章を作れること」と「内容が事実であること」は同じ能力ではない点です。文章の調子や構成が整っているほど、私たちは内容まで正しいと感じやすくなります。生成AIを使うときの第一歩は、流暢さに驚くことではなく、流暢さと正しさをいったん分けて見ることです。
「次のトークンを予測する」の具体像
次のトークン予測は、文章全体を一度に完成させる操作ではありません。入力文と、それまでに出力した内容を文脈として参照し、続きの候補を評価します。その中から一つを選んで文章に加えると、文脈が更新されます。更新された文脈を使って、また次の候補を評価するという流れです。
Googleの機械学習用語集では、自己回帰モデルを、自身が以前に行った予測に基づいて次の予測を行うモデルと説明しています。また、Transformerを基盤とする大規模言語モデルは自己回帰型だとされています（出典: Google for Developers）。「自己回帰」という言葉は難しく見えますが、ここでは「一つ前までの出力を足場にして、その続きを作る方式」と理解すれば十分でしょう。
たとえば、「明日の会議は」という途中の文章がある場合、続きには「10時からです」「延期になりました」「オンラインで行います」など、複数の候補が考えられます。どれが適切かは、その前に書かれた依頼や資料によって変わります。「開始時刻は10時です」という情報が入力に含まれていれば、「10時からです」が選ばれやすい文脈になります。ただし、これは動作を理解するための架空の例であり、特定製品の内部数値や選択過程を再現したものではありません。
| 見る対象 | 役割 | 初心者向けの捉え方 |
| --- | --- | --- |
| 入力文 | 依頼や前提を示します | 文章作りの材料です |
| 生成済みの部分 | 次の予測に使われます | ここまでの話の流れです |
| 次のトークン | 候補から選ばれます | 続きの小さな部品です |
| モデル | 候補の関係を予測します | 学習で作られた予測の仕組みです |
この繰り返しによって、短い返事だけでなく、段落を持つ長い文章も作れます。反対に、途中で事実と異なる方向へ進むと、その誤った内容も後続部分の文脈になります。そのため、最初の一文が自然だったからといって、最後まで正しいとは限りません。
学習するときと、質問に答えるときの違い
生成AIの「学習」と「回答」は、同じ場面で起きる一つの作業ではありません。IBMは、生成AIの基盤となるモデルについて、大量のデータを使った学習によって、データ内の対象、パターン、関係を表すパラメーターが形成されると説明しています。生成時には、その学習済みモデルがプロンプトに応じて内容を作ります（出典: IBM）。プロンプトとは、利用者がAIに渡す質問、指示、条件などの入力文です。
学習を料理人の練習期間にたとえてみましょう。料理人は、さまざまな材料や調理法の組み合わせを経験し、味や手順の関係を身につけます。注文を受けるたびに料理学校へ入り直すわけではなく、それまでに得た技能と、その場で渡された注文を使って一皿を作ります。生成AIでも、モデルを作るための学習工程と、利用者の入力に応じて回答を生成する工程を分けて考えると整理しやすくなります。ただし、AIが人間と同じ経験や感覚を持つという意味ではありません。
普段のチャットで入力した一文も、直ちにモデル全体を一から学び直す教材になる、と考えるのは適切ではありません。会話中の入力や過去のやり取りは、少なくともその回答を組み立てるための文脈として働きます。Googleの用語集でも、チャットの以前のやり取りが、後続のやり取りにおける文脈になると説明されています（出典: Google for Developers）。なお、入力内容がサービス上でどのように保存・利用されるかは、ここで扱う文章生成の原理とは別の問題です。実際に利用するサービスの規約や設定を確認する必要があります。
「モデル」という言葉も、AIそのものの人格を指す名称ではありません。Google Cloudは、機械学習モデルを、アルゴリズムを訓練データ上で動かした結果として得られるものと説明しています（出典: Google Cloud）。初心者向けに言い換えるなら、モデルは「学習によって作られ、入力から出力を予測する仕組み」です。質問するたびに資料を丸暗記する存在ではなく、学習済みの関係と、その場の文脈を使って答えを生成します。
スマートフォンの予測変換と似ている点、違う点
「次を予測する」と聞くと、スマートフォンの予測変換を思い浮かべる人も多いでしょう。このたとえは入口として役立ちます。数文字を入力すると、続きの単語や表現の候補が現れます。前に入力した内容を手がかりに続きを示すという見た目は、生成AIの説明と重なるからです。
ただし、両者がまったく同じ製品機能や内部構造だと断定することはできません。予測変換は、利用者が文章を書く途中で候補を選ぶ場面を想像するとわかりやすい機能です。生成AIとの対話では、利用者が依頼を渡すと、モデルが予測を連続させて文や段落を構成します。比べるべきなのは具体的な製品仕様ではなく、「前までの情報を使って続きの候補を考える」という共通した考え方です。
| 比較する場面 | スマートフォンの予測変換というたとえ | 文章生成AI |
| --- | --- | --- |
| 主な見え方 | 入力途中に候補が表示されます | 文章や段落が返されます |
| 利用者の操作 | 候補を見て入力を続けます | 依頼を渡して回答を受け取ります |
| 共通する見方 | 前までの入力が候補に関係します | 入力と生成済み部分が続きに関係します |
| 注意点 | 特定機能の内部仕様は製品ごとに異なります | 特定モデルの内部仕様はモデルごとに異なります |
この違いを知ると、「AIが最初から結論を完全に決め、その文章を画面に表示している」という見方から離れられます。生成の途中で文脈が積み重なるため、同じテーマでも依頼の書き方や与えた条件によって回答が変わり得ます。反対に、前提が不足していれば、文体は整っていても利用者の意図から外れた文章になるかもしれません。
予測変換のたとえには限界もあります。生成AIは長い説明、要約、アイデアの例示などに使われるため、候補一語を表示する場面だけでは能力や注意点を十分に表せません。それでも、「人間のような意識が文章を思いついている」と考えるより、「文脈を手がかりに予測を重ねている」と捉えるほうが、回答を冷静に評価しやすくなります。
丸暗記した文章の取り出しや検索との違い
生成AIを「インターネット上の文章を大量に保存した検索箱」と考えると、便利そうに見える場面と危険な場面を取り違えてしまいます。IBMは、生成モデルが学習データの簡略化された表現を作り、元のデータに似ていても同一ではない新しい内容を生成すると説明しています（出典: IBM）。したがって、基本的な仕組みを「完成済みの文章を丸暗記し、質問に近い一文をそのまま取り出すだけ」と説明するのは不十分です。
ただし、「生成AIは学習データを絶対に記憶しない」と言い切るのも避けるべきです。ここで押さえたいのは、通常の回答を理解する中心的な見方が、保存文書の単純な取り出しではなく、学習済みモデルによる続きを予測する生成だという点です。特定の回答がどの資料に由来するかを、文章の自然さだけから逆算することはできません。
検索では、通常は見つかったページや文書を利用者が開き、情報源と記載内容を確かめます。生成では、モデルが文脈に合う文章を組み立てます。そのため、出典を求めずに「答えだけ」を生成させた場合、もっともらしい説明が返っても、確認可能な根拠が付いているとは限りません。検索結果の一覧と、生成された回答文は、画面上で似た情報を扱っていても役割が異なります。
生成AIのアプリケーションには、外部資料を取得して回答に利用する構成もあります。IBMは、検索拡張生成、略してRAGを、学習データの外部にある関連情報を利用して生成AIアプリケーションの性能を改善する選択肢として紹介しています（出典: IBM）。したがって、「生成AIは常に検索している」「生成AIは絶対に外部情報を見ない」のどちらも一律には言えません。利用中のサービスに検索機能や資料参照機能があるかを確認し、参照元が示された場合は実際の内容まで開いて確かめる姿勢が必要です。
自然な回答と正しい回答を分けて読む方法
生成AIの回答で最も戸惑いやすいのは、誤りが不自然な文章として現れるとは限らないことです。文章生成の中心が、文脈に続くトークンの予測であると考えれば、その理由を理解しやすくなります。文法や話の流れが整った出力を作れても、回答内の固有名詞、日付、住所、制度、数値まで現実と一致している保証にはなりません。
Googleの用語集では、事実性を、モデルの出力が現実に基づく性質として説明し、もっともらしさとは異なる概念として扱っています（出典: Google for Developers）。生成された内容が自然でも、根拠がなかったり事実と異なったりする問題は、一般にハルシネーションと呼ばれます。これはAIが意図的にうそをつくという説明ではありません。意識や意図を仮定するより、予測によって作られた文章と、確認済みの事実を区別するほうが実用的です。
架空の例として、社内資料を渡さずに「新宿支店の移転日と新住所を案内文にしてください」と頼んだ場面を考えます。モデルが具体的な日付や住所を含む案内文を返したとしても、その情報源が入力にないなら確認が必要です。文章が丁寧で、郵便番号らしい数字が入り、案内文として完成していても、社内の正式情報と一致しているとは限りません。
確認するときは、文章全体を漠然と疑うのではなく、検証対象を分けると負担を抑えられます。日付、金額、人物名、制度名、引用、連絡先など、間違えると判断や行動に影響する項目を拾ってください。元資料がある仕事なら、AIに渡した資料と回答を照合します。外部の事実なら、公式サイトや一次資料を開いて確かめます。創作案や言い換えのように唯一の正解がない依頼では、事実性だけでなく、目的、読み手、禁止事項に合っているかを見る必要があります。
生成AIの文章は「採用するか、全部捨てるか」の二択ではありません。表現の候補として役立つ部分と、根拠の確認が必要な部分を切り分ければよいのです。自然さは読みやすさの手がかりにはなりますが、正しさの証明書にはなりません。
明日から使えるプロンプトと確認の順番
次のトークン予測を知ったからといって、専門的な命令文を覚える必要はありません。プロンプトで大切なのは、魔法の言い回しを探すことではなく、続きの判断に必要な文脈を渡すことです。誰に向けた文章か、何を材料にするか、どこまでを依頼するか、不明な点をどう扱うかを明確にすると、回答を評価しやすくなります。
たとえば、案内メールの下書きを作る場合は、次のような入力が考えられます。これは特定製品で効果を測定した手順ではなく、前提と確認箇所を明確にするための提案例です。
次の確定情報だけを使い、参加者向けの案内メール案を作ってください。
対象：社内勉強会の参加予定者
確定情報：開催日は11月12日、開始は15時、会場は第2会議室
文体：初参加の人にもわかる丁寧な表現
条件：不明な情報は補わず、「要確認」と示してください
この例では、目的、読み手、材料、文体、情報不足への対応を分けています。「いい感じに案内して」とだけ頼むより、どの情報を使ってよいかが読み手にも明確です。AIが返した文章を確認するときも、開催日、時刻、会場が確定情報と一致しているか、不明な持ち物や締切が勝手に追加されていないか、という順番で見られます。
日常の質問でも同じ考え方を使えます。献立の案なら、家にある材料や避けたい食材を伝えます。文章の要約なら、元の文章を示し、「原文にない推測を加えないでください」と条件を添える方法が考えられます。制度や契約のように正確性が欠かせない話題では、回答だけで判断せず、確認すべき公式資料の種類を整理する補助として使うのが安全でしょう。
明日から試せる一歩は、AIの回答を読んだ直後に「自然か」だけで判断せず、「この内容のうち、入力に書かれていた事実はどれか」「外部確認が必要な主張はどれか」と分けることです。次のトークン予測という仕組みを知る目的は、内部技術を暗記することではありません。文章の滑らかさに引っ張られず、提案として使う部分と、事実として確認する部分を選べるようになることです。