AIにイベントの案内文を頼んだところ、読みやすく、感じのよい文章が返ってきました。ところが、よく見ると開始時刻が違います。この回答を「よくできています」と評価してよいのでしょうか。文章の自然さだけなら高く評価できても、そのまま参加者に送れる案内文としては修正が必要です。AIの性能を考えるときは、この違いが出発点になります。

一言で答えるなら、AIの評価とは「目的に合う回答ができるか、品質や安全性を確かめること」です。Googleの機械学習用語集では、評価をモデルの品質を測ったり、異なるモデルを比較したりする過程として説明しています。モデルとは、ここでは学習した内容をもとに回答を生み出す仕組みを指します。文章を扱う大規模言語モデルの評価には、品質や安全性に関する幅広い確認が含まれると説明されています。（出典: Google Developers）



ただし、初めて使う人が専門的な試験を用意する必要はありません。「読みやすいですか」という感想を、「日時は元の情報と一致していますか」「参加者が申し込み方を判断できますか」という確認に変えるだけでも、回答の見方は具体的になります。何をもって合格とするかを先に決めることが、身近な評価の第一歩です。

この記事では、架空のイベント案内文を例に、その考え方をたどります。ここに登場する依頼文や点検方法は、理解のための提案です。特定のAIを実際に試した結果ではありません。また、製品同士の順位を決めることも目的にはしていません。読者自身が「この回答は、自分が使う場面の条件を満たしていますか」と判断できるようになることを目指します。

AIの評価は、使う目的に応じて点検箇所を変えることにたとえられます。靴を選ぶ場面を想像してみてください。近所への買い物に使うなら脱ぎ履きのしやすさが気になりますし、雨の日に歩くなら水の入りにくさを確かめたいでしょう。どちらも靴のよさですが、同じ確認項目だけで十分とは限りません。AIの回答にも、こうした目的との組み合わせがあります。

案内文を作るなら、日時や会場の正確さが欠かせません。短い宣伝文の案を広げたいなら、表現の違いや企画との合い方も見たいところです。Googleの用語集でも、事実に基づくことが求められる質問と、創造性を求める文章の依頼とでは、重視する性質が異なることが説明されています。（出典: Google Developers）



ここで役立つのが、「間違ってはいけない条件」と「よければうれしい条件」を分ける方法です。架空の案内文なら、開始時刻が正しいことは前者に当たります。親しみやすい言葉遣いは後者として扱えるでしょう。両方を一つの印象にまとめると、文章の感じのよさに目を奪われ、肝心の誤りを見落とすかもしれません。

確認項目は、増やせばよいわけでもありません。使う場面を思い浮かべ、「この間違いがあると誰が困りますか」と考えると、優先順位を付けやすくなります。参加者が会場に着けなくなる誤りと、少し硬い言い回しとでは、公開前に直す順番が違います。評価を細かな採点の作業と捉えるより、使う前に外せない条件を確かめる作業と考えると、日常の仕事にも取り入れやすいのではないでしょうか。

具体例として、架空の「まちの読書会」を考えます。主催者が決めた条件は、開催日が6月15日、時間が14時から15時、会場がさくら会館の第2会議室、参加費が無料、申し込みが6月10日までのメール受付という設定です。これらは説明のために作った情報で、実在する催しの案内ではありません。AIに渡す材料と、回答を照合する基準の両方に使います。

依頼文の例は、「次の情報だけを使って、初めて参加する人向けの案内文を作ってください。開催日は6月15日、時間は14時から15時、会場はさくら会館の第2会議室、参加費は無料です。申し込みは6月10日までのメール受付です。書かれていない条件は追加せず、不足している情報は別に示してください」といった内容です。プロンプトとは、このようにAIへ渡す依頼や指示を指します。



返ってきた文章は、三つの観点で確認することを提案します。一つ目は、日時や会場などが元の情報と一致しているかです。二つ目は、必要事項が抜けていないかです。三つ目は、初めて読む人が参加方法を理解できるかです。三つ目を読む前に前の二つを確認すれば、文章の印象と情報の正しさを分けて判断しやすくなるでしょう。

この設定には、申し込み先のメールアドレスがありません。「メールでお申し込みください」と書かれていても、そのままでは参加者が送信先を判断できません。架空のアドレスを補っても、使える案内にはならないはずです。ここでは、情報の不足が分かる形で示されているかを確認します。評価の結果、「AIの文章に誤りがあります」ではなく、「主催者が追加すべき材料があります」と分かる場合もあるのです。

案内文の開始時刻が14時かどうかは、元の情報と照らし合わせて確認できます。それに対して、「初参加の人にも親しみやすい文章ですか」という問いには、一つの文字列を正解として用意しにくいでしょう。同じ案内でも、町内の交流会と仕事上の説明会では、ふさわしい言葉遣いが変わります。評価では、この二種類を分けて扱うと判断の理由を説明しやすくなります。

Googleの用語集では、自動評価を、ソフトウェアでモデルの出力の品質を評価することと説明しています。回答が比較的単純な場合には、基準となる答えと照合できます。複雑な出力や正解が一つに決まらない場合には、別の機械学習の仕組みを評価に使うこともあるとされています。人が評価する方法も区別して紹介されています。（出典: Google Developers）



初心者がこの違いを使うために、専用のソフトウェアを準備する必要はありません。今回の例なら、日時や会場は元のメモと並べて確認し、文章の読みやすさは参加者の立場で読み直す方法が考えられます。「自然な文章ですか」だけで終えず、「開催場所をすぐ見つけられますか」「申し込みに必要な行動が分かりますか」と問いを具体的にすると、読みやすさも確認しやすくなるはずです。

人によって意見が分かれる項目では、誰に向けた文章かをそろえることも役立ちます。主催者には自明の略称でも、初参加の人には伝わらないかもしれません。担当者同士で「親しみやすい」という言葉の意味が違うなら、先に具体例を一つ示しておく方法もあるでしょう。判断をすべて数字に置き換えるより、照合できる部分は照合し、読み手によって変わる部分は理由を添えて確かめるほうが、修正につながる評価になります。

「評価が高いAIです」と紹介されると、自分の仕事でも安心して使えそうに感じるかもしれません。けれども、その評価で何を確かめたのかが分からなければ、案内文の作成に向いているかまでは判断できません。計算問題での結果なのか、文章の内容を読み取る問題なのか、表現の自然さを比べた結果なのかによって、読み取れることが変わるためです。

Googleの用語集は、評価を品質の測定やモデル同士の比較として説明し、大規模言語モデルでは品質と安全性の幅広い確認が関わるとしています。この説明からも、評価を一種類のものとして受け取るのは適切ではないと考えられます。紹介されている結果を読む際には、対象の課題と判断基準を確認する必要があるでしょう。（出典: Google Developers）



架空の比較例として、案内文の表現が多彩でも日時を取り違えた回答と、表現は簡素でも開催情報を正しく保った回答を考えてみます。宣伝の言葉を考える材料が欲しい人と、配布直前の案内文が欲しい人では、評価が分かれるはずです。どちらかを無条件に優秀と決めるより、自分の作業で外せない条件を満たしているかを見たいところです。

自分で複数のAIや依頼文を比べる場合には、同じ元情報と同じ確認項目を使う方法を提案します。一方には詳しい条件を渡し、もう一方には短い依頼だけを渡すと、何の違いが結果に表れたのか分かりにくくなります。また、一つの案内文でうまくいった経験から、別の用途でも同じ品質になるとは決められません。「今回の条件では、この項目を満たしました」と範囲を付けて捉えることが、評価結果を自分の判断に生かすうえで役立ちます。

AIの回答を確かめる習慣は、頼む前から始められます。明日、短い文章を一つ頼むなら、依頼する目的と、使えると判断する条件を三つだけ書いてみてください。今回の架空の案内文なら、「元の日時と会場を変えません」「申し込みに必要な情報の不足を示します」「初参加の人が行動を判断できる文章にします」という条件が考えられます。これは日常で試すための提案であり、三項目であらゆる品質を保証できるという意味ではありません。



回答を受け取ったら、「使えそうです」という全体の印象をいったん保留して、条件ごとに確認します。日時が違っていれば、元の情報を示して修正を依頼できます。必要事項が欠けているなら、依頼時に渡し忘れたのか、渡した情報が回答から抜けたのかを分けて確かめましょう。原因の見当が付けば、人が情報を補うべきか、文章の修正を頼むべきかも判断しやすくなります。

修正後は、直すように頼んだ箇所を含め、使うための条件をもう一度確認します。「修正しました」という返答そのものを合格の根拠にはしません。最終的に読者へ届ける文章に、必要な情報がそろっているかを見ます。文章の雰囲気まで整えたい場合は、事実関係の確認を終えてから言葉遣いを検討すると、作業の目的が混ざりにくいでしょう。

評価という言葉を知る前は、AIの回答を「すごいです」「少し変です」という感想で受け止めていたかもしれません。確認する条件を決めれば、その感想を具体的な修正につなげられます。次にAIへ何かを頼むときは、送信する前に「どんな回答なら、そのまま使えますか」と一度だけ考えてみてください。その答えを短く書き留めるところから、自分の用途に合った評価を始められます。

- Glossaire sur le machine learning: IA générative

参考資料の取得日時は2026年11月8日です。取得日時は資料の公開日を示すものではありません。