01 / UNDERSTAND
仕組みと使いどころ
評価データには、モデルへ与える入力、正解として参照する値、望ましい出力例、人による評価や指摘などを含められます。これらを使い、文字列の一致、意味の類似度、分類、数値評価、人による判断などで出力を検証します。プロンプトやモデル設定を変更した際の結果を比較し、弱点や見落としていた事例を把握する用途にも使えます。ただし、実際の利用状況を適切に反映していないデータでは、評価結果も実運用の性能を正しく示しません。学習データとの重複や、同じ評価データを改善判断に繰り返し使うことも、評価への過度な適合を招く可能性があります。
02 / IN PRACTICE
Evaluation dataの活用例
たとえば、こんな場面で
問い合わせ分類AIを評価するなら、実際に想定される質問と期待する分類ラベルを評価データとして用意し、出力がラベルと一致するかを確認できます。誤りやすい表現や例外的な質問を追加し、変更前後の結果を比べる使い方も考えられます。
03 / GOOD TO KNOW
使うときのポイント
典型例だけでなく境界事例も含め、実際の入力分布を反映しているか確認します。学習データとの重複を避け、人の判断と自動評価の基準が一致しているかも定期的に見直します。
参考資料
Getting started with datasets | OpenAI API （新しいタブで開きます）Evaluation best practices | OpenAI API （新しいタブで開きます）Conjuntos de dados: como dividir o conjunto de dados original | Machine Learning | Google for Developers （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。