01 / UNDERSTAND
仕組みと使いどころ
生成AIは同じ入力でも異なる出力を返すことがあるため、評価では対象の用途に応じた目的と成功条件を定め、代表的なデータで動作を確認します。評価対象には、モデルの正確性や関連性だけでなく、AIシステムの指示追従、ツール選択、引数の抽出、ワークフローの各工程、エージェント間の引き継ぎ、安全性なども含まれます。数値指標、自動評価、人による判断、ベンチマーク、敵対的テストなどを目的に応じて組み合わせます。単一の指標だけでは品質の細部を捉えられない場合があり、実利用を反映しないデータ、偏った評価設計、学習データとの重複は結果を歪めます。そのため、変更のたびに評価し、新しい失敗例を評価用データへ追加しながら継続的に見直します。
02 / IN PRACTICE
AI Evaluationの活用例
たとえば、こんな場面で
文書回答AIを評価する場合、実際の質問や専門家が作成した正解例を用意し、回答の正確性、必要な文脈の参照、利用者の要求への適合を確認します。システムを変更した後も同じ評価を実行すれば、性能の変化を比較できます。
03 / GOOD TO KNOW
使うときのポイント
最初に評価目的と成功条件を定め、通常例、境界例、敵対的な入力を含むデータを用意します。自動スコアは人の判断と照合し、実際の利用状況に近い条件で継続的に評価してください。
参考資料
Evaluation best practices | OpenAI API （新しいタブで開きます）モデルとシステムの安全性を評価する | Responsible Generative AI Toolkit | Google AI for Developers （新しいタブで開きます）What is Model Evaluation? | IBM （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。