01 / UNDERSTAND
仕組みと使いどころ
AIの評価では、参照回答とモデルの出力を比較し、0から1までの値などで成績を表せます。部分点評価は、一部の条件だけを満たした回答や、意味がある程度近い回答にも段階的なスコアを与えたい場合に使います。複数の評価項目を重み付きで組み合わせる方法や、文章の類似度、採点基準を与えた別のモデルによる数値評価などがあります。ただし、スコアは設定した評価項目、重み、基準、採点方式に依存します。特にモデルによる採点は非決定的で、人間の評価との調整が必要とされているため、部分点だけで回答の品質を完全に保証できるわけではありません。
02 / IN PRACTICE
Partial Credit Scoringの活用例
たとえば、こんな場面で
ツール呼び出しを評価する際に、正しいツール名を選べたかと、引数が正しかったかを別々に採点し、それぞれの得点を重み付きで合算する方法が考えられます。これにより、全体が完全には正しくなくても、満たした条件をスコアへ反映できます。
03 / GOOD TO KNOW
使うときのポイント
何に部分点を与えるか、各項目の重みと合格基準を事前に明確にします。モデルによる採点を使う場合は、専門家による正解スコアや境界例と照合し、意図した順位や評価になっているか確認します。
参考資料
Graders | OpenAI API （新しいタブで開きます）Demystifying evals for AI agents （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
