01 / UNDERSTAND
仕組みと使いどころ
確認資料の評価では、応答に何らかの誤りがあるかを測る割合と、利用者が指摘した特定の誤りを再現したかを測る指標が区別されています。評価例は、過去に事実誤りが指摘された会話から作られた難しい集合です。そのため、得られた値は通常の実運用における誤りの発生率を示しません。評価集合の更新前後の結果も直接比較できない場合があります。
02 / IN PRACTICE
Factual Error Rateの活用例
たとえば、こんな場面で
同じ評価集合と判定方法を使い、複数モデルの応答に事実誤りが生じる割合を比較する用途が考えられます。
03 / GOOD TO KNOW
使うときのポイント
数値を見る際は、誤りの定義、評価集合の作り方、評価版が同一かを確認し、実運用の発生率と区別します。
参考資料
Addendum to GPT-6 Astra System Card: GPT-6.1 Terra - OpenAI Deployment Safety Hub （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。