01 / UNDERSTAND
仕組みと使いどころ
回答差し控えは、回答可能な質問には答えながら、確定的な答えを得られない質問では回答を控える能力を指します。対象には、答えが未知の質問、情報が不足した質問、誤った前提を含む質問、主観的な解釈を求める質問、古い情報に依存する質問などがあります。LLMの信頼性に関わる評価項目であり、回答可能な質問と回答不能な質問の両方を用いて検証されます。厳格な指示や思考連鎖などのプロンプト戦略によって改善する場合がありますが、資料では強力なモデルでも回答差し控えに失敗し得ることが報告されています。
02 / IN PRACTICE
Answer Abstentionの活用例
たとえば、こんな場面で
根拠資料から答えを確認できない質問に対し、推測による回答を生成せず、確定的には回答できないことを示します。
03 / GOOD TO KNOW
使うときのポイント
回答不能な質問への断定回答だけでなく、回答可能な質問を不必要に差し控える挙動も分けて評価します。未知の答え、情報不足、誤った前提など、複数種類の質問を評価対象に含めます。
参考資料
Do LLMs Know When to NOT Answer? Investigating Abstention Abilities of Large Language Models （新しいタブで開きます）AbstentionBench: Reasoning LLMs Fail on Unanswerable Questions （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。