01 / UNDERSTAND
仕組みと使いどころ
専門家2名が回答に合意し、非専門家の正答が3分の1以下だった問題で構成される。高度な専門知識を要する客観的な質問への回答能力を評価する用途に使える。一方、対象分野は生物学・物理学・化学に限られ、問題選定の影響で専門家や非専門家の正答率にも偏りがあるため、示された成績を一般的な知能や他分野の能力へそのまま広げて解釈できない。
02 / IN PRACTICE
GPQA-Diamondの活用例
たとえば、こんな場面で
複数のAIモデルに同じ198問を解かせ、大学院水準の科学問題に対する回答性能を比較する評価案が考えられる。
03 / GOOD TO KNOW
使うときのポイント
結果を見る際は、対象が3分野の厳選問題であることと、選定条件による正答率の偏りを併せて確認する。
参考資料
A Graduate-Level Google-Proof Q&A Benchmark （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。