01 / UNDERSTAND
仕組みと使いどころ
確認済み研究では、大規模言語モデルを新規性の審査役として使い、一つの研究アイデアを新規か否かで判定させる方式と、二つのアイデアのうちどちらがより新規かを選ばせる方式が評価されています。評決と理由を複数回生成し、結果を集約する構成もあります。ただし、評価基準や質問の表現を少し変えただけでも、同じアイデアの組に対する評決が大きく変化する場合がありました。また、人が執筆した論文で検証した審査役が、生成された研究アイデアに対しても妥当とは限りません。
02 / IN PRACTICE
AI reviewerの活用例
たとえば、こんな場面で
二つの研究アイデアをAI審査役に提示し、どちらがより新規かという評決と理由を生成させます。同じ組を複数回判定させ、その結果を集約する構成も評価されています。
03 / GOOD TO KNOW
使うときのポイント
一つの評決だけを確定判断として扱わず、評価基準や質問表現を変えたときにも結果が維持されるかを確認します。審査対象と同種のアイデアで審査役が検証されているかも確認します。
参考資料
Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation （新しいタブで開きます）GitHub - allenai/novelty-eval: Benchmark and controlled study of LLM-based novelty judges for research ideas. Code and data for "Old Ideas, Novel Problems" (arXiv 2610.02022) （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。