01 / UNDERSTAND
仕組みと使いどころ
AIによる新規性判定には、一つのアイデアを新規か否かで評価する点評価と、二つのアイデアのうちどちらがより新規かを選ぶ比較評価があります。確認済み研究では、評価基準や質問表現、アイデアの提示形式、比較対象などの小さな設計変更によって判定結果が大きく変化しました。関連研究の検索や推論量の増加による改善も限定的で、専用の新規性評価器が低コストのプロンプト方式を下回る場合もありました。この結果は、LLMによる新規性判定を安定した評価として扱うには、評価方法の堅牢性を確認する必要があることを示しています。
02 / IN PRACTICE
AI novelty assessmentの活用例
たとえば、こんな場面で
研究アイデアを一件ずつ新規か否かで判定させる方法と、新規性が高いとされた案と低いとされた案を組み合わせ、どちらがより新規かを選ばせる方法があります。
03 / GOOD TO KNOW
使うときのポイント
使用した評価基準、プロンプト、提示形式、比較対象を記録し、それらを少し変更した場合にも判定が保たれるかを確認します。単一条件で得た判定だけから安定した結論だとみなさないようにします。
参考資料
Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation （新しいタブで開きます）GitHub - allenai/novelty-eval: Benchmark and controlled study of LLM-based novelty judges for research ideas. Code and data for "Old Ideas, Novel Problems" (arXiv 2610.02022) （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。