AI LAB / KEYWORD DICTIONARY

基礎知識

GDP.pdf(GDP.pdf)とは?

GDP.pdfは、実務で使われるPDFを対象に、マルチモーダルAIが根拠に基づいて質問へ回答できるかを測るベンチマークです。

仕組みと使いどころ

GDP.pdfは、福利厚生資料、賃貸契約書、データシート、臨床ガイドライン、建設図面などの専門的なPDFを用いて、AIの実践的な文書理解力を評価します。10分野の実務者が作成した100組の質問と文書で構成され、文字抽出と根拠特定、表・グラフの理解、相互参照、空間推論、資料だけでは答えられない場合の回答保留など、11種類の能力を扱います。採点には細分化された評価基準があり、全基準を満たした割合と、満たした基準の平均割合を算出できます。公開論文の2026年7月時点の評価では、17モデル中の最高成績でも全基準を満たした課題は30.7%でした。表の対応関係、グラフ、脚注や除外条件、図面記号、スキャンノイズ、改訂で置き換えられた記述などが主な失敗要因として報告されています。ただし、これは100課題における特定条件下の評価であり、AIの総合能力やあらゆるPDF処理性能を示すものではありません。

GDP.pdfの活用例

たとえば、こんな場面で

PDF質問応答モデルの候補を比較する際に、GDP.pdfの評価用ハーネスを使い、全評価基準を満たす割合と基準ごとの達成割合を確認する、といった活用が考えられます。

使うときのポイント

結果を見る際は、評価対象モデル、実行回数、判定モデル、推論設定を確認してください。公開順位との比較には、リポジトリに示された評価条件をそろえる必要があります。

参考資料

GDP.pdf: Benchmarking Grounded Multimodal Reasoning over Professional PDF Documents (新しいタブで開きます)GitHub - surge-ai/gdp-pdf (新しいタブで開きます)

用語の説明や活用例に関連する参考資料です。

READ & LEARN

用語を知ったら、活用を知る。

AI LABで、AIの動向や業務に取り入れるヒントを読む。

記事一覧を見る