01 / UNDERSTAND
仕組みと使いどころ
ソフトウェア開発エージェントに、参照プログラムとその文書を与え、同じ振る舞いを示すコードベースを設計・実装させる。実装構造を指定せず、エージェント駆動のファジングで生成したエンドツーエンド試験によって再現度を評価する。小規模なコマンドラインツールから大規模ソフトウェアまでを扱う一方、公開時の評価では、どのモデルも課題を完全には解決できていない。
02 / IN PRACTICE
ProgramBenchの活用例
たとえば、こんな場面で
既存ツールの実行結果を観察させ、互換実装を作るソフトウェア開発エージェントの比較評価に利用できる。
03 / GOOD TO KNOW
使うときのポイント
合格率は挙動の再現度を示す指標であり、元のコードと同じ設計や保守性を保証するものではない点を確認する。
参考資料
GitHub - facebookresearch/ProgramBench: Can Language Models Rebuild Programs From Scratch? （新しいタブで開きます）ProgramBench: Can Language Models Rebuild Programs From Scratch? （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。