01 / UNDERSTAND
仕組みと使いどころ
タスク完了率は、AIエージェントのタスク遂行能力を評価する指標です。一般には、試行した全タスクに対して、正しく、または十分に完了したタスクが占める割合として扱います。対話型エージェントでは、ユーザーが目的のタスクを完了できるよう、どの程度効果的に支援したかを測る観点でも用いられます。ただし、この指標だけでは、途中の判断やツール呼び出しの正確さ、応答時間、コスト、安全性、方針順守などは評価できません。評価前にタスクの範囲と成功条件を定め、実際の利用場面を反映したデータで確認する必要があります。
02 / IN PRACTICE
Task completion rateの活用例
たとえば、こんな場面で
問い合わせ対応エージェントを評価する場合、「必要な情報を取得し、指定された処理を正しく完了できたこと」を成功条件とし、評価対象となった全件のうち条件を満たした件数の割合を確認する、といった使い方が考えられます。
03 / GOOD TO KNOW
使うときのポイント
数値を比較するときは、対象タスク、成功条件、評価データ、実行環境が同じかを確認します。完了率だけで判断せず、エラー率、コスト、遅延、安全性や方針順守も併せて評価します。
参考資料
What is AI Agent Evaluation? | IBM (新しいタブで開きます)用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。
