AI LAB / KEYWORD DICTIONARY

評価・不確実性

Confidence score(信頼度)とは?

モデルが個々の出力をどの程度確からしいと評価しているかを、数値で付加した指標。

仕組みと使いどころ

分類では、予測したクラスに対する確率が確信の目安として扱われる。十分に較正されたモデルなら、例えば0.8付近と予測した集合の約80%が実際に該当するという解釈ができる。ただし、モデルによって確率推定が不正確なことがあり、高い値がそのまま正解の保証になるわけではない。対象が入力に存在しない確率とは別の指標として出力される場合もある。

Confidence scoreの活用例

たとえば、こんな場面で

抽出結果と一緒に数値を表示し、値が低い項目を確認候補として扱う運用を検討できる。

使うときのポイント

数値の定義をモデルごとに確認し、確率として扱う場合は較正曲線で予測値と実際の頻度を比較する。

参考資料

cloudflare-docs/src/content/workers-ai-models/clairic.json at production · cloudflare/cloudflare-docs (新しいタブで開きます)1.16. Probability calibration (新しいタブで開きます)

用語の説明や活用例に関連する参考資料です。

READ & LEARN

用語を知ったら、活用を知る。

AI LABで、AIの動向や業務に取り入れるヒントを読む。

記事一覧を見る