01 / UNDERSTAND
仕組みと使いどころ
一次判定は高速・低コストで広く検査し、危険性が疑われる対象を二次判定へ送ります。二次判定では、より強力な分類器や推論を用いて詳しく評価します。これにより、すべての対象へ高コストな判定を行う場合より計算負荷を抑えつつ、一次判定だけで拒否する場合の誤検知も減らせます。一方で検知は完全ではなく、二次判定を通じても危険な対象の見逃しや無害な対象の遮断が起こり得ます。人による慎重な確認を常に置き換えられる仕組みではありません。
02 / IN PRACTICE
Two-stage detection pipelineの活用例
たとえば、こんな場面で
AIエージェントの操作を監視する場合、まず軽量な判定で各操作を通過または要確認に分け、要確認となった操作だけを文脈や利用者の許可範囲まで評価する分類器へ送る構成が考えられます。
03 / GOOD TO KNOW
使うときのポイント
導入時は、一次判定と二次判定を合わせた全体の誤検知率と見逃し率を確認し、高リスクな操作では人の確認が必要かを判断します。
参考資料
How we built Claude Code auto mode (新しいタブで開きます)Next-generation Constitutional Classifiers (新しいタブで開きます)用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。
