AI LAB / KEYWORD DICTIONARY

AIエージェントの安全管理

Human Approval(人間による承認)とは?

AIが影響の大きい操作を実行する前に処理を止め、人が内容を承認または拒否する仕組み。

仕組みと使いどころ

AIエージェントが取消、編集、コマンド実行など副作用を伴う操作を選んだ際、実行せずに処理を一時停止し、人の判断を求める。承認または拒否した後は、保持した状態から同じ処理を再開できる。入力や出力の自動検査をすべて代替するものではなく、承認要求が多すぎると確認が形骸化する可能性もある。

Human Approvalの活用例

たとえば、こんな場面で

顧客対応AIが注文取消を提案したとき、実行前に担当者へ内容を示し、承認後に同じ処理を再開する。

使うときのポイント

どの操作を承認対象にするか、判断時に何を示すかを確認し、影響が生じるツールの直前に承認点を置く。

参考資料

Guardrails and human review | OpenAI API (新しいタブで開きます)Trustworthy agents in practice (新しいタブで開きます)

用語の説明や活用例に関連する参考資料です。

READ & LEARN

用語を知ったら、活用を知る。

AI LABで、AIの動向や業務に取り入れるヒントを読む。

記事一覧を見る