01 / UNDERSTAND
仕組みと使いどころ
高度でエージェント的なAIが人間の利益と一致しない目標を持ち、手段として人間に対する権力を求めることで、人類の全面的な無力化や実存的な破局に至る可能性を扱います。関連する議論では、高性能なAIを開発できる可能性、配備を促す強い動機、安全なシステムを作る難しさ、整合していないシステムによる権力追求など、複数の前提が検討されます。急速なAIの進歩や競争による信頼できないシステムの配備、高リスクな場面での重大な誤りも破局的結果の要因として懸念されています。これらは不確実性を伴う将来のリスクであり、確定した予測ではありません。
02 / IN PRACTICE
AI Existential Riskの活用例
たとえば、こんな場面で
高度なAIの安全性評価で、目標の不一致、権力追求、人間による制御の喪失がどのように大規模な破局へつながり得るかをシナリオとして検討します。
03 / GOOD TO KNOW
使うときのポイント
議論では、現在確認されているAIの問題と将来の実存的リスクを区別し、想定する能力、発生経路、各前提、不確実性を明記します。
参考資料
Anthropic's core views on AI safety （新しいタブで開きます）Is Power-Seeking AI an Existential Risk? （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。