01 / UNDERSTAND
仕組みと使いどころ
開発者が与えるシステム上の指示と、利用者や第三者から入る信頼度の低い文を同じ優先度で扱う脆弱性に対処する枠組み。指示ごとの優先関係を明示し、その関係に従う挙動を学習させることで、プロンプトインジェクションや脱獄による指示の上書きに強くする。ただし、あらゆる攻撃を防げることを意味するものではない。
02 / IN PRACTICE
Instruction Hierarchyの活用例
たとえば、こんな場面で
外部文書にシステム方針と矛盾する命令が含まれていても、その命令を無視するモデルの訓練に利用できる。
03 / GOOD TO KNOW
使うときのポイント
評価時は通常の応答能力だけでなく、優先度の異なる指示を衝突させ、低権限の命令を無視できるか確認する。
参考資料
The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。