AI LAB / KEYWORD DICTIONARY

モデル運用

Shadow deployment(シャドー運用)とは?

現行モデルへの推論要求を新モデルにも複製し、新モデルの応答を本番処理へ流さず比較する運用方法。

仕組みと使いどころ

新しいモデル、コンテナ、推論基盤などへ実際の要求のコピーを送り、その応答を記録して現行環境と比較する。変更を本番に反映する前に、実際のトラフィックを使って候補の挙動を検証できる。一方、候補へ本番トラフィックを直接割り当てる方式ではないため、切り替えそのものの検証とは異なり、移行時には段階的なトラフィック配分など別の手順が必要になる。

Shadow deploymentの活用例

たとえば、こんな場面で

更新候補のモデルへ本番要求を複製し、応答を記録して現行モデルとの差を確認する。

使うときのポイント

比較対象をモデルだけに限定せず、コンテナやインスタンスなど変更する推論基盤も明確にする。

参考資料

Model Deployment in SageMaker AI (新しいタブで開きます)Safe rollout for online endpoints - Azure Machine Learning (新しいタブで開きます)

用語の説明や活用例に関連する参考資料です。

READ & LEARN

用語を知ったら、活用を知る。

AI LABで、AIの動向や業務に取り入れるヒントを読む。

記事一覧を見る