01 / UNDERSTAND
仕組みと使いどころ
AIモデルルーティングでは、受け取ったプロンプトの内容や文脈を解析し、候補モデルごとの応答品質などを予測して処理先を選びます。Amazon Bedrockのインテリジェントプロンプトルーティングでは、同じモデルファミリー内の基盤モデルから、応答品質とコストの組み合わせに基づいてモデルを選択します。基準を満たさない場合に使用するフォールバックモデルを設定できる方式もあります。ルーティングの効果は学習データや用途に左右され、特殊な用途では最適なモデルが選ばれない場合があります。
02 / IN PRACTICE
AI Model Routingの活用例
たとえば、こんな場面で
同じモデルファミリーに高性能モデルと低コストモデルがある場合、各プロンプトについて予測される応答品質を比較し、品質差が設定基準を超えるときだけ高性能モデルへ送る構成が考えられます。
03 / GOOD TO KNOW
使うときのポイント
候補モデル、品質とコストの評価基準、切り替え条件、フォールバックモデルを明確にします。運用後も応答品質とコストを監視し、用途に合うルーティングになっているか確認します。
参考資料
Understanding intelligent prompt routing in Amazon Bedrock （新しいタブで開きます）Workflow for routing - AWS Prescriptive Guidance （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。