AI LAB / KEYWORD DICTIONARY

基礎知識

Model Router(モデルルーター)とは?

モデルルーターは、プロンプトと設定を分析し、利用可能な複数の大規模言語モデルから処理先を選んでリクエストを転送する仕組みです。

仕組みと使いどころ

モデルルーターは、複数のモデルを一つの窓口から利用するための選択・転送層です。Microsoft Foundryのモデルルーターは、システムメッセージ、ユーザーメッセージ、ツール定義、会話履歴を含むリクエストを分析し、許可されたモデル群からリクエストごとに適したモデルを選びます。品質とコストの均衡、コスト優先、品質優先というルーティングモードがあり、選択されたモデルへプロンプトを転送します。アプリケーション側で個別モデルの選択ロジックを管理する作業を減らせますが、ルーターを導入しても実際の処理内容による評価は必要です。リクエストごとに選択が行われるため、同じ会話でも異なるモデルが使われる場合があります。選択されたモデルはAPI応答のmodelフィールドで確認できます。

Model Routerの活用例

たとえば、こんな場面で

簡単な問い合わせには小型で低コストのモデルを、複雑な分析には高性能なモデルを選ぶよう、モデルルーターにリクエスト単位の選択を任せる構成が考えられます。固定モデルを使う場合と比較して品質、コスト、応答時間を評価します。

使うときのポイント

利用可能なモデル群、ルーティングモード、選択されたモデルの確認方法、コンテキスト長などの制約を確認します。実際の処理内容を使って固定モデルとの比較評価を行い、応答のmodelフィールドを記録します。

参考資料

How model router works in Microsoft Foundry - Microsoft Foundry (新しいタブで開きます)Model router for Microsoft Foundry concepts - Microsoft Foundry (新しいタブで開きます)Choose an Inference Provider | NVIDIA NemoClaw (新しいタブで開きます)

用語の説明や活用例に関連する参考資料です。

READ & LEARN

用語を知ったら、活用を知る。

AI LABで、AIの動向や業務に取り入れるヒントを読む。

記事一覧を見る