01 / UNDERSTAND
仕組みと使いどころ
LLMルーティングでは、推論時にルーターが入力を評価し、より強力で高コストなLLMと、能力を抑えた低コストなLLMのどちらを使用するかを選びます。RouteLLMでは、人間の選好データとデータ拡張を用いて、この選択を行うルーターモデルを学習しています。評価結果は使用したモデル、ルーターの学習条件、ベンチマークに依存するため、他の利用条件でも同じ費用削減や品質が得られるとは限りません。
02 / IN PRACTICE
LLM Routingの活用例
たとえば、こんな場面で
比較的処理しやすい入力を低コストなLLMへ送り、より強いモデルが必要と判断された入力だけを高コストなLLMへ送る構成です。
03 / GOOD TO KNOW
使うときのポイント
導入時は、実際の入力を使い、ルーティング後の応答品質と推論コストを同じ条件で評価してください。使用するLLMを変更する場合も再評価が必要です。
参考資料
RouteLLM: Learning to Route LLMs with Preference Data （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。