AI LAB / KEYWORD DICTIONARY

基礎知識

Personal AI Router(パーソナルAIルーター)とは?

Personal AI Router

Personal AI Router(PAIR)は、ローカルネットワーク上の複数端末へ独立したAI推論リクエストを振り分ける、NVIDIAの仮想推論ルーターです。

仕組みと使いどころ

PAIRは、対応するAIアプリから受けた推論リクエストを、到達可能で、必要な推論エンジンとモデルを備えたペアリング済み端末へ転送します。アプリは共通のローカル接続先を利用でき、端末間の通信は相互TLSで保護されます。Ollama、llama.cpp、LM Studioに対応し、複数の独立した処理を分散できます。ただし、PAIR自体は推論エンジンではなく、GPUメモリの統合、モデルの端末間分割、実行中リクエストの移動は行いません。各リクエストは1台の端末で完結するため、端末を増やしても個々の推論が速くなるとは限りません。

Personal AI Routerの活用例

たとえば、こんな場面で

複数のAIエージェントが同時にモデルを呼び出す環境で、同じモデルを用意した複数端末をPAIRで接続し、独立したリクエストを空いている端末へ分散する使い方が考えられます。

使うときのポイント

利用前に、各端末の対応状況、必要な推論エンジンとモデルの配置、ネットワークの信頼性を確認してください。端末の発見だけでは信頼関係は成立せず、招待とPINによる相互のペアリングが必要です。

参考資料

NVIDIA PAIR — Your Personal AI Cluster (新しいタブで開きます)NVIDIA Personal AI Router Overview | NVIDIA Personal AI Router (新しいタブで開きます)NVIDIA PAIR Virtual Inference Router Expands Available Compute on Your Local Network | NVIDIA Technical Blog (新しいタブで開きます)

用語の説明や活用例に関連する参考資料です。

READ & LEARN

用語を知ったら、活用を知る。

AI LABで、AIの動向や業務に取り入れるヒントを読む。

記事一覧を見る