01 / UNDERSTAND
仕組みと使いどころ
NVIDIA Dynamo-Tritonは、旧称NVIDIA Triton Inference Serverの推論提供ソフトウェアである。TensorRT、PyTorch、ONNX、OpenVINO、Python、RAPIDS FILなどのモデルを配備できる。リアルタイム、バッチ、モデルアンサンブル、音声・映像ストリーミングの各ワークロードに対応し、動的バッチ化、モデルの並行実行、最適化された構成によって推論処理を支援する。HTTP/RESTやgRPCによる推論要求、監視用メトリクス、KubernetesやPrometheusとの連携も提供する。LLM向けには、分離型サービングやキャッシュなどの専用最適化を持つNVIDIA Dynamoが別に提供され、Dynamo-Tritonを補完する。
02 / IN PRACTICE
Dynamo-Tritonの活用例
たとえば、こんな場面で
画像認識モデルをモデルリポジトリへ配置し、HTTPまたはgRPCで要求を受け付け、動的バッチ化を利用する推論サービスとして運用する。
03 / GOOD TO KNOW
使うときのポイント
使用するモデルのバックエンドが配備先で対応しているか確認する。LLM固有の最適化が必要な場合は、NVIDIA Dynamoとの役割の違いも確認する。
参考資料
NVIDIA Dynamo-Triton （新しいタブで開きます）GitHub - triton-inference-server/server: The Triton Inference Server provides an optimized cloud and edge inferencing solution. （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。