01 / UNDERSTAND
仕組みと使いどころ
代表的な方式には、各GPUへモデル全体を複製して入力バッチを分割するデータ並列、モデルの重みや層をGPU間で分割する方式、分割した処理段階へ複数入力を順次流すパイプライン並列があります。大きなモデルや多数の入力を扱えますが、モデル複製はメモリー消費が大きく、分割方式ではGPU間通信や処理調整が必要です。
02 / IN PRACTICE
Distributed inferenceの活用例
たとえば、こんな場面で
大量の画像生成要求を複数GPUへ振り分けたり、単一GPUに収まらないモデルを分割して動かしたりする構成が考えられます。
03 / GOOD TO KNOW
使うときのポイント
モデルの大きさ、入力数、GPUメモリー量を踏まえて方式を選び、通信や結果集約の負荷も含めて評価します。
参考資料
Distributed inference · Hugging Face （新しいタブで開きます）Distributed Inference — Torch-TensorRT （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。