01 / UNDERSTAND
仕組みと使いどころ
テンソル並列化では、個々の重みテンソルや演算を複数のデバイスに分け、各デバイスが部分的な計算を担当します。たとえば、重み行列を列方向に分割して別々に乗算し、その結果を結合します。これにより、単一GPUのメモリ容量を超えるモデルを実行でき、条件によってはスループットも向上します。一方、各層で部分結果を交換するため、高速なデバイス間通信が必要です。利用できる分割方法や対象モデルは実行基盤の対応状況に左右され、未対応モデルでは使用できない場合があります。
02 / IN PRACTICE
Tensor Parallelismの活用例
たとえば、こんな場面で
モデルのテンソルを4台のGPUへ分割する構成では、各GPUが計算の一部を担当します。Transformersでは、テンソル並列に使うデバイス数を4に設定する例が示されています。
03 / GOOD TO KNOW
使うときのポイント
対象モデルと実行基盤がテンソル並列化に対応しているか、必要なGPU数と高速なデバイス間通信を確保できるかを確認します。性能はモデル、入力、通信環境などに左右されます。
参考資料
Tensor parallelism for inference · Hugging Face （新しいタブで開きます）Tensor Parallelism · Hugging Face （新しいタブで開きます）Tensor Parallelism - Amazon SageMaker AI （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。