01 / UNDERSTAND
仕組みと使いどころ
AI推論は、学習済みモデルを実行し、入力からテキスト、埋め込み、分類結果などの出力を生成する処理です。アクセラレータは、この推論に必要な行列演算を高速化する専用ハードウェアを指します。資料ではNVIDIA GPU、AWS Trainium、Inferentiaチップが例示されています。Inferentiaは深層学習や生成AIの推論向けに設計され、AWS Neuron SDKを通じてPyTorchやTensorFlowと連携します。推論環境の運用には、アクセラレータだけでなく、モデルをメモリへ読み込んで要求を処理するモデルサーバー、モデル保存、監視、障害対応、需要に応じたスケーリングなども必要です。性能は初回出力までの時間、出力ごとの時間、要求全体の遅延、処理量、使用率などで確認できます。
02 / IN PRACTICE
AI Inference Acceleratorの活用例
たとえば、こんな場面で
文章生成モデルを提供する場合、GPUなどを搭載した計算ノードでモデルサーバーを動かし、保存先からモデルの重みを読み込みます。サービスの要求数、応答時間、トークン処理量、アクセラレータ使用率を監視し、需要に合わせて計算ノードを増減できます。
03 / GOOD TO KNOW
使うときのポイント
対象モデルと利用するフレームワークへの対応、必要なSDK、モデルを読み込めるメモリを確認してください。実際の負荷で初回出力時間、全体の遅延、処理量、使用率を測定し、費用も含めて構成を比較します。
参考資料
Run AI/ML inference workloads on Amazon EKS （新しいタブで開きます）AWS Inferentia （新しいタブで開きます）Faster AI. Lower Cost. NVIDIA Deep Learning Inference Platform （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。