Inference Cloud（推論クラウド）とは？

01 / UNDERSTAND

仕組みと使いどころ

AI推論は、学習済みモデルが新しい入力を処理し、予測、分類、判断、文章や画像などの出力を生成する実行段階です。本項の推論クラウドは、この推論をデータセンター上のCPU、GPU、専用アクセラレーターなどで実行し、アプリケーションから利用できるようにする基盤やサービスを表します。これは統一規格や特定製品の正式名称ではありません。モデルを推論用に配備・管理する処理はAI servingとも呼ばれ、APIエンドポイントの設定や要求を処理する基盤の管理を含みます。提供サービスによっては、モデル、クラウド事業者、リージョン、機器、認証方式、複製数、自動スケーリングなどを設定できます。クラウド推論には、個別の要求へ即時に応答するリアルタイム推論と、大量の入力をまとめて扱うバッチ推論があります。応答速度、処理量、費用、利用可能なモデルや機器は構成によって異なります。推論はモデルの学習とは異なり、その出力品質はモデル、入力データ、モデルドリフトなどの影響を受けます。

02 / IN PRACTICE

Inference Cloudの活用例

03 / GOOD TO KNOW

使うときのポイント

必要な応答時間、処理量、対応モデル、CPU・GPUなどの機器、実行地域、認証、自動スケーリング、料金を確認してください。入力品質と出力精度を監視し、モデルドリフトにも備えます。