01 / UNDERSTAND
仕組みと使いどころ
オンライン推論では、モデルをWebサーバー上のエンドポイントとして公開し、HTTPなどを通じて届く要求ごとに同期的に結果を返します。低遅延が必要な処理や、継続的または多量の要求を扱う用途に適しています。一方、モデルが比較的短時間で応答でき、入力がリクエストのペイロードに収まることが前提です。扱えるデータ量や処理時間にはサービスごとの上限があるため、大容量データの一括処理や長時間の処理には、バッチ推論や非同期推論など別の方式が適する場合があります。
02 / IN PRACTICE
Online Inferenceの活用例
たとえば、こんな場面で
例えば、アプリから送られた入力をオンラインエンドポイントで受け取り、配置済みモデルによる分類結果や予測結果をその場で返す仕組みに利用できます。
03 / GOOD TO KNOW
使うときのポイント
採用前に、必要な応答時間、想定する要求数、入力サイズ、モデルの処理時間を確認し、利用するサービスの上限やスケーリング方式に適合するかを検討します。
参考資料
Inference options in Amazon SageMaker AI （新しいタブで開きます）Online endpoints for real-time inference - Azure Machine Learning （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。