01 / UNDERSTAND
仕組みと使いどころ
AI推論は、AIアプリケーションの実行時や展開後に行われます。モデルのパラメータを更新する学習とは異なり、学習済みモデルに入力を通して出力を得る処理です。用途に応じて、複数の入力をまとめるバッチ推論、入力に即時応答するリアルタイム推論、端末やデータ源の近くで処理するエッジ推論などがあります。推論結果は学習データから得たパターンに基づくため、常に正しいとは限りません。実環境のデータが変化すると精度が低下することがあり、処理速度、スループット、計算資源、コストの間にも調整が必要です。
02 / IN PRACTICE
AI Inferenceの活用例
たとえば、こんな場面で
活用例として、受信メールの迷惑メール判定、画像の分類、商品の推薦、チャットボットによる文章生成などが考えられます。即時性が不要な大量処理にはバッチ推論、対話や継続的な入力への応答にはリアルタイム推論やストリーミング推論を選べます。
03 / GOOD TO KNOW
使うときのポイント
導入時は、必要な応答時間と処理量を明確にし、実際の入力データで出力を検証します。データの変化による精度低下に注意し、速度、コスト、利用可能な計算資源のバランスも確認します。
参考資料
What is AI Inference? （新しいタブで開きます）What is Inferencing? - AI Inference Explained - AWS （新しいタブで開きます）What is AI Inference? | IBM （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。