01 / UNDERSTAND
仕組みと使いどころ
推論は、学習済みモデルへ入力を与えて出力を生成する処理です。推論リクエストは、その処理を依頼するためのデータをまとめたものを指します。NVIDIA Megatron Coreの例では、リクエストID、プロンプト、トークン列、サンプリング条件、到着時刻、状態、生成テキストなどを保持します。状態には待機中、生成中、完了、失敗などがあります。利用できる項目、対応するモデルや処理内容、認証・権限はサービスやAPIによって異なります。リクエストを送れば常に期待どおりの結果が得られることや、特定の端末へ自動的に割り当てられることまでは、用語自体に含まれません。
02 / IN PRACTICE
Inference Requestの活用例
たとえば、こんな場面で
文章生成では、質問文を入力し、使用するモデルや最大生成トークン数などを指定して推論リクエストを送る使い方が考えられます。画像生成や分類なども、利用先が対応していれば同様に入力を渡して結果を受け取れます。
03 / GOOD TO KNOW
使うときのポイント
利用前に、対象APIが対応するモデルとタスク、入力形式、生成パラメータ、認証権限を確認します。状態や返却項目の定義も実装ごとに異なるため、各サービスの公式資料を参照してください。
参考資料
core.inference.inference_request — Megatron Core （新しいタブで開きます）Making inference requests - Amazon Bedrock （新しいタブで開きます）Run Inference on servers · Hugging Face （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。