01 / UNDERSTAND
仕組みと使いどころ
一括推論では、複数のプロンプトやデータをまとめて処理します。Amazon Bedrockでは、入力ファイルをAmazon S3に置いてジョブを非同期実行し、完了後に出力ファイルをS3から取得できます。Hugging Face TransformersのPipelineでは、batch_sizeを指定して複数入力を一定件数ずつモデルへ渡せます。ただし、高速化は保証されず、効果はモデル、データ、ハードウェアなどに左右されます。低遅延が必要な処理には適さない場合があり、入力長やバッチサイズによってはメモリ不足も起こり得ます。また、Amazon Bedrockではプロビジョンドモデルの一括推論はサポートされません。
02 / IN PRACTICE
Batch Inferenceの活用例
たとえば、こんな場面で
蓄積済みの商品レビューをまとめて分類したり、多数の文章に対する要約を非同期ジョブとして処理したりする用途が考えられます。即時応答が不要な大量データ処理の候補になります。
03 / GOOD TO KNOW
使うときのポイント
採用前に、実際のモデル、入力データ、ハードウェアで処理時間とメモリ使用量を測定してください。利用サービスの対応モデル、呼び出し形式、制限事項も確認が必要です。
参考資料
Process multiple prompts with batch inference （新しいタブで開きます）Pipeline · Hugging Face （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。