AI LAB / KEYWORD DICTIONARY

推論技術

Inference-Time Compute(推論時の追加計算)とは?

モデルの回答生成時に計算量を追加し、探索や応答候補の調整によって難しい問題の性能向上を図る考え方。

仕組みと使いどころ

学習済みモデルをそのまま一度だけ動かすのではなく、推論時に追加の計算予算を使う方法を指す。資料では、過程を評価する検証モデルを用いた探索と、入力に応じて応答の確率分布を適応的に更新する方法が扱われている。効果は問題の難しさによって異なり、計算量を増やせば常に同じ割合で性能が上がるわけではない。

Inference-Time Computeの活用例

たとえば、こんな場面で

難しい問いほど多くの計算予算を割り当て、複数の推論経路を評価して回答を選ぶ用途が考えられる。

使うときのポイント

方式を比較する際は、推論時の計算予算をそろえ、問題の難易度ごとの効果を確認する。

参考資料

Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters (新しいタブで開きます)

用語の説明や活用例に関連する参考資料です。

READ & LEARN

用語を知ったら、活用を知る。

AI LABで、AIの動向や業務に取り入れるヒントを読む。

記事一覧を見る