01 / UNDERSTAND
仕組みと使いどころ
因果デコーダーは、未来のトークンを参照できないよう注意範囲を制限し、既存のトークン列から次のトークンを予測します。この仕組みにより、文章などを自己回帰的に1トークンずつ生成できます。GPT、Llama、Qwenなどのデコーダー専用モデルで用いられ、画像言語モデルでは、画像を処理するビジョンエンコーダーの後段でテキスト生成を担う場合があります。生成時は各トークンが直前までの出力に依存するため、出力全体を一度に生成する構成ではありません。また、固定長の埋め込みや分類結果を1回の処理で得るエンコーダー専用モデルとは、構成と推論の進み方が異なります。
02 / IN PRACTICE
Causal Decoderの活用例
たとえば、こんな場面で
画像言語モデルでは、ビジョンエンコーダーが画像を視覚トークンへ変換し、その情報と入力文を因果デコーダーへ渡して、画像についての説明文や回答を順番に生成する構成が考えられます。
03 / GOOD TO KNOW
使うときのポイント
モデルを確認するときは、各位置が過去側だけを参照する因果マスクを使うか、次トークン予測を行うかを確認します。埋め込み取得や検索が目的なら、生成用デコーダーを含む構成が必要かも検討します。
参考資料
Causal language modeling · Hugging Face （新しいタブで開きます）Attention backends · Hugging Face （新しいタブで開きます）How AI Inference works - AWS Prescriptive Guidance （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。