Autoregressive Model（自己回帰モデル）とは？

01 / UNDERSTAND

仕組みと使いどころ

提示資料では、Transformerのデコーダーだけを使うモデルが自己回帰モデルと呼ばれている。各位置の注意層は、その位置より前のトークンだけを参照でき、事前学習では通常、文中の次の語を予測する。GPTなどのデコーダーモデルはトークンを一つずつ予測して文章を生成するため、文章生成に適している。入力全体を双方向に参照するエンコーダーモデルとは構造が異なり、文分類、固有表現抽出、抽出型質問応答などではエンコーダーモデルが適している。

02 / IN PRACTICE

Autoregressive Modelの活用例

03 / GOOD TO KNOW

使うときのポイント

文章生成にはデコーダー型、入力全体の双方向な理解が重要な処理にはエンコーダー型など、タスクに応じて構造を選ぶ。