01 / UNDERSTAND
仕組みと使いどころ
Decoder-only Transformerでは、各位置の注意機構が、その位置より前にあるトークンだけを参照します。このため自己回帰モデルとも呼ばれ、一般に次のトークンを予測する方法で事前学習されます。テキスト生成に適しており、文章作成、要約、翻訳、質問応答、コード生成などに利用されます。一方、各位置から入力全体を双方向に参照する構成ではないため、文全体の双方向な理解を重視する処理ではエンコーダー型が適する場合があります。また、標準的な全注意機構の計算量は系列長に対して二次的に増加します。
02 / IN PRACTICE
Decoder-only Transformerの活用例
たとえば、こんな場面で
入力された指示や文章を先行トークンとして参照し、次のトークンを一つずつ予測して文章やコードを生成します。
03 / GOOD TO KNOW
使うときのポイント
新しいテキストの生成が中心ならデコーダー専用構成が候補になります。入力全体の双方向な理解や、入力系列から別の系列への変換が中心なら、エンコーダー型やエンコーダー・デコーダー型も比較します。
参考資料
Transformer Architectures · Hugging Face （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。