01 / UNDERSTAND
仕組みと使いどころ
自己回帰型大規模言語モデルは、入力済みのトークン列を基に次の1トークンを選び、生成したトークンを文脈へ追加して再び予測します。この反復は、応答の終端を示すEOSトークンなどが選ばれるまで続きます。デコーダ型Transformerを使うLLMは、テキスト生成、チャット、コード生成などに利用されます。生成は基本的に1トークンずつ順番に進み、一度生成した過去のトークンを後続の生成過程で直接書き換える方式ではありません。また、モデルが処理できるトークン数にはコンテキスト長による上限があります。
02 / IN PRACTICE
Autoregressive large language modelの活用例
たとえば、こんな場面で
利用者の指示と書きかけの文章を入力し、その続きを次トークン予測の反復によって生成します。チャット応答やコード補完も同じ仕組みで実行できます。
03 / GOOD TO KNOW
使うときのポイント
利用するモデルのコンテキスト長と出力上限を確認し、入力と出力の合計トークン数を上限内に収めます。
参考資料
Machine Learning Glossary | Google for Developers （新しいタブで開きます）What are LLMs? · Hugging Face （新しいタブで開きます）Wyjaśnienie dyfuzji w generowaniu tekstu | Gemma | Google AI for Developers （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。