01 / UNDERSTAND
仕組みと使いどころ
各トークンが入力中のほかのトークンを参照できるため、文全体の理解が必要な文章分類、固有表現抽出、単語分類、抽出型質問応答などに適しています。推論では入力を処理し、埋め込みベクトルや分類スコアなどを出力します。代表例はBERTやDistilBERTです。一方、デコーダを持たず、前の出力に続けてトークンを生成する自己回帰型の構造ではないため、文章生成を主目的とする用途には通常、デコーダ専用モデルやエンコーダ・デコーダモデルが用いられます。
02 / IN PRACTICE
Encoder-Only Modelの活用例
たとえば、こんな場面で
問い合わせ文をエンコーダ専用モデルで分類し、担当部署の候補を示す仕組みや、文書から人名・組織名を抽出する処理への活用が考えられます。
03 / GOOD TO KNOW
使うときのポイント
モデル選定では、既存の入力を理解・分類したいのか、新しい文章を生成したいのかを確認します。対応する入力長や出力形式は個別モデルの資料で確認してください。
参考資料
Transformer Architectures · Hugging Face （新しいタブで開きます）Glossary | IBM watsonx as a Service SaaS （新しいタブで開きます）How AI Inference works - AWS Prescriptive Guidance （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。