01 / UNDERSTAND
仕組みと使いどころ
BPEは、最初に文字などから基本語彙を作り、学習データで出現頻度の高い隣接ペアを順次結合して新しいトークンを語彙へ加える。頻出する語や部分列は一つのトークンになりやすく、珍しい語は複数のサブワードに分割される。これにより、語彙を抑えながら未見の語を既知の部分から表現できる。基本語彙にない文字は未知トークンになる場合があるが、256種類のバイト値を基本語彙とするByte-level BPEでは、未知トークンを使わずに単語を分割できる。
02 / IN PRACTICE
BPEの活用例
たとえば、こんな場面で
「h」「u」「g」から始め、頻出する「u」と「g」を結合して「ug」を語彙へ追加する。以後も頻出する隣接ペアの結合を繰り返す。
03 / GOOD TO KNOW
使うときのポイント
使用するトークナイザーの基本単位、語彙サイズ、結合規則、未知文字の処理を確認し、実際の入力がどのように分割されるか試す。
参考資料
Tokenization algorithms · Hugging Face （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。