01 / UNDERSTAND
仕組みと使いどころ
Carbon-Xでは、文章をQwen3のBPE語彙で処理し、DNA配列を追加されたDNA用トークンで処理します。DNA配列は基本的に6塩基ずつ重複なく区切られ、1個の6-merトークンが6塩基を表します。追加語彙には4,096個の6-mer、配列長が6の倍数でない場合の末尾を扱うトークン、DNA領域などを示す特殊トークンが含まれます。文章中の一定の条件を満たすDNA候補は自動的に検出され、DNA領域として処理されます。A、C、G、T以外の文字を含む6-merは未知トークンになるため、その区間の塩基情報は保持されません。
02 / IN PRACTICE
Hybrid Tokenizerの活用例
たとえば、こんな場面で
質問文とDNA配列を同じメッセージに含めると、文章部分はBPE、検出されたDNA部分は6-merを中心とするDNA用語彙でトークン化されます。これにより、Carbon-Xは自然言語とDNAを同じデコーダーのトークン列として処理できます。
03 / GOOD TO KNOW
使うときのポイント
塩基単位の情報を保持する必要がある場合は、配列がA、C、G、Tで構成されているか確認します。DNA領域を確実に指定する場合はdnaタグを使用し、自動検出を止める場合はauto_dna_tagsを無効にします。
参考資料
HuggingFaceBio/Carbon-X · Hugging Face （新しいタブで開きます）tokenizer.py · HuggingFaceBio/Carbon-X at main （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。