01 / UNDERSTAND
仕組みと使いどころ
双方向Transformerは、入力中のある語を、それより前の語だけでなく後ろの語も含む文脈に基づいて表現します。代表例のBERTは、文章の一部を隠して予測する事前学習などにより、各層で左右の文脈を同時に考慮します。学習した表現は、出力層などを追加して質問応答や言語推論をはじめとする自然言語処理タスクに適応できます。一方、双方向であることだけで正しい理解や回答が保証されるわけではなく、BERTを利用した検索でも文意を誤る例が報告されています。また、この用語だけでは画像など文章以外の入力を扱えるとは限りません。
02 / IN PRACTICE
Bidirectional Transformerの活用例
たとえば、こんな場面で
検索文の前後関係を踏まえて、「誰がどこへ向かうのか」といった語句の関係を捉える用途が考えられます。また、事前学習済みモデルにタスク用の出力層を加え、質問応答や文章分類へ適応する使い方もあります。
03 / GOOD TO KNOW
使うときのポイント
採用時は「双方向」という名称だけで判断せず、対象データ、事前学習方法、対応タスクを確認してください。個別の入力では文脈を誤る可能性も考慮が必要です。
参考資料
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding （新しいタブで開きます）BERT · Hugging Face （新しいタブで開きます）Understanding searches better than ever before （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。