01 / UNDERSTAND
仕組みと使いどころ
個別タスクへの調整より前に行う学習である。BERTでは、ラベルのない文章の左右両方の文脈を同時に考慮し、双方向の言語表現を学習する。得られたモデルは、追加の出力層などを用いた微調整によって質問応答や言語推論へ適用できる。事前学習だけで各タスクへの適合が完了するわけではない。
02 / IN PRACTICE
Pretrainingの活用例
たとえば、こんな場面で
ラベルのない文章で基盤モデルを事前学習し、その後に質問応答向けの出力層を追加して調整する。
03 / GOOD TO KNOW
使うときのポイント
モデルを確認するときは、事前学習で得た基盤能力と、後続の微調整で加えた能力を区別する。
参考資料
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。