01 / UNDERSTAND
仕組みと使いどころ
自然言語処理におけるアダプターは、事前学習済みモデル全体をタスクごとに再学習する代わりに、小規模な追加モジュールを学習させるパラメータ効率のよい転移学習手法です。元のネットワークを固定したまま複数のタスクへ拡張でき、基盤モデルのパラメータを共有できます。Hugging FaceのAdaptersライブラリでは、アダプターの読み込み、学習・推論時の有効化、複数モジュールの構成を扱えます。ただし、性能や追加パラメータ量はモデル、タスク、アダプター方式によって異なり、常にモデル全体のファインチューニングと同等になるとは限りません。なお、「アダプター」は別の構成要素を接続・変換する機構も指すため、文脈の確認が必要です。
02 / IN PRACTICE
Adapterの活用例
たとえば、こんな場面で
感情分類用のアダプターを基盤言語モデルへ追加し、基盤モデルを共有したまま、そのアダプターだけを学習または読み込んで推論に使う構成が考えられます。別タスクには別のアダプターを用意できます。
03 / GOOD TO KNOW
使うときのポイント
利用時は、アダプターが対応する基盤モデルと方式、学習対象のパラメータ、推論時に有効化するモジュールを確認してください。個別の性能は対象タスクで検証が必要です。
参考資料
Using Adapters at Hugging Face · Hugging Face （新しいタブで開きます）Parameter-Efficient Transfer Learning for NLP （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。