01 / UNDERSTAND
仕組みと使いどころ
Transformerの各層に学習可能なランク分解行列を挿入し、その追加部分だけを更新する。全パラメータを微調整する方法より、学習対象のパラメータ数とGPUメモリ需要を減らせる。原論文では複数の言語モデルで全体微調整と同等以上の品質が報告されたが、結果は評価対象のモデルと課題に基づくため、あらゆる用途で同じ品質や効率が得られるとは限らない。
02 / IN PRACTICE
LoRAの活用例
たとえば、こんな場面で
基盤モデルを固定したまま、追加行列だけを業務データで学習し、特定分野向けの応答へ適応させる方法が考えられる。
03 / GOOD TO KNOW
使うときのポイント
対象モデルへ行列を挿入できるかを確認し、全体微調整などの基準手法と品質、学習資源、推論条件を比較する。
参考資料
LoRA: Low-Rank Adaptation of Large Language Models （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。