01 / UNDERSTAND
仕組みと使いどころ
従来の機械学習が主に固定されたデータセットで学習するのに対し、継続学習では、分布が変化するデータや新しいタスク、クラスを段階的にモデルへ取り込みます。主な課題は、新しいデータだけで追加学習すると過去のデータに対する性能が低下する「破滅的忘却」です。その緩和策には、パラメータの変更を制限する正則化、過去のタスクに関わるパラメータを分離する方法、過去データの一部や生成したデータを再利用するリプレイがあります。ただし、過去の知識を完全に保持できるとは限りません。リプレイには保存容量が必要で、個人情報などを含むデータでは保存上の制約も生じます。また、手法やハイパーパラメータの選択によって性能が変わります。
02 / IN PRACTICE
Continual Learningの活用例
たとえば、こんな場面で
質問応答モデルへ新しい時期の質問データを定期的に追加しつつ、以前の話題に対する性能低下を抑える用途が考えられます。また、画像分類で車とトラックを学習した後、バスやオートバイを新しいクラスとして順次追加する場合にも利用できます。
03 / GOOD TO KNOW
使うときのポイント
評価結果を確認するときは、固定済みモデルの評価か、データを順次与えて更新した継続学習の評価かを区別します。新しいデータだけでなく、過去のタスクやクラスに対する性能も併せて確認してください。
参考資料
What is Continual Learning? | IBM （新しいタブで開きます）Automatically retrain neural networks with Renate | Amazon Web Services （新しいタブで開きます）Renate an open source python library for automatic model re-training - AWS （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。