01 / UNDERSTAND
仕組みと使いどころ
事前学習後に、指示への従いやすさ、有用性、真実性などの応答特性を整える学習を指す。資料の例では、人が作成した望ましい回答による教師あり微調整の後、人が付けた回答順位を使う強化学習を行っている。モデルを大きくするだけでは利用者の意図に沿うとは限らず、調整後も単純な誤りは残り得る。
02 / IN PRACTICE
Post-trainingの活用例
たとえば、こんな場面で
望ましい回答例と複数回答の順位データを使い、指示に沿った応答を促す調整が考えられる。
03 / GOOD TO KNOW
使うときのポイント
工程名だけで判断せず、教師あり学習や人の評価を用いた学習など、実際の調整方法を確認する。
参考資料
Training language models to follow instructions with human feedback （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。