01 / UNDERSTAND
仕組みと使いどころ
GRPOはPPOの派生手法です。学習中のモデルが各プロンプトに対して複数の応答を生成し、報酬モデルまたは報酬関数で評価します。各応答の優位度は、同じプロンプトに対する応答群の報酬を基に計算されます。目的は生成応答の優位度を高めながら、必要に応じて参照方策との差を抑えることです。TRLではKLダイバージェンス項の係数は既定で0です。報酬を標準偏差で正規化すると問題難易度に関する偏りが生じる可能性があり、損失の正規化方法によっては応答長に関する偏りも生じ得ます。
02 / IN PRACTICE
GRPOの活用例
たとえば、こんな場面で
数学問題ごとに複数の解答を生成し、正解判定を報酬関数として与え、同じ問題への解答群を相対比較しながらモデルを学習させる用途があります。
03 / GOOD TO KNOW
使うときのポイント
利用時は、報酬関数、報酬の正規化単位、損失形式、KL項の有無、生成ごとの更新回数を確認してください。
参考資料
GRPO Trainer · Hugging Face （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。