01 / UNDERSTAND
仕組みと使いどころ
エピソードは、環境の初期化から成功、失敗、時間切れなどの終了条件に達するまでの一連の操作です。エピソードリターンは、その間に各時点で与えられた報酬を累積した値で、方策の学習状況や比較に利用できます。報酬には、目標への接近や達成に対する加点だけでなく、失敗、急な操作、不要な動きなどへの減点も含められます。そのため、同じ成功結果でも途中の動作によって値が異なる場合があります。また、開始状態や報酬の重みが異なる評価同士は単純比較できず、リターンだけで実際のタスク成功を判断することもできません。
02 / IN PRACTICE
Episode Returnの活用例
たとえば、こんな場面で
ロボットが物体を所定位置へ置く課題で、接近、把持、挿入、完了に報酬を与え、落下や過剰な動作に減点を設定するとします。各試行のエピソードリターンを記録し、学習中の変化を見る用途が考えられます。ただし、配置成功率は別に確認します。
03 / GOOD TO KNOW
使うときのポイント
比較時は、報酬項目と重み、エピソードの開始状態、終了条件が同じかを確認してください。リターンと併せて、標準の開始状態からの成功結果も評価します。
参考資料
Train a Teacher Policy — Getting Started With Isaac Lab （新しいタブで開きます）Machine Learning Glossary | Google for Developers （新しいタブで開きます）Controlling agents by switching between control policies during task episodes （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。