01 / UNDERSTAND
仕組みと使いどころ
RMSNormはRoot Mean Square Layer Normalizationの略称です。ニューラルネットワークの層への入力を二乗平均平方根に基づいて正規化します。LayerNormが入力の再中心化と再スケーリングを扱うのに対し、RMSNormは再中心化を省き、再スケーリングへの不変性を与えます。提案論文では、RMSNormはLayerNormより計算が単純で効率的だと説明されています。複数のタスクとネットワーク構成を使った実験では、LayerNormと同程度の性能を示し、モデルによって実行時間を7～64％短縮したと報告されています。論文では、入力の一部からRMSを推定するpartial RMSNormも提案されています。
02 / IN PRACTICE
RMSNormの活用例
たとえば、こんな場面で
ニューラルネットワークの正規化層で、再中心化を省いた構成を試す場合にRMSNormを候補にできます。提案論文ではLayerNormとの性能と実行時間が比較されています。
03 / GOOD TO KNOW
使うときのポイント
採用時は、再中心化を行わない性質が対象のモデルに適するかを確認し、使用するタスクとネットワーク構成でLayerNormと性能および実行時間を比較します。
参考資料
Root Mean Square Layer Normalization （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。