01 / UNDERSTAND
仕組みと使いどころ
通常のドット積注意は、入力要素間の関係を計算するため、入力長や入力サイズの増加に伴って計算量とメモリ使用量が二次的に増えます。線形注意では、カーネル特徴写像と行列積の結合則を利用する方法などにより、系列長Nに対する計算量をO(N²)からO(N)へ削減します。長い系列の自己回帰予測や高解像度入力を効率よく扱える可能性がありますが、性能や高速化の程度は方式、モデル、入力、タスクによって異なります。
02 / IN PRACTICE
Linear Attentionの活用例
たとえば、こんな場面で
長い文章を処理する自己回帰モデルや、高解像度画像を扱う物体検出・インスタンス分割モデルで、注意層の計算負荷を抑える手段として採用を検討できます。
03 / GOOD TO KNOW
使うときのポイント
「線形注意」という名称だけで同じ計算方式や精度が保証されるわけではありません。採用時は、対象方式の計算量、メモリ使用量、通常の注意との関係、対象タスクでの評価結果を確認してください。
参考資料
Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention （新しいタブで開きます）Efficient Attention: Attention with Linear Complexities （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。