01 / UNDERSTAND
仕組みと使いどころ
Transformerの注意層で、参照先を局所領域や疎な組み合わせに限定せず、各位置から対象範囲全体へ注意を向けられる方式を指します。双方向モデルでは入力中の全位置を参照でき、自己回帰モデルではマスクにより現在位置より後を参照できない場合があります。広い関係を扱える一方、標準的な完全注意は系列長Lに対して計算量とメモリ使用量が二次的に増えるため、非常に長い入力では負担が大きくなります。なお、Combinerのように、直接または間接的な注意によって全位置への参照能力を保ちながら計算量を抑える方式も提案されています。
02 / IN PRACTICE
Full Attentionの活用例
たとえば、こんな場面で
長い文章の離れた箇所にある語句や記述の関係を扱いたい場合、完全注意層を利用する構成が候補になります。計算効率を重視する注意層と組み合わせ、広い関係を扱う役割を一部の層に持たせる設計も考えられます。
03 / GOOD TO KNOW
使うときのポイント
「完全」が未来の位置を常に参照できるという意味ではありません。実際の参照範囲は注意マスクで変わるため、モデルが双方向型か自己回帰型かを確認してください。
参考資料
Summary of the models — transformers 4.4.2 documentation （新しいタブで開きます）Combiner: Full Attention Transformer with Sparse Computation Cost （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。