01 / UNDERSTAND
仕組みと使いどころ
固定長のベクトルだけに入力全体を圧縮せず、次の語などを予測する際に、入力中の関連部分をモデルが重み付きで参照する。機械翻訳の対応付けに利用され、Transformerでは再帰や畳み込みを使わず注意機構を中心に系列を処理する。資料で示された性能は特定の翻訳や構文解析の評価に基づく。
02 / IN PRACTICE
Attention mechanismの活用例
たとえば、こんな場面で
翻訳文の各語を生成するとき、原文のどの語句を重視するかをモデルに選ばせる用途が考えられる。
03 / GOOD TO KNOW
使うときのポイント
採用方式を比較するときは、対象タスクだけでなく、長い入力で必要となる計算やメモリーも確認する。
参考資料
Neural Machine Translation by Jointly Learning to Align and Translate （新しいタブで開きます）Attention Is All You Need （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。