01 / UNDERSTAND
仕組みと使いどころ
GQAは、Query Headと同数のKey-Value Headを使うMulti-Head Attentionと、Key-Value Headを1つだけ使うMulti-Query Attentionの中間に位置する方式です。Query Head数より少なく、1より多いKey-Value Headを用います。提案論文では、既存のMulti-Headモデルを追加学習でGQAへ変換する方法も示され、実験ではMulti-Head Attentionに近い品質と、Multi-Query Attentionに匹敵する推論速度が報告されています。ただし、これは論文中の実験結果であり、あらゆるモデルで同じ品質や速度が保証されるわけではありません。
02 / IN PRACTICE
Grouped-Query Attentionの活用例
たとえば、こんな場面で
56個のQuery Headと8個のKey-Value Headを持つ構成では、Query Headを8グループに分け、各グループが1つのKey-Value Headを共有する設計として利用できます。
03 / GOOD TO KNOW
使うときのポイント
モデルを確認するときは、Query Head数だけでなくKey-Value Head数も確認します。速度や品質に関する効果は、採用方式だけから一律に断定しないことが重要です。
参考資料
GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints （新しいタブで開きます）Optimizing LLMs for Speed and Memory · Hugging Face （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。