AI LAB / KEYWORD DICTIONARY

基礎知識

Grouped-Query Attention(グループ化クエリアテンション)とは?

Grouped-Query Attention

ISMのAIツール

無料で文字起こしをはじめる

Grouped-Query Attention(GQA)は、複数のQuery Headを、それより少数のKey-Value Headへグループ化して対応させるAttention方式です。

点線の用語から説明を確認できます。

仕組みと使いどころ

GQAは、Query Headと同数のKey-Value Headを使うMulti-Head Attentionと、Key-Value Headを1つだけ使うMulti-Query Attentionの中間に位置する方式です。Query Head数より少なく、1より多いKey-Value Headを用います。提案論文では、既存のMulti-Headモデルを追加学習でGQAへ変換する方法も示され、実験ではMulti-Head Attentionに近い品質と、Multi-Query Attentionに匹敵する推論速度が報告されています。ただし、これは論文中の実験結果であり、あらゆるモデルで同じ品質や速度が保証されるわけではありません。

Grouped-Query Attentionの活用例

たとえば、こんな場面で

56個のQuery Headと8個のKey-Value Headを持つ構成では、Query Headを8グループに分け、各グループが1つのKey-Value Headを共有する設計として利用できます。

使うときのポイント

モデルを確認するときは、Query Head数だけでなくKey-Value Head数も確認します。速度や品質に関する効果は、採用方式だけから一律に断定しないことが重要です。

参考資料

GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints (新しいタブで開きます)Optimizing LLMs for Speed and Memory · Hugging Face (新しいタブで開きます)

用語の説明や活用例に関連する参考資料です。

READ & LEARN

用語を知ったら、活用を知る。

Grouped-Query Attentionが登場する記事から、次のヒントを。

新しい順 最新3件

  1. DNAを英語で読み解く「Carbon-X」登場、機密配列を社内GPUで扱えるオープンモデルの実力と限界

    本文より

    …いうQwen3系の構成で、キーと値を共有して推論時のメモリ負荷を抑えるGQAを採用し、KVヘッド数は8です。最大コンテキスト長は40,960トークンですが、これは必ずしも40,960塩基だけを意味しません。DNA部分では1トークンが最大6塩基を担う一方、質問や回答の英語も同じ枠を消費するた…

    記事を読む
  2. IFMが生成AI「K2 Horizon」6モデルを公開、企業導入で注目したい学習資料と評価監査

    本文より

    …アテンションにも広げます。原文によると、FlashAttention、グループ化クエリアテンション、スパースアテンションといった既存の効率化技術とも互換性があります。 MoVAを採用する36B-A4Bは、総パラメーター数が360億で、1トークン当たりに使う数は約40億です。学習条件をそろえ…

    記事を読む

日本語名や別名を含む記事もご紹介しています。