グループト・クエリ・アテンションは、大規模言語モデルの推論を高速化しメモリ消費を抑えるためのアテンション機構です。マルチヘッド・アテンションの効率性とマルチクエリ・アテンションのメモリ削減の長所を組み合わせた技術として注目されています。
グループト・クエリ・アテンションとは
グループト・クエリ・アテンション（GQA）とは、大規模言語モデルのTransformerにおける自己注意機構の計算効率を改善し、生成速度の向上とメモリ削減を両立させるための手法です。
詳しく解説
大規模言語モデルの推論時には、キーとバリューのテンソルをメモリ上に保持し続ける必要があり、これがメモリ帯域のボトルネックになります。従来の手法であるマルチクエリ・アテンションは、キーとバリューのヘッドを1つに統合することでメモリを大幅に削減しましたが、モデルの精度が低下するという課題がありました。GQAは、キーとバリューのヘッドをいくつかのグループに分割し、複数のクエリヘッドに対して各グループを共有させることで、精度の大幅な低下を防ぎつつメモリ効率と推論速度を改善します。
具体例・使われ方
最新の大規模言語モデルやオープンソースの高性能モデルにおいて、長文のコンテキストを効率的に処理しつつ推論コストを削減する目的で採用されています。例えば、数万トークン以上の入力長を持つモデルで、メモリ使用量を抑えながら高速なテキスト生成を行う際に利用されます。
似た用語との違い
従来のマルチヘッド・アテンションはすべてのクエリ、キー、バリューのヘッドが独立しており精度が高い一方でメモリ消費が大きいという違いがあります。また、マルチクエリ・アテンションはキーとバリューのヘッドを1つだけに絞るためメモリ効率は最高ですが精度が落ちやすく、GQAはその中間に位置する折衷案となっています。
注意点
GQAはメモリ効率と精度のバランスに優れていますが、モデルの学習時に最初からGQAを前提として設計されているか、あるいは既存モデルを適切に変換・適応させる必要があります。実装方法やモデルのアーキテクチャによっては、期待したほどの速度向力が得られない場合もあるため注意が必要です。