グループ化クエリ・アテンション（Grouped-Query Attention）は、大規模言語モデルのTransformerにおける自己注意機構の計算効率を改善する手法です。マルチヘッド・アテンションとマルチ・クエリ・アテンションの中間に位置し、メモリ帯域のボトルネックを緩和しつつ高い生成品質を維持します。
グループ化クエリ・アテンションとは
一言でいうと、グループ化クエリ・アテンションは、大規模言語モデルの推論を高速化・効率化するために、キーとバリューのヘッド数を削減するアテンション機構の改善手法です。
詳しく解説
大規模言語モデルのTransformerで広く使われるマルチヘッド・アテンションでは、すべてのクエリヘッドに対して独立したキーとバリューのヘッドが存在するため、推論時に大きなメモリ帯域が必要となりボトルネックになります。これを解決するため、全クエリヘッドをいくつかのグループに分け、各グループでキーとバリューのヘッドを共有するグループ化クエリ・アテンションが提案されました。これにより、モデルの精度をほとんど落とさずに、メモリ使用量を削減し処理速度を大幅に向上させることが可能となります。
具体例・使われ方
近年の高性能なオープンソースの大規模言語モデルなどで採用が進んでおり、長いコンテキストを処理する際や、高速なテキスト生成が必要とされるシステムにおいて効果を発揮します。
似た用語との違い
従来のマルチヘッド・アテンションではクエリ、キー、バリューのヘッド数がすべて等しいのに対し、グループ化クエリ・アテンションではキーとバリューのヘッド数を少なく設定します。また、極端にキーとバリューのヘッド数を1つにするマルチ・クエリ・アテンションの一般化された形態であり、品質と効率のバランスをより柔軟に調整できます。
注意点
キーとバリューのヘッド数を減らしすぎるとモデルの表現力が低下し、生成品質が悪化するトレードオフが存在します。モデル設計時にはタスクの要件に応じた適切なグループ数の設定が必要です。