AWQ（Activation-aware Weight Quantization）は、大規模言語モデル（LLM）のモデルサイズを軽量化する量子化手法です。モデルの推論時に重要な役割を果たすアクティベーション（活性化値）を分析し、重要な重みを保護しながら低ビット化します。モデルの精度低下を大幅に抑えつつ、GPUメモリの節約や推論速度の向上を実現する技術として広く活用されています。
AWQとは
AWQは、AIモデルの推論時に重要なデータ（アクティベーション）の大きさを考慮し、精度の低下を防ぎながらモデルの重みを圧縮する量子化技術です。
詳しく解説
大規模言語モデル（LLM）の運用では、膨大なGPUメモリ消費と推論コストが課題となります。これらを解決するためにパラメータの数値を16ビットから4ビット等に縮小する「量子化」が行われますが、単純に圧縮するとモデルの精度が大きく落ちるリスクがあります。AWQは、推論時に入力データが層を通過する際に生じるアクティベーションの大きさを観察し、全体のうちわずか1%未満の『特に影響力が大きい重み』を特定します。そして、重要な重みの精度を維持できるようにスケール（補正値）を調整した上で量子化を行います。これにより、全パラメータを等しく圧縮する従来手法に比べて、高い言語理解能力や出力精度を保持したまま軽量化が可能です。
具体例・使われ方
例えば、700億パラメータを持つ大規模なLLMを一般的な家庭用GPUやエッジデバイスで動作させたい場合にAWQが利用されます。AWQで4ビットに圧縮されたモデルは、元のFP16形式とほぼ変わらない応答精度を保ちながら、必要なメモリ量を約4分の1に削減できます。これにより、個人のPC環境やクラウドの低コストなGPUサーバー上で、高速にLLMの推論を実行できるようになります。
似た用語との違い
類似の量子化手法であるGPTQとの違いは、量子化の判断基準にあります。GPTQはモデルの重みそのものの誤差最小化を重視して順番に量子化を行いますが、AWQはアクティベーションの大きさに注目して重要な重みを保護します。また、AWQはキャリブレーションデータへの依存度が低く、特定のデータに過剰に最適化されるリスクが少ない点も特徴です。
注意点
AWQは推論時のメモリと速度を効率化する技術であり、モデルの追加学習（ファインチューニング）自体を直接高速化するものではありません。また、量子化を行う際には少量のキャリブレーション用データを用いてアクティベーションを計測する準備プロセスが必要です。さらに、非常に小さなモデルや極端な1ビット・2ビットといった低ビット量子化では、精度維持に限界が生じる場合があります。