GPTQは、大規模言語モデル（LLM）のパラメータを効率的に量子化し、メモリ消費量を大幅に削減するポストトレーニング量子化（PTQ）技術です。モデルの精度低下を最小限に抑えながら、16ビット（FP16）から4ビットや3ビットへと軽量化できます。これにより、一般的なGPUでも高性能なLLMを高速に動作させることが可能になります。
GPTQとは
GPTQとは、大規模言語モデル（LLM）のパラメータ（重み）のデータ精度を落として軽量化する「ポストトレーニング量子化」と呼ばれる技術の一種です。特に16ビット（FP16）で表現されているモデルの重みを4ビットなどに圧縮し、動作に必要なGPUメモリ（VRAM）の容量を劇的に削減します。
詳しく解説
GPTQは、学習済みのモデルに対して追加のファインチューニングを行うことなく、高速に量子化処理を行う「Post-Training Quantization（PTQ）」の手法です。従来の単純な量子化では、ビット数を落とすとモデルの推論精度が著しく低下するという課題がありました。GPTQでは、Hessian（ヘシアン）行列と呼ばれる数学的アプローチを用いて各パラメータの結合影響度を計算し、量子化による誤差を最小限に抑えるように他の重みを補正します。この処理により、1750億パラメータを持つような超巨大LLMであっても、数時間程度の処理で高精度を維持したまま4ビットや3ビットへと量子化することが可能となりました。
具体例・使われ方
例えば、通常であれば数十GBから数百GBのVRAMを搭載したエンタープライズ向けの超高性能なGPUを複数枚必要とする大規模言語モデル（LLM）を、1枚の消費者向けグラフィックボード（例えばVRAMが16GBや24GBのGPU）で動作させたい場合にGPTQが広く利用されています。これにより、ローカル環境でのAIアシスタントの実行や、限られたハードウェア資源でのチャットボット構築が容易になります。
似た用語との違い
GPTQと類似した量子化手法に「AWQ」があります。GPTQはモデル全体をレイヤーごとに一括して量子化していくのに対し、AWQ（Activation-aware Weight Quantization）はモデルの出力に大きな影響を与える重要な重み（サリエンシー）を保護しながら量子化を行います。結果として、AWQの方が特定のタスクにおいて精度を維持しやすい傾向にありますが、GPTQは処理が比較的シンプルで、多くの推論エンジンやライブラリ（ExLlamaなど）で高速な実行がサポートされているという強みがあります。
注意点
GPTQは非常に強力な軽量化技術ですが、量子化を行うプロセス（キャリブレーション）において、モデルに少量の「キャリブレーションデータ」を入力して誤差を補正する必要があります。このデータの選定が偏っていると、特定のタスクで性能が低下することがあります。また、極端に小さなモデルをさらに2ビットなどに量子化すると、精度低下が顕著になるため注意が必要です。