GPTQ
GPTQは、大規模言語モデル（LLM）のパラメータを効率的に量子化し、メモリ消費量を大幅に削減するポストトレーニング量子化（PTQ）技術です。モデルの精度低下を最小限に抑えながら、16ビット（FP16）から4ビットや3ビットへと軽量化できます。これにより、一般的なGPUでも高性能なLLMを高速に動作させることが可能になります。
モデル軽量化のAI用語一覧
5件モデル軽量化に関するAI用語を5件掲載しています。意味や使い方、関連用語を一覧から確認できます。
固定小数点数
固定小数点数は、小数点の位置を固定して数値を表現するデータ形式です。浮動小数点数に比べて計算処理がシンプルで、メモリ消費量や消費電力を大幅に削減できます。AI分野では、学習済みモデルの軽量化手法である量子化において利用され、スマートフォンやIoT機器などのエッジAIデバイスで効率的な推論処理を実現するために重要視されています。
量子化技術
量子化技術とは、ディープラーニングモデルの重みや活性化関数で使われる数値の精度を落とすことで、モデルのデータ容量を削減し計算処理を高速化する技術です。通常32ビット浮動小数点数で表現されるパラメータを8ビット整数などに変換します。モデルの推論を効率化し、スマートフォンなどのエッジデバイスでの高速動作や消費電力削減を実現します。
ポストトレーニング量子化
ポストトレーニング量子化（PTQ）とは、学習済みのディープラーニングモデルに対して、追加の再学習を行うことなく、パラメータのデータ精度を落としてモデル軽量化を図る手法です。一般的に32ビット浮動小数点を8ビット整数などに変換します。再トレーニングが不要なため、開発コストを抑えながらメモリ使用量の削減や推論速度の向上を素早く実現できます。
ポスト訓練量子化
ポスト訓練量子化（PTQ）は、すでに学習（訓練）が完了したディープラーニングモデルの重みや活性化関数を、再学習を行うことなく低ビット（例：32ビット浮動小数点から8ビット整数）に変換する技術です。計算量とメモリ消費量を大幅に削減し、エッジデバイスへの実装を容易にします。