生徒モデル
生徒モデルとは、知識蒸留などの手法において、大規模な教師モデルから出力を模倣するように学習し、軽量かつ高速な推論を実現する機械学習モデルのことです。
モデル圧縮のAI用語一覧
6件モデル圧縮に関するAI用語を6件掲載しています。意味や使い方、関連用語を一覧から確認できます。
教師モデル
教師モデルとは、知識蒸留などの手法において、あらかじめ高度な学習を完了させた性能の高いAIモデルのことです。自己のもつ豊富な知識や出力確率の傾向を、より軽量な生徒モデルへ引き継ぐことで、AIの軽量化や効率化を実現します。
過剰圧迫
過剰圧迫とは、AIモデルの軽量化や量子化においてデータを縮小しすぎた結果、必要な情報まで失われ性能が著しく低下する現象です。モデルの効率化と精度のトレードオフで発生し、適切な圧縮率の調整が重要になります。
量子化誤差
量子化誤差とは、AIモデルの高精度な数値を低い精度の数値で近似・変換する際に発生する情報の損失や数値のズレのことです。モデルの軽量化や推論の高速化と引き換えに、わずかな出力精度の低下を引き起こす原因となります。
圧縮効率
圧縮効率とは、データやAIモデルのサイズをどれだけ削減できたか、およびその削減に伴い処理速度や性能をどれだけ維持・向上できたかを示す指標です。AI分野では、大規模言語モデルや画像認識モデルを軽量化する際に、精度低下を抑えながらストレージやメモリの使用量を削減し、推論速度を高める重要な性能指標として扱われます。
蒸留モデル
蒸留モデルとは、巨大な高性能AIモデル（教師モデル）の知識を軽量な小規模モデル（生徒モデル）へ効率的に引き継ぎ、精度を大きく落とさずに処理速度の向上や省メモリ化を実現したAIモデルのことです。