蒸留（知識蒸留）とは、巨大な高性能なニューラルネットワーク（教師モデル）が持つ知識を、より軽量でコンパクトなモデル（生徒モデル）に効率よく引き継がせる技術です。精度を極力落とさずに処理速度を向上させられるため、AIの実用化において広く活用されています。
蒸留とは
蒸留とは、精度の高い大規模なAIモデルの出力傾向を模倣させることで、軽量なAIモデルに効率よく知識を継承し、精度を保ったまま処理を高速化する技術のことです。
詳しく解説
知識蒸留の仕組みでは、まずパラメータ数が多く計算コストが高い教師モデルを用意し、未知のデータに対する確率分布や中間層の出力を得ます。次に、その出力結果を正解ラベル代わりに、より小規模な生徒モデルに学習させます。教師モデルが出力する確率分布には「どのクラスとどのクラスが似ているか」という豊かな情報（ソフトターゲット）が含まれており、単なる正解ラベル（ハードターゲット）だけを使うよりも効率的な学習が可能になります。これにより、リソースが限られた環境でも高性能なAIを利用できるようになります。
具体例・使われ方
スマートフォンやエッジデバイス上で動作する音声認識アプリや顔認証システムにおいて、サーバー上で動く巨大なモデルの性能を落とさずに搭載するために利用されます。また、リアルタイムでの翻訳処理を行う際にも、レイテンシを削減するために知識蒸留が活用されています。
似た用語との違い
モデルのサイズを縮小する技術として「プルーニング（枝刈り）」や「量子化」が存在します。プルーニングは不要なパラメータを削り落とし、量子化は数値の精度を落としてメモリを削減する手法です。これに対し、蒸留はモデル構造そのものを別の小さなモデルに置き換えて学習させます。
注意点
蒸留を行うことで計算効率や速度は向上しますが、教師モデルの精度を超えることは基本的に難しく、モデル構造の違いが大きい場合はうまく知識が引き継がれないことがあります。また、適切な教師モデルを選ぶ手間や、再学習のための計算コストがかかる点にも注意が必要です。