知識蒸留とは、大規模で高性能なAIモデル（教師モデル）が持つ知識を、より小さく軽量なモデル（生徒モデル）へ継承させる機械学習の技術です。モデルの予測精度を極力維持したまま計算コストやメモリ使用量を大幅に削減できるため、スマートフォンやエッジデバイスなどのリソースが限られた環境へのAI実装で重要な役割を果たします。
知識蒸留とは
知識蒸留とは、大型で高精度な「教師モデル」の出力パターンを、小型の「生徒モデル」に学習させることで、モデル軽量化を実現する技術です。
詳しく解説
深層学習（ディープラーニング）では、モデルのパラメータ数を増やすことで精度が向上する傾向がありますが、そのままでは動作に膨大な計算資源が必要です。知識蒸留では、教師モデルが出力する単なる正解ラベルだけでなく、各クラスの予測確率分布（ソフトターゲット）を生徒モデルに学習させます。これにより、正解以外の選択肢に含まれる潜在的な関係性や知識も効率的に伝達できます。知識蒸留は、推論速度の向上や省電力化を実現し、実務環境へのモデル展開を容易にするための重要なプロセスとなっています。
具体例・使われ方
例えば、クラウド上の巨大な言語モデルから知識蒸留を行い、スマートフォンのオンデバイスで高速動作する軽量モデルを構築するケースがあります。また、自動運転や防犯カメラなどのエッジデバイスにおいて、リアルタイム処理を実現するためにモデル軽量化を図る目的でも活用されています。
似た用語との違い
モデル軽量化の別手法である量子化やプルーニングとの違いとして、量子化は重みの数値精度を落とす手法であり、プルーニングは不要なパラメータを削除する手法です。これに対し、知識蒸留は新しい小さなモデル構造を一からトレーニングする点が異なります。また、既存モデルを特定タスクに適応させるファインチューニングとも目的が異なります。
注意点
知識蒸留によって作成された生徒モデルは、元の教師モデルの精度を完全に超えることは難しく、原理的に性能の上限が存在します。また、教師モデルの生成と生徒モデルのトレーニングの二段階のプロセスが必要になるため、全体の学習コストや開発負荷が増大する場合がある点に注意が必要です。