生徒モデルとは、知識蒸留などの手法において、大規模な教師モデルから出力を模倣するように学習し、軽量かつ高速な推論を実現する機械学習モデルのことです。
生徒モデルとは
一言でいうと生徒モデルとは、教師モデルの知識を受け継いで効率的に予測を行うように訓練される、軽量化された機械学習モデルのことです。
詳しく解説
生徒モデルは、深層学習における知識蒸留（Knowledge Distillation）というアプローチで中心的な役割を果たします。巨大なパラメータを持つ教師モデルは高い精度を誇る一方で、計算コストやメモリ消費が大きいという課題があります。そこで、教師モデルが出力する確率分布（ソフトターゲット）などの情報を手本にして、より小さな構造を持つ生徒モデルを訓練します。これにより、精度を大きく落とすことなくモデルの軽量化や高速化が可能となり、エッジデバイスやスマートフォンなどのリソースが限られた環境でもAIを実用化できるようになります。
具体例・使われ方
例えば、数千億のパラメータを持つ巨大な言語モデル（教師モデル）の出力を学習させることで、数億規模の軽量なテキスト生成モデル（生徒モデル）を作成し、モバイルアプリ上で高速に動作させるといった利用例があります。
似た用語との違い
教師モデルが正解データや大規模な出力分布を教える側であるのに対し、生徒モデルはその教えを受けて学習する側という違いがあります。また、一般的な機械学習モデルが人間が用意した正解ラベルのみで学習するのに対し、生徒モデルは教師モデルの出力傾向も同時に学ぶ点が特徴です。
注意点
生徒モデルは教師モデルの性能を完全に超えることは難しく、元のモデルが持つバイアスや誤りもそのまま引き継いでしまうリスクがあります。また、構造を小さくしすぎると十分な知識を吸収できず、精度が大幅に低下する場合があるため注意が必要です。