行列スケーリングとは、機械学習モデルが出力する予測確率の精度を補正するキャリブレーション手法の一つです。多クラス分類モデルにおけるロジットに対して全結合的な線形変換（行列乗算とバイアスの加算）を行い、ソフトマックス関数を通して正確な信頼度確率を算出します。過剰に自信を持つモデルの確率出力を適正化する役割を果たします。
行列スケーリングとは
行列スケーリングは、多クラス分類モデルが出力する信頼度スコアを実際精度に近づけるため、ロジットに対して行列計算を用いた線形変換を行って予測確率を較正するキャリブレーション手法です。
詳しく解説
深層学習などの複雑なモデルは、予測結果に対して不自然に高い確率を出力する「過剰な自信」を持つ傾向があります。この問題を解決するために行われるのがキャリブレーションです。行列スケーリングでは、モデルの最終層の手前で得られるロジットに対し、クラス数に対応する正方行列による変換とバイアス項の加算を行って修正します。修正後のロジットをソフトマックス関数に入力することで、より真の確率に近い出力を得ることができます。分類クラス間の相互関係を考慮できるため、表現力が高い点が特徴です。
具体例・使われ方
例えば、画像認識モデルで犬・猫・鳥の3つのクラスを判定する多クラス分類において、モデルが実際には間違っているにもかかわらず99パーセントの確率を出力してしまう場合に使われます。検証データを用いて学習された変換行列をロジットに適用することで、より妥当な確率分布へと調整されます。
似た用語との違い
温度スケーリングはロジットを単一のスカラー値で割るシンプルな手法であり、クラス間の関係性を変化させません。一方、行列スケーリングはパラメータ数が多く表現力が高い反面、過学習のリスクが高まります。また、プラットスケーリングは主に2クラス分類向けにシグモイド関数を用いる手法です。
注意点
行列スケーリングはクラス数の2乗に比例するパラメータ（変換行列）を学習する必要があるため、クラス数が非常に多いタスクでは計算コストが増大し、検証データが少ないと過学習を起こしやすくなります。