キャリブレーションデータとは、AIモデルの量子化や最適化の際に、モデルの精度低下を最小限に抑えつつパラメータの数値を適切にスケール・調整するために使用される少量のデータセットです。元データの特徴を反映した少量のデータを用いて、モデル軽量化後の処理性能と予測精度の維持を両立させます。
キャリブレーションデータとは
キャリブレーションデータとは、学習済みのディープラーニングモデルを軽量化する「量子化」などのプロセスにおいて、モデル内部の数値データの範囲や分布を把握し、最適に変換・調整するために用いられる代表的なデータセットです。
詳しく解説
ディープラーニングモデルをスマートフォンやエッジデバイスなどで高速に動かすため、32ビット浮動小数点数から8ビット整数などの低いビット数に変換する「量子化」が行われます。この際、単に数値を丸めるだけでは、モデルの予測精度が著しく低下することがあります。これを防ぐために、実際の入力データに近い「キャリブレーションデータ」を数十から数百件ほどモデルに入力します。これにより、モデル内の各レイヤーでアクティベーションがどのような値の範囲をとるかを実測し、精度低下を抑えるための最適なスケーリング係数を算出します。
具体例・使われ方
例えば、画像認識モデルを量子化する場合、元々の巨大な訓練データセットからランダムに抽出した100枚程度の代表的な画像データをキャリブレーションデータとして使用します。このデータを用いてモデルを順伝播させ、得られたアクティベーションの分布を基に量子化の基準値を調整します。これにより、実運用の画像を入力した際にも、高い認識精度を維持しながら高速な推論が可能となります。
似た用語との違い
「訓練データ」がモデルのパラメータ自体をゼロから学習・更新するために使われる大量のデータであるのに対し、「キャリブレーションデータ」は学習完了後のモデルの数値を調整・スケールするために使われる少量のデータです。また、モデルの過学習を防ぎ性能評価を行うための「検証データ」とも役割が異なり、量子化のパラメータ決定にのみ特化して使用されます。
注意点
キャリブレーションデータは少量のデータで十分ですが、実際に運用する本番データの偏りを正しく反映した「代表的なデータ」である必要があります。例えば、屋外の画像認識を行うモデルに対して、室内の画像ばかりをキャリブレーションデータとして与えると、適切にスケーリングが行われず、量子化後の推論精度が大幅に低下する危険性があります。