未知データとは、機械学習モデルの構築において、モデルが一度も学習に使用したことのない新しいデータのことです。モデルの予測精度や実用性を正しく評価するために不可欠な存在であり、未知データに対してどれだけ正確に予測できるかを示す「汎化性能」の測定において極めて重要な役割を果たします。
未知データとは
未知データとは、機械学習モデルの訓練段階で一度も使用されたことがなく、モデルにとって学習未経験である新しいデータのことです。
詳しく解説
機械学習モデルの開発において、手元にあるデータは通常、モデルを学習させるための「訓練データ」と、学習後の精度を評価するためのデータに分割されます。このとき、評価用として取り分けておいた「テストデータ」や「検証データ」は、モデルにとっては学習時に見せられていない未知データとして機能します。モデルが訓練データに対して完璧に適合していても、未知データに対して予測精度が著しく低下する現象を「過学習」と呼びます。モデルの真の実用性を測るためには、一度も学習したことのない未知データに対して、どの程度正しく対応できるかという「汎化性能」を評価することが不可欠です。
具体例・使われ方
例えば、手書き文字認識AIの開発において、開発段階で学習に用いた1万枚の画像以外の、一般ユーザーが実際に新しく書き込んだ文字画像が未知データに該当します。また、過去の気象データをもとに翌日の天気を予測するAIにおいて、実際に明日以降に発生するリアルタイムの気象観測データも未知データの一例です。
似た用語との違い
「訓練データ」はモデルのパラメータを調整して学習させるために直接使用するデータであるのに対し、「未知データ」は学習プロセスには一切関与させないデータです。また、評価用に手元に用意した「テストデータ」は人工的に準備した疑似的な未知データであり、実際にシステム運用を開始した後に本番環境へ入力されるデータは、本当の意味での未知データとなります。
注意点
未知データによる評価を行う際、テストデータが実質的に訓練データと類似しすぎている（データリーケージが発生している）場合、未知データに対する真の「汎化性能」を正しく測定できず、実運用での予測精度が著しく低下することがあります。また、未知データの性質が学習時のデータと大きく異なる場合、モデルは正しく予測できません。