機械学習や深層学習における表現力とは、あるモデルがどれだけ複雑な関数やデータのパターンを近似・再現できるかを表す能力のことです。モデルの構造やパラメータ数に依存し、表現力が高いほど複雑な関係性を捉えられますが、高すぎると過学習のリスクも生じます。モデル設計や性能評価における基本概念です。
表現力とは
表現力とは、機械学習モデルが入力と出力の複雑な関係やデータ内の多様なパターンを、どれだけ柔軟かつ正確に関数として近似・表現できるかを示す潜在的な能力のことです。
詳しく解説
機械学習において、モデルを構築することはデータに潜む未知の関数を近似する試みといえます。この近似可能な関数の幅広さや複雑さを決定づけるのが表現力です。モデルの構造やパラメータの数に大きく依存し、例えば多層のニューラルネットワークは、十分なユニット数を持つことで任意の連続関数を近似可能であるとする普遍性定理によって、極めて高い表現力を持つことが理論的に証明されています。近年はネットワークを深層化することで、限られたリソースでも効率的に高い表現力を獲得する研究が進んでいます。
具体例・使われ方
単純な線形モデルは直線や平面でしかデータを分割できないため表現力が限定的ですが、非線形な活性化関数を備えた多層ニューラルネットワークは複雑に曲がりくねった境界線を引くことができ、高い表現力を発揮します。これにより、画像認識における微細な形状の把握や、自然言語処理における複雑な文脈理解などの高度なタスクが実現されます。
似た用語との違い
類似概念であるモデル容量は表現力とほぼ同義で使われますが、表現力が数学的に近似可能な関数の豊かさを示すのに対し、モデル容量はモデルがどれだけ多くの情報量を記憶・適合できるかという容量的な側面に重点が置かれます。また、汎化性能は未知のデータに対する予測の正しさを指すため、モデルが持ちうる理論的な柔軟性を指す表現力とは区別されます。
注意点
表現力が高ければ必ずしも優れたモデルになるわけではありません。表現力が高すぎるモデルは訓練データのノイズまで忠実に再現してしまい、過学習を引き起こして汎化性能を低下させるリスクがあります。また、理論上の表現力が高くても、適切な最適化アルゴリズムや十分なデータがなければその能力を引き出しきれない点にも留意が必要です。