普遍性定理とは、十分な数のニューロンを持つ単純なニューラルネットワークであっても、適切なパラメータを設定すれば任意の連続関数を高精度に近似できるという数学的な定理です。ディープラーニングが複雑なパターンを学習できる理論的根拠となっています。
普遍性定理とは
一言でいうと、ニューラルネットワークが「どんな複雑な関係性や関数でも表現できるポテンシャルを持っている」ことを証明した数学的な定理です。
詳しく解説
普遍性定理は、1989年にサイベンコ（Cybenko）らによって数学的に証明されました。これは、活性化関数を持つ隠れ層を1層だけ持つ多層パーセプトロンであっても、十分な数のニューロンが存在すれば、どんなに複雑な連続関数であっても任意の精度で近似できることを示しています。AIやディープラーニングが画像認識や自然言語処理などの複雑な課題を解決できるのは、この定理によってモデルの表現力の高さが理論的に保証されているためです。ただし、この定理は「近似できる関数が存在する」ことを保証しているだけであり、実際にそのパラメータを効率的に見つけられるかどうかは別の問題です。
具体例・使われ方
例えば、気温の変化と電力需要の関係、あるいは犬の画像からそれが犬である確率を算出するような、入力と出力の複雑な非線形関係をAIに学習させたい場合を考えます。普遍性定理があるおかげで、適切な構造のニューラルネットワークを用意すれば、これらの複雑なルールをデータから自動的に学習・再現できることが理論的に担保されています。
似た用語との違い
普遍性定理と「最適化アルゴリズム（勾配降下法など）」は混同されがちですが、役割が異なります。普遍性定理は「ネットワークが表現できる能力（ポテンシャル）」を示すものであり、最適化アルゴリズムは「その能力を引き出すためのパラメータを探索する方法」を指します。
注意点
注意すべき点として、普遍性定理は「必要なニューロンの数が有限であること」を保証していますが、現実的な問題に対して「どれだけのニューロン数が必要か」や「どうやってその重みを学習するか」については何も教えてくれません。実際には、ニューロン数が膨大になりすぎて過学習を起こしたり、学習が現実的な時間で終わらなかったりする制約があります。