ボルツマンマシンとは、統計力学のエネルギー関数の考え方を応用した確率的なニューラルネットワークの一種です。各ノードが相互に結合されたネットワーク構造を持ち、データ背景にある確率分布を学習する生成モデルとして開発されました。学習計算が非常に複雑なため、接続を制限した制限付きボルツマンマシンなどの派生手法の基礎となりました。
ボルツマンマシンとは
ボルツマンマシンとは、物理学の統計力学に着想を得て作られた、確率的に動作する全結合型のニューラルネットワークです。
詳しく解説
ボルツマンマシンは、1980年代にジェフリー・ヒントンらによって提案された相互結合型のモデルです。システム全体のエネルギーを定義し、エネルギーが最小となる安定状態を探るエネルギーベースモデルの一種として位置づけられます。ネットワークの各ノードは確率的に状態を変更し、物理学におけるボルツマン分布に従って状態全体の確率が決定されます。入力データを受け取る可視ユニットと、潜在的な特徴を表現する隠れユニットから構成され、データの確率分布を学習することが可能です。しかし、同一層内のノード同士も相互に接続する全結合構造であるため、パラメータ更新に必要な計算量が爆発的に増大します。この学習計算にはマルコフ連鎖モンテカルロ法などの近似手法が用いられますが、大規模なデータや複雑なネットワーク構造への適用には大きな計算コストが伴いました。
具体例・使われ方
初期のパターン認識やデータの圧縮表現、ノイズ除去などの基礎研究で用いられました。高次元データに潜む確率的構造をモデル化するアルゴリズムとして、確率的生成モデルの黎明期において概念的な実験・検証に利用されました。
似た用語との違い
最も密接な関連を持つ制限付きボルツマンマシンとの違いは、ノード間の結合制限の有無です。標準的なボルツマンマシンは同じ層のノード同士も相互に接続されていますが、制限付きボルツマンマシンでは同層内の接続を排除した二部グラフ構造を採用しています。この制限によって計算が大幅に効率化され、深層学習における初期の事前学習手法として広く実用化されました。
注意点
全結合型のボルツマンマシンは表現力が非常に高いものの、計算量が極めて大きいため現代の実用的なAI開発でそのまま使われるケースは稀です。また、学習が収束するまでに長時間の計算が必要であり、パラメータ設定や近似計算の精度に全体の結果が強く依存する点に注意が必要です。