潜在拡散モデル（LDM）は、画像などの高次元データを低次元の潜在空間に圧縮した上で、拡散モデルによる生成プロセスを実行するAIモデルです。従来の拡散モデルが持っていた計算コストが非常に高いという課題を、オートエンコーダーによる空間圧縮で解決し、低リソースでの高精度な画像生成を可能にしました。Stable Diffusionなどの基盤技術として広く利用されています。
潜在拡散モデルとは
潜在拡散モデルとは、画像などのデータをいったん情報密度の高い低次元の「潜在空間」に圧縮してから、ノイズを除去するプロセスを実行することで、高品質な画像を効率的に生成するAI技術のことです。
詳しく解説
従来の拡散モデルは、ピクセル単位の画像空間で直接ノイズ除去を行うため、画像の解像度が高くなるほど膨大な計算量とメモリが必要になるという課題がありました。これに対して潜在拡散モデルは、まずオートエンコーダーを用いて、人間には直接知覚できないコンパクトな潜在表現へとデータを圧縮します。この次元削減された潜在空間の中で拡散プロセスを実行し、ノイズから目的の特徴を生成した上で、最後にデコーダーを用いて元の画像サイズへと復元します。このアプローチにより、生成品質を損なうことなく、計算コストやメモリ消費量を劇的に削減することに成功しました。さらに、テキスト記述（プロンプト）などの条件付け入力をモデルの各階層へ効率的に反映できるクロスアテンション機構を備えており、高精度なテキストからの画像生成を実現しています。
具体例・使われ方
代表的な応用例は、画像生成AIの「Stable Diffusion」です。ユーザーが入力したテキスト指示（プロンプト）に従って、数秒で写実的な写真やイラストを出力できます。他にも、ラフ画から詳細なイラストを仕上げるImage-to-Image、画像の一部を自然に修正するインペインティング、解像度を高める超解像など、多様な編集タスクに利用されています。イメージとしては、巨大なパズルをそのまま組み立てるのではなく、重要なピースだけを抽出したミニチュアの設計図（潜在空間）上でパズルを完成させてから、最後に魔法のデコーダーで実寸大の綺麗な絵画に引き延ばすような仕組みです。
似た用語との違い
標準的な「拡散モデル」との違いは、ノイズ除去処理を行う「空間」にあります。標準的な拡散モデルは、画像のピクセル値を直接操作するため解像度が高くなると計算量が爆発的に増加しますが、潜在拡散モデルは高度に凝縮された潜在空間で処理を行うため、計算効率が桁違いに優れています。また、生成敵対ネットワークとの違いとして、生成敵対ネットワークは生成器と判別器を競わせることで一度に画像を生成しますが学習が不安定になりやすいのに対し、潜在拡散モデルは段階的にノイズを除去するステップを踏むため学習が安定しやすく、より破綻の少ない画像を生成できます。
注意点
劇的に軽量化されたとはいえ、依然として高品質な画像生成には高性能なGPU環境が推奨されます。また、オートエンコーダーによる圧縮と復元のプロセスを挟むため、極めて微細な文字の再現や、正確な手指の構造といった細部の描写において、復元時に情報の欠落や歪みが生じやすいという限界があります。さらに、学習データに含まれる偏りや、ディープフェイクなどの悪用に伴う倫理的・法的な課題も指摘されています。