ガウシアン・スプラッティングは、複数の写真や動画から高品質な3D空間を高速に再構成し、リアルタイムレンダリングを可能にする技術です。空間を多数の3Dガウシアンの集まりとして表現し、従来のNeRFと比べて学習や描画の速度が飛躍的に向上しています。映画、ゲーム、VRなどの3Dコンテンツ制作で注目されています。
ガウシアン・スプラッティングとは
ガウシアン・スプラッティングとは、複数の視点から撮影された2D画像群から高品質な3D空間を構築し、高速に描画する技術です。
詳しく解説
ガウシアン・スプラッティングは、2023年に発表されたニューラルレンダリングおよび3D再構成の技術です。従来のNeRFでは暗黙的なニューラルネットワークを用いて光線ごとに密度と色を計算していたため、レンダリング処理が重いという課題がありました。これに対し、ガウシアン・スプラッティングでは空間内に多数の3Dガウシアンを配置する明示的な表現手法を採用しています。各3Dガウシアンは位置、サイズ、回転、透過度、色のパラメータを持ち、これらを画像空間に投射してラスタライズを行うことで、圧倒的な高速描画と高い視覚的品質を両立させています。
具体例・使われ方
VR空間やメタバースにおけるリアルな環境の構築、文化財や建築物のデジタルツイン作成、ECサイトでの製品3D表示、映画やゲームの背景アセットの高速作成などで活用されています。スマートフォンで撮影した動画から数分で高品質な3Dシーンを生成するツールも普及しつつあります。
似た用語との違い
NeRFとの最大の違いは描画速度と表現手法です。NeRFはニューラルネットワークに空間座標を入力して密度と色を出力する暗黙的な手法であり、描画に高い計算コストがかかります。一方、ガウシアン・スプラッティングは3Dガウシアンという明示的な粒子群を用いるため、リアルタイムレンダリングが容易であり、トレーニング時間も大幅に短縮されています。また、メッシュ構造を必要としないため、複雑な反射や透明度のある物体も自然に表現できます。
注意点
大量の3Dガウシアンを保持するため、ファイルサイズやVRAMメモリ消費量が大きくなりやすいという課題があります。また、撮影時のカメラ姿勢の精度が低い画像では表現が破綻しやすく、動的なオブジェクトのリアルタイム表現には高度な拡張技術が必要です。