神経放射場（NeRF）とは、複数の視点から撮影された2D画像を入力として、シーン全体の3次元構造と光の放射をニューラルネットワークで学習・再構築する技術です。高品質な3Dモデルや新規視点画像を生成でき、VRやAR、自動運転のシミュレーションなど幅広い分野で活用されています。
神経放射場とは
一言でいうと、神経放射場（NeRF）とは、複数枚の2D写真から高精度な3D空間をコンピュータ内部に復元するディープラーニング技術のことです。
詳しく解説
神経放射場は、深層学習を用いて3次元空間内の任意の点における「密度」と「視線方向に応じた色」を近似する手法です。多視点画像を学習データとして与え、体積レンダリングの原理を組み合わせることで、撮影されていない角度からの視点画像をも滑らかに生成することが可能です。従来の写真測量や3Dスキャンと比較して、複雑な形状や光の反射、透過なども高精度に表現できる点が大きな特徴です。
具体例・使われ方
実際の利用例としては、スマートフォンのカメラで撮影した数枚の部屋の写真から、その空間全体の3Dモデルを作成し、自由に視点を動かして見渡せるバーチャルツアーの作成があります。また、映画やゲームの背景制作において実写映像から3D空間を自動生成する用途や、自動運転の学習データを作るためのシミュレーション環境の構築にも応用されています。
似た用語との違い
従来のポリゴンメッシュを用いた3Dモデリングや点群データとは異なり、神経放射場はニューラルネットワークの内部に重みとして空間情報を保持します。そのため、形状を明示的なポリゴンデータとして直接編集することは難しく、通常はメッシュ等に変換して利用されます。
注意点
学習とレンダリングに膨大な計算コストと時間がかかる点が主な課題です。また、撮影された写真に十分な情報がない暗い場所や、テクスチャのない均一な壁面などでは正確な再構築が難しくなるため、入力画像の品質や撮影条件に大きく依存するという注意点があります。