バンドルアジャストメントとは、複数枚の画像からカメラの位置や姿勢、および被写体の3次元位置を同時に最適化する3次元復元技術です。コンピュータビジョンやSFM、SLAMなどにおいて、再投影誤差を最小化することで、測定精度を極限まで高める役割を担います。自動運転やAR技術における空間認識の基盤となる重要なアルゴリズムです。
バンドルアジャストメントとは
バンドルアジャストメント（Bundle Adjustment）は、複数の異なる位置から撮影された画像群を基に、各カメラの位置と姿勢（カメラパラメータ）と、画像に写っている特徴点の3次元座標を同時に調整し、最も矛盾のない3次元形状を復元する最適化手法です。バンドル（光束）とは、3次元空間の点からカメラの光学中心へと収束する光の束を指し、これらを一括で調整することからその名が付けられました。
詳しく解説
バンドルアジャストメントは、コンピュータビジョンにおけるSFMやSLAMの最終ステップ、あるいは定期的な最適化処理として不可欠なアルゴリズムです。基本的な仕組みは、3次元空間上にある特徴点が、各カメラの画像平面上に投影される際の予測位置と、実際に画像から検出された観測位置との間のズレである再投影誤差を計算することから始まります。この再投影誤差の総和を最小化するように、カメラの外部パラメータ、内部パラメータ、および特徴点の3次元位置を非線形最小二乗法を用いて反復的に最適化します。この最適化問題は膨大な変数を扱いますが、カメラパラメータと3次元点座標の間には疎な関係があるため、スパースバンドルアジャストメントと呼ばれる高速な計算手法が一般的に用いられます。これにより、大規模な3次元シーンでも現実的な時間で高精度な復元が可能となります。
具体例・使われ方
身近な例では、スマートフォンのARアプリにおいて、周囲の環境をカメラで捉えながら自己位置を正確に推定し、仮想キャラクターを地面に固定して表示する際に活用されています。また、自動運転技術では、車載カメラの映像から周囲の3次元マップをリアルタイムに構築しながら自車の位置を特定する用途に用いられます。他にも、ドローンで空撮した複数枚の写真から地形や建造物の精密な3次元モデルを生成するSFMソフトウェアなど、幅広い3次元画像処理分野で実用化されています。
似た用語との違い
混同されやすい概念としてカルマンフィルタがあります。カルマンフィルタは、過去の軌跡と現在の観測データを用いて順次状態を推定する逐次フィルタリング手法です。これに対し、バンドルアジャストメントは、蓄積された複数フレームのデータをバッチ処理として一括で最適化します。バンドルアジャストメントの方が計算コストは非常に高いものの、累積するドリフトを劇的に低減させることができ、より高精度な復元が可能です。リアルタイムシステムでは、カルマンフィルタやキーフレームベースの簡易最適化の後に、バックグラウンド処理としてバンドルアジャストメントを実行することが一般的です。
注意点
バンドルアジャストメントは強力な最適化手法ですが、初期値に大きく依存するという課題があります。極所解に陥りやすいため、初期のカメラ位置や3次元点座標が実際の状態から大きくかけ離れている場合、正しい解に収束しないことがあります。そのため、前段階でエッセンシャル行列などを利用した精度の高い初期値推定が必要です。また、最適化する変数が膨大になると、計算コストが急激に上昇するため、全てのフレームではなく、キーフレームと呼ばれる代表的な画像のみを対象に最適化を行うなどの工夫が必要です。