ステレオマッチングとは、異なる視点から撮影された複数の画像間で同一の対象物が写っている対応点を見つけ出し、奥行き情報を復元するコンピュータビジョンの技術です。両眼視の原理に基づき自動運転やロボットの空間認識で活用されています。
ステレオマッチングとは
ステレオマッチングは、左右に並べた2台のカメラなど複数視点の画像間で対応するピクセルを特定し、3次元空間の奥行き（深度）を推定する処理手法です。
詳しく解説
人間の両眼立体視と同様に、ステレオマッチングでは左右のカメラ画像における対象物の位置のずれ（視差）を計算します。まずカメラの歪み補正や平行化処理を行った後、一方の画像の特徴点や小領域がもう一方の画像のどこに対応するかを探索します。求めた視差から三角測量の原理を用いて距離を算出し、画像全体の奥行きを表す視差マップを生成します。近年では、従来のブロックマッチングや動的計画法といったアルゴリズムに加え、ディープラーニングを用いた高精度かつ高速な手法が広く研究・実用化されています。
具体例・使われ方
自動運転システムにおいて前方の車両や歩行者との距離を測定する用途や、産業用ロボットがピッキング作業を行うための物体位置認識、ドローンの衝突回避システム、ARやVRにおける実環境の3次元モデリングなどで利用されています。
似た用語との違い
ステレオマッチングが同一時刻に異なる位置から撮影した画像間の対応点を探索して奥行きを求めるのに対し、オプティカルフローは動画などの連続する時間軸のフレーム間で物体の移動方向や速度を捉える技術です。また、レーザー光の反射時間で距離を測るLiDARなどのアクティブセンサーとは異なり、通常のカメラ画像のみで完結するパッシブ方式である点も異なります。
注意点
均一な白い壁のように模様やテクスチャが存在しない領域、鏡面やガラスなどの反射素材、一方のカメラからしか見えない遮蔽領域では対応点の探索が難しくなり、推定精度が低下する傾向があります。また、照明環境の急変やカメラキャリブレーションの狂いにも影響を受けやすい点に注意が必要です。