イベントベースビジョンセンサーは、画素ごとに輝度の変化(イベント)が生じた瞬間のデータのみを非同期で出力する新型イメージセンサーです。従来のカメラと異なり静止背景などの不要なデータを送信しないため、超低遅延、高ダイナミックレンジ、低消費電力を実現します。自動運転や高速ロボティクスなど、リアルタイム性が極めて重視されるエッジAI分野での応用が期待されています。
イベントベースビジョンセンサーとは
イベントベースビジョンセンサーとは、画面全体のフレームを一定周期で撮影する従来のカメラとは異なり、各画素(ピクセル)が輝度の変化(イベント)を検知した瞬間のみにその情報を出力する、生物の目を模した新型のイメージセンサーです。
詳しく解説
従来のフレームベースカメラは、静止している背景も含めて毎秒数十フレームの画像を丸ごと転送・処理するため、データ量が膨大になり遅延も発生します。これに対し、イベントベースビジョンセンサーは、光の強度変化(輝度変化)があった画素の位置、時間、変化の極性(明るくなったか暗くなったか)の情報のみをマイクロ秒単位の超高精度な時間分解能で出力します。この仕組みにより、送信されるデータ量が劇的に削減され、超高速な動きの追従、高ダイナミックレンジ(HDR)の確保、超低消費電力化が実現します。特にエッジAI処理との親和性が高く、次世代のコンピュータビジョン技術として注目を集めています。
具体例・使われ方
具体的な利用例としては、自動運転車における高速な障害物検知や歩行者のミリ秒単位での追跡、ドローンの自律飛行におけるリアルタイムの衝突回避が挙げられます。また、スマート工場の製造ラインにおける高速移動製品のリアルタイム外観検査、ロボットアームの超高速制御、視線追跡(アイトラッキング)などのスマートグラス向け技術、ジェスチャー認識による非接触インターフェースなど、遅延が許されない領域で応用が進んでいます。
似た用語との違い
従来の「フレームベースカメラ」が全画素の情報を一括して一定周期(フレームレート)で取得するのに対し、イベントベースビジョンセンサーは非同期かつ画素個別に動作します。これにより、従来のカメラで生じる高速移動時の「モーションブラー(被写体ブレ)」が発生せず、暗所から極端に明るい場所までを同時に捉える「高ダイナミックレンジ」においても優位性があります。ただし、変化がない静止した被写体の形状や色情報を単体で取得することは困難であるため、従来のイメージセンサーとは本質的に異なるデータ構造を持ちます。
注意点
注意点として、静止状態の物体は輝度変化が起きないため、センサーを固定したままだと静止物を認識できないという限界があります(意図的にセンサーを微振動させるなどの工夫が必要)。また、出力されるデータがイベントの時系列(非同期イベントストリーム)であるため、従来のディープラーニングを用いた画像認識(CNNなど)のアルゴリズムをそのまま適用できず、スパイクニューラルネットワーク(SNN)や専用のイベントデータ用AIモデルといった新しい処理手法が必要となる点に留意する必要があります。