PointNetは、3Dの点群データを変換せずに直接入力として受け取り、物体の分類やセグメンテーションを行うディープラーニングモデルです。順序のない点群データの性質を処理するため、対称関数を用いた画期的なアーキテクチャを採用しており、自動運転やロボティクスなどの3D空間認識分野において広く活用されています。
PointNetとは
PointNetは、3Dの点群データを直接入力として受け取り、物体の分類やセグメンテーションを行うことができる画期的なディープラーニングモデルです。従来の3Dデータ処理で必要だったボクセル化や多視点画像への変換を行わずに、順序のない点群データをそのまま処理できる点が最大の特徴です。
詳しく解説
PointNetが登場する以前、3Dデータをディープラーニングで処理するためには、点群データを規則正しい格子状のボクセルに変換する3D CNNや、複数の2D画像に投影するマルチビュー手法が主流でした。しかし、これらは計算コストが非常に高い、または空間情報が失われるという課題がありました。PointNetは、点群データの「入力順序に依存しない（置換不変性）」という性質を解決するために、対称関数であるマクスプーリング（Max Pooling）を採用しました。各点に対して共有の多層パーセプトロン（MLP）で特徴量を抽出し、マクスプーリングによって大域的な特徴（グローバル特徴）を統合します。さらに、データの回転や平行移動に対して頑健にするためのアライメントネットワーク（T-Net）を導入し、幾何学的な不変性を実現しています。これにより、低コストかつ高精度な分類やセグメンテーションが可能になりました。
具体例・使われ方
具体的な利用例としては、自動運転車におけるLiDAR（ライダー）が取得した点群データの解析が挙げられます。PointNetを用いることで、道路上の歩行者、車両、障害物などの「分類」をリアルタイムで行うことができます。また、3Dスキャナーで得られた建物や室内空間のデータから、椅子やテーブルなどの個々の物体を切り分ける「セグメンテーション」処理にも活用されています。さらに、医療用3D画像の解析やロボットの障害物回避・物体把持の認識処理にも応用されています。
似た用語との違い
PointNetと混同されやすい概念として「3D CNN」が挙げられます。3D CNNは、3D空間を規則正しい「ボクセル」と呼ばれる立方体の格子（グリッド）に分割し、3Dの畳み込み演算を行う手法です。一方、PointNetは、不規則で順序のない点群データをそのまま扱います。ボクセル表現は、空間がスカスカな場合でも余計なメモリを消費する（スパース性の問題）のに対し、PointNetは点群データのみを処理するためメモリ効率が良く、空間の詳細な幾何学情報を維持しやすいという違いがあります。
注意点
PointNetにはいくつかの限界もあります。各点を独立して処理した後に大域的特徴を統合するため、局所的な近傍関係（局所的な幾何学構造）を十分に捉えられないという弱点があります。この課題を解決するために、後に近傍の関係性を階層的に学習できるように改良された「PointNet++」が提案されました。また、入力される点群データの密度が極端に変化する場合に性能が低下しやすい点にも注意が必要です。