「パッチ分割」とは、入力画像を一画素単位ではなく、一定の大きさの小さな格子状の矩形領域（パッチ）に細分化する処理のことです。Vision Transformerなどの画像処理モデルにおいて、画像データをテキストの単語（トークン）のように扱うための前処理として重要な役割を果たしています。
パッチ分割とは
「パッチ分割」とは、1枚のデジタル画像を高さを揃えた格子状の小さな矩形領域（パッチ）に切り分ける前処理技術です。主に自然言語処理モデルのアーキテクチャを画像認識に応用する際、画像を「トークン」と呼ばれる処理単位に変換するために用いられます。
詳しく解説
従来の画像認識モデルである「畳み込みニューラルネットワーク（CNN）」では、画像全体に対してピクセル単位でフィルターをスライドさせながら特徴量を抽出していました。しかし、自然言語処理で大きな成果を上げた「Transformer」を画像に適用した「Vision Transformer」の登場により、画像の扱い方が変化しました。Transformerは、テキストを単語や文字単位の「トークン」に分割して処理する仕組みを持っています。画像をこれと同じように処理するため、画像を例えば「16×16ピクセル」などの固定サイズの「パッチ」に等分割し、それぞれのパッチを1つのトークンとして扱います。これがパッチ分割の仕組みです。パッチ分割を行うことで、計算量を現実的な範囲に抑えつつ、画像内の大域的な位置関係や特徴をTransformerで効率的に学習・処理することが可能になります。
具体例・使われ方
例えば、256×256ピクセルの画像を、16×16ピクセルのパッチ分割で処理する場合を考えます。この場合、画像は縦16個、横16個の計256個のパッチ（小さな正方形の断片）に分割されます。各パッチは平坦化され、線形変換を経てベクトルデータに変換された後、位置情報を示す「位置エンコーディング」が付与されてVision Transformerへと入力されます。これは、1枚の絵画をジグソーパズルのピースに分解して、それぞれのピースの位置関係を機械に理解させるイメージに似ています。
似た用語との違い
「畳み込みニューラルネットワーク（CNN）」の畳み込み処理が、ピクセル間を少しずつ重ね合わせながらスライドして局所的な特徴を抽出するのに対し、「パッチ分割」は画像を重複のないグリッド状に完全に切り離す点で異なります。また、画像から特定の部分領域を検出する物体検出やピクセル単位でクラス分類を行う「セマンティックセグメンテーション」とも異なり、パッチ分割はあくまでニューラルネットワークに入力するための前処理としてのデータ整形を指します。
注意点
パッチ分割の解像度（パッチサイズ）の決定にはトレードオフが存在します。パッチサイズを小さくすると、より細かな特徴を捉えられますが、トークン数が急増するため「Transformer」の計算量が二乗比例で増大します。逆にパッチサイズを大きくしすぎると、計算コストは抑えられますが、パッチ内部の微細な境界線やディテールが失われ、精度が低下する原因になります。また、画像を機械的に等分割するため、物体の境界がパッチ間で不自然に断絶するという課題もあります。