Vision Transformerは自然言語処理で主流のTransformer構造を画像認識に応用したディープラーニングモデルです。従来のCNNに依存せず、画像全体をパッチに分割して大域的な関係性を学習することで高い性能を発揮します。
Vision Transformerとは
一言でいうと、自然言語処理で大きな成果を上げたTransformerを画像認識タスクにそのまま適用し、画像全体の文脈を効率よく捉えられるようにした革新的な深層学習モデルです。
詳しく解説
Vision Transformerは、入力画像を小さなパッチに分割し、それを自然言語の単語（トークン）のように扱ってTransformerのエンコーダに入力します。従来の畳み込みニューラルネットワーク（CNN）は局所的な特徴抽出が得意な一方で、画像全体の広範囲な関係性を捉えるには限界がありました。しかし、Vision Transformerは自己注意機構を活用することで、画像内の離れた領域同士の関係も直接モデル化できるため、大規模なデータセットで事前学習を行うことでCNNを超える精度を達成するケースが増えています。
具体例・使われ方
自動運転車における周囲の物体検出や、医療分野におけるX線写真やMRI画像の病変検知、高精度な画像分類システムなどで広く活用されています。また、マルチモーダルモデルの画像エンコーダとしても頻繁に利用されています。
似た用語との違い
従来の畳み込みニューラルネットワーク（CNN）との最大の違いは、局所的な帰納バイアスに頼るか、自己注意機構によって大域的な関係をデータから直接学習するかにあります。CNNは小規模データでも比較的学習しやすい一方、Vision Transformerは大規模なデータセットがないと性能を発揮しにくい特性があります。
注意点
データ量が少ない環境ではCNNと比較して過学習を起こしやすく、性能が低下しやすい点に注意が必要です。また、高解像度の画像を処理する際には自己注意機構の計算量が急激に増加するため、メモリと計算コストの面で大きなリソースが要求されます。