Vision Transformerは、自然言語処理で高い成果を上げたTransformerの仕組みを画像認識分野に応用したディープラーニングモデルです。画像をパッチに分割して入力し、自己注意機構によって全体的な文脈を捉える点が特徴です。
ビジョン・トランスフォーマーとは
一言でいうと、自然言語処理の主力技術をそのまま画像認識に応用し、従来のCNNを超える性能を示した画期的なニューラルネットワークアーキテクチャです。
詳しく解説
Vision Transformer（ViT）は、2020年にGoogleの研究チームによって発表されました。従来の画像認識では主にCNN（畳み込みニューラルネットワーク）が使われていましたが、ViTでは画像を複数の小さなパッチに分割し、それぞれを単語のトークンのように扱ってTransformerに入力します。自己注意機構（Self-Attention）を用いることで、画像内の離れた領域同士の関係性や大域的な文脈を初期段階から捉えることが可能になり、大規模なデータセットで事前学習を行うことで従来のCNNを凌駕する高い精度を実現しました。
具体例・使われ方
自動運転車における周囲の物体や歩行者の検出、医療画像における病変部の高精度な自動診断、監視カメラ映像からの異常検知など、高度な画像認識と文脈理解が求められる幅広い分野で活用されています。
似た用語との違い
従来の画像認識の主流であったCNN（畳み込みニューラルネットワーク）が局所的な特徴抽出を得意とするのに対し、Vision Transformerは自己注意機構によって画像全体のグローバルな関係性を並列に処理する点が異なります。
注意点
ViTは、少量のデータセットで学習させた場合にはCNNほどの性能が出にくいという特徴があります。高い精度を発揮するためには、膨大なデータを用いた事前学習が不可欠であり、計算コストが非常に高くなる点に注意が必要です。