ビジョントランスフォーマー（Vision Transformer）とは、自然言語処理で主流となったTransformerのアーキテクチャを画像認識分野に応用したディープラーニングモデルです。従来のCNNに依存せず、画像全体の関係性を捉えることで高い性能を発揮します。
ビジョントランスフォーマーとは
一言でいうと、自然言語処理の強力な仕組みであるTransformerをそのまま画像認識に適用し、画像の大域的な特徴を効率よく学習できるようにした画期的なニューラルネットワークモデルです。
詳しく解説
ビジョントランスフォーマーは、画像を複数の小さなパッチに分割し、それぞれを自然言語における「単語」のように扱って入力します。従来のCNN（畳み込みニューラルネットワーク）では局所的な特徴抽出が中心でしたが、Transformerの自己注意機構を用いることで、画像内の離れた場所同士の関連性も同時に捉えることが可能になりました。大規模なデータセットで事前学習を行うことで、従来の画像認識モデルを凌駕する性能を示すことが示されています。
具体例・使われ方
具体的な利用例として、自動運転における高度な物体検出、医療画像の診断支援、高精度な画像セグメンテーション、さらには大規模マルチモーダルモデルの画像理解モジュールなど、最先端のコンピュータビジョン技術の基盤として広く活用されています。
似た用語との違い
従来の主流であったCNN（畳み込みニューラルネットワーク）との違いとして、CNNは局所的なパターン抽出を得意とするのに対し、ビジョントランスフォーマーは自己注意機構によって画像全体のグローバルな関係性を直接モデル化する点が挙げられます。
注意点
データ量が少ない場合には過学習を起こしやすいという性質があり、十分な性能を引き出すためには膨大な事前学習データと高い計算コストが必要となる点に注意が必要です。