自己アテンションとは、入力されたデータ内の異なる要素同士が互いにどれほど重要であるかを計算し、文脈に応じた重み付けを行う仕組みです。トランスフォーマーの根幹をなす技術であり、現代の高度な自然言語処理やAIモデルの発展を支えています。
自己アテンションとは
自己アテンションとは、1つのデータ列のなかで、それぞれの要素が他のすべての要素とどの程度関連しているかを動的に計算するメカニズムのことです。
詳しく解説
自己アテンションの仕組みは、入力データから「クエリ（Query）」「キー（Key）」「バリュー（Value）」という3つのベクトルを生成し、内積を用いて要素間の類似度や依存関係を算出します。従来のRNNやLSTMのようにデータを1つずつ順番に処理するのではなく、全体を一度に並列処理できるため、長大なコンテキストの理解や学習の高速化において重要となります。これにより、文章の文脈や単語同士の複雑な係り受けを効果的に捉えることが可能になりました。
具体例・使われ方
例えば、「銀行で川の土手に行った」という文脈と、「銀行で預金を引き出した」という文脈では、「銀行」という言葉の意味が異なります。自己アテンションを用いることで、「土手」や「預金」という周辺の単語との結びつきを考慮し、「銀行」の正しい意味を区別して処理できるようになります。
似た用語との違い
従来のアテンション機構が異なる2つの異なる系列（例えば翻訳元の文と翻訳先の文）の間で重要度を計算していたのに対し、自己アテンションは同一の系列内における要素同士の関係性を計算する点が異なります。
注意点
自己アテンションはデータ長（トークン数）の二乗に比例して計算量とメモリ消費量が増加するという限界があります。そのため、非常に長い文章や大規模なデータを扱う際には、計算効率を改善するための工夫が必要となります。
この解説は役に立ちましたか？誤りが含まれる場合はご報告いただけますと幸いです。
更新日時: 2026年9月3日 15:51