キー
キーとは、Transformerなどの注意機構において、クエリとの類似度を計算し、情報の重要度を判断するために利用されるベクトル情報です。
TransformerのAI用語一覧
6件Transformerに関するAI用語を6件掲載しています。意味や使い方、関連用語を一覧から確認できます。
マルチヘッド・アテンション
マルチヘッド・アテンションは、Transformerモデルの心臓部である注意機構を複数の視点から並列に計算する仕組みです。異なる部分や関係性に同時に注目することで、文脈の多様な特徴や情報を効果的に捉え、AIの理解精度を大幅に向上させます。
相対位置埋め込み
相対位置埋め込みは、Transformerモデルにおいてトークン間の絶対的な位置ではなく、トークン同士の相対的な距離や順序関係を表現するための手法です。文脈の長さに左右されず、柔軟な位置情報を付与できる特徴があります。
Vision Transformer
Vision Transformerは自然言語処理で主流のTransformer構造を画像認識に応用したディープラーニングモデルです。従来のCNNに依存せず、画像全体をパッチに分割して大域的な関係性を学習することで高い性能を発揮します。
回転位置埋め込み
回転位置埋め込み（RoPE）とは、大規模言語モデルなどで使われるTransformerの自己注意機構において、単語の位置情報を効果的に学習させるための手法です。従来の絶対位置埋め込みとは異なり、単語の相対的な距離関係を三角関数を用いて空間上の回転として表現することで、より長い文脈の処理を精度よく行えるようにします。
グループ化クエリ・アテンション
グループ化クエリ・アテンション（Grouped-Query Attention）は、大規模言語モデルのTransformerにおける自己注意機構の計算効率を改善する手法です。マルチヘッド・アテンションとマルチ・クエリ・アテンションの中間に位置し、メモリ帯域のボトルネックを緩和しつつ高い生成品質を維持します。