相対位置埋め込み
相対位置埋め込みは、Transformerモデルにおいてトークン間の絶対的な位置ではなく、トークン同士の相対的な距離や順序関係を表現するための手法です。文脈の長さに左右されず、柔軟な位置情報を付与できる特徴があります。
TransformerのAI用語一覧
2件Transformerに関するAI用語を2件掲載しています。意味や使い方、関連用語を一覧から確認できます。
キー
キーとは、Transformerなどの注意機構において、クエリとの類似度を計算し、情報の重要度を判断するために利用されるベクトル情報です。