絶対位置埋め込みは、トランスフォーマーモデルにおいてトークンの絶対的な位置情報をAIに認識させるための手法です。各位置に固有のベクトルを割り当てることで、文脈内の単語の順序を正確に処理できるようにします。
絶対位置埋め込みとは
一言でいうと、トランスフォーマーに入力されるデータの「順番」をAIに教えるための固定または学習可能なベクトル表現です。
詳しく解説
トランスフォーマーは、リカレントニューラルネットワークとは異なり、入力された文全体の単語を同時に並列処理するため、本来は単語の並び順（前後の関係）を理解できません。この弱点を補うために導入されたのが絶対位置埋め込みです。各位置に対して固有のベクトルを用意し、単語の埋め込み表現に加算することで、AIは「どの単語が文のどこにあるか」を把握できるようになります。初期のモデルでは多くの場合、位置ごとにパラメータを学習させる方式がとられていました。
具体例・使われ方
「猫が魚を食べた」という文を処理する際、「猫が」と「食べた」の位置が入れ替わると意味が変わります。絶対位置埋め込みにより、モデルは先頭の単語と末尾の単語を区別し、文法的な構造を正しく解釈できます。
似た用語との違い
相対位置埋め込みが「単語間の相対的な距離や関係性」に注目するのに対し、絶対位置埋め込みは「文頭から数えた絶対的な位置」に注目する点が異なります。
注意点
絶対位置埋め込みには、学習時に設定された最大シーケンス長を超える長いテキストに対応できないという制限があります。そのため、より長い文章を処理する場合には外挿が難しい点が課題となります。
この解説は役に立ちましたか？誤りが含まれる場合はご報告いただけますと幸いです。
更新日時: 2026年9月5日 10:11