位置埋め込みとは、トランスフォーマーなどのニューラルネットワークにおいて、入力データの順序や位置の情報を保持・表現するための技術です。時系列データや文章を処理する際、単語埋め込みだけでは失われてしまう「言葉の並び順」の情報をベクトルとして付加することで、モデルが文脈を正確に理解できるようにします。
位置埋め込みとは
位置埋め込み（Positional Encoding）とは、文章や時系列データなどのシーケンスデータを処理するAIモデルにおいて、各要素の「並び順」や「出現位置」の情報をベクトルデータとして表現し、入力データに追加する技術です。特にトランスフォーマーのような、データを並列処理するアーキテクチャで不可欠な役割を果たします。
詳しく解説
従来のリカレントニューラルネットワーク（RNN）は、データを端から順番に処理するため、自然と時系列や単語の順序情報が保持されていました。しかし、処理速度を劇的に向上させたトランスフォーマーでは、すべての単語を同時に並列処理する自己アテンション（Self-Attention）メカニズムを採用したため、単語の出現順序が考慮されないという課題が生じました。この問題を解決するのが位置埋め込みです。位置埋め込みは、単語の意味を表す単語埋め込みベクトルに対して、その単語が何番目にあるかを示す位置ベクトルを加算（または結合）することで機能します。位置情報を表現する手法には、あらかじめ正弦波や余弦波などの関数を用いて一意の値を計算する固定的な手法と、学習の過程で最適な位置の表現をモデル自体に獲得させる学習型の手法があります。
具体例・使われ方
例えば、「猫が犬を追いかける」と「犬が猫を追いかける」という二つの文章を考えます。これらを構成する単語は全く同じですが、意味は真逆です。トランスフォーマーに位置埋め込みを適用しない場合、モデルは両者を同一の文章として扱ってしまいます。しかし、各単語の単語埋め込みに対して「『猫』は1番目」「『犬』は3番目」といった位置情報を足し合わせることで、モデルは単語の順序関係を認識し、誰が誰を追いかけているのかを正確に理解できるようになります。
似た用語との違い
混同されやすい概念として単語埋め込みがあります。単語埋め込みは「猫」や「走る」といった言葉自体の意味を多次元のベクトルで表すものであり、その単語が文章のどこに現れても同じベクトルになります。一方、位置埋め込みは「その単語が文章全体の何番目に位置しているか」という配置の情報を表します。実際のモデルでは、これら両方のベクトルを合成して入力として使用します。また、位置表現のアプローチの違いとして、文章の先頭からの絶対的な順序を埋め込む絶対位置埋め込みと、要素間の距離や前後関係に注目する相対位置埋め込みが存在します。
注意点
位置埋め込みの設計においては、学習時よりも長いシーケンス（文章）が推論時に入力された場合の対応力（外挿性）が課題となります。特に絶対位置埋め込みの場合、学習時に経験していない未知のインデックスに対応できず、精度が著しく低下することがあります。また、単純な足し算による合成では、位置情報が単語自体の意味情報を書き換えてしまうノイズになるリスクもあり、ハイパーパラメータの調整や高度な位置表現手法の選択が求められます。