
位置エンコーディングとは、系列の中で何番目かを表す情報をベクトルに足す仕組みです。Transformerで必要になる理由と計算を整理します。
読み方:いちエンコーディング。位置エンコーディング(Positional Encoding)とは、単語などの要素が系列の中で何番目にあるかを表す情報を、各要素のベクトルに加える仕組みです。語順を扱わない構造の Transformer で、順番を伝えるために使われます。
2017年に発表された Transformer は、再帰も畳み込みも使わず、アテンションだけで構成されています。この構造は、入力の要素をまとめて同時に処理します。そのため、要素を並べた順番の情報が、計算の中に残りません。
論文はこの問題に対して、各要素の位置を表すベクトルを計算し、入力の埋め込みに加える方法を採っています。位置の表現には、周波数の異なる正弦関数と余弦関数が使われます。波長は 2π から 10000・2π まで、等比数列になるように並びます。
論文がこの関数を選んだ理由は、仮説として、相対的な位置で注目し合うことをモデルが学びやすくなるという点にあります。加えて、学習で位置の埋め込みを獲得する方式も試され、結果はほぼ同じだったと報告されています。
番号を振るだけでは足りない、というのがこの仕組みの要点です。単純に 1、2、3 と番号を足すと、値の大きさが位置ごとにばらつきます。後ろの位置ほど値が大きくなり、学習の安定を損ないます。
正弦関数と余弦関数を使うと、どの位置でも値は一定の範囲に収まります。さらに、位置が変わると値の組み合わせが変わるため、位置ごとに異なる模様が付きます。この模様の変化の仕方が、位置の差を表します。
| 要素 | 内容 | 役割 |
|---|---|---|
| 対象 | 入力の各要素の埋め込み | 語の意味を表す |
| 加えるもの | 位置ごとに決まるベクトル | 何番目かを表す |
| 関数 | 周波数の異なる正弦・余弦 | 値の範囲を保つ |
| 波長の並び | 2π から 10000・2π まで等比 | 細かい差と粗い差を同時に表す |
「犬が男の子を追いかけた」と「男の子が犬を追いかけた」は、単語の並びが違うだけで意味が変わります。位置の情報がなければ、この2文は同じ要素の集まりとして扱われます。
論文は、任意の固定したずれ k について、位置 p+k の表現が位置 p の表現の線形関数として表せることを、この方式の利点として挙げています。ずれが一定なら、位置の表現の間の関係も一定になる、という性質です。
論文はまた、学習した位置の埋め込みと正弦波の方式を比べ、ほぼ同じ結果だったと報告しています。正弦波の方式を選んだ理由は、学習で見たより長い系列にも外挿できる可能性があるためだと述べています。この外挿は、無条件に成り立つ性質ではありません。
2021年に公開された RoFormer は、位置の情報を回転行列で表す方式(RoPE)を提案しています。絶対的な位置を回転で表しながら、アテンションの計算の中で相対的な位置の依存を扱える点が特徴です。系列長の柔軟さや、離れた要素どうしの依存が距離に応じて弱まる性質も挙げられています。
現在のモデルがどの方式を採るかは、モデルごとに異なります。長い文脈を扱う設計では、位置の表し方が上限に効きます。コンテキストウィンドウのページもあわせて確認してください。
位置の情報は、順番を伝えるための手がかりであって、内容の正しさを保証するものではありません。長い入力を渡したときに前半の指示が効きにくくなる現象は、位置の表現だけで説明できるものではありません。原因を単純化せず、実際の入力で確かめる必要があります。
仕組みの全体はTransformerのページで、重みの付け方はアテンションのページで扱っています。
位置の扱いを確かめたい場合は、モデルの構造を直接読み書きできる環境を用意します。料金と提供条件は各サービスの公式情報で確認してください。
出典:arXiv「Attention Is All You Need(アテンションだけで十分である)」(2017年6月12日提出、2023年8月2日改訂、Ashish Vaswani・Noam Shazeer・Niki Parmar・Jakob Uszkoreit・Llion Jones・Aidan N. Gomez・Lukasz Kaiser・Illia Polosukhin著)。正弦関数と余弦関数を使う方式、波長が2πから10000・2πまでの等比数列になる点、固定したずれについて線形関数で表せるという仮説、学習した埋め込みとの比較、外挿の可能性は同論文の3.5節の記載に基づきます。RoPEについては、arXiv「RoFormer: Enhanced Transformer with Rotary Position Embedding」(2021年4月20日提出、2023年11月8日改訂、Jianlin Su・Yu Lu・Shengfeng Pan・Ahmed Murtadha・Bo Wen・Yunfeng Liu著)の要旨に基づきます。
本記事にはアフィリエイトリンクを含む場合があります。経由での申し込み時に当サイトが報酬を受け取ることがありますが、掲載内容・評価は報酬の有無に左右されません。記載情報は公開時点のものであり、最新情報は各公式サイトをご確認ください。
編集部の評価方法論を見る →