AI DICTIONARY

位置エンコーディング(Positional Encoding)

  • 最終更新: 2026年11月22日
my-best.ai 編集部

my-best.ai 編集部

AIツール比較・レビュー編集チーム
位置エンコーディング(Positional Encoding)

位置エンコーディングとは、系列の中で何番目かを表す情報をベクトルに足す仕組みです。Transformerで必要になる理由と計算を整理します。

読み方:いちエンコーディング。位置エンコーディング(Positional Encoding)とは、単語などの要素が系列の中で何番目にあるかを表す情報を、各要素のベクトルに加える仕組みです。語順を扱わない構造の Transformer で、順番を伝えるために使われます。

用語の定義

2017年に発表された Transformer は、再帰も畳み込みも使わず、アテンションだけで構成されています。この構造は、入力の要素をまとめて同時に処理します。そのため、要素を並べた順番の情報が、計算の中に残りません。

論文はこの問題に対して、各要素の位置を表すベクトルを計算し、入力の埋め込みに加える方法を採っています。位置の表現には、周波数の異なる正弦関数と余弦関数が使われます。波長は 2π から 10000・2π まで、等比数列になるように並びます。

論文がこの関数を選んだ理由は、仮説として、相対的な位置で注目し合うことをモデルが学びやすくなるという点にあります。加えて、学習で位置の埋め込みを獲得する方式も試され、結果はほぼ同じだったと報告されています。

わかりやすい説明

番号を振るだけでは足りない、というのがこの仕組みの要点です。単純に 1、2、3 と番号を足すと、値の大きさが位置ごとにばらつきます。後ろの位置ほど値が大きくなり、学習の安定を損ないます。

正弦関数と余弦関数を使うと、どの位置でも値は一定の範囲に収まります。さらに、位置が変わると値の組み合わせが変わるため、位置ごとに異なる模様が付きます。この模様の変化の仕方が、位置の差を表します。

要素 内容 役割
対象 入力の各要素の埋め込み 語の意味を表す
加えるもの 位置ごとに決まるベクトル 何番目かを表す
関数 周波数の異なる正弦・余弦 値の範囲を保つ
波長の並び 2π から 10000・2π まで等比 細かい差と粗い差を同時に表す

具体例

「犬が男の子を追いかけた」と「男の子が犬を追いかけた」は、単語の並びが違うだけで意味が変わります。位置の情報がなければ、この2文は同じ要素の集まりとして扱われます。

論文は、任意の固定したずれ k について、位置 p+k の表現が位置 p の表現の線形関数として表せることを、この方式の利点として挙げています。ずれが一定なら、位置の表現の間の関係も一定になる、という性質です。

論文はまた、学習した位置の埋め込みと正弦波の方式を比べ、ほぼ同じ結果だったと報告しています。正弦波の方式を選んだ理由は、学習で見たより長い系列にも外挿できる可能性があるためだと述べています。この外挿は、無条件に成り立つ性質ではありません。

その後の広がり

2021年に公開された RoFormer は、位置の情報を回転行列で表す方式(RoPE)を提案しています。絶対的な位置を回転で表しながら、アテンションの計算の中で相対的な位置の依存を扱える点が特徴です。系列長の柔軟さや、離れた要素どうしの依存が距離に応じて弱まる性質も挙げられています。

現在のモデルがどの方式を採るかは、モデルごとに異なります。長い文脈を扱う設計では、位置の表し方が上限に効きます。コンテキストウィンドウのページもあわせて確認してください。

使うときの注意

位置の情報は、順番を伝えるための手がかりであって、内容の正しさを保証するものではありません。長い入力を渡したときに前半の指示が効きにくくなる現象は、位置の表現だけで説明できるものではありません。原因を単純化せず、実際の入力で確かめる必要があります。

仕組みの全体はTransformerのページで、重みの付け方はアテンションのページで扱っています。

関連用語

関連ツール

位置の扱いを確かめたい場合は、モデルの構造を直接読み書きできる環境を用意します。料金と提供条件は各サービスの公式情報で確認してください。

  • ChatGPT:長い文章を渡したときの参照の取り方を、利用者側から比べる用途に使える
  • Claude:長い文脈を渡す場面で、前半の指示が残るかを確かめる用途に使える

出典

出典:arXiv「Attention Is All You Need(アテンションだけで十分である)」(2017年6月12日提出、2023年8月2日改訂、Ashish Vaswani・Noam Shazeer・Niki Parmar・Jakob Uszkoreit・Llion Jones・Aidan N. Gomez・Lukasz Kaiser・Illia Polosukhin著)。正弦関数と余弦関数を使う方式、波長が2πから10000・2πまでの等比数列になる点、固定したずれについて線形関数で表せるという仮説、学習した埋め込みとの比較、外挿の可能性は同論文の3.5節の記載に基づきます。RoPEについては、arXiv「RoFormer: Enhanced Transformer with Rotary Position Embedding」(2021年4月20日提出、2023年11月8日改訂、Jianlin Su・Yu Lu・Shengfeng Pan・Ahmed Murtadha・Bo Wen・Yunfeng Liu著)の要旨に基づきます。

関連ガイド

用語を実際に使う練習には、次のまとめページも便利です。

チュートリアル一覧を開く →

プロンプト集(シーン別)を見る →

関連するAI用語辞典

関連チュートリアル

関連プロンプト

関連ツール

本記事にはアフィリエイトリンクを含む場合があります。経由での申し込み時に当サイトが報酬を受け取ることがありますが、掲載内容・評価は報酬の有無に左右されません。記載情報は公開時点のものであり、最新情報は各公式サイトをご確認ください。

編集部の評価方法論を見る →
週1回・無料

AEO診断・AIクローラー最新情報を、
週1回お届け

AI Botの仕様変更やAEO対策のノウハウ、よくあるトラブル事例を編集部が厳選しメール配信。いつでも配信停止可能です。

  • 新Bot・仕様変更AIクローラーに新しいBotが追加されたとき、判定仕様が変わったときの速報
  • 障害事例と対処AEO診断で多い障害事例と、その対処方法を実例で解説
  • AEO活用術Web制作会社・SEO担当者向けのAEO活用テクニック

登録により 利用規約に同意したとみなされます。確認メールのリンクを押すと登録が完了します。

My-Best.AI|AIツール比較・ランキング・おすすめ最新AI情報
Logo

AIクローラー辞典|254 種の Bot を User-Agent から引く

運営事業者・Safety 評価・ブロック時の SEO 影響・robots.txt のコード例まで、ボット単位で確認できます。

自社サイトの AEO 診断はこちら →