
アテンションとは、複数の情報のうち重要な部分に重みを付けて取り込む仕組みです。計算の手順と、Transformerで使われる理由を整理します。
読み方:あてんしょん。アテンション(Attention、注意機構)とは、複数の情報のうち、いま扱っている語にとって重要度の高い部分に重みを付けて取り込む仕組みです。2017年に発表された Transformer の中核として使われています。
論文は注意機構を、問い合わせ(query)と、鍵と値の組(key-value pair)の集合を、出力へ写す関数として説明しています。出力は値の重み付き和であり、各値の重みは、問い合わせとその値に対応する鍵との相性から計算します。
相性の計算には、問い合わせと鍵の内積を使う方式が採られています。内積の値を鍵の次元数の平方根で割り、softmax を通して重みに変えます。重みの合計は1になり、値はその重みで足し合わされます。
この計算を複数の組で並行して行うのが、マルチヘッド(multi-head)と呼ばれる形です。組ごとに異なる写像を使うため、語同士の関係を複数の観点から同時に拾えます。
文章を読むとき、人はすべての語を同じ強さで扱いません。代名詞が出てきたら、それが指す名詞を探して強く参照します。アテンションはこの参照の強さを、モデルが自分で計算する仕組みです。
手順は4つに分かれます。問い合わせを作る、鍵との相性を計算する、相性を重みに変える、値の重み付き和を取る、という流れです。どの語にどれだけ注目したかは、重みの数値として残ります。
| 要素 | 役割 | 翻訳の例での働き |
|---|---|---|
| 問い合わせ | いま注目している側の手がかり | 代名詞の位置の表現 |
| 鍵 | 参照される側の手がかり | 各名詞の表現 |
| 値 | 実際に持ち帰る情報 | 名詞の内容を表す表現 |
| 重み | 参照の強さ | どの名詞をどれだけ見たか |
英語からドイツ語への翻訳を考えます。文の途中に代名詞が出てきたとき、その代名詞が指す名詞が数語前にあるとは限りません。アテンションは語の並びを順にたどらずに、離れた位置の語同士を直接結び付けられます。
論文は、再帰も畳み込みも使わずにアテンションだけで構成したモデルで、2つの翻訳課題を評価しています。英語からドイツ語で28.4、英語からフランス語で41.8のBLEUスコアを報告しており、いずれも当時の単一モデルとして高い値だと述べています。数値は論文の条件での結果であり、別の課題で同じ差が出るとは限りません。
それまでの主要な方式は、語を順に処理する再帰型のネットワークでした。順に処理する構造は、学習の途中で計算を並列に進めにくくします。アテンションだけの構成は系列全体をまとめて扱えるため、学習を並列に進めやすくなります。
論文はこの点を、学習にかかる時間の短縮として報告しています。並列に進められることが、その後のモデルの規模を広げる動きを支えました。仕組みの全体はTransformerのページで扱っています。
重みは重要度であって、正しさの保証ではありません。参照の強さが適切でも、参照した内容が誤っていれば出力も誤ります。根拠を確認する手順はハルシネーションのページが参考になります。
入力が長くなるほど、語同士の組み合わせの数は増えます。すべての語の組を計算する方式では、計算量が語数の2乗に比例します。長い資料を一度に扱うときの上限はコンテキストウィンドウの設計と関係します。
仕組みを触って確かめたい場合は、モデルを動かせる環境を用意します。料金と提供条件は各サービスの公式情報で確認してください。
出典:arXiv「Attention Is All You Need(アテンションだけで十分である)」(2017年6月12日提出、2023年8月2日改訂、Ashish Vaswani・Noam Shazeer・Niki Parmar・Jakob Uszkoreit・Llion Jones・Aidan N. Gomez・Lukasz Kaiser・Illia Polosukhin著)。問い合わせと鍵と値による重み付き和としての定義、内積を次元数の平方根で割る計算、マルチヘッド、再帰と畳み込みを使わない構成、翻訳課題のBLEUスコアは同論文の要旨と本文の記載に基づきます。
本記事にはアフィリエイトリンクを含む場合があります。経由での申し込み時に当サイトが報酬を受け取ることがありますが、掲載内容・評価は報酬の有無に左右されません。記載情報は公開時点のものであり、最新情報は各公式サイトをご確認ください。
編集部の評価方法論を見る →