
コンテキストロットとは、入力トークンが増えるほどモデルの性能が一様でなく下がる現象です。Chromaの技術報告から、実験の設計と実務での避け方を整理します。
コンテキストロット(こんてきすとろっと/Context Rot)とは、入力トークンが増えるほどモデルの性能が一様でなく下がる現象です。Chromaの技術報告をもとに、実験の設計と実務での避け方を整理します。
Chromaの報告は、まず前提を疑うところから始まります。モデルは1万番目のトークンも100番目のトークンも同じように扱える、という想定です。報告は、この想定が実際には成り立たないと述べています。入力が長くなるほど、単純な作業でも性能がばらつくということです。
報告は18のモデルを対象に実験を行い、入力の長さだけを変えて、難易度は一定に保つ設計を取っています。長さと難しさが同時に変わると、どちらが原因か分からなくなるためです。
長い文脈を扱えるモデルは、よく使われるNeedle in a Haystack(NIAH)という課題で高い成績を残します。報告は、この課題が「決まった一文を長い文書から抜き出す」という語彙の一致を測るもので、意味を踏まえた検索や要約を代表しないと指摘しています。
そこで報告は、意味の近さで探す課題、紛らわしい記述を混ぜる課題、会話形式の記憶課題、単語の複製課題を用意しました。いずれも単純な課題であるにもかかわらず、入力が長くなるほど成績が下がり、下がり方も一様でないことが示されています。
| 実験の軸 | 変えたもの | 報告された傾向 |
|---|---|---|
| 質問と手がかりの近さ | 意味の近さの度合い | 近さが低いほど、長さによる劣化が速い |
| 紛らわしい記述 | 混ぜる記述の数と位置 | 影響は一様でなく、長いほど目立つ |
| 文書の構造 | 筋の通った並びと、文の入れ替え | 構造の有無が成績に影響する |
社内文書を検索して答える仕組みを想定します。候補を数十件そのまま渡すと、入力は長くなり、必要な記述が中ほどに埋もれます。報告の結論に沿えば、渡す情報の量より、渡し方が効いてきます。候補を絞ってから渡す、見出しで構造を与える、聞かれたことに直結する記述を先に置く、といった調整です。
長い議事録を丸ごと渡す場合も同じです。結論と決定事項を先に書き出し、根拠の詳細を後ろに置く形にすると、読み取るべき位置がはっきりします。候補の絞り込みはリランキングのページで扱っています。
入力の長さを測っておくと、現象が起きているかに気づけます。プロンプトのトークン数と、必要な記述が入っていた位置を記録し、正解率と並べて見ます。長さを半分にしたら成績が戻るなら、情報を足すのではなく削る方向で直します。
エージェントのように履歴が溜まる仕組みでは、履歴の制限や圧縮を設定しておきます。保持の設計はエージェントメモリのページで整理しています。
長い文書を扱う機能は、主要なチャット型ツールでも試せます。料金と提供条件は各サービスの公式情報で確認してください。
出典:Chroma「コンテキストロット:入力トークンの増加がLLMの性能に与える影響」(2025年7月14日、Kelly Hong・Anton Troynikov・Jeff Huber著)。18モデルを対象とした実験、入力の長さだけを変える設計、NIAHの限界、質問と手がかりの近さ・紛らわしい記述・文書構造に関する結果、結論の記述は同報告に基づきます。
本記事にはアフィリエイトリンクを含む場合があります。経由での申し込み時に当サイトが報酬を受け取ることがありますが、掲載内容・評価は報酬の有無に左右されません。記載情報は公開時点のものであり、最新情報は各公式サイトをご確認ください。
編集部の評価方法論を見る →