コンテキストウィンドウは、モデルが一度に扱えるトークン数の上限(入力+出力の合計枠)です。長い資料を渡せるか、会話をどこまで覚えているか、はこの枠で決まります。
コンテキストウィンドウは、モデルが一度に扱えるトークン数の上限(入力+出力の合計枠)です。長い資料を渡せるか、会話をどこまで覚えているか、はこの枠で決まります。
コンテキストウィンドウとは、 大規模言語モデル(LLM) が 一度に処理できるテキストの最大長のこと です。このウィンドウのサイズによって、AIがどれだけの情報を記憶し、考慮に入れながら文章を生成したり、質問に答えたりできるかが決まります。本記事では、コンテキストウィンドウの役割、性能への影響、拡大に伴う課題を解説します。
出典:my-best.ai 用語辞典「コンテキストウィンドウ」(https://my-best.ai/ai-dictionary/context-window/)
ウィンドウの中身は 4 つに分けられます。①システム指示(役割・ルール)、②会話履歴、③参照資料(RAG で入れた文書など)、④出力の分。どれかを増やすと、他に使える分が減ります。
枠を超える入力は拒否されるか、先頭や末尾が切り捨てられます。長い資料は要約して渡す、会話は要点を整理し直す、という運用が必要です。
枠が大きいモデルでも、関連情報が埋もれる「真ん中の情報が拾われにくい」傾向が報告されています。量より、必要な情報を選んで渡すことが精度に効きます。
上限の由来は Transformer(2017)のアーキテクチャ上の入力長制約です。初期の GPT-3 は 2,048 トークン程度でしたが、以後のモデルで数万〜数十万トークンへと拡大が続いています(現在の上限はモデルごとに確認が必要です)。
資料を分割するか、要約して渡すかの判断
要点の要約を作って引き継ぐ運用
参照資料に割く枠の配分を決める
枠の使い方が課金に直結するための最適化
用語同士は相互リンクされています。未掲載の用語は用語一覧の該当項目へリンクします。
実務でそのまま使えるプロンプト例です。コピーして〔 〕内を置き換えてください。同じカードはプロンプト集にも掲載されています。
長い資料を扱う前の設計
「(タスク)」でコンテキストウィンドウを使うときの配分案を、システム指示/会話履歴/参照資料/出力の 4 分類で作ってください。各項目の目安割合と、溢れた場合の優先順位も示してください。
枠を超えない前処理
以下の長文を、後続の LLM に渡すための要約にしてください。 条件:元の 20% 以内/結論と根拠の一覧を保持/数値と固有名詞は原文どおり/省略した章の一覧を最後に付ける。 (ここに長文)
長い対話の要点渡し
これまでの対話を、新しい会話に引き継ぐための引き継ぎメモにしてください。 項目:目的/決まったこと/未決事項/次の一手/注意事項。各項目は 3 行以内で。
埋もれ対策の基本型
以下の資料と質問を扱います。指示:重要な前提は回答の冒頭で復唱し、根拠となる箇所は末尾に一覧で引用してください。これにより情報の埋もれを防ぎます。 【資料】(テキスト) 【質問】(質問)
上限到達時の運用
「(タスク)」で入力が上限を超えた場合の運用手順を作成してください。手順:①分割の単位 ②各部分の処理指示 ③結果の統合方法 ④品質確認。ビジネス文書として 1 ページにまとめてください。
RAG と併用する枠の節約
以下の候補から、質問に答えるために必要な文だけを選んでください。選んだ理由を各 1 行で示し、不要な文は理由付きで除外してください。 【質問】(質問) 【候補】(候補一覧)
定義・出典の記述は一次資料に基づきます。リンク先の内容は公開時点のものです。
コンテキストウィンドウは「一度に扱える枠」であり、指示・履歴・資料・出力で分け合います。枠の大きさより、必要な情報を選んで渡す設計が精度とコストの鍵です。