長いコンテキストはどこまで使えるか：検索から文書間推論へ

長いコンテキストウィンドウは、まず入力が収まるかを示します。実際には、必要な情報を探し、矛盾を処理し、離れた証拠を結びつける能力が重要です。多くの token を受け取れるだけでは、その能力を保証できません。

本稿は 2026-11-14 に確認した文献から評価案を示します。Folkbench はモデルを呼び出しておらず、各サービスの実効長を測定していません。実験設計、しきい値、例題は編集上の提案です。

容量、検索、理解を区別する

容量は利用可能な入出力予算です。検索は特定の事実を探すこと、統合は比較、追跡、集約や複数事実からの判断です。関連はあっても同一ではありません。

明記された注文番号を見つければ検索は成功です。しかし元の注文、変更、返金から最終支払額を求めるには、時系列、規則、関係を理解する必要があります。全ファイルが収まっても、一部しか答えに使われないことがあります。

資料に答えが存在しない場合と、モデルが見つけられない場合も区別します。証拠不足を認識できれば、もっともらしい一般知識で欠けた事実を補うことを防げます。

三つの論文が示す補完的な視点

Lost in the Middle は複数文書の質問応答やキーと値の検索で、情報位置の影響を調べます。先頭や末尾だけの証拠では入力全体の性能を代表できない可能性があります。特定モデルでの過去の結果であり、最新モデルすべてに同程度の問題がある証拠ではありません。

RULER は長さと複雑さを制御し、検索以外に多段階の追跡や集約を加えます。診断には有用ですが、合成課題で全実務を網羅することはできません。

LongBench v2 は 503 の選択問題を含み、単一文書、複数文書、長文脈内学習、会話履歴、コードリポジトリ、構造化データの六分野を扱います。論文の範囲は 8k〜2M 語であり、token ではありません。選択式は採点しやすい一方、完全で実用的な調査報告を作る能力と同じではありません。

三論文は評価設計を補完します。異なる時期や手順のスコアを寄せ集めて新しい順位を作る根拠にはなりません。

長さ、位置、課題を組み合わせる

必要な仕事を先に決め、次に長さの段階を設けます。各段階に前方、中央、後方の証拠と、分散した証拠を含めます。移動時には意味や参照を保ち、明確だった時系列を曖昧にしてはいけません。

入力を伸ばす際は、まず中心課題を保って制御した資料を追加します。妨害増加の影響を見られますが、自然な長文では関連事実そのものも増えます。そのため実務に近い課題も別に用意し、埋め草の増量を長文理解のすべてと考えません。

同じ token 表示より同じ資料

トークナイザーが違えば同じ資料の token 数も変わります。モデル間では資料を揃え、語数や文字数と各モデルの token 数を併記します。容量限界を調べる独立実験では token 数を揃えることもできますが、入力が完全に同一ではないと説明します。

システム指示と出力の領域を確保し、書式、表や画像の処理、切り詰めの有無と場所を記録します。上限超過は非対応または手順で定めた失敗として扱います。黙って本文を削っても全文を試したことにはなりません。

全モデルが受け付ける共通部分だけを比べる場合、除外した課題数と種類を公開します。難問の除外によって短いウィンドウが有利に見えることを防ぎます。

直接入力と検索拡張を別々に測る

検索拡張は資料を選んでからモデルに渡し、直接の長文入力はより完全な資料を渡します。両方有用ですが、測定対象は異なります。分割、索引、検索順位、返す断片数も結果を変えます。

全工程の成功率と、検索段階での証拠の網羅を報告します。必要な事実がモデルに届かなければ、失敗を推論だけの責任にできません。事実が揃っていても誤答するなら統合や生成を調べます。

人が確認した関連断片を与える診断条件を追加すれば、検索の問題を特定できます。ただし通常運用の成績ではなく、他モデルの全工程と混ぜて順位づけしてはいけません。目的は差を説明することで、主スコアを良く見せることではありません。

実効長には課題と品質基準が必要

実効長は課題に依存しない物理定数ではありません。非常に長い入力で一つの事実を探せても、短い契約の矛盾を解消できないことがあります。必要な正確性も用途で違います。

許容品質を事前に決め、長さごとの成績と不確実性を示します。上限を一つ報告するなら適用課題、予算、基準を明記し、より短い段階も合格するか確認します。測定済みの最長合格点は、それ以上が必ず失敗する証明ではありません。

同じ文書の質問は構造を共有します。文書や課題群単位の依存を扱ってください。誤差区間の研究に沿って対応差と 95% 区間を示す方が、平均だけより有益です。少数標本を明示し、滑らかな曲線で確実性を演出しません。

失敗の種類と費用を戻す

観測できる失敗には、入力の未到達、証拠の見落とし、類似事実の混同、古い版の利用、文書間関係の誤り、資料不足時の創作があります。誤答だけでは診断情報を失いますが、分類を実証済みの内部機構と考えるのも誤りです。

HELM の複数指標の考え方に従い、正答率、入力処理と回答完了の時間、総費用、再試行、キャッシュ条件を記録します。コールドとウォームは分けます。大きいウィンドウが毎回の費用を大きく増やすなら、全用途に適切とは限りません。

結果は、安定した課題と長さ、見落としやすい位置、費用、証拠不足への対応という能力境界を示すべきです。製品ページの最大値より、入力の構成と設定選びに役立ちます。共通要件は[ランキングの信頼性](/ja/blog/llm-benchmark-rankings-contamination/)を参照してください。