長上下文視窗首先回答請求是否放得下。讀者真正需要的，通常是模型能否找出相關資訊、處理衝突，並連結相距很遠的證據。能接收更多 token，並不保證完成這些工作。
本文依據截至 2026-11-14 核對的論文提出評測方案。Folkbench 本輪未呼叫模型，也未測得任何服務的有效長度。以下實驗設計、門檻選擇與任務範例均為編輯建議。
容量、檢索與理解回答不同問題
容量是模型或介面允許的輸入與輸出預算。檢索是找出指定事實；資訊整合則需要比較、追蹤、彙整或根據多項事實作判斷。這些能力相關，但不能互相取代。
文件直接寫出訂單編號，模型找到編號，代表一項檢索成功。若要根據原訂單、後續修改與退款紀錄判斷最終應付金額，還需要辨認時間順序、適用規則和關聯證據。即使全部檔案都在視窗內，也可能只使用其中一部分。
真實工作還要區分材料本來沒有答案，與模型未找到答案。能正確辨認證據不足，有助避免用一般常識補造缺少的事實。
三篇論文提供互補角度
Lost in the Middle 研究多文件問答與鍵值檢索中，相關資訊位置如何影響表現。只把證據放在開頭或結尾，可能無法代表全文表現。這是特定模型與任務的歷史發現，不能直接斷言所有新模型仍有同樣程度的問題。
RULER 在檢索之外加入多跳追蹤、彙整等任務，並控制長度與複雜度。它有助診斷輸入變長時的能力變化，但合成任務無法涵蓋所有真實文件工作。
LongBench v2 包含 503 道選擇題，涵蓋單文件、多文件、長上下文學習、對話歷史、程式碼儲存庫與結構化資料六類任務。論文的上下文範圍是 8k 到 2M 詞，不能改寫成相同數量的 token。選擇題方便一致評分，但不等於產出完整可用的研究報告。
這些論文提供互補的設計思路，不能把不同年代與協定下的分數拼成新排名。
建立長度、位置與任務的實驗矩陣
先選定需要支援的工作，再設定長度級距。各級距都應涵蓋證據在前段、中段與後段，以及分散於多處的任務。移動證據時必須保持語意與引用關係，不能讓原本清楚的時間順序變得模糊。
| 任務 | 主要觀察 | 需控制的變數 |
|---|---|---|
| 單項檢索 | 是否找對事實 | 位置、相似干擾項 |
| 多項檢索 | 是否找齊事實 | 目標數量、重複資訊 |
| 多跳追蹤 | 是否連結正確關係 | 步數、關係跨度 |
| 資訊彙整 | 是否得到完整統計 | 輸入規模、計數與去重規則 |
| 跨文件判斷 | 是否使用正確證據與版本 | 衝突、時間、來源優先序 |
| 證據缺失 | 是否承認無法確定 | 與可回答樣本匹配難度 |
增加長度時，先保留核心任務，再加入受控材料，以觀察干擾的影響。自然長文也可能本來包含更多關聯事實，因此還需獨立的真實任務集，不能把增加填充文字等同所有長文能力。
相同材料比相同 token 標籤更公平
不同斷詞器可能把同一文件切成不同數量的 token。跨模型比較應優先使用相同材料，同時記錄詞數或字元數與各模型 token 數。若要探測各模型容量邊界，可另外控制其 token 數，但應說明輸入已非完全相同。
也要預留輸出與系統提示的空間，記錄格式、圖片和表格解析方式，以及是否截斷與截斷位置。超出支援範圍應標為不支援或依協定記為失敗，不能悄悄刪文後仍宣稱測了完整文件。
若只保留所有模型都能接收的共同子集，應報告排除任務的數量與類型，避免較短視窗模型因難題被移除而顯得更強。
原生長上下文與檢索增強分開評測
檢索增強系統先挑選片段，再交給模型；原生長上下文則直接提供較完整的材料。兩者都可能有用，但評測對象不同。切塊、索引、檢索排序與片段數都會影響結果。
報告應同時包含端到端成功率與檢索階段的證據涵蓋情況。正確證據未進入模型輸入時，不能全歸咎於推理；證據齊全卻答錯，則要分析整合與生成。
可加入人工確認相關片段的診斷條件，協助定位檢索瓶頸。但這不是一般正式系統的成績，不應混入其他模型的完整流程排名。其用途是解釋差異，而非提高主分數。
有效長度需要任務與門檻共同定義
有效上下文長度不是跨任務固定的物理性質。模型可能在極長輸入找到單一事實，卻在較短材料中無法處理衝突條款；不同應用需要的正確率也不同。
建議事先訂出可接受的品質門檻，再呈現各長度級距的任務表現和不確定性。若報告長度上限，須說明適用任務、預算與門檻，並檢查較短級距也符合要求。最長通過的已測級距，不代表更長輸入必然失敗。
同一文件產生的問題共享資訊結構，統計應按文件或任務組處理相關性。依據評測誤差條分析，配對差異與 95% 信賴區間比單一總平均更有幫助。樣本少的級距應明示，不能用平滑曲線營造確定感。
報告錯誤類型與使用成本
可觀察的失敗包含輸入未完整送達、漏找證據、混淆相似事實、使用過期版本、跨段關係錯誤，以及證據不足時補造答案。只記答錯會失去修正方向；這些行為分類也不是已證明的內部機制。
HELM 的多指標思路同樣適用。除了準確率，還要記錄輸入處理與完整回答時間、總費用、重試及快取條件，分別標示冷快取與熱快取。更長視窗若大幅提高任務成本，未必適合每種工作。
最終應呈現能力邊界：哪些任務在多長材料中穩定、哪些位置容易漏失、代價多大，以及證據不足時是否可靠。這有助選擇輸入組織方式與模型設定，而不只是比較產品頁最大的數字。通用協定要求見[模型排名可信度分析](/zh-Hant/blog/llm-benchmark-rankings-contamination/)。
