长上下文有多长才算有效？从检索到跨文档推理

长上下文窗口首先回答“请求能否放得下”。读者真正需要的往往是另一件事：模型能否从材料中找到相关信息、处理冲突，并把相距很远的证据连起来。能接收更多 token，不能自动保证这些步骤完成。

本文基于截至 2026-11-14 核对的论文，提出长上下文评测方案。Folkbench 本轮没有调用模型，也没有测出任何服务的有效长度。下面的实验设计、阈值选择与任务示例都是编辑建议。

容量、检索和理解分别回答什么

容量是接口或模型允许的输入与输出预算。检索是找到指定事实。信息整合则要求比较、追踪、归纳或依据多个事实作出判断。三者相关，却不能互相代替。

例如，材料里直接写着某订单的编号，模型找出编号，证明了一项检索任务成功。若任务改为根据原订单、后续修改和退款记录判断最终应付金额，就需要识别时间顺序、适用规则和相互关联的证据。即使所有文件都在窗口中，也可能只取到其中一部分。

对真实工作，还要区分材料中确实缺少答案与模型没有找到答案。允许并正确识别“证据不足”，是避免模型用常识补造缺失事实的重要部分。

三篇论文提供互补的观察角度

Lost in the Middle 在多文档问答和键值检索中研究了相关信息位置的影响。它提醒评测者：只把证据放在开头或结尾，可能不能反映全文表现。这是特定模型与任务上的历史发现，不应不经实测就断言所有新模型仍有相同程度的问题。

RULER 在检索之外加入多跳追踪、聚合等任务，并提供可控制的长度和复杂度。它适合定位能力随输入增长而变化的方式，但合成任务不能覆盖全部真实文档工作。

LongBench v2 包含 503 道选择题，覆盖单文档、多文档、长上下文学习、对话历史、代码仓库和结构化数据等六类任务。论文描述的上下文范围是 8k 到 2M 词，不能改写成同样数量的 token。选择题便于一致评分，但并不等同于生成一份完整、可用的研究报告。

把这些论文放在一起，得到的是互补的评测设计，而不是把各论文中不同年代、不同协议的模型分数拼成新的排名。

设计“长度 × 位置 × 任务”的实验矩阵

先选定需要支持的工作类型，再建立长度档位。每个档位应覆盖证据位于前部、中部和后部的情形，并包含证据分散在多个位置的任务。对同一材料移动证据时，应保持其语义和引用关系有效，不能让原本明确的时间顺序变得含糊。

增加长度时，优先保留同一核心任务，再加入受控的额外材料。这样可以观察干扰随长度增加的影响。但自然长文也可能本来就包含更多关联事实，因此还需要单独的真实任务集，避免把“更多填充文本”等同于全部长文能力。

同一份材料，比相同 token 标签更公平

不同模型的分词器可能把同一文档切成不同数量的 token。模型间比较应优先保留相同材料，同时报告词数或字符数以及各自 token 数。若目的是探测各模型的容量边界，可以另设按模型 token 数控制的实验，并说明它不再是完全相同的输入。

还要预留输出和系统提示的空间。记录文档格式、图片或表格的解析方式、是否发生截断以及截断位置。超过支持范围的输入应标为“不支持”或协议定义的失败，不能悄悄删除正文后仍声称测试了完整文档。

如果为了比较而只保留所有模型都能接收的共同子集，应同时报告被排除任务的数量与类型。否则，一个较短窗口的模型可能因为难题被移除而显得更强。

原生长上下文与检索增强应分别评测

检索增强系统先从材料中选择片段，再交给模型；原生长上下文方案则直接提供更完整的材料。两种方案都可能有价值，但测量对象不同。检索系统的切块、索引、排序和返回片段数，都能改变最终结果。

比较时，应报告端到端成功率及检索阶段的证据覆盖情况。若正确证据没有进入模型输入，不能把失败全部归因于模型推理；若证据已经齐全却答错，则需要继续分析信息整合与答案生成。

可以增加一个“提供人工确认相关片段”的诊断条件，帮助定位检索瓶颈，但它不是正常生产系统的成绩，也不应与其他模型的完整流程分数混排。其用途是解释差异，而不是制造一个更好看的主分数。

有效长度需要任务和阈值共同定义

“有效上下文长度”不是跨任务恒定的物理属性。某模型可能在很长输入中找到单条事实，却无法在较短材料中处理冲突条款。不同任务所需的正确率也不一样。

本文建议先声明业务可接受的质量门槛，再展示各长度档位的任务成绩及不确定性。若需要报告一个长度上限，应说明它只适用于哪些任务、预算和阈值，并核对较短档位是否同样满足要求。测试到的最长合格档位，不等于证明更长输入必然失败。

同一文档生成的多个问题会共享信息结构，统计时应按文档或任务组处理相关性。参考评测误差条分析，报告配对差异与 95% 区间，比只给整体平均值更利于判断。小样本档位应明确标注，而不是用平滑曲线制造确定感。

把错误类型与使用成本放回报告

长文任务的失败至少可以分为：输入未完整送达、漏检证据、混淆相似事实、使用过期版本、跨段关系错误，以及材料不足时补造答案。只记录“答错”会失去修复方向；把这些类别当成已证明的内部机制同样不妥，它们首先是对可观察行为的分类。

HELM 的多指标思路也适用于这里。除准确率外，记录输入处理与完整回答耗时、总费用、重试和缓存条件。冷缓存与热缓存应分别标注；更长的窗口如果让每次任务成本大幅增加，未必适合所有工作。

最终结果应是一张能力边界图：哪些任务在多长材料中稳定、哪些位置容易遗漏、代价多大、证据不足时是否可靠。它能帮助读者选择输入组织和模型配置，而不是只比较产品页上最大的数字。评测协议的通用要求见[模型排名的可信度分析](/blog/llm-benchmark-rankings-contamination/)。