Folkbench 现已在降智监控（Integrity Monitor）上线模型降智检测能力。传统模型榜单通常只评估模型本身在官方或单一部署下的能力上限，而常规中转站监测往往止步于接口通断、标价和响应耗时。两者都难以回答生产环境中更直接的问题：同一款模型经由第三方 API 中转站交付时，其推理深度、指令遵循与底层模型特征是否仍然与官方直连保持一致。
为填补这一评测空白，Folkbench 构建了一套内嵌时事维度与模型指纹维度的自动化探针体系，并采用独立的官方直连 API Key 在相同周期内同步校准。通过将第三方中转线路的实测表现直接锚定在官方实时基线上，系统能够及时捕捉隐蔽的能力偏移，并将原本依赖主观体感的怀疑转化为公开、可核查的监测信号。
本次能力的核心设计包括：
- 双维度探针体系：结合随时间更新的时事维度探针与覆盖推理习惯、Token 消耗及接口指纹的模型指纹探针，同时防范静态缓存与表面应答伪装。
- 独立官方直连基线：所有探针均由独立配置、直连模型厂商的官方 API Key 同步执行，确保同一时间窗口内具备客观对照基准，区分官方模型波动与中转链路异常。
- 模型与服务分组粒度：在同一模型下按具体服务分组分别统计探针一致率、输入 Token、思考 Token、模型指纹及可用的缓存检测信息。
- 评测到切换的完整链路：与 Folkbench 四维公开榜单、中转站并排对比及开源桌面客户端 Folkbench Switch 衔接，覆盖从路线筛选、异常核验到本地配置切换的全过程。
一、传统模型榜单与连通率监控，为什么发现不了“降智”
在常见的 API 使用链路中，中转站位于调用方与上游模型厂商之间。多数情况下，中转层只负责转发请求与汇总计费；但在成本压力或高并发调度下，中间层可能引入三类很难从常规网络指标中察觉的退化行为：
- 静默替换模型：客户端请求的是高阶旗舰模型，后台在高峰时段或长上下文场景中将流量路由至更低成本的轻量模型或早期快照。
- 削减推理预算：底层模型名称保持不变，但推理强度（Reasoning Effort）被调低，或内部推演步数被提前截断，使模型在未充分思考时提前输出结论。
- 截断上下文或篡改参数：为降低 Token 消耗与网关负载，中转层丢弃部分早期对话历史或压低输出上限，导致多轮任务中出现明显的条件遗漏与逻辑断裂。
图 1：表面连通性完好（顶部绿色状态条）并不保证能力完整交付。中转层可以通过路由替换、压低推理强度或裁剪历史上下文来降低开销，这些偏差在传统连通率与延迟监控中几乎不可见。
这三类行为的共同特征，在于网络连通性表面完好：接口依然返回 HTTP 200，小模型的简单问答依然流利，有时甚至因为推演更短而显得“响应更快”。普通的可用率与延迟探针无法识别“回答虽然很快、但不是原有推理深度”的问题。另一方面，生成模型本身具有采样随机性，正如我们在[《模型真的“降智”了吗？》](/blog/did-the-model-get-dumber/)中所分析的，仅凭一两次令人不满意的输出，既无法区分偶然失误与系统性退化，也难以作为有效对照依据。
二、为什么常见自测手段难以应对现代路由策略
面对能力下降的怀疑，开发者和普通用户最常尝试的两类自测方法，在实际对抗环境下往往失效：
- 直接询问模型身份：语言模型并不具备感知外层代理与路由架构的能力。只要中转网关在系统提示词中声明指定型号，或被替换的轻量模型在训练阶段吸收了相应话术，它依然会明确报出用户所购买的模型名称。因此，模型的自我陈述不构成身份证明。
- 依赖固定公开测试题：网络上流传广泛的逻辑陷阱题与经典测试题早已进入各类模型的公开训练数据，轻量级模型同样可以通过记忆直接作答。更关键的是，如果监测脚本长期重复相同的固定题目，中转服务端很容易识别特征输入并返回预先准备的静态缓存，甚至为常见测试题单独放行高质量上游通道，从而在日常业务流量上继续降级。
图 2：两类常见人工自测的失效路径。左侧所示，网关在系统提示词中注入指定型号或由替换模型复述模板话术，足以让底层身份完全被掩盖；右侧所示，网关过滤器识别反复出现的固定题目后，可直接返回静态缓存或仅将测试样本放入纯净白名单通道。
由此可见，有效的降智检测必须同时解决两个问题：题目本身不能被提前背题或静态缓存，判定依据也不能只停留在“表面答案是否正确”。
三、双维度探针架构：如何同时检验“当前理解力”与“模型指纹”
为了在隐蔽退化发生时给出准确识别，Folkbench 将检测题库与协议级观测拆分为两个相互补充的探针维度，在同一轮请求中同时采集语义表现与运行体征。
图 3：Folkbench 双维度探针与同窗口并发校准架构。时事探针阻断静态缓存与白名单绕过，模型指纹探针采集探针一致率、输入 Token、思考 Token、模型指纹及缓存检测体征；两条链路在同一评估窗口并发执行，以消除跨时段误差。
1. 时事维度探针：用持续更新的现实语境阻断记忆与缓存
时事维度探针将近期真实发生的时间线事件、新近信息背景与动态事实关联融入测试题目。与一成不变的静态考题不同，这类探针会随现实时间持续迭代，直接带来两方面约束：
- 阻断静态缓存与白名单绕过：由于题目语境不断更新，中转服务端难以事先预存标准答案或依赖历史静态缓存来应付检测。
- 暴露知识过时与过度压缩的替代模型：例如，当探针要求模型结合近期公开事件的时间顺序与新近条件完成多步推理时，被悄然切换上去的旧版快照会因知识时间线截止而出现错位，能力被过度压缩的轻量模型也更容易在条件关联与指令细节上失真。
2. 模型指纹维度探针：不仅看答对与否，也检查“作答习惯与思考开销”
如果某条中转线路替换成了一个能力尚可但并非原型的替代模型，或者保持型号不变却在后台砍掉一半思考预算，单纯看一道客观题的最终对错，仍然可能漏判。
模型指纹维度探针针对这一盲区设计。不同模型家族在面对复杂多步约束、格式边界与细粒度推理任务时，会呈现出相对稳定的行为模式与资源消耗特征。Folkbench 在执行指纹探针时，会同步记录接口返回的多项关键体征：
- 探针一致率：在多步推理与约束检验中，输出行为与目标模型标准特征的符合程度。
- 输入 Token 与思考 Token（Reasoning Tokens）：即模型收到完整上下文后，在生成最终回复前用于内部推演的 Token 开销。
- 模型指纹与缓存检测：采集接口返回的模型指纹字段，并在具备实测数据时同步展示缓存检测状态。
举例而言，当某个支持深度思考的模型在后台被悄悄降低推理强度时，其最终答案在文字上或许依然礼貌且连贯，但思考 Token 消耗与探针一致率往往会同步明显回落；而当路由切换到另一个系列的替代模型时，即使偶发答对常规问句，其在精细约束遵循习惯与模型指纹分布上的偏差也会快速显露出来。
四、独立官方直连 API Key 校准：把绝对分数变成可对照的实时基线
即便拥有了双维度探针，单独观察中转站的历史得分依然容易产生误判。当某条中转线路的探针一致率在某一时段出现下滑时，背后至少存在两种截然不同的解释：一是该中转站自身发生了模型降级或路由异常；二是模型厂商官方近期微调了线上快照、出现了短时波动，或是该批新题在官方接口上的固有通过率原本就处于相应区间。
缺乏同时段参照物时，任何绝对分数都无法回答“到底是谁变了”。为此，Folkbench 采用了一项关键工程设计：所有降智检测探针均配备独立的官方直连 API Key 进行实时校准。 这些密钥仅用于基准对照，请求直接发往模型官方服务端，不经过任何第三方中转链路，并在与中转站相同的监测窗口内运行完全一致的探针任务。
图 4a（校准机制）：左侧“无参照单线观测”在指标下滑时无法区分上游版本波动还是中转站换线；右侧“双轨同窗口校准”在周期 `W_t` 内并排接入独立官方直连 Key 与目标分组，将孤立分数转化为可复核的探针一致率、思考 Token 与指纹相对落差。
| 观测情景 | 仅监测中转站（无校准参照） | 引入独立官方直连 Key 实时校准 |
|---|---|---|
| 官方模型本身出现版本微调或波动 | 容易将大盘变化误判为中转站降智 | 官方实时基线同步移动，可将上游波动从单站异常中剥离 |
| 中转站悄悄换线或削减思考预算 | 缺乏同时段对照，难以验证偏离程度 | 中转线路的探针一致率与思考 Token 相对官方基线出现明确落差 |
| 同一中转站不同分组策略分化 | 易受高速稳定分组掩盖，忽略低价分组缩水 | 按“模型 × 具体服务分组”独立对照官方基线，分组间差异清晰可辨 |
图 4（机制示意图，非实测数据）：引入独立官方直连基线后，系统可以将“上游模型或题组自身波动”（情景 A）与“特定中转模型×分组发生路由偏移或预算裁剪”（情景 B，自 `T3` 起一致率与思考 Token 同步收缩）明确拆分开来。
同时，Folkbench 在结论表达上严格保留统计与证据边界。正如降智监控页面所明确提示的：单次回答或某一个孤立百分比，不能单独作为“模型已被替换”的终局证明。 任何监测信号都需要结合样本数量、连续时间窗口、Token 结构与检测条件综合解读。这套校准机制提供的，是一份客观、连续且可供第三方复查的早期异常信号。
五、从降智检测到完整选型闭环：Folkbench 与常规评测站的核心差距
在多数人的印象里，AI 评测站主要分成两类：一类像传统学术或模型榜单，专注于比较不同厂商模型在固定数据集上的理论上限；另一类则是中转站导航或简单监控面板，只展示各家站点的标价与接口是否能连上。降智检测能力的上线，使 Folkbench 得以从“静态看模型、粗放看连通”进一步推进到“按真实交付链路持续验真”。
整体而言，Folkbench 与常规模型站、中转站目录之间的差异集中在四个层面：
图 5：从能力筛查到安全切换的完整闭环。四步工具分别覆盖选型过滤（`/rankings）、实时基线降智审计（/arena）、同分组横评对账（/stations/compare）以及本地配置切换（Folkbench Switch`）；在线降智与缓存追踪属于 Folkbench 网站端能力。*
1. 同模型、分服务分组的真实测量，不拿单一线路代表全站
第三方中转站内部通常并存多种分组，例如高性价比的特惠分组、动态倍率分组与更高成本的稳定或官方直连分组，不同分组背后的号池与路由策略可能完全不同。只对整个域名给出一个综合评分，往往会掩盖关键差异。Folkbench 坚持在同一模型、具体服务分组与路由粒度下进行实测与展示，明确区分不同分组的实际表现，不把最优线路的成绩当成全站承诺。
2. 四维公开榜单：覆盖稳定性、速度与真实会话成本
能力没有被暗中削弱只是前提，生产接入同样看重运行稳定性与真实开销。围绕真实使用场景，Folkbench 提供了四张分工明确的公开榜单：
- [可用率榜](https://folkbench.com/rankings)：不止核验 HTTP
200返回码，进一步剔除“伪 200”报错包装、流式传输中途静默截断以及客户端解析失败，反映真实的请求交付比例。 - [稳定性榜](https://folkbench.com/rankings/stability)：聚焦长程任务与高并发压力窗口下的持续表现，识别单次测试很快、实际连续工作却频繁中断的线路。
- [响应速度榜](https://folkbench.com/rankings/latency)：将首字到达时间（TTFT）与后续持续生成速率分开统计，防止单纯的平均值掩盖漫长的首字等待。
- [会话成本榜](https://folkbench.com/rankings/cost)：模拟真实编程与长会话负载测算综合支出，帮助用户穿透“超低表面倍率”背后的真实计费效率。
3. 免费公开的降智监控与并排对比工具
如果由个人开发者自行复现一套基于时事更新、模型指纹与独立官方直连校准的监控系统，不仅需要长期承担官方直连密钥的调用开销，还必须持续维护动态探针题库与多时段调度。Folkbench 将这套监测基础设施的结果公开在降智监控页面中，并通过中转站对比支持同一模型下不同线路指标的同屏并排比较，显著降低了验证一条线路可信度的门槛。
4. 从看清榜单到完成接入：开源桌面客户端 Folkbench Switch
多数评测网站在给出排行榜后便结束了服务，用户选定线路后仍需手动编辑本地配置文件。为此，Folkbench 配套维护了基于 Tauri 与 Rust 构建的开源桌面客户端 [Folkbench Switch](https://github.com/Folkbench/folkbench/releases)（提供 macOS .dmg 与 Windows .exe 安装包，适配 Claude Code、Codex、Gemini CLI、Aider、OpenCode、Kimi CLI 等开发工具）：
- 写入前配置差异预览：在修改本地工具配置文件之前展示清晰差异，并保留原有的其他自定义设置。
- Codex 官方凭据保护：切往第三方服务商时自动暂存原有的官方 OAuth 凭据，切回官方路线时一键无损恢复。
- 公开线路浏览与本地用量估算：可在客户端内查看公开目录中的线路可用率、状态窗口与参考价格，并在本地统计会话 Token 估算成本。
注：降智监控与缓存补偿等在线观测信息属于 Folkbench 网站端的持续评测能力，不等于桌面客户端已经本地集成的检测功能。
六、如何在实际选型与使用中利用这套能力
无论是日常使用 AI 编程工具的个人用户，还是负责线上服务接入的工程团队，都可以按照一套清晰的步骤来核验并管理线路：
- 按业务优先级筛选候选分组：在可用率榜、稳定性榜、响应速度榜与会话成本榜中，先锁定目标模型下符合稳定性与预算预期的具体服务分组。
- 在降智监控核对官方基线对齐度：打开降智监控，对照独立官方直连基线查看该分组近期的探针一致率、思考 Token 与模型指纹；当日常体验出现异常波动时，先结合连续几个时间窗口的数据核实偏离是否持续存在。
- 并排核对具体分组规格：在充值或正式接入前，通过中转站对比确认所选分组的各项指标，避免把高价稳定分组的测试表现直接套用到特惠分组上。
- 借助 Switch 保持多线路容灾能力：使用开源的 Folkbench Switch 在本地同时保存主力线路与备用线路；当监控显示某条路由出现持续异常或波动时，预览配置差异即可在数秒内完成安全切换。
随着越来越多工作流依赖第三方 API 路由，评测的价值已不再只是回答“哪个模型本身更强”，更在于持续验证“用户实际拿到的服务是否依然如约交付”。通过把时事探针、模型指纹与独立官方直连校准纳入公开常态监测，Folkbench 为 AI 服务的日常选择提供了一把清晰、可复核的公开标尺。
