Folkbench 現已在降智監控（Integrity Monitor）上線模型降智檢測能力。傳統模型榜單通常只評估模型本身在官方或單一部署下的能力上限，而常規中轉站監測往往止步於介面通斷、標價與回應耗時。兩者都難以回答生產環境中更直接的問題：同一款模型經由第三方 API 中轉站交付時，其推理深度、指令遵循與底層模型特徵是否仍然與官方直連保持一致。
為填補這一評測空白，Folkbench 建構了一套內嵌時事維度與模型指紋維度的自動化探針體系，並採用獨立的官方直連 API Key 在相同週期內同步校準。透過將第三方中轉線路的實測表現直接錨定在官方即時基準上，系統能夠及時捕捉隱蔽的能力偏移，並將原本依賴主觀體感的懷疑轉化為公開、可核查的監測訊號。
本次能力的核心設計包括：
- 雙維度探針體系：結合隨時間更新的時事維度探針與涵蓋推理習慣、Token 消耗及介面指紋的模型指紋探針，同時防範靜態快取與表面應答偽裝。
- 獨立官方直連基準：所有探針均由獨立配置、直連模型廠商的官方 API Key 同步執行，確保同一時間視窗內具備客觀對照基準，區分官方模型波動與中轉鏈路異常。
- 模型與服務分組粒度：在同一模型下按具體服務分組分別統計探針一致率、輸入 Token、思考 Token、模型指紋及可用的快取檢測資訊。
- 評測到切換的完整鏈路：與 Folkbench 四維公開榜單、中轉站並排對比及開源桌面用戶端 Folkbench Switch 銜接，涵蓋從路線篩選、異常核驗到本地設定切換的全過程。
一、傳統模型榜單與連通率監控，為什麼發現不了「降智」
在常見的 API 使用鏈路中，中轉站位於呼叫方與上游模型廠商之間。多數情況下，中轉層只負責轉發請求與彙總計費；但在成本壓力或高並發調度下，中間層可能引入三類很難從常規網路指標中察覺的退化行為：
- 靜默替換模型：用戶端請求的是高階旗艦模型，後台在尖峰時段或長上下文場景中將流量路由至更低成本的輕量模型或早期快照。
- 削減推理預算：底層模型名稱保持不變，但推理強度（Reasoning Effort）被調低，或內部推演步數被提前截斷，使模型在未充分思考時提前輸出結論。
- 截斷上下文或竄改參數：為降低 Token 消耗與閘道器負載，中轉層丟棄部分早期對話歷史或壓低輸出上限，導致多輪任務中出現明顯的條件遺漏與邏輯斷裂。
圖 1：表面連通性完好（頂部綠色狀態條）並不保證能力完整交付。中轉層可透過路由替換、壓低推理強度或裁剪歷史上下文來降低開銷，這些偏差在傳統連通率與延遲監控中幾乎不可見。
這三類行為的共同特徵，在於網路連通性表面完好：介面依然回傳 HTTP 200，小模型的簡單問答依然流利，有時甚至因為推演更短而顯得「回應更快」。普通的可用率與延遲探針無法識別「回答雖然很快、但不是原有推理深度」的問題。另一方面，生成模型本身具有採樣隨機性，正如我們在[《模型真的「變笨」了嗎？》](/zh-Hant/blog/did-the-model-get-dumber/)中所分析的，僅憑一兩次令人不滿意的輸出，既無法區分偶然失誤與系統性退化，也難以作為有效對照依據。
二、為什麼常見自測手段難以應對現代路由策略
面對能力下降的懷疑，開發者與一般使用者最常嘗試的兩類自測方法，在實際對抗環境下往往失效：
- 直接詢問模型身分：語言模型並不具備感知外層代理與路由架構的能力。只要中轉閘道器在系統提示詞中聲明指定型號，或被替換的輕量模型在訓練階段吸收了相應話術，它依然會明確報出使用者所購買的模型名稱。因此，模型的自我陳述不構成身分證明。
- 依賴固定公開測試題：網路上流傳廣泛的邏輯陷阱題與經典測試題早已進入各類模型的公開訓練資料，輕量級模型同樣可以透過記憶直接作答。更關鍵的是，如果監測腳本長期重複相同的固定題目，中轉服務端很容易識別特徵輸入並回傳預先準備的靜態快取，甚至為常見測試題單獨放行高品質上游通道，從而在日常業務流量上繼續降級。
圖 2：兩類常見人工自測的失效路徑。左側所示，閘道器在系統提示詞中注入指定型號或由替換模型複述模板話術，足以完全掩蓋底層權重；右側所示，閘道器過濾器辨識重複出現的固定題目後，可直接回傳靜態快取或僅將測試樣本放入純淨白名單通道。
由此可見，有效的降智檢測必須同時解決兩個問題：題目本身不能被提前背題或靜態快取，判定依據也不能只停留在「表面答案是否正確」。
三、雙維度探針架構：如何同時檢驗「當前理解力」與「模型指紋」
為了在隱蔽退化發生時給出準確識別，Folkbench 將檢測題庫與協議級觀測拆分為兩個相互補充的探針維度，在同一輪請求中同時採集語意表現與運行體徵。
圖 3：Folkbench 雙維度探針與同視窗並發校準架構。時事探針阻斷靜態快取與白名單繞過，模型指紋探針採集探針一致率、輸入 Token、思考 Token、模型指紋及快取檢測體徵；兩條鏈路在同一評估視窗並發執行，以消除跨時段誤差。
1. 時事維度探針：用持續更新的現實語境阻斷記憶與快取
時事維度探針將近期真實發生的時間線事件、新近資訊背景與動態事實關聯融入測試題目。與一成不變的靜態考題不同，這類探針會隨現實時間持續迭代，直接帶來兩方面約束：
- 阻斷靜態快取與白名單繞過：由於題目語境不斷更新，中轉服務端難以事先預存標準答案或依賴歷史靜態快取來應付檢測。
- 暴露知識過時與過度壓縮的替代模型：例如，當探針要求模型結合近期公開事件的時間順序與新近條件完成多步推理時，被悄然切換上去的舊版快照會因知識時間線截止而出現錯位，能力被過度壓縮的輕量模型也更容易在條件關聯與指令細節上失真。
2. 模型指紋維度探針：不只看答對與否，也檢查「作答習慣與思考開銷」
如果某條中轉線路替換成了一個能力尚可但並非原型的替代模型，或者保持型號不變卻在後台砍掉一半思考預算，單純看一道客觀題的最終對錯，仍然可能漏判。
模型指紋維度探針針對這一盲區設計。不同模型家族在面對複雜多步約束、格式邊界與細粒度推理任務時，會呈現出相對穩定的行為模式與資源消耗特徵。Folkbench 在執行指紋探針時，會同步記錄介面回傳的多項關鍵體徵：
- 探針一致率：在多步推理與約束檢驗中，輸出行為與目標模型標準特徵的符合程度。
- 輸入 Token 與思考 Token（Reasoning Tokens）：即模型收到完整上下文後，在生成最終回覆前用於內部推演的 Token 開銷。
- 模型指紋與快取檢測：採集介面回傳的模型指紋欄位，並在具備實測資料時同步展示快取檢測狀態。
舉例而言，當某個支援深度思考的模型在後台被悄悄降低推理強度時，其最終答案在文字上或許依然禮貌且連貫，但思考 Token 消耗與探針一致率往往會同步明顯回落；而當路由切換到另一個系列的替代模型時，即使偶發答對常規問句，其在精細約束遵循習慣與模型指紋分布上的偏差也會快速顯露出來。
四、獨立官方直連 API Key 校準：把絕對分數變成可對照的即時基準
即便擁有了雙維度探針，單獨觀察中轉站的歷史得分依然容易產生誤判。當某條中轉線路的探針一致率在某一時段出現下滑時，背後至少存在兩種截然不同的解釋：一是該中轉站自身發生了模型降級或路由異常；二是模型廠商官方近期微調了線上快照、出現了短時波動，或是該批新題在官方介面上的固有通過率原本就處於相應區間。
缺乏同時段參照物時，任何絕對分數都無法回答「到底是誰變了」。為此，Folkbench 採用了一項關鍵工程設計：所有降智檢測探針均配備獨立的官方直連 API Key 進行即時校準。 這些金鑰僅用於基準對照，請求直接發往模型官方服務端，不經過任何第三方中轉鏈路，並於與中轉站相同的監測視窗內運行完全一致的探針任務。
圖 4a（校準機制）：左側「無參照單線觀測」在指標下滑時無法區分上游版本波動還是中轉站換線；右側「雙軌同視窗校準」在週期 `W_t` 內並排接入獨立官方直連 Key 與目標分組，將孤立分數轉化為可複核的探針一致率、思考 Token 與指紋相對落差。
| 觀測情景 | 僅監測中轉站（無校準參照） | 引入獨立官方直連 Key 即時校準 |
|---|---|---|
| 官方模型本身出現版本微調或波動 | 容易將大盤變化誤判為中轉站降智 | 官方即時基準同步移動，可將上游波動從單站異常中剝離 |
| 官方基準平穩、特定中轉站偏離 | 缺乏同時段對照，難以驗證偏離幅度 | 中轉線路的探針一致率與思考 Token 相對官方基準出現明確落差 |
| 同一中轉站不同分組策略分化 | 易受高速穩定分組掩蓋，忽略低價分組縮水 | 按「模型 × 具體服務分組」獨立對照官方基準，分組間差異清晰可辨 |
圖 4（機制示意圖，非實測資料）：引入獨立官方直連基準後，系統可將「上游模型或題組自身波動」（情景 A）與「特定中轉模型×分組發生路由偏移或預算裁剪」（情景 B，自 `T3` 起一致率與思考 Token 同步收縮）明確拆開。
同時，Folkbench 在結論表達上嚴格保留統計與證據邊界。正如降智監控頁面所明確提示的：單次回答或某一個孤立百分比，不能單獨作為「模型已被替換」的終局證明。 任何監測訊號都需要結合樣本數量、連續時間視窗、Token 結構與檢測條件綜合解讀。這套校準機制提供的，是一份客觀、連續且可供第三方複查的早期異常訊號。
五、從降智檢測到完整選型閉環：Folkbench 與常規評測站的核心差距
在多數人的印象裡，AI 評測站主要分成兩類：一類像傳統學術或模型榜單，專注於比較不同廠商模型在固定資料集上的理論上限；另一類則是中轉站導航或簡單監控面板，只展示各家站點的標價與介面是否能連上。降智檢測能力的上線，使 Folkbench 得以從「靜態看模型、粗放看連通」進一步推進到「按真實交付鏈路持續驗真」。
整體而言，Folkbench 與常規模型站、中轉站目錄之間的差異集中在四個層面：
圖 5：從能力篩查到安全切換的完整閉環。四步工具分別涵蓋選型過濾（`/rankings）、即時基準降智審計（/arena）、同分組橫評對帳（/stations/compare）以及本地設定切換（Folkbench Switch`）；線上降智與快取追蹤屬於 Folkbench 網站端能力。*
1. 同模型、分服務分組的真實測量，不拿單一線路代表全站
第三方中轉站內部通常並存多種分組，例如高性價比的特惠分組、動態倍率分組與更高成本的穩定或官方直連分組，不同分組背後的號池與路由策略可能完全不同。只對整個網域給出一個綜合評分，往往會掩蓋關鍵差異。Folkbench 堅持在同一模型、具體服務分組與路由粒度下進行實測與展示，明確區分不同分組的實際表現，不把最優線路的成績當成全站承諾。
2. 四維公開榜單：涵蓋穩定性、速度與真實會話成本
能力沒有被暗中削弱只是前提，生產接取同樣看重運行穩定性與真實開銷。圍繞真實使用場景，Folkbench 提供了四張分工明確的公開榜單：
- [可用率榜](https://folkbench.com/zh-Hant/rankings)：不止核驗 HTTP
200回傳碼，進一步剔除「偽 200」報錯包裝、串流傳輸中途靜默截斷以及用戶端解析失敗，反映真實的請求交付比例。 - [穩定性榜](https://folkbench.com/zh-Hant/rankings/stability)：聚焦長程任務與高並發壓力視窗下的持續表現，識別單次測試很快、實際連續工作卻頻繁中斷的線路。
- [回應速度榜](https://folkbench.com/zh-Hant/rankings/latency)：將首字到達延遲（TTFT）與後續持續生成速率分開統計，防止單純的平均值掩蓋漫長的首字等待。
- [會話成本榜](https://folkbench.com/zh-Hant/rankings/cost)：模擬真實程式設計與長會話負載測算綜合支出，幫助使用者穿透「超低表面倍率」背後的真實計費效率。
3. 免費公開的降智監控與並排對比工具
如果由個人開發者自行複現一套基於時事更新、模型指紋與獨立官方直連校準的監控系統，不僅需要長期承擔官方直連金鑰的呼叫開銷，還必須持續維護動態探針題庫與多時段調度。Folkbench 將這套監測基礎設施的結果公開在降智監控頁面中，並透過中轉站對比支援同一模型下不同線路指標的同屏並排比較，顯著降低了驗證一條線路可信度的門檻。
4. 從看清榜單到完成接取：開源桌面用戶端 Folkbench Switch
多數評測網站在給出排行榜後便結束了服務，使用者選定線路後仍需手動編輯本地設定檔。為此，Folkbench 配套維護了基於 Tauri 與 Rust 建構的開源桌面用戶端 [Folkbench Switch](https://github.com/Folkbench/folkbench/releases)（提供 macOS .dmg 與 Windows .exe 安裝包，適配 Claude Code、Codex、Gemini CLI、Aider、OpenCode、Kimi CLI 等開發工具）：
- 寫入前設定差異預覽：在修改本地工具設定檔之前展示清晰差異，並保留原有的其他自訂設定。
- Codex 官方憑證保護：切往第三方服務商時自動暫存原有的官方 OAuth 憑證，切回官方路線時一鍵無損恢復。
- 公開線路瀏覽與本地用量估算：可在用戶端內查看公開目錄中的線路可用率、狀態視窗與參考價格，並在本地統計會話 Token 估算成本。
註：降智監控與快取補償等線上觀測資訊屬於 Folkbench 網站端的持續評測能力，不等於桌面用戶端已經本地整合的檢測功能。
六、如何在實際選型與使用中運用這套能力
無論是日常使用 AI 程式設計工具的個人使用者，還是負責線上服務接取的工程團隊，都可以按照一套清晰的步驟來核驗並管理線路：
- 按業務優先級篩選候選分組：在可用率榜、穩定性榜、回應速度榜與會話成本榜中，先鎖定目標模型下符合穩定性與預算預期的具體服務分組。
- 在降智監控核對官方基準對齊度：打開降智監控，對照獨立官方直連基準查看該分組近期的探針一致率、思考 Token 與模型指紋；當日常體驗出現異常波動時，先結合連續幾個時間視窗的資料核實偏離是否持續存在。
- 並排核對具體分組規格：在儲值或正式接取前，透過中轉站對比確認所選分組的各項指標，避免把高價穩定分組的測試表現直接套用到特惠分組上。
- 藉助 Switch 保持多線路容災能力：使用開源的 Folkbench Switch 在本地同時保存主力線路與備用線路；當監控顯示某條路由出現持續異常或波動時，預覽設定差異即可在數秒內完成安全切換。
隨著越來越多工作流依賴第三方 API 路由，評測的價值已不再只是回答「哪個模型本身更強」，更在於持續驗證「使用者實際拿到的服務是否依然如約交付」。透過把時事探針、模型指紋與獨立官方直連校準納入公開常態監測，Folkbench 為 AI 服務的日常選擇提供了一把清晰、可複核的公開標尺。
