Folkbench chính thức ra mắt tính năng phát hiện giảm trí mô hình trong mục Giám sát toàn vẹn (Integrity Monitor). Các bảng xếp hạng truyền thống chỉ đánh giá giới hạn năng lực của mô hình ở môi trường chính hãng, còn các danh mục trạm trung chuyển API thông thường chỉ dừng ở bảng giá, trạng thái HTTP và độ trễ. Cả hai đều chưa trả lời được câu hỏi cốt lõi khi vận hành thực tế: khi một mô hình được cung cấp qua trạm trung chuyển bên thứ ba, độ sâu suy luận, khả năng tuân thủ ràng buộc và đặc trưng mô hình có còn đồng nhất với API chính hãng trực tiếp hay không?
Để lấp khoảng trống đánh giá này, Folkbench tích hợp hệ thống probe tự động gồm hai chiều—thời sự và dấu vân tay mô hình (model fingerprint)—được hiệu chuẩn liên tục bằng API key chính hãng trực tiếp độc lập trong cùng khung thời gian đo. Khi neo kết quả của từng tuyến trung chuyển vào mốc chuẩn chính hãng theo thời gian thực, các sai lệch âm thầm sẽ được phát hiện kịp thời và chuyển thành tín hiệu công khai có thể kiểm chứng.
Những điểm cốt lõi của năng lực mới này gồm:
- Kiến trúc probe hai chiều: Kết hợp probe thời sự cập nhật theo thời gian với probe dấu vân tay mô hình theo dõi thói quen suy luận, phân bổ token và thông số dấu vân tay từ API—ngăn chặn cache tĩnh và sự bắt chước bề mặt.
- Hiệu chuẩn chính hãng độc lập: Chạy chính xác cùng bộ probe qua các API key chính hãng trực tiếp tách biệt trong mỗi chu kỳ, giúp phân tách biến động từ hãng gốc khỏi sai lệch riêng của trạm trung chuyển.
- Độ chi tiết theo từng mô hình và nhóm dịch vụ: Ghi nhận tỷ lệ khớp probe, token đầu vào, token suy luận, dấu vân tay mô hình và kiểm tra cache khả dụng theo từng cặp mô hình và nhóm cụ thể.
- Chuỗi khép kín từ đánh giá đến chuyển tuyến: Kết nối Giám sát toàn vẹn với bốn bảng xếp hạng công khai của Folkbench, công cụ so sánh song song và ứng dụng desktop mã nguồn mở Folkbench Switch.
Vì sao bảng xếp hạng thông thường và giám sát kết nối bỏ sót tình trạng “giảm trí”
Trong mô hình trung chuyển, cổng gateway nằm giữa bên gọi API và hãng phát triển mô hình. Dưới áp lực chi phí hoặc điều phối giờ cao điểm, tầng trung gian có thể phát sinh ba dạng suy giảm mà chỉ số mạng không nhìn thấy:
- Thay thế mô hình âm thầm: Yêu cầu gọi mô hình đầu bảng, nhưng vào giờ cao điểm hoặc ngữ cảnh dài, lưu lượng bị đẩy sang mô hình nhẹ rẻ hơn hoặc bản cũ hơn.
- Cắt giảm ngân sách suy luận: Tên mô hình giữ nguyên, nhưng mức độ suy luận (reasoning effort) bị hạ thấp hoặc các bước tư duy nội bộ bị ngắt sớm.
- Cắt ngữ cảnh hoặc giới hạn đầu ra: Lượt hội thoại cũ bị lược bỏ hoặc độ dài đầu ra bị siết chặt để tiết kiệm token, gây thiếu sót điều kiện ở các tác vụ nhiều bước.
Hình 1: Kết nối bề mặt xanh (`HTTP 200`, phản hồi đầu nhanh, câu ngắn mạch lạc) không đồng nghĩa năng lực được giao đủ. Việc chuyển sang mô hình nhẹ, hạ mức suy luận hay cắt lịch sử hội thoại diễn ra bên dưới các chỉ số ping thông thường.
Điểm chung của cả ba là kết nối bề ngoài vẫn bình thường: endpoint vẫn trả HTTP 200, hội thoại ngắn vẫn trôi chảy và thậm chí phản hồi có vẻ nhanh hơn vì ít suy nghĩ hơn. Bên cạnh đó, tính ngẫu nhiên tự nhiên khi lấy mẫu khiến ngay cả endpoint chuẩn vẫn có lúc sai sót—như đã phân tích trong [Mô hình có thật sự bị “giảm trí”?](/vi/blog/did-the-model-get-dumber/), một ảnh chụp đơn lẻ không đủ tách nhiễu tự nhiên khỏi suy giảm có hệ thống.
Vì sao các cách tự kiểm tra phổ biến dễ thất bại
Khi nghi ngờ chất lượng suy giảm, hai cách tự kiểm tra phổ biến nhất lại dễ dàng bị cơ chế định tuyến cổng trung gian qua mặt:
- Hỏi trực tiếp danh tính mô hình: Mô hình ngôn ngữ không biết mình đang chạy sau lớp proxy nào; chỉ cần system prompt khai báo hoặc câu mẫu học sẵn, mô hình thay thế vẫn tự tin xưng đúng tên mô hình cao cấp.
- Dùng lại các câu đố cố định: Những câu hỏi kinh điển đã nằm sẵn trong dữ liệu huấn luyện của các mô hình nhỏ, đồng thời bộ đề cố định rất dễ bị trả lời bằng cache tĩnh hoặc ưu tiên định tuyến riêng cho prompt kiểm tra.
Hình 2: Hai lý do khiến phép thử thủ công mất tác dụng. Bên trái, chỉ thị system prompt ở tầng cổng khiến bất kỳ bộ trọng số nào cũng tự xưng đúng tên. Bên phải, bộ lọc nhận diện đề tĩnh lặp lại để trả về cache tĩnh hoặc đưa qua kênh sạch trong khi lưu lượng thường vẫn bị giảm cấp.
Kiến trúc probe kép: kiểm tra đồng thời năng lực hiện tại và dấu vân tay mô hình
Để nhận diện chính xác các sai lệch âm thầm, Folkbench chạy song song hai chiều probe bổ trợ trong cùng một khung thời gian đo:
Hình 3: Kiến trúc đối chiếu song song cùng khung thời gian. Probe thời sự chặn cache tĩnh và bản sao cũ; probe dấu vân tay thu thập tỷ lệ khớp, token đầu vào, token suy luận, dấu vân tay và kiểm tra cache để neo thẳng vào mốc chính hãng độc lập.
1. Probe thời sự: chặn cache tĩnh và bản sao lỗi thời
Probe thời sự đưa các sự kiện công khai gần đây, dòng thời gian mới và điều kiện ràng buộc cập nhật vào bài toán suy luận nhiều bước. Vì ngữ cảnh liên tục đổi mới theo thời gian thực, bên trung chuyển không thể chuẩn bị sẵn cache tĩnh; chẳng hạn khi bài kiểm tra yêu cầu sắp xếp trình tự sự kiện mới và suy luận theo điều kiện vừa phát sinh, bản snapshot cũ sẽ vấp ở giới hạn mốc kiến thức còn mô hình nén quá mức dễ sai lệch khi kết hợp nhiều điều kiện.
2. Probe dấu vân tay mô hình: kiểm tra thói quen xử lý và thông số token
Nếu trạm thay bằng mô hình khác tương đối khá hoặc cắt một nửa ngân sách tư duy của mô hình gốc, việc chỉ chấm đúng/sai ở câu hỏi đơn giản dễ bỏ sót. Probe dấu vân tay nhắm vào hành vi đặc trưng của từng họ mô hình trước các ràng buộc phức tạp và ghi nhận đồng bộ các chỉ số giao thức: tỷ lệ khớp probe, token đầu vào và token suy luận (reasoning tokens), cùng dấu vân tay mô hình và kiểm tra cache khi có dữ liệu. Khi mức suy luận bị hạ âm thầm ở hậu trường, câu chữ bề ngoài vẫn có thể mạch lạc trong khi lượng token suy luận và tỷ lệ khớp đồng loạt giảm xuống.
Hiệu chuẩn bằng API key chính hãng trực tiếp độc lập
Nếu chỉ nhìn điểm số của riêng trạm trung chuyển, một đợt sụt giảm vẫn gây mơ hồ: lỗi do trạm hay do hãng gốc vừa cập nhật mô hình, biến động tạm thời hoặc độ khó của loạt câu hỏi mới? Để loại bỏ sự mập mờ đó, Folkbench chạy toàn bộ probe thông qua các API key chính hãng trực tiếp độc lập kết nối thẳng tới nhà cung cấp gốc trong cùng khung thời gian để tạo mốc chuẩn trực tiếp.
Cơ chế hiệu chuẩn: Thiếu điểm neo chính hãng cùng lúc (trái), điểm giảm không tách được biến động từ hãng gốc hay lỗi trạm. Hiệu chuẩn hai luồng (phải) chạy key chính hãng độc lập song song từng tuyến `mô hình × nhóm` trong cùng khung `W_t`.
| Hiện tượng quan sát | Giám sát không hiệu chuẩn | Hiệu chuẩn bằng key chính hãng trực tiếp độc lập |
|---|---|---|
| Mô hình chính hãng biến động nhẹ hoặc cập nhật | Dễ quy nhầm thay đổi chung thành lỗi trạm | Mốc chính hãng dịch chuyển song song, tách bạch nhiễu chung |
| Mốc chính hãng ổn định, một trạm tụt giảm | Thiếu điểm đối chiếu đồng thời để đo độ lệch | Tỷ lệ khớp và token suy luận tách rõ khỏi mốc chuẩn |
| Các nhóm trong cùng một trạm phân hóa | Nhóm ổn định che khuất nhóm giá rẻ bị cắt giảm | Mỗi tuyến mô hình × nhóm dịch vụ được đối chiếu độc lập |
Hình 4 (sơ đồ minh họa cơ chế, không phải dữ liệu đo thực tế): Cách mốc chính hãng trực tiếp tách bạch nguyên nhân. Khi hai đường dịch chuyển song song từ `T3` (Tình huống A), thay đổi đến từ hãng gốc hoặc bộ đề; khi mốc chính hãng ổn định còn tỷ lệ khớp và token suy luận cùng co hẹp (Tình huống B), sai lệch nằm tại đúng tuyến `mô hình × nhóm` đang đo.
Tuân thủ nguyên tắc tại [Giám sát toàn vẹn](/vi/arena), một câu trả lời đơn lẻ hoặc một con số phần trăm tự nó không chứng minh sự thay thế mô hình. Kết quả cần đọc cùng cỡ mẫu, chuỗi khung thời gian liên tiếp và phân bổ token như một tín hiệu cảnh báo sớm khách quan.
Điểm tạo nên khoảng cách giữa Folkbench và các trang đánh giá thông thường
Phần lớn trang đánh giá hiện nay chỉ chấm trần lý thuyết trên bộ đề tĩnh hoặc dừng ở bảng giá và ping HTTP. Folkbench khép kín khoảng cách đó qua bốn tầng công cụ liên thông:
Hình 5: Vượt lên bảng điểm tĩnh và công cụ ping đơn thuần. Bốn bước nối liền lọc theo nhóm (`/rankings), kiểm chứng giảm trí đã hiệu chuẩn (/arena), đối chiếu cùng nhóm (/stations/compare) và chuyển cấu hình an toàn trên Folkbench Switch`; giám sát toàn vẹn và cache tiếp tục vận hành trên nền tảng web.*
- Đo lường theo từng mô hình và nhóm dịch vụ cụ thể: Tách bạch nhóm khuyến mãi giá rẻ và nhóm “key chính hãng / ổn định”, không gộp chung cả tên miền vào một điểm số mơ hồ.
- Bốn bảng xếp hạng công khai chuyên biệt: [Độ khả dụng](/vi/rankings) (loại bỏ lỗi “200 giả” và ngắt stream), [Độ ổn định](/vi/rankings/stability) (tác vụ dài và giờ cao điểm), [Độ trễ](/vi/rankings/latency) (tách TTFT khỏi tốc độ sinh chữ) và [Chi phí phiên](/vi/rankings/cost) (chi phí thực tế cho một phiên làm việc).
- [Giám sát toàn vẹn](/vi/arena) và [So sánh trạm](/vi/stations/compare) công khai miễn phí: Cung cấp số liệu đã hiệu chuẩn và đối chiếu song song mà không đòi hỏi người dùng tự nuôi nhiều key gốc.
- Ứng dụng mã nguồn mở [Folkbench Switch](https://github.com/Folkbench/folkbench/releases): Xây dựng bằng Tauri + Rust (macOS
.dmg, Windows.exe) cho Claude Code, Codex, Gemini CLI, Aider, OpenCode, Kimi CLI với xem trước diff cấu hình, bảo vệ thông tin OAuth chính hãng của Codex và ước tính chi phí cục bộ. (Tính năng giám sát toàn vẹn và cache thuộc nền tảng web đánh giá liên tục.)
Áp dụng tín hiệu này trong lựa chọn thực tế
- Lọc mô hình và nhóm dịch vụ phù hợp trên [Độ khả dụng](/vi/rankings), [Độ ổn định](/vi/rankings/stability), [Độ trễ](/vi/rankings/latency) và [Chi phí phiên](/vi/rankings/cost).
- Kiểm tra mức độ bám sát mốc chính hãng về tỷ lệ khớp probe, token suy luận và dấu vân tay trên [Giám sát toàn vẹn](/vi/arena) qua nhiều khung thời gian liên tiếp.
- Đối chiếu đúng tên nhóm bạn dự định nạp tiền tại [So sánh trạm](/vi/stations/compare).
- Lưu sẵn tuyến chính và tuyến dự phòng trong Folkbench Switch để xem trước diff và chuyển tuyến an toàn trong vài giây khi có lệch chuẩn.
Đánh giá hạ tầng AI hiện nay không chỉ trả lời mô hình nào mạnh trên lý thuyết, mà còn phải kiểm chứng từng tuyến trả phí có giao đúng năng lực như cam kết hay không. Bằng việc đưa probe thời sự, dấu vân tay mô hình và hiệu chuẩn chính hãng độc lập vào giám sát công khai thường trực, Folkbench mang đến một thước đo rõ ràng và có thể kiểm chứng cho mọi người dùng API.
