Cửa sổ ngữ cảnh dài trước hết cho biết yêu cầu có vừa hay không. Điều người dùng cần thường là tìm thông tin, giải quyết mâu thuẫn và nối bằng chứng xa nhau. Nhận nhiều token hơn không bảo đảm các bước đó thành công.
Bài viết đề xuất cách đánh giá từ nguồn kiểm tra ngày 2026-11-14. Folkbench không gọi mô hình hay đo độ dài hiệu quả của dịch vụ. Thiết kế, ngưỡng và ví dụ dưới đây là đề xuất biên tập.
Dung lượng, truy xuất và hiểu
Dung lượng là ngân sách đầu vào và đầu ra được phép. Truy xuất tìm một sự kiện; tích hợp so sánh, theo dõi, tổng hợp hoặc kết luận từ nhiều sự kiện. Chúng liên quan nhưng không tương đương.
Tìm mã đơn hàng được ghi trực tiếp là truy xuất thành công. Xác định số tiền cuối từ đơn gốc, sửa đổi và hoàn tiền còn cần thời gian, quy tắc và quan hệ. Mọi tệp có thể vừa cửa sổ nhưng chỉ một phần ảnh hưởng câu trả lời.
Cần tách đáp án không tồn tại trong tài liệu với đáp án mô hình không tìm thấy. Nhận diện thiếu bằng chứng giúp tránh bổ sung sự kiện bằng kiến thức chung nghe có vẻ hợp lý.
Ba hướng nghiên cứu bổ sung nhau
Lost in the Middle nghiên cứu vị trí thông tin trong hỏi đáp nhiều tài liệu và truy xuất khóa-giá trị. Chỉ đặt bằng chứng ở đầu hoặc cuối có thể không đại diện toàn bộ đầu vào. Đây là quan sát lịch sử ở mô hình cụ thể, không chứng minh mọi hệ thống mới đều yếu tương tự.
RULER bổ sung theo dõi nhiều bước và tổng hợp với độ dài, độ phức tạp được kiểm soát. Nó hữu ích cho chẩn đoán nhưng nhiệm vụ tổng hợp không bao phủ mọi công việc tài liệu thực tế.
LongBench v2 gồm 503 câu trắc nghiệm trong sáu nhóm: một tài liệu, nhiều tài liệu, học trong ngữ cảnh dài, lịch sử hội thoại, kho mã và dữ liệu có cấu trúc. Khoảng được mô tả là 8k đến 2M từ, không phải token. Trắc nghiệm giúp chấm nhất quán nhưng không tương đương tạo báo cáo đầy đủ, dùng được.
Ba nghiên cứu gợi ý thiết kế bổ sung nhau, không phải lý do ghép điểm khác năm và quy trình thành bảng xếp hạng mới.
Ma trận độ dài, vị trí và nhiệm vụ
Chọn công việc trước, rồi chia mức độ dài. Mỗi mức cần bằng chứng ở đầu, giữa, cuối và phân tán. Khi di chuyển, giữ ý nghĩa và tham chiếu, không làm thứ tự thời gian rõ ràng trở nên mơ hồ.
| Nhiệm vụ | Quan sát | Biến kiểm soát |
|---|---|---|
| Một sự kiện | Tìm đúng | Vị trí, thông tin gây nhiễu giống nhau |
| Nhiều sự kiện | Tìm đủ | Số mục tiêu, lặp lại |
| Theo dõi nhiều bước | Nối đúng quan hệ | Số bước, khoảng cách |
| Tổng hợp | Thống kê đầy đủ | Quy mô, quy tắc đếm và bỏ trùng |
| Phán đoán liên tài liệu | Dùng đúng bằng chứng và phiên bản | Mâu thuẫn, thời gian, ưu tiên nguồn |
| Không có bằng chứng | Thừa nhận không xác định được | Độ khó tương ứng câu có đáp án |
Khi tăng độ dài, trước hết giữ nhiệm vụ chính và thêm tài liệu có kiểm soát để quan sát nhiễu. Tài liệu dài tự nhiên cũng có thể chứa nhiều sự kiện liên quan hơn, nên cần tập nhiệm vụ thật riêng. Thêm văn bản đệm không đại diện toàn bộ khả năng hiểu.
Cùng tài liệu công bằng hơn cùng nhãn token
Các bộ tách token chia cùng tài liệu khác nhau. Ưu tiên nội dung giống nhau, báo cáo từ hoặc ký tự cùng token của từng mô hình. Thí nghiệm riêng theo token có thể khảo sát giới hạn dung lượng, nhưng phải nói đầu vào không còn hoàn toàn giống.
Chừa chỗ cho chỉ dẫn hệ thống và đầu ra. Ghi định dạng, xử lý bảng và hình, việc cắt ngắn và vị trí. Đầu vào vượt giới hạn cần ghi không hỗ trợ hoặc tính theo lỗi đã quy định. Âm thầm xóa nội dung không phải kiểm tra tài liệu đầy đủ.
Nếu chỉ so sánh tập chung mọi mô hình chấp nhận, công khai số lượng và loại nhiệm vụ bị loại. Bỏ bài khó có thể làm cửa sổ ngắn có vẻ tốt hơn một cách giả tạo.
Tách đầu vào dài trực tiếp và truy xuất tăng cường
Hệ thống truy xuất chọn đoạn trước khi đưa vào mô hình; đầu vào dài trực tiếp cung cấp tài liệu đầy đủ hơn. Cả hai hữu ích nhưng là đối tượng đo khác. Chia đoạn, chỉ mục, thứ tự truy xuất và số đoạn trả về đều ảnh hưởng kết quả.
Báo cáo thành công toàn quy trình cùng độ bao phủ bằng chứng ở bước truy xuất. Nếu sự kiện đúng không đến mô hình, không thể quy hết lỗi cho suy luận. Nếu bằng chứng đầy đủ mà sai, phân tích tích hợp và tạo đáp án.
Có thể thêm điều kiện chẩn đoán cung cấp đoạn liên quan đã được người xác nhận để tìm nút thắt truy xuất. Đó không phải hiệu năng vận hành bình thường và không nên xếp chung với toàn quy trình của đối thủ. Mục đích là giải thích chênh lệch, không làm đẹp điểm chính.
Độ dài hiệu quả cần nhiệm vụ và ngưỡng
Đây không phải hằng số vật lý độc lập với nhiệm vụ. Mô hình có thể tìm một sự kiện trong đầu vào rất dài nhưng không giải quyết điều khoản mâu thuẫn ở tài liệu ngắn. Mỗi ứng dụng cũng cần độ chính xác khác.
Đặt ngưỡng chất lượng trước và trình bày kết quả cùng bất định theo mức dài. Nếu báo một giới hạn, nêu nhiệm vụ, ngân sách, ngưỡng và kiểm tra cả mức ngắn hơn. Mức dài nhất đã thử đạt yêu cầu không chứng minh mọi đầu vào dài hơn đều thất bại.
Câu hỏi từ cùng tài liệu có cấu trúc chung. Xử lý phụ thuộc theo tài liệu hoặc nhóm. Theo phân tích sai số đánh giá, chênh ghép cặp và khoảng 95% hữu ích hơn trung bình. Đánh dấu mẫu nhỏ thay vì vẽ đường mượt tạo cảm giác chắc chắn.
Đưa lỗi và chi phí vào báo cáo
Lỗi quan sát được gồm truyền đầu vào không đủ, bỏ sót bằng chứng, nhầm sự kiện gần giống, dùng bản cũ, nối sai quan hệ và bịa đáp án khi thiếu dữ liệu. Chỉ ghi sai làm mất thông tin chẩn đoán. Các nhóm này mô tả hành vi, không phải cơ chế nội bộ đã chứng minh.
Cách tiếp cận nhiều chỉ số của HELM cũng phù hợp. Ghi độ chính xác, thời gian xử lý và trả lời hoàn tất, tổng chi phí, thử lại và bộ nhớ đệm. Tách trạng thái đệm lạnh và đệm đã làm nóng. Cửa sổ lớn làm chi phí mỗi nhiệm vụ tăng mạnh không nhất thiết hợp mọi công việc.
Kết quả nên thể hiện ranh giới năng lực: nhiệm vụ và độ dài ổn định, vị trí hay bỏ sót, chi phí và phản ứng trước thiếu bằng chứng. Điều này giúp tổ chức đầu vào và chọn cấu hình, thay vì chỉ so số lớn nhất trong quảng cáo. Xem yêu cầu chung ở [độ tin cậy của xếp hạng mô hình](/vi/blog/llm-benchmark-rankings-contamination/).
