Рейтинг может точно описывать один экзамен и всё же не отвечать на вопрос, какая модель подходит для вашей работы. Балл зависит от заданий, версии модели, инструкций, инструментов, бюджета вывода и оценщика. Без этих условий несколько знаков после запятой создают ложное ощущение точности.
В статье разобрана литература и предложены методы оценки по источникам, проверенным 2026-11-14. Folkbench не вызывал модели и не запускал бенчмарки заново. Числовые примеры объясняют методику, а не представляют измерения. Нужна проверяемая цепочка: что измеряется, как составлены задания, как оцениваются ответы и какие выводы допустимы.
Сначала определить способность
Интеллект слишком широк для одного задания или среднего балла. Профессиональные знания, вывод незнакомых правил, исполняемый код и длительное планирование требуют разных задач. Обязательный формат дополнительно проверяет следование инструкциям, а задача с изображением — восприятие.
Measuring what Matters рассматривает 445 бенчмарков с точки зрения конструктной валидности: подтверждает ли результат заявленную интерпретацию способности? BetterBench предлагает систему проверки качества бенчмарков. Репутация конференции или организации помогает выбрать литературу, но не заменяет проверку заданий и оценщиков.
Проверяемый вопрос может звучать так: решает ли модель многошаговые задачи по предоставленным материалам без внешнего поиска? Он позволяет различать нехватку знаний, пропущенные свидетельства и ошибки рассуждения лучше, чем общий вопрос об интеллекте.
Загрязнение данных шире запоминания вопроса
Прямое загрязнение возникает, когда тестовые вопросы и ответы входят в обучение. Похожие упражнения, разборы решений и публичные протоколы тоже могут помогать. Постоянная настройка метода под открытый рейтинг способна привести к переобучению на экзамен даже без прямого обучения на его вопросах.
Поэтому высокий результат на старых задачах не доказывает запоминание, а низкий на новых — загрязнение. Могут отличаться сложность, формат и область. Эти факторы нужно контролировать и обозначать недоступные сведения об обучении. Если полный корпус закрытой модели неизвестен, корректный статус — неизвестно, а не подтверждённая чистота.
Обновлённый LiveBench использует регулярно обновляемые задания и проверяемые ответы; название содержит Contamination-Limited. LiveCodeBench собирает новые конкурсные задачи по программированию с датами публикации. Это снижает отдельные риски, но опубликованные задания могут попасть в дальнейшее обучение или настройку.
Динамический набор осложняет сравнение во времени. Если каждый месяц меняется экзамен, изменение балла смешивает изменения модели и заданий. Сохраняйте версии и сравнивайте общие вопросы либо отдельно публикуйте фиксированный набор и новые задачи. Растущая известность фиксированного набора остаётся ограничением.
Равные условия должны стать протоколом
Одно название может скрывать разные версии, точки доступа и настройки рассуждения. Фиксируйте реальный API ID, доступные сведения о версии, дату, системные инструкции, параметры выборки, предел вывода, инструменты и повторные попытки. Не придумывайте закрытые детали маршрутизации и внутренние вычислительные бюджеты.
Полезно разделять модели в общем протоколе и системы в лучших конфигурациях при заявленном бюджете. Первое помогает объяснять различия, второе — выбирать поставщика. Одинаковый предел токенов не означает равные вычисления из-за токенизаторов и внутренних механизмов.
HELM стандартизирует сценарии и условия, рассматривая точность, калибровку, устойчивость и эффективность. Поэтому вместе с качеством показывайте стоимость, задержку и сбои. Стоимость включает неудачные попытки и инструменты, а не только последний успешный ответ.
Оценщик тоже ошибается
При наличии эталонов предпочтительны проверяемые правила, но сами эталоны нужно проверять. Исполняемые тесты могут пропускать требования или навязывать одну реализацию; точное текстовое совпадение — отвергать верный ответ. Зафиксируйте версию оценщика, извлечение ответа и обработку исключений.
Открытые задачи требуют суждений. Judging LLM-as-a-Judge разбирает смещения из-за позиции, длины и предпочтения собственных ответов. Анонимизация, перестановка порядка, явные критерии и проверка спорных случаев людьми улучшают процедуру. Совпадение с человеческими предпочтениями не равно фактической правильности.
Раздельно учитывайте неверный ответ, ошибку формата, отказ, тайм-аут и ошибку сервиса. Заранее определите их вклад в основной балл. Точность только по полученным ответам при скрытых многочисленных тайм-аутах завышает надёжность сервиса.
Небольшие различия анализировать попарно
Предположим, из 200 общих вопросов A решает 160, B — 156. Это условный пример. Разница составляет 2 процентных пункта, но суммы не показывают её устойчивость. Нужны сведения о том, какие вопросы решил каждый, и об их независимости.
Adding Error Bars to Evals рассматривает парные сравнения, зависимые вопросы и планирование. Анализируйте разницу по каждому общему вопросу. Варианты одного шаблона объединяйте в группы, а не считайте независимыми наблюдениями. Повторные генерации оценивают случайную изменчивость, но не исправляют недостаточное тематическое покрытие.
Публикуйте 95%-й доверительный интервал разницы, метод и единицу выборки. Ноль внутри интервала не доказывает превосходство, но и не доказывает равенство. Многочисленные сравнения моделей и подкатегорий требуют учитывать риск повторного поиска значимого результата.
Проверяемая карточка результата
| Элемент | Сохраняемые свидетельства | Последствие отсутствия |
|---|---|---|
| Способность | Задача, применение, исключения | Обобщения не обоснованы |
| Данные | Версия, даты, происхождение, группировка | Экзамены могут различаться |
| Выполнение | Модель, инструкции, инструменты, бюджет, попытки | Смешаны эффекты модели и системы |
| Оценка | Эталоны, версия оценщика, перепроверка | Трудно исключить ошибки оценки |
| Неопределённость | Объём, парные различия, интервалы, повторы | Малые разрывы преувеличиваются |
| Стоимость и сбои | Общие расходы, время, типы сбоев, покрытие | Успех скрывает недоступность |
Это предлагаемый формат редакционных и экспериментальных записей, а не сертификация существующих рейтингов. Чувствительные исходные данные хранятся в контролируемой среде; публикуются обезличенные свидетельства и протоколы, достаточные для проверки выводов.
Использовать рейтинг для сужения выбора
Добротный бенчмарк выявляет кандидатов и слабые стороны. Решение должно отражать ваши задачи: неприемлемые ошибки, допустимые расходы и задержки, изменения после обновления модели.
Folkbench рекомендует сначала показывать отдельные способности. Если нужен общий балл, раскрывайте веса и проверяйте, меняется ли порядок при разумных вариациях. Ничья или признание недостаточности данных полезнее необоснованной точности.
Практические примеры — в статьях об [устойчивости математического рассуждения](/ru/blog/mathematical-reasoning-robustness/) и [эффективном понимании длинного контекста](/ru/blog/long-context-effective-understanding/).
