Правильный ответ подтверждает, что один вывод совпал с эталоном. Если смена имён, небольшая замена чисел или несущественная фраза делают результат нестабильным, нужно определить место ошибки. Математической оценке необходимы контролируемые условия и диагностика, а не только всё более трудные задачи.
Источники проверены 2026-11-14. Статья посвящена исследовательским методам и предлагаемым экспериментам. Folkbench не запускал модели; вопросы и числа ниже служат иллюстрациями, а не измеренными оценками.
Математическая способность состоит из этапов
Текстовая задача требует распознать величины и единицы, понять отношения, составить выражение, вычислить и соблюсти формат ответа. Любая ошибка может дать одинаковый ноль. Точность конечного ответа измеряет результат, но сама не объясняет механизм сбоя.
Верное выражение с ошибкой умножения отличается от неверного отношения, случайно давшего нужное число. Анализируйте наблюдаемые выражения и ответы, не считая связное объяснение полной записью внутренних вычислений. При использовании инструментов проверяйте вызовы и применение результатов.
Что позволяет контролировать GSM-Symbolic
GSM-Symbolic строит символические шаблоны из GSM8K и создаёт варианты. В экспериментальном дизайне используются 100 шаблонов по 50 экземпляров, всего 5 000 примеров. Имена, числа, сложность условий и лишняя информация показывают разные стороны устойчивости.
Полезна идея сохранять отношения, меняя поверхностные условия. Историческую таблицу нельзя автоматически переносить на последующие модели: исследовались конкретные системы и протоколы, не все модели 2026 года. Интерпретации авторов о механизмах нужно отделять от наблюдаемого поведения.
Работы о нерелевантном контексте и каузальном анализе математической устойчивости предлагают смежные подходы. Они обосновывают контролируемую диагностику; отвлекаемость не доказывает отсутствие рассуждения во всех задачах.
Какие варианты корректны
Ниже оригинальный учебный пример, не входящий в бенчмарки и не проверявшийся на моделях. В магазине 6 коробок по 8 карандашей; 9 карандашей отдали. Осталось 6 × 8 − 9 = 39.
| Вариант | Изменение | Ожидаемая проверка |
|---|---|---|
| Название | Магазин заменить школой, отношения сохранить | Ответ остаётся 39 |
| Числа | 7 коробок по 6 карандашей, отдали 8 | Новый ответ: 34 |
| Формулировка | Переставить изложение с ясными связями | Ответ остаётся 39 |
| Лишняя информация | Добавить, что коробки синие | Ответ остаётся 39 |
Замена чисел требует пересчёта эталона. Не вводите произвольно отрицательные количества, неделимый остаток в ранее точном распределении или огромные числа вместо простой арифметики. Это меняет сложность или смысл.
Особенно важна проверка нерелевантности человеком. Фраза о двух зарезервированных коробках может разумно изменить трактовку на доступный запас, и неизменность ответа уже не очевидна. Убедитесь, что добавление не участвует в решении. Некорректные варианты исключают до просмотра результатов, а не выбирают после только вредящие конкретной модели.
Стратифицированный эксперимент
Выберите разные отношения и уровни сложности с одинаковым числом вариантов. Меняйте один основной фактор за раз. На разработочных вопросах настраивайте инструкции и парсеры; заморозив тест, не продолжайте выбирать подсказки по его баллам.
Зафиксируйте версию, язык, инструкции, инструменты, параметры выборки, бюджет вывода и попытки. Перемешайте порядок и используйте отдельный контекст для каждого вопроса, чтобы варианты не раскрывали ответы друг друга. Обучение между ходами требует отдельного протокола.
Объём выборки зависит от интересующего эффекта и бюджета. Много экземпляров одного шаблона измеряет его устойчивость, а не широкую палитру рассуждений. Представительность отношений и сложности важнее множества почти одинаковых вопросов.
Показать точность и устойчивость
Публикуйте точность по типу варианта и парные различия с оригиналом. Доля пар с двумя правильными ответами показывает сохранение успеха. Не отбирайте лишь правильно решённые оригиналы, выдавая подмножество за общий результат. Если оно нужно, раскрывайте знаменатель и правило отбора.
При условных 80% на оригиналах и 68% на вариантах падение равно 12 процентным пунктам, или 15% относительно исходного уровня. Это пример единиц измерения, не результат GSM-Symbolic или Folkbench. Различие сохраняется во всех переводах.
Варианты одного шаблона зависимы. Adding Error Bars to Evals разбирает такую зависимость и парные сравнения. Можно повторно выбирать целые группы шаблонов, одинаковые для обеих моделей в каждой итерации. Опубликуйте метод, 95%-е интервалы и число повторных генераций.
Калькулятор помогает диагностике, но меняет систему
Разделите условие без внешних вычислительных средств и условие с одинаковым интерфейсом калькулятора и лимитом вызовов. Второе измеряет модель вместе с инструментом и нуждается в отдельном результате.
Если инструмент сильно улучшает результат, проверьте, были ли прежние ошибки арифметическими. Улучшение не доказывает правильность всех остальных рассуждений: могут измениться инструкции, пути решения и время. Выражения, запросы и использование результатов дают более конкретные свидетельства.
Для доказательств числовой ответ особенно недостаточен. Полный охват случаев и отсутствие недоказанных предпосылок требуют другого протокола. Формальный проверяющий подтверждает вывод внутри системы, но верность формализации исходной задаче всё равно нужно проверять.
Сложность и устойчивость — разные оси
FrontierMath использует сложные экспертные задачи с автоматически проверяемыми ответами. Он исследует высокий уровень сложности, тогда как GSM-Symbolic — устойчивость при контролируемых изменениях. Они не заменяют друг друга.
Модель может решать сложные задачи и ошибаться после простой переформулировки. Другая может быть устойчивой без способности к более сложной математике. Представляйте сложность, варианты и инструменты отдельно, не объединяя их в математический IQ.
Предлагаемый стандарт включает правильные ответы, контролируемые изменения, интерпретируемые ошибки, корректные статистические единицы и явные бюджеты. Он превращает эффектные решения в проверяемое сравнение. Общие требования описаны в [анализе надёжности рейтингов](/ru/blog/llm-benchmark-rankings-contamination/).
