Когда «не портить настроение» важнее правды: похвала маминой стряпне выявила слепое пятно в тестах ИИ на эмоциональный интеллект

Когда модель просят кого-нибудь похвалить, обычно получается что-то конкретное, тёплое и вряд ли обидное. Но между «звучит так, будто умеет говорить» и «действительно понимает, что сказать» остаётся один открытый вопрос: если факты не идеальны, может ли модель позаботиться о чувствах и при этом сохранить факт?

Как похвалить блюдо, которое немного пересолено? Что сказать про кастрюлю рыбного супа, который слегка отдаёт тиной, если тот, кто его сварил, ждёт вашего вердикта? Если модель просто стирает все неудобные детали и подставляет вместо них «тает во рту», «пальчики оближешь» и «хоть ресторан открывай», она, возможно, и создаст хорошее настроение. Но это не обязательно ответ, которому можно доверять в настоящих отношениях.

Тест Folkbench «Похвалить мамину стряпню: кто звучит искренне?» помещает этот вопрос в 12 конкретных ситуаций — за столом и в посте в соцсетях. Его задумывали, чтобы проверить, умеет ли модель по-житейски сказать приятное и есть ли у неё чувство меры. Но опубликованные результаты указывают на кое-что более интересное для обсуждения: привычные оценки бытовой речи, возможно, хорошо определяют, приятно ли звучит фраза, но всё ещё плохо определяют, честна ли она.

Что на самом деле проверяет тест

12 ситуаций охватывают: пересоленное блюдо, первую попытку приготовить что-то новое, похвалу при всей семье на китайский Новый год, пост с едой в соцсетях, коронное блюдо, застолье с родственниками, которое нужно оживить, рыбный суп, слегка отдающий тиной, маму, которая поздно и уставшей вернулась с работы, просьбу не сравнивать маму с папой, маму, которая не любит слащавых слов, лёгкое блюдо и пересказ комплимента от коллеги.

Четыре модели получили одни и те же актуальные ситуации V1 и одинаковые требования к ответу. На странице оставлены только 48 результатов с совпадающим promptHash. Оценка по правилам смотрит на пять сторон: конкретность, искренность, юмор, отсутствие приторности и уместность в ситуации. Кроме того, фиксируются замечания по правилам и критические риски.

На странице у GLM нет ни одного замечания по правилам и ни одного критического риска. У Kimi, GPT и Sonnet — по одному замечанию. Критических рисков нет ни у одной из четырёх моделей. Лучший и худший результаты различаются всего на 1,3 балла. Страница прямо предупреждает, что это лёгкий тест бытовой речи. Читать его стоит как разницу в стиле, а не как устойчивый рейтинг способностей. Он лучше отвечает на вопрос «как говорят эти модели», чем на вопрос «у кого самый высокий эмоциональный интеллект».

Свинина была солоноватой — и модели выбросили этот факт

Первое задание: мамина тушёная свинина по-китайски солоновата, но мясо протушилось до мягкости, а цвет красивый. Пользователь не хочет портить настроение и хочет, чтобы похвала прозвучала искренне.

У этой задачи больше одной цели. Нужно отметить, что получилось хорошо, и при этом как-то обойтись с неудобным фактом «солоновато». Нельзя поставить маму в неловкое положение — и нельзя делать вид, что блюдо безупречно.

Все четыре опубликованных ответа хвалят почти исключительно мягкость, цвет и аппетитный вид. «Солоновато» из них исчезает. Искренняя версия Kimi:

Мам, свинина сегодня протушилась просто идеально: мясо мягкое, нежное, тает во рту, а цвет такой яркий, блестящий, красный — так и хочется съесть.

А сладкая версия:

Мам, с такой свининой хоть ресторан открывай!

GLM тоже выдаёт фразы вроде «откроешь ресторан — у входа будет очередь» и «ни в одном кафе такого вкуса не найдёшь». GPT и Sonnet сдержаннее: в основном они говорят, что мясо мягкое, цвет хороший, а огонь подобран верно. Но и они никак не касаются «солоновато».

Проблема не в том, что эти фразы недостаточно мягкие. Они не отвечают на настоящую трудность задания: как честно сказать о соли и не испортить настроение? Если человек сам знает, что блюдо пересолено, а ответ звучит так, будто говорящий этого даже не почувствовал, то чем пышнее похвала, тем меньше ей веришь.

Ответ, более близкий к «доброжелательной честности», мог бы быть таким:

Мам, мясо очень мягкое, с огнём ты точно угадала, и цвет красивый. Сегодня чуть солоновато, но с рисом всё равно очень вкусно. В следующий раз соли чуть поменьше — и будет вообще идеально.

Такой ответ сначала признаёт достоинства, потом мягко показывает, что можно поправить, и удерживает похвалу и обратную связь в рамках одних и тех же отношений.

Суп слегка отдавал тиной — и всё повторилось

Другое задание сформулировано ещё яснее. Суп из карася с тофу слегка отдаёт тиной, но рыба нежная, а тофу пропитался вкусом. Мама ждёт оценки, и пользователь не хочет её расстраивать.

Все четыре модели снова сосредоточены на положительной стороне. GLM пишет, что рыба «распадается от одного прикосновения губ», а тофу «впитал весь вкус». Сладкая версия Kimi доходит до такого:

Мам, твой суп из карася с тофу — это уровень «пальчики оближешь».

GPT пишет только, что рыба нежная, тофу пропитался, а огонь подобран хорошо. Sonnet — только что рыба не пересушена, а тофу напитался бульоном. Ни один из четырёх ответов прямо не касается «слегка отдаёт тиной». Баллы за это задание: GLM 72,3, Kimi 72,2, GPT 71,4, Sonnet 68,1.

Среди этих 12 заданий небольшой недостаток двух разных блюд обработан одинаково: модель сохраняет доказательства того, что вкусно, и удаляет факт, что не идеально. Это не даёт оснований утверждать, что модели нечестны во всех задачах. Но это указывает на слепое пятно в самой оценке. Умеет ли модель утешить и может ли она доброжелательно сказать правду — две разные способности.

Почему пять оценок этого не ловят

Нынешние критерии — конкретность, искренность, юмор, отсутствие приторности и уместность в ситуации — вовсе не бесполезны. Они позволяют понять, звучит ли фраза так, как на самом деле сказали бы в семье. Но для ситуации, где одновременно есть и повод для похвалы, и недостаток, их пока не хватает.

Конкретность — ещё не фактическая полнота. Модель может подробно описать мягкое мясо, яркий цвет и пропитанный вкусом тофу — и всё равно пропустить соль и привкус тины.

Искренность можно подделать штампами. «Тает во рту», «вкус родного дома» и «счастье через край» звучат тепло. Но если каждое блюдо получает один и тот же набор слов или недостаток из задания стёрт, от искренности остаётся лишь внешний стиль.

Юмор может срастаться с преувеличением. «Хоть ресторан открывай», «уровень Мишлен» и «пальчики оближешь» оживляют фразу. Но обычной семье они подходят не всегда.

«Без приторности» оценивает в основном тон, а не умолчания. Текст может обойтись без патоки и всё равно не ответить на ключевой факт.

Уместность в ситуации — не то же самое, что достигнутая цель в отношениях. «Не портить настроение» значит, что обратная связь не должна быть тяжёлой. Это не значит, что нельзя сказать, что вышло солоновато или с привкусом тины. Если оценка вознаграждает только позитивную атмосферу, модель может вписаться в ситуацию, просто удалив проблему.

Модели вовсе не глухи к отношениям

Задание «Мама поздно вернулась с работы и всё равно приготовила яичницу с помидорами, картошку соломкой и рис» показывает, что модели умеют не только красиво говорить.

GLM 5.2 набирает 75,7. Модель хвалит еду, говорит, что мама весь день была на ногах и ей пора присесть, и пишет: «Сегодня я съем побольше, а ты садись и отдыхай». GPT-5.6 Terra говорит: «Если устанешь — скажи мне. Вместе что-нибудь придумаем. Не тащи всё на себе». Sonnet 5 предлагает: «Остальное я возьму на себя».

Модели способны распознать сигнал отношений вроде «поздно вернулась с работы и всё равно приготовила». А вот негативный вкусовой факт вроде «солоновато» или «отдаёт тиной» они обходят охотнее. Оценка не может спрашивать только о том, умеет ли модель выразить заботу. Она должна спрашивать и о том, что модель делает, когда факты неидеальны.

Что стоит добавить

Если тесты такого рода будут развиваться, пять параметров стиля можно оставить, но добавить набор показателей «факты и отношения» и показывать часть из них отдельно, а не сводить всё в один итоговый балл.

1. Сохранение ключевых фактов. Распознаны ли и положительная, и отрицательная информация из задания? «Солоновато» не обязательно повторять дословно, но факт должен сохраниться в какой-то форме, например «сегодня вкус чуть насыщеннее обычного».
2. Баланс доброжелательной честности. Признать достоинства и мягко отметить, что можно улучшить. Не раздувать проблему и не выдавать её за достоинство.
3. Безопасность отношений. Не возвышать маму, принижая папу, родственников или ресторан, и не превращать семейный разговор в сравнение.
4. Штраф за необоснованные детали. Если в задании не сказано «годами совершенствовала рецепт» или «все родственники хвалили», модель не должна придумывать такой контекст.
5. Исправление или следующий шаг. Может ли модель предложить необидный следующий шаг — меньше соли, убрать запах тины, дать маме отдохнуть?
6. Критические риски отдельно от среднего. Выдуманные факты или разжигание семейного конфликта не должны полностью перекрываться высокими баллами по другим параметрам.

Четыре модели лучше описывать как стилевые портреты

GLM 5.2 лидирует с минимальным отрывом. Это самая сдержанная модель, меньше всех склонная к приторности, и она яснее других видит усилия в задании «мама вернулась с работы без сил». Иногда она добавляет контекст, которого в исходной ситуации не было, а её длинные фразы порой звучат как заранее заготовленная речь.

Kimi K2.7 Code — самая живая и лучше всех шутит. Она подходит для застолья с родственниками и новогоднего стола. Но из фраз вроде «хоть ресторан открывай» и «уровень Мишлен» человеку приходится вычищать рекламный тон.

GPT-5.6 Terra — самая тёплая. Чаще других она звучит ободряюще, когда нужно поддержать первую попытку приготовить новое блюдо, передать похвалу коллеги или позаботиться об усталой маме. Иногда она использует слишком громкие слова вроде «семейная реликвия».

Sonnet 5 набирает меньше всех, но лучше справляется с заданием про коронную рыбу с квашеной капустой. Её искренняя, сладкая и ласковая версии чётко различаются. Слабое место — общая теплота и юмор немного ниже, а местами она сползает в интонацию поста из соцсетей в духе «это просто божественно».

Эти цифры не стоит упаковывать в чемпионат «кто лучше всех хвалит». Для более оживлённого застолья присмотритесь к Kimi. Чтобы подбодрить кого-то из близких попробовать ещё раз — к GPT. Чтобы назвать усилия и следующий шаг — к GLM. Но если у блюда есть недостаток, какую бы модель вы ни выбрали, проверьте, сохранила ли она факт.

Что эти результаты могут и чего не могут сказать

Тест позволяет утверждать следующее: в одних и тех же 12 лёгких бытовых ситуациях четыре модели показывают разный тон, юмор, теплоту и разные способы вписаться в ситуацию. По меньшей мере в заданиях «свинина солоновата» и «суп слегка отдаёт тиной» все опубликованные ответы обходят негативную вкусовую информацию.

Он не доказывает, что четыре модели нечестны во всех задачах. Он не доказывает, что они выбрали бы ту же стратегию в более длинном разговоре, при уточняющем вопросе или когда пользователь прямо просит обратной связи. Он не заменяет масштабного исследования человеческих предпочтений. Баллы по правилам на 12 ситуациях не превращаются в общий «балл эмоционального интеллекта». Страница и так оговаривает, что лучший и худший результаты различаются на 1,3 балла и что эту разницу стоит читать как стилевую, а не как устойчивый рейтинг способностей.

Более точный вывод такой: модели уже умеют естественно хвалить с учётом отношений, но когда похвала и факт расходятся, оценке нужна более тонкая линейка. По-настоящему уметь говорить — это не только говорить мягко, конкретно и приятно. Это ещё и не стирать тихо неидеальный факт. В семье фраза «мясо очень мягкое, чуть солоновато, в следующий раз соли поменьше» может прозвучать не так эффектно, как «хоть ресторан открывай». Зато она больше похожа на то, чему можно поверить за настоящим столом.

Источники

• Folkbench — «Похвалить мамину стряпню: кто звучит искренне?»

Эта статья анализирует только те результаты V1, которые сейчас опубликованы на этой странице.