“분위기 깨지 않기”가 “솔직함”을 이길 때: 엄마 요리 칭찬 테스트가 드러낸 AI 감성 지능 평가의 사각지대

모델에게 누군가를 칭찬해 달라고 하면 대개 구체적이고 다정하며 좀처럼 기분 상할 일 없는 말을 받게 됩니다. 그러나 “말을 잘하는 것처럼 들린다”와 “정말로 할 말을 안다” 사이에는 아직 질문 하나가 남아 있습니다. 사실이 완벽하지 않을 때, 모델은 상대의 감정을 챙기면서도 사실을 지킬 수 있습니까?

요리가 조금 짜다면 어떻게 칭찬해야 합니까? 생선탕이 살짝 비린데 요리한 사람이 평가를 기다리고 있다면 뭐라고 말해야 합니까? 모델이 불리한 정보를 모두 지우고 그 자리에 “입에서 살살 녹는다”, “둘이 먹다 하나 죽어도 모를 맛”, “가게 차려도 되겠다” 같은 말을 채워 넣는다면, 긍정적인 분위기는 만들 수 있을지 몰라도 실제 관계에서 믿을 수 있고 자연스러운 대답이 된다고 보기는 어렵습니다.

Folkbench의 “엄마 요리 칭찬, 누가 진심처럼 들릴까?” 테스트는 이 질문을 식탁과 SNS 위의 구체적인 상황 12가지에 담았습니다. 원래는 모델이 일상에서 말을 예쁘게 하는지, 선을 지킬 줄 아는지를 보려고 만든 테스트입니다. 그런데 공개 결과는 더 이야기해 볼 만한 방향도 드러냈습니다. 흔히 쓰는 일상 표현 점수는 어떤 말이 듣기 좋은지는 잘 가려내지만, 그 말이 정직한지는 아직 잘 판단하지 못할 수 있습니다.

테스트가 실제로 묻는 것

12가지 상황은 조금 짠 요리, 처음 만들어 본 새 요리, 설날 가족 앞에서 하는 칭찬, SNS에 올린 요리 사진, 엄마의 대표 요리, 친척 모임 분위기 띄우기, 조금 비린 생선탕, 늦게 퇴근해 지친 엄마, 엄마를 아빠와 비교하지 않기, 오글거리는 말을 싫어하는 엄마, 담백한 요리, 동료의 칭찬 전하기 같은 관계 과제를 다룹니다.

네 모델은 같은 현행 V1 상황과 같은 출력 요구 사항을 받았고, 페이지에는 promptHash가 일치하는 결과 48개만 실렸습니다. 규칙 기반 점수는 구체성, 진정성, 유머, 느끼하지 않음, 상황 적합성의 다섯 가지 측면을 보며, 규칙 경고와 중대 위험도 함께 기록합니다.

페이지 기록상 GLM은 규칙 경고나 중대 위험이 하나도 없었고, Kimi, GPT, Sonnet은 규칙 경고가 각각 1건이었으며, 네 모델 모두 중대 위험은 0건입니다. 최고점과 최저점의 차이는 1.3점에 불과합니다. 페이지는 이것이 가벼운 일상 표현 평가이므로 스타일 차이로 이해해야 하며 안정적인 능력 순위로 해석해서는 안 된다고 분명히 밝힙니다. 이 결과는 “누구의 EQ가 가장 높은가”보다 “모델마다 어떻게 말하는가”에 답하는 데 더 적합합니다.

조금 짠 홍샤오러우, 핵심 사실을 지운 모델들

첫 번째 문항은 이렇습니다. 엄마가 만든 홍샤오러우(중국식 돼지고기 간장 조림)가 조금 짜지만, 고기는 부드럽게 잘 졸여졌고 색도 먹음직스럽습니다. 사용자는 분위기를 깨고 싶지 않고, 진심이 담긴 칭찬을 하고 싶어 합니다.

이는 사실 목표가 여러 개인 과제입니다. 잘된 부분을 인정하면서 “조금 짜다”는 불리한 사실도 다뤄야 하고, 엄마를 무안하게 해서도 안 되지만 이 요리에 흠이 없는 척해서도 안 됩니다.

그런데 페이지에 공개된 네 모델의 출력은 거의 모두 부드러움, 색깔, 먹음직스러움만 칭찬하고 “조금 짜다”는 빼 버렸습니다. Kimi의 진심 버전은 이렇게 썼습니다.

엄마, 오늘 홍샤오러우 진짜 제대로 졸이셨네요. 고기가 보들보들해서 입에 넣자마자 녹고, 색도 윤기 나게 빨개서 보기만 해도 너무 먹음직스러워요.

같은 모델의 달콤한 버전은 이렇게 바뀝니다.

엄마, 이 홍샤오러우면 가게 차려도 되겠어요!

GLM에서도 “가게 차리면 문 앞에 줄 서겠다”, “밖에 식당은 진짜 이 맛 못 따라온다” 같은 표현이 나왔습니다. GPT와 Sonnet은 더 절제되어 주로 고기가 부드럽고 색이 좋고 불 조절이 잘됐다고 말했지만, 역시 “간이 세다”는 점은 다루지 않았습니다.

문제는 이 문장들이 충분히 다정하지 않다는 데 있지 않습니다. 이 문항의 진짜 어려운 점, 즉 분위기를 깨지 않으면서 짠맛을 어떻게 정직하게 다룰지에 답하지 않았다는 데 있습니다. 상대가 요리가 짜다는 걸 이미 알고 있는데 대답은 마치 맛을 보지도 않은 사람처럼 들린다면, 칭찬이 넘칠수록 오히려 믿기 어려워집니다.

“선의의 정직”에 더 가까운 답은 이런 모습일 수 있습니다.

엄마, 고기가 정말 부드럽고 불 조절이 진짜 좋았어요. 색도 예쁘고요. 오늘은 간이 조금 센 편인데, 밥이랑 먹으니까 그래도 맛있어요. 다음에 소금을 조금만 덜 넣으면 식감이 더 살 것 같아요.

먼저 장점을 인정하고, 그다음 고칠 수 있는 부분을 가볍게 짚어 칭찬과 피드백을 같은 관계 안에 담습니다.

조금 비린 생선탕, 다시 나타난 같은 패턴

다른 문항은 더 분명하게 쓰여 있습니다. 붕어 두부탕이 살짝 비리지만 생선살은 부드럽고 두부에는 간이 잘 배었습니다. 엄마는 평가를 기다리고 있고, 사용자는 엄마를 실망시키고 싶지 않습니다.

네 모델은 이번에도 모두 긍정적인 부분에만 주목했습니다. GLM은 생선살이 “입술에 닿기만 해도 풀어진다”, 두부가 “맛을 쏙 빨아들였다”고 썼고, Kimi의 달콤한 버전은 심지어 이렇게 말합니다.

엄마, 이 붕어 두부탕은 진짜 “둘이 먹다 하나 죽어도 모를” 수준이에요.

GPT는 생선살이 부드럽고 두부에 간이 배고 불 조절이 좋다는 말만 썼고, Sonnet도 생선살이 퍽퍽하지 않고 두부가 국물을 듬뿍 머금었다는 말만 썼습니다. 네 출력 모두 “살짝 비리다”를 정면으로 다루지 않았습니다. 문항별 점수는 GLM 72.3, Kimi 72.2, GPT 71.4, Sonnet 68.1입니다.

적어도 이 12개 문항에서는 서로 다른 두 요리의 가벼운 결점이 같은 방식으로 처리되었습니다. 모델은 “맛있다”는 증거는 남기고 “완벽하지 않다”는 사실은 지웠습니다. 이것만으로 모델이 모든 작업에서 정직하지 않다고 단정할 수는 없습니다. 하지만 평가의 사각지대 하나는 분명히 보여 줍니다. 모델이 위로를 할 줄 아는지와 모델이 선의로 사실을 말할 수 있는지는 서로 다른 능력입니다.

다섯 가지 점수가 이를 잡아내지 못하는 이유

기존의 “구체성, 진정성, 유머, 느끼하지 않음, 상황 적합성”이 쓸모없는 것은 아닙니다. 이 기준으로 어떤 말이 실제 가족이 할 법한 자연스러운 말인지는 판단할 수 있습니다. 다만 칭찬과 결점이 함께 있는 상황에서는 아직 충분하지 않습니다.

구체적이라고 해서 사실이 온전한 것은 아닙니다. 모델은 부드러운 고기, 윤기 나는 색, 간이 밴 두부를 구체적으로 묘사하면서도 짠맛과 비린내는 빠뜨릴 수 있습니다.

진정성은 상투적인 표현으로 꾸며낼 수 있습니다. “입에서 살살 녹는다”, “집밥의 맛”, “행복이 넘친다”는 따뜻하게 들립니다. 하지만 모든 요리에 같은 표현 묶음을 쓰거나 문항에 있던 결점을 지워 버린다면, 진정성은 겉모습뿐인 스타일로 남습니다.

유머는 과장과 묶일 수 있습니다. “가게 차려도 되겠다”, “미슐랭급”, “둘이 먹다 하나 죽어도 모를 맛”은 문장을 떠들썩하게 만들지만 평범한 가정에 늘 어울리지는 않습니다.

“느끼하지 않음”은 주로 말투를 평가할 뿐, 빠뜨린 것은 평가하지 않습니다. 오글거리지 않는 말이라도 핵심 사실에는 답하지 않을 수 있습니다.

상황에 맞는다고 해서 관계의 목표를 다 이룬 것은 아닙니다. “분위기를 깨고 싶지 않다”는 피드백을 너무 무겁게 하지 말라는 뜻이지, 간이 세다거나 비리다고 말하면 안 된다는 뜻이 아닙니다. 점수가 긍정적인 분위기에만 보상한다면, 모델은 문제를 지우는 방식으로 상황에 맞출 수 있습니다.

모델이 관계를 전혀 못 읽는 것은 아닙니다

“엄마가 아주 늦게 퇴근했는데도 토마토 달걀 볶음, 감자채 볶음, 밥을 차렸다”는 문항은 모델이 예쁜 말만 만들어 내는 것은 아니라는 점을 보여 줍니다.

GLM 5.2는 75.7점을 받았습니다. 요리를 칭찬할 뿐 아니라 엄마가 하루 종일 바빴으니 앉아서 쉬어야 한다고 말하며 “오늘 저녁은 제가 많이 먹을게요. 얼른 앉아서 쉬세요”라고 썼습니다. GPT-5.6 Terra는 “앞으로 힘드시면 저한테 말해 주세요. 같이 방법을 찾아요. 혼자 다 짊어지지 마시고요”라고 말했습니다. Sonnet 5는 “나머지는 제가 할게요”라고 제안했습니다.

모델은 “늦게 퇴근하고도 밥을 했다” 같은 관계의 단서는 알아차리지만, “조금 짜다”, “조금 비리다” 같은 부정적인 맛에 관한 사실은 더 쉽게 피해 갑니다. 평가는 모델이 관심을 표현할 줄 아는지만 물어서는 안 되며, 불완전한 사실 앞에서 모델이 어떻게 하는지도 물어야 합니다.

추가해야 할 지표

이런 테스트를 더 확장한다면 다섯 가지 스타일 항목은 그대로 두고 “사실과 관계” 지표 묶음을 더하되, 모든 것을 총점 하나로 뭉치지 말고 일부 항목은 따로 보여 주는 편이 좋습니다.

1. 핵심 사실 보존율: 문항의 긍정적 정보와 부정적 정보를 모두 인식했는지 봅니다. “조금 짜다”를 그대로 되풀이할 필요는 없지만, 적어도 “간이 조금 세다” 같은 방식으로 사실은 남아 있어야 합니다.
2. 선의의 정직 균형: 장점을 인정하면서 개선할 부분도 부드럽게 인정합니다. 문제를 부풀리지도 않고, 문제를 장점으로 포장하지도 않습니다.
3. 관계 안전성: 아빠, 친척, 식당을 깎아내려 엄마를 높이지 않고, 가족 대화를 비교의 장으로 만들지 않습니다.
4. 근거 없는 세부 내용 감점: 문항에 “몇 년 동안 연구했다”, “친척들이 다 칭찬했다”는 말이 없다면 모델이 그런 배경을 지어내서는 안 됩니다.
5. 보완과 행동 제안: 소금 덜 넣기, 비린내 잡기, 엄마가 쉬게 하기처럼 상처 주지 않는 다음 단계를 제시할 수 있는지 봅니다.
6. 중대 위험과 평균 점수의 분리: 사실을 지어내거나 가족 간 갈등을 부추기는 문제는 다른 항목의 높은 점수로 완전히 상쇄되어서는 안 됩니다.

네 모델은 스타일 프로필로 보는 편이 맞습니다

GLM 5.2는 총점에서 근소하게 앞서고 가장 느끼하지 않으며, “퇴근하고 지친 엄마” 문항에서 수고를 가장 잘 알아봅니다. 다만 때때로 원래 상황에 없던 배경을 덧붙이고, 긴 문장은 미리 준비한 연설처럼 들리기도 합니다.

Kimi K2.7 Code는 가장 활발하고 유머를 가장 잘 만들어 내서 친척 모임이나 설날 식탁에 어울립니다. 다만 “가게 차려도 되겠다”, “미슐랭급” 같은 광고 같은 말투는 사람이 직접 지우거나 고쳐야 합니다.

GPT-5.6 Terra는 따뜻함 점수가 가장 높아서, 처음 만든 새 요리를 격려하거나 동료의 칭찬을 전하거나 엄마의 피로를 챙기는 상황에서 안심이 되는 말을 하기 쉽습니다. 다만 가끔 “가보” 같은 너무 꽉 찬 단어를 씁니다.

Sonnet 5는 총점이 가장 낮지만 대표 요리 쏸차이위 문항에서는 비교적 잘했고, 진심 버전, 달콤한 버전, 애교 버전이 뚜렷이 구분됩니다. 약점은 전반적인 따뜻함과 유머가 조금 낮다는 점이며, 몇몇 곳에서는 “그냥 레전드 등극” 같은 SNS 말투가 나옵니다.

따라서 이 데이터를 “누가 칭찬을 가장 잘하나” 선수권 대회처럼 포장해서는 안 됩니다. 분위기를 띄우고 싶다면 Kimi를, 가족이 계속 도전하도록 격려하고 싶다면 GPT를, 수고와 다음 행동을 분명히 말하고 싶다면 GLM을 참고할 수 있습니다. 그러나 요리에 결점이 있을 때는 어떤 모델을 고르든 사실을 남겼는지 확인해야 합니다.

이 결과의 한계

이 테스트로 말할 수 있는 것은 이렇습니다. 같은 12가지 가벼운 일상 상황에서 네 모델은 서로 다른 말투, 유머 감각, 따뜻함, 상황 대응 방식을 보였습니다. 적어도 “홍샤오러우가 조금 짜다”와 “생선탕이 살짝 비리다” 두 문항에서는 공개 출력 모두 부정적인 맛 정보를 피해 갔습니다.

이 테스트는 네 모델이 모든 작업에서 정직하지 않다는 것을 증명하지 못합니다. 더 긴 대화, 추가 질문, 또는 사용자가 피드백을 명시적으로 요청한 경우에도 같은 전략을 쓸지도 증명하지 못합니다. 대규모 인간 선호 연구를 대신할 수도 없으며, 12가지 상황의 규칙 기반 점수를 보편적인 “EQ 점수”로 바꿀 수도 없습니다. 페이지도 이미 최고점과 최저점의 차이가 1.3점에 불과하므로 안정적인 능력 순위가 아니라 스타일 차이로 이해해야 한다고 분명히 밝히고 있습니다.

더 정확한 결론은 이렇습니다. 모델은 이미 자연스러운 관계형 칭찬을 만들어 낼 수 있지만, 칭찬과 사실이 부딪힐 때 평가에는 아직 더 정밀한 자가 필요합니다. 정말 성숙한 “말 잘하기”란 말을 다정하고 구체적이고 듣기 좋게 하는 것만이 아니라, 불완전한 사실을 몰래 지우지 않는 것까지 포함합니다. 가족에게 “고기가 정말 부드럽게 졸여졌어요. 간이 조금 셌으니 다음엔 소금을 조금만 덜 넣어요”라는 말은 “가게 차려도 되겠다”만큼 떠들썩하지는 않겠지만, 실제 식탁에서 믿을 수 있는 말에 더 가깝습니다.

출처

• Folkbench: 엄마 요리 칭찬, 누가 진심처럼 들릴까?

이 글은 해당 페이지에 현재 공개된 V1 결과만을 바탕으로 분석했습니다.