요리를 하는 모델인가, 레시피만 쓰는 모델인가? 가정 주방 12가지 장면이 드러낸 모델의 실행 가능성

모델이 단계가 빠짐없고 말투도 친절한 젠빙궈쯔(중국식 크레이프) 레시피를 써낼 수 있다고 해서, 초보자가 그대로 따라 해서 성공할 수 있는 것은 아닙니다.

실제 가정 주방에는 변수가 많습니다. 팬은 크기도 재질도 제각각입니다. 반죽은 너무 되거나 너무 묽을 수 있습니다. 불 세기는 반죽을 펴고, 달걀을 올리고, 뒤집는 단계마다 달라집니다. 얇고 바삭한 튀김 크래커인 바오추이를 언제나 구할 수 있는 것도 아닙니다. 아침에 주어진 시간이 20분뿐일 수도 있습니다. 첫 실패 뒤에 사용자에게 필요한 것은 또 하나의 근사한 레시피가 아닙니다. 방금 왜 찢어졌는지 판단하고, 지금 팬 위의 이 한 장을 아직 살릴 수 있는지 알려 줄 누군가입니다.

그래서 이번 젠빙궈쯔 만들기 평가가 실제로 테스트하는 것은 모델이 레시피를 외워 말할 수 있느냐가 아닙니다. 지식을 가정 주방에서 실행하고, 조정하고, 문제가 생겨도 계속 이어 갈 수 있는 계획으로 바꿀 수 있느냐입니다.

결과부터: 평균 점수 너머, 차이는 실패와 위험에 숨어 있습니다

이번 라운드는 가정 주방 장면 12개를 설정했고, 모델 4개가 promptHash가 일치하는 결과 48건을 남겼습니다. 페이지의 규칙 점수는 답변을 다섯 가지 관점에서 봅니다. 단계를 그대로 따라 할 수 있는지, 주방 상식이 담겨 있는지, 실패를 처리하는지, 표현이 명확한지, 그리고 모델이 스스로를 지나치게 자신만만한 ‘베테랑 요리사’처럼 내세우지는 않는지입니다.

페이지에 공개된 종합 점수는 다음과 같습니다.

Sonnet 5가 80.4점으로 앞섭니다. 전체적으로 보면 초보자에게 건네도 될 만한 튜토리얼에 더 가깝습니다. 첫 시도, 팬 불 조절, 20분 아침 식사 같은 장면에서 비교적 안정적입니다. GLM 5.2는 1.1점 차이로 뒤처질 뿐이지만, 절차 점수는 90점으로 이번 라운드 최고입니다. Kimi K2.7 Code는 종합 점수가 더 낮지만, “찢어진 전병 살리기”처럼 즉석 수습이 필요한 장면에서 가장 잘했습니다. GPT-5.6 Terra는 첫 완성 튜토리얼에서 84.2점을 받았지만, 반죽 비율, 전기 그릴팬 불 조절, 실패 진단 문항에서 뚜렷한 약점을 보였습니다.

겉으로 보면 모델 4개의 성적표입니다. 하지만 더 눈여겨볼 것은 흔히 놓치는 사실 하나입니다. 실행 가능성은 단일한 능력이 아닙니다. 모델은 단계를 명확하게 쓰는 데는 능하면서 실패 진단에는 서툴 수 있습니다. 수습에는 능하면서도 무시해서는 안 될 안전상의 문제를 남길 수도 있습니다.

1. 가정 주방은 레시피 전시장이 아닙니다

“젠빙궈쯔 만드는 법”만 물으면 모델은 완전해 보이는 표준 답안을 쉽게 내놓습니다. 밀가루를 준비하고, 반죽을 만들고, 팬을 예열하고, 반죽을 펴고, 달걀을 깨고, 파를 뿌리고, 소스를 바르고, 바오추이를 올린 다음 돌돌 맙니다.

이런 답은 글자 수준에서는 뚜렷한 오류가 없을 수 있습니다. 하지만 초보자가 실제로 부딪히는 질문에는 답하지 않습니다.

• 집에 26 cm 코팅 프라이팬 하나뿐이고 크레이프 밀대도 없습니다. 국자와 뒤집개로 충분합니까?
• 반죽은 정확히 얼마나 묽어야 합니까? 왜 같은 물과 밀가루 비율인데 누구는 두껍게 나오고 누구는 한 번 뒤집자마자 찢어집니까?
• 바오추이가 없다면 완탕피, 유탸오(중국식 꽈배기), 감자칩, 일반 얇은 밀전병은 각각 결과를 어떻게 바꿉니까?
• 프라이팬과 전기 그릴팬의 불 세기는 어떻게 판단합니까? 달걀을 올린 뒤 언제 말아도 됩니까?
• 전병이 이미 찢어졌고 달걀은 아직 다 익지 않았습니다. 계속 펴야 합니까, 반죽을 한 국자 더 부어 메워야 합니까, 아니면 처음부터 다시 해야 합니까?
• 스테인리스 팬밖에 없다면 들러붙을 가능성을 어떻게 줄입니까?
• 남은 반죽, 그리고 이미 소스를 바르고 햄을 넣은 완성품은 다음 날 먹어도 됩니까?

이런 질문은 모델에게 재료, 도구, 시간, 순서, 상태 변화, 위험을 한꺼번에 다루라고 요구합니다. 기억에서 지식을 꺼내는 일이 아니라, 눈앞의 조건에 맞춰 다음 행동을 다시 짜는 일입니다.

그래서 페이지는 “젠빙궈쯔 레시피를 써 주세요”라는 문항 하나만 두지 않고, 과제를 12개 장면으로 나눴습니다. 초보자의 첫 시도, 반죽 비율, 바오추이 대체, 팬 종류별 불 조절, 찢어진 전병 수습, 재료 부족, 기름과 매운맛을 줄인 아이용 버전, 20분 아침 식사, 실패 진단, 3인분 진행 순서, 스테인리스 팬, 하룻밤 보관입니다. 문항마다 실제 생활에 더 가까운 후속 질문으로 모델을 몰아붙입니다. 조건이 이상적이지 않을 때도 다음 단계를 분명히 말할 수 있습니까?

2. 가장 중요한 경계선: 자세하다고 믿을 만한 것은 아닙니다

이번 결과에서 GLM 5.2는 좋은 예입니다. 절차 점수가 90점에 이른다는 것은 과정을 잘게 나누는 데 능하고, “재료가 부족하다”, “한 번에 3인분을 만든다”, “반죽과 익힌 전병은 어떻게 보관하나” 같은 조건에 구체적인 조언을 잘 준다는 뜻입니다. 글이 얼마나 완전한지만 보는 사람이라면 이런 답에 높은 점수를 주기 쉽습니다.

하지만 페이지는 이 모델이 스테인리스 팬 문항에서 팬을 “푸른 연기가 날 때까지 달구라”고 하고, 팬 길들이기(시즈닝)를 반복하라고 권했다는 점도 함께 지적합니다. 이런 고온 예열 방식은 일반 가정에 결코 무난하지 않습니다. 답변 속 동작이 구체적일수록 사용자는 그대로 따라 할 가능성이 큽니다. 구체적인 조언이 사용 상황과 맞지 않으면 “전문가처럼 보인다”가 실제 위험으로 바뀝니다.

Kimi K2.7 Code는 평균 점수만으로는 부족한 이유를 더 분명히 보여 줍니다. 이 모델은 “찢어진 전병 살리기” 문항에서 최고점을 받았습니다. 이미 찢어진 전병과 아직 다 익지 않은 달걀이 있는 팬을 앞에 두고, 실제로 손을 움직여 따라 할 수 있는 수습 단계를 내놓았습니다. 반죽과 3인분 장면에서도 쓸모 있는 세부 사항을 제시했습니다.

그런데 “아침 20분 안에 끝내기” 문항에서 페이지는 무시할 수 없는 식품 안전 중대 위험을 표시했습니다. 답변이 달걀을 미리 꺼내 실온에 둬도 된다고 암시했기 때문입니다. 다른 문항을 아무리 잘 썼더라도 이 항목은 따로 보여 줘야 합니다. “수습 문항 최고점”으로 상쇄되어서는 안 됩니다.

이것은 Kimi K2.7 Code의 모든 조언을 믿을 수 없다는 주장도, 식품 안전 능력이 떨어진다는 영구적인 꼬리표도 아닙니다. 정확하게 말하면 이렇습니다. 이번 라운드, 이 문항, 이 구체적인 조언에서 페이지 규칙이 정의한 중대 위험이 나타났습니다. 사용자에게는 이 정보가 몇 점 차이에 불과한 종합 순위보다 우선합니다.

3. 네 모델은 서로 다른 네 명의 주방 도우미에 가깝습니다

Sonnet 5: 첫 시도에 비교적 든든한 도우미

Sonnet 5의 강점은 어느 한 문항이 특별히 놀랍다는 데 있지 않습니다. 12문항 전체에서 비교적 고르다는 데 있습니다. 첫 시도, 팬 불 조절, 20분 아침 식사에서 앞서 있으며, 페이지에 기록된 규칙 주의나 중대 위험도 발생시키지 않았습니다.

이런 모델은 아직 자기만의 주방 감각이 생기지 않은 사용자에게 맞습니다. 먼저 과정, 순서, 판단 지점을 쓰게 한 뒤, 실제로 가진 팬과 재료에 맞게 덜어 내면 됩니다. 한계도 분명합니다. 보관과 실패 진단은 가장 강한 문항이 아닙니다. 튜토리얼의 정보량이 많아서, 실제로 요리하기 전에는 긴 설명을 보면서 따라 할 수 있는 몇 단계짜리 카드로 압축해야 합니다.

GLM 5.2: 과정 분해는 강하지만 불 조절 조언은 확인해야

GLM 5.2는 복잡한 조건을 목록으로 정리하는 데 능합니다. 재료 부족, 여러 인분, 보관 문제에서 무엇이 부족한지, 무엇을 먼저 할지, 언제 처리할지, 시간을 어떻게 배분할지를 꽤 빠짐없이 말하는 경우가 많습니다.

과정 정리에 능한 도우미에 가깝습니다. 이 모델을 쓸 때는 고온, 예열, 기름 양, 보관과 관련된 동작을 중점적으로 다시 확인하세요. 답변이 전문 튜토리얼처럼 읽힌다는 이유로 실제 팬과 집 주방 환경에 대한 자신의 판단을 건너뛰어서는 안 됩니다.

Kimi K2.7 Code: 수습 능력은 돋보이지만 안전 조언은 한 줄씩 확인해야

Kimi K2.7 Code의 강점은 “이미 문제가 생겼는데 이제 어떻게 하나”에 집중되어 있습니다. 팬이 지금 어떤 상태인지 읽어 내고, “처음부터 다시 하기”보다 구체적인 수습 경로를 내놓습니다. 많은 모델이 놓치는 부분입니다. 수습 문항은 표준 과정을 다시 설명하는 대신, 불완전한 중간 상태를 받아들이라고 요구하기 때문입니다.

동시에, 하룻밤 미리 준비하는 장면에서 나온 중대 위험은 모델이 동작을 잘 만들어 낸다고 해서 그 동작이 안전 기준으로 걸러졌다는 뜻은 아님을 보여 줍니다. 음식 보관, 아이 식사, 하룻밤 처리가 걸려 있을 때는 안전 조언을 별도의 점검 항목으로 다뤄야 합니다.

GPT-5.6 Terra: 기본 튜토리얼은 괜찮지만 문제 해결은 덜 안정적

GPT-5.6 Terra는 첫 완성 튜토리얼에서 84.2점을 받았습니다. 비율, 팬 온도, 기본 과정이 꽤 빠짐없이 쓰여 있습니다. “아직 시작 전이니 처음부터 끝까지 과정을 먼저 알려 달라”는 요청이라면 출발점은 나쁘지 않습니다.

하지만 반죽 비율, 전기 그릴팬 불 조절, 실패 진단 문항에서는 뚜렷하게 뒤처집니다. 완전해 보이는 입문 설명은 쓸 수 있어도, 사용자가 이미 실패한 뒤에 어떤 변수가 잘못됐는지 정확히 짚어 내지는 못할 수 있다는 뜻입니다.

이것이 “튜토리얼을 쓸 줄 안다”와 “사람을 이끌어 과제를 끝내게 한다”의 차이입니다. 앞의 것은 이상적인 경로 하나만 정리하면 됩니다. 뒤의 것은 경로가 이상에서 벗어난 뒤 무슨 일이 일어났는지도 이해해야 합니다.

4. 중대 위험을 평균 점수 속에 숨길 수 없는 이유

전통적인 총점에는 자연스러운 유혹이 있습니다. 문항별 점수를 모두 더해 최고점을 고르는 것입니다. 하지만 집안일에서는 실수마다 치르는 대가가 같지 않습니다.

“이 문장은 조금 장황하다”와 “이 보관 조언은 식품 안전 문제를 일으킬 수 있다”가 같은 덧셈 안에서 서로 상쇄되어서는 안 됩니다. “사용자에게 수습 방법을 알려 주지 않았다”와 “지나치게 공격적인 고온 동작을 제시했다”를 평범한 감점 두 개로만 다뤄서도 안 됩니다.

이번 테스트는 이미 중요한 일을 하고 있습니다. 페이지는 규칙 평균 점수 외에 규칙 주의와 중대 위험을 따로 표시합니다. 이 구조는 유지할 가치가 있고, 세 층위의 결과로 더 확장할 수 있습니다.

1. 과제 완수 점수: 사용자가 답변대로 해서 목표를 이룰 수 있습니까?
2. 과정 품질 점수: 단계, 설명, 조건에 맞춘 조정, 수습 방법이 명확합니까?
3. 상쇄할 수 없는 위험 표시: 식품 안전 문제, 위험한 동작, 또는 문항의 제약을 명백히 어기는 조언이 나왔습니까?

실제 사용자에게는 세 번째 층위가 첫 번째 층위보다 먼저 “이대로 따라 해도 될까”를 결정하는 경우가 많습니다.

5. 이번 테스트는 일반 사용자에게 어떤 도움이 됩니까?

모든 주방 문제에서 최고인 모델 하나를 꼽아 주지는 않습니다. 대신 더 실용적인 선택 방법을 제시합니다.

• 처음 시도하면서 시행착오를 줄이고 싶을 때: 전체적으로 안정적이고 위험 표시가 없는 답변을 먼저 보세요.
• 가진 재료가 부족할 때: 모델이 표준 배합을 고집하지 않고 지금 있는 재료에 맞춰 다시 설계하는지 보세요.
• 이미 전병이 찢어졌거나 팬에 들러붙었을 때: 실패 진단과 수습 단계를 보세요. 기본 튜토리얼이 보기 좋게 쓰였는지만 봐서는 안 됩니다.
• 아이, 하룻밤 보관, 고온 조리가 걸려 있을 때: 위험 표시를 먼저 확인한 뒤 총점과 표현 품질을 보세요.
• 20분 안에 끝내야 할 때: 모델이 전날 밤 미리 준비할 부분을 따로 잡아 두는지, 보관 조건을 분명히 설명하는지 보세요.

더 안전한 사용법은 모델의 답변을 ‘첫 번째 실행 계획’으로 보고, 다음 세 가지를 더 물어보는 것입니다.

1. 내 팬과 재료는 표준 조건과 무엇이 다릅니까?
2. 도중에 특정한 실패가 생기면 어느 단계에서 멈추거나 조정해야 합니까?
3. 이 조언에 따로 확인해야 할 식품 안전 문제가 있습니까?

모델이 구체적으로 쓸수록 이런 질문을 던질 가치가 큽니다. 구체적인 답은 실제로 따라 하기 쉽지만, 잘못된 동작을 전문가다운 지시로 포장하기도 쉽기 때문입니다.

6. 생활 과제는 ‘정답처럼 보이는가’만으로 제대로 테스트할 수 없습니다

이 젠빙궈쯔 문항 세트가 Folkbench에 준 시사점은 앞으로 레시피를 더 늘려야 한다는 것이 아닙니다. ‘현실 과제를 실제로 실행할 수 있는가’를 하나의 독립된 방향으로 계속 발전시킬 수 있다는 것입니다.

좋은 생활 과제 평가라면 시작하기 전에 적어도 네 가지를 적어 두어야 합니다.

• 사용자의 출발 조건이 무엇인지
• 과제 성공의 최소 기준이 무엇인지
• 어떤 실수를 수습으로 만회할 수 있는지
• 어떤 위험은 나타나는 즉시 따로 표시해야 하는지

채점 기준도 모델 출력을 보기 전에 확정해야 합니다. 그렇지 않으면 어떤 모델이 듣기 좋은 문장을 내놓은 것을 보고서야 ‘표현의 자연스러움’ 항목을 급히 추가하고, 다른 모델이 위험한 조언을 내놓은 것을 보고서야 안전 가중치를 급히 올리게 됩니다. 그 결과는 아무도 다시 검증할 수 없는 성적표입니다.

이번 테스트에는 이미 좋은 기반이 있습니다. 같은 장면, 같은 출력 요구 사항, 일치하는 promptHash, 그리고 종합 점수와 위험 표시를 함께 보여 주는 구조입니다. 다음으로 가장 보완할 가치가 있는 것은 평균 성과, 단일 문항의 최고점, 실패 유형, 중대 위험을 따로 저장하는 일입니다. 그래야 독자가 모델이 전체적으로 어땠는지와, 어디에서 실망시킬 가능성이 가장 큰지를 모두 알 수 있습니다.

맺으며: 정말 쓸모 있는 모델은 순조롭지 않은 그 한 단계를 함께 넘어 줘야 합니다

완전한 레시피를 쓰는 것은 언어를 조직하는 능력입니다. 팬, 재료, 시간에 맞춰 계획을 조정하는 것은 조건을 이해하는 능력입니다. 전병이 찢어진 뒤 어떻게 이어 갈지 알려 주는 것은 상태 판단과 오류 복구 능력입니다. 하룻밤 보관 문제가 나왔을 때 분명히 멈추는 것은 안전 경계를 지키는 능력입니다.

이 네 가지가 겹쳐야 보통 사람들이 말하는 “이 모델 정말 쓸모 있다”에 더 가까워집니다.

그래서 이번 젠빙궈쯔 테스트에서 가장 남길 만한 결론은 Sonnet 5가 GPT-5.6 Terra보다 몇 점 높은지도, 누가 모든 가정 주방 문제에서 이길 수 있는지도 아닙니다. 바로 이것입니다. 현실 과제의 평가는 ‘해낼 수 있는가’, ‘문제가 생겼을 때 살릴 수 있는가’, ‘받아들일 수 없는 위험이 있는가’를 동시에 드러내야 합니다.

테스트 범위

이 글은 Folkbench 페이지에 현재 공개된 V1 장면과 결과를 바탕으로 작성했습니다. 샘플은 가정 주방 문항 12개와 promptHash가 일치하는 결과 48건입니다. 규칙 점수는 같은 문항 세트의 결과를 서로 비교하는 데만 쓰입니다. 식품 안전 전문가의 의견을 대신할 수 없으며, 이를 근거로 모든 요리 과제에서 모델의 일반적인 능력을 추론할 수도 없습니다. 보관, 아이 식사, 고온 조리가 관련될 때는 사용자가 실제 식재료, 도구, 현지 식품 안전 기준에 따라 독립적으로 판단해야 합니다.

출처: Folkbench: 젠빙궈쯔 만들기, 누구의 레시피가 통할까?