순위표는 한 번의 시험을 정확하게 기록하면서도 실제 업무에 어떤 모델이 적합한지는 답하지 못할 수 있습니다. 점수는 문항, 모델 버전, 지시문, 도구, 추론 예산, 채점기에 따라 달라집니다. 조건을 제외한 소수점 순위는 근거보다 강한 결론을 암시합니다.
이 글은 2026-11-14에 확인한 문헌을 분석하고 평가 방법을 제안합니다. Folkbench는 이번 글을 위해 모델을 호출하거나 벤치마크를 다시 실행하지 않았습니다. 수치 예시는 방법을 설명하기 위한 것으로 실측 결과가 아닙니다. 측정 대상, 출제, 채점, 결론을 검토 가능한 근거로 연결하는 것이 목적입니다.
문제집보다 능력을 먼저 정의하기
지능은 한 문항이나 평균 점수로 설명하기에는 넓습니다. 전문 지식, 낯선 규칙의 추론, 실행 가능한 코드, 장기 계획에는 서로 다른 과제가 필요합니다. 정해진 출력 형식은 지시 준수도 측정하고, 그림 문제는 지각 능력을 추가합니다.
445개 벤치마크를 검토한 Measuring what Matters는 관측 점수가 목표 능력에 대한 해석을 뒷받침하는지, 즉 구성 타당도를 다룹니다. BetterBench는 벤치마크 품질을 검토하는 틀을 제공합니다. 학회와 기관의 명성은 문헌을 고르는 단서지만 문항과 채점기 점검을 대신하지 않습니다.
외부 검색 없이 주어진 자료로 여러 단계의 문제를 해결하는지를 묻는 편이 검증하기 쉽습니다. 지식 부족, 증거 누락, 추론 오류도 단순히 똑똑한지를 묻는 것보다 구분하기 좋습니다.
오염은 원문 문제 암기만을 뜻하지 않는다
직접적인 오염은 평가 문항과 정답이 학습 데이터에 들어가는 경우입니다. 유사 문제, 풀이 설명, 공개 평가 기록도 도움을 줄 수 있습니다. 공개 순위를 보며 방법을 반복 조정하면 직접 학습하지 않아도 그 시험에 과적합될 수 있습니다.
따라서 오래된 문제의 높은 점수만으로 암기를 입증할 수 없고, 새 문제의 낮은 점수만으로 오염을 입증할 수도 없습니다. 난도, 형식, 분야가 달라질 수 있기 때문입니다. 조건을 통제하고 관측할 수 없는 학습 데이터 범위를 밝혀야 합니다. 폐쇄형 모델의 전체 학습 데이터를 모르면 상태는 미확인이며 오염 없음으로 인증할 수 없습니다.
LiveBench 개정판은 갱신되는 과제와 검증 가능한 정답을 사용하며 제목도 Contamination-Limited입니다. LiveCodeBench는 공개 날짜가 있는 새 프로그래밍 대회 문제를 수집합니다. 특정 위험은 줄지만 공개된 문제가 후속 학습이나 튜닝에 들어갈 가능성은 남습니다.
동적 문제집은 시간 비교도 어렵게 만듭니다. 매달 시험이 바뀌면 점수 변화에 모델과 문항 변화가 섞입니다. 데이터 버전을 보존하고 공통 문항으로 비교하거나 고정 참조 집합과 새 문항을 따로 보고합니다. 고정 집합이 점차 노출되는 위험도 인정해야 합니다.
동일 조건을 명시적 절차로 만들기
하나의 모델 이름에도 서로 다른 스냅샷, 서비스 주소, 추론 설정이 있을 수 있습니다. 실제 API ID, 확보 가능한 버전 정보, 날짜, 시스템 지시, 샘플링, 출력 한도, 도구, 재시도 규칙을 기록합니다. 비공개 라우팅이나 내부 연산 예산을 추측해 채우지 않습니다.
공통 절차에서 모델을 비교하는 결과와, 공개된 예산 안에서 각 시스템의 최적 설정을 비교하는 결과를 분리할 수 있습니다. 전자는 차이의 원인을 해석하고 후자는 도입 결정을 돕습니다. 같은 토큰 상한도 토크나이저와 내부 과정이 달라 동일 연산량을 뜻하지 않습니다.
HELM은 상황과 조건을 표준화하고 정확도, 보정, 견고성, 효율을 함께 살핍니다. 품질뿐 아니라 비용, 지연, 실패도 제시해야 합니다. 비용에는 실패한 시도와 도구 호출을 포함하며 마지막 성공만 계산하지 않습니다.
채점기도 오류를 만든다
정답이 있으면 검증 가능한 규칙을 우선하되 정답 자체도 점검합니다. 실행 테스트는 요구사항을 빠뜨리거나 특정 구현만 허용할 수 있고, 문자열 일치는 의미상 맞는 답을 거부할 수 있습니다. 채점기 버전, 정답 추출, 예외 처리를 고정합니다.
개방형 과제에는 판단이 더 필요합니다. Judging LLM-as-a-Judge는 위치, 길이, 자기 답변 선호 등의 편향을 분석합니다. 익명화, 순서 교환, 명시적 기준, 논쟁 사례의 사람 검토가 도움이 됩니다. 사람의 선호와 일치하는 정도는 사실 정확도가 아닙니다.
오답, 형식 오류, 거절, 시간 초과, 서비스 오류를 구분하고 주 점수 반영 방식을 실행 전에 정합니다. 정상 반환된 답만으로 정확도를 계산하며 많은 시간 초과를 숨기면 서비스의 신뢰성이 과장됩니다.
작은 차이는 대응 비교로 분석하기
공통 200문항에서 A가 160개, B가 156개를 맞혔다고 가정해 봅시다. 설명용 예시입니다. 차이는 2퍼센트포인트지만 합계만으로 안정성을 알 수 없습니다. 각각 어떤 문제를 풀었고 문항이 독립적인지도 필요합니다.
Adding Error Bars to Evals는 대응 비교, 상관된 문항, 실험 계획을 다룹니다. 공통 문항에서는 문항별 점수 차를 분석합니다. 같은 틀의 변형은 묶어서 처리하고 유사 문제를 독립적인 증거로 늘려 세지 않습니다. 반복 생성은 샘플링 변동을 추정할 뿐 분야 대표성 부족을 해결하지 못합니다.
차이의 95% 신뢰구간과 계산법, 표본 단위를 공개합니다. 구간이 0을 포함하면 우위를 입증하지 못하지만 동등성도 입증한 것은 아닙니다. 많은 모델이나 하위 항목을 비교할 때 유의한 결과를 반복 탐색하는 위험도 다뤄야 합니다.
검토 가능한 결과 카드
| 항목 | 보존할 증거 | 없을 때의 문제 |
|---|---|---|
| 능력 정의 | 목표 과제, 용도, 제외 범위 | 일반 능력으로 확대 불가 |
| 데이터 | 버전, 날짜, 출처, 그룹 | 같은 시험인지 불명확 |
| 실행 | 모델, 지시, 도구, 예산, 횟수 | 모델과 시스템 영향 혼재 |
| 채점 | 정답, 채점기 버전, 재검토 | 채점 오류 배제 어려움 |
| 불확실성 | 표본 수, 대응 차이, 구간, 반복 | 작은 차이 과장 가능 |
| 비용과 실패 | 총비용, 시간, 유형, 평가 범위 | 성공 점수가 가용성 문제를 가림 |
이는 편집·실험 기록 제안이지 기존 순위의 인증이 아닙니다. 민감한 원자료는 통제된 환경에 보관하고, 결론 검토에 충분한 비식별 증거와 절차를 공개합니다.
순위는 후보를 줄이는 데 사용하기
신뢰할 수 있는 벤치마크는 후보와 약점을 찾습니다. 최종 선택은 실제 업무에 맞춰야 합니다. 허용할 수 없는 실패, 비용과 지연, 업데이트 이후 변화가 중요합니다.
Folkbench는 종합점수보다 능력별 결과를 먼저 권합니다. 가중치를 쓴다면 공개하고 합리적인 변경에 순위가 안정적인지 확인합니다. 동점이나 현재 구분할 근거가 부족하다는 표현이 근거 없는 정밀 순위보다 유용합니다.
구체적 적용은 [수학 추론의 견고성](/ko/blog/mathematical-reasoning-robustness/)과 [긴 컨텍스트의 실효적 이해](/ko/blog/long-context-effective-understanding/)를 참고하세요.
