Claude Haiku 5.5의 공식 벤치마크 점수가 나왔습니다. Haiku 4.5, GPT-6 Luna, Sonnet 5.5와 함께 놓고 보면, 정말 논의할 만한 질문은 모든 항목에서 이겼느냐가 아니라 “소형 모델”이 할 수 있는 일의 경계를 어디까지 밀어냈느냐입니다.
Anthropic이 공식 발표한 모델은 Claude Haiku 5.5입니다. 모델 ID는 claude-haiku-5-5이며, 출시일은 2026년 10월 7일입니다.
Anthropic이 밝힌 Haiku 5.5의 포지션은 분명합니다. 현재 가장 빠르고, 가장 저렴하며, 가장 뛰어난 소형 모델로서 대량 동시 처리, 낮은 지연 시간, 비용에 민감한 작업을 겨냥합니다. 공식적으로 제시된 대표 활용 사례는 분류, 정보 추출, 요약, 컨텍스트 압축, 데이터베이스 쿼리, 브라우저 조작, 그리고 Sonnet 5.5나 Opus 5.5의 서브에이전트 역할입니다.
이 글은 Anthropic이 공식 발표한 벤치마크, 가격, 제품 정보만 사용하며, 공식 성적표를 독립적인 실험처럼 포장하지 않습니다. 저희가 할 일은 이 수치를 작업 유형, 가격, 모델 포지션 속에 다시 놓고, Haiku 5.5가 실제로 어디에서 강하고 어떤 일은 여전히 맡겨서는 안 되는지 살펴보는 것입니다.
결론부터: Haiku 5.5는 “소형 모델은 단순한 일만 한다”는 경계선을 넘었습니다
공식 데이터를 한데 모아 보면 Haiku 5.5의 윤곽은 상당히 분명합니다.
- Haiku 4.5와 비교하면, Anthropic이 공개한 모든 주요 벤치마크에서 큰 폭으로 향상되었습니다.
- 공식적으로 함께 보고된 항목에서는 GPT-6 Luna를 앞섰습니다.
- 지식 작업, 컴퓨터 사용, 일부 추론 작업에서는 이미 Sonnet 5.5에 근접했습니다.
- 복잡한 에이전트 코딩에서는 여전히 Sonnet 5.5에 확실히 뒤처집니다.
- 가장 경쟁력 있는 지점은 속도, 가격, 그리고 충분히 높아진 작업 완수 능력이 한꺼번에 겹친다는 점입니다.
따라서 Haiku 5.5는 Sonnet 5.5를 전면적으로 대체하는 모델이라기보다, 능력이 크게 강화된 실행 계층으로 이해하는 편이 맞습니다.
공식 벤치마크 비교
Anthropic은 Haiku 5.5 발표 페이지에서 다음 데이터를 공개했습니다. 표의 GPT-6 Luna와 Sonnet 5.5 수치도 Anthropic의 같은 비교표에서 가져왔습니다.
| 벤치마크 | Haiku 5.5 | Haiku 4.5 | GPT-6 Luna | Sonnet 5.5 |
|---|---|---|---|---|
| GDPval-AA v2.1: 지식 작업 | 1620 | 735 | 1437 | 1840 |
| AA-Briefcase v1.1: 지식 작업 | 1578 | 614 | 1336 | 1824 |
| OSWorld 2.1: 컴퓨터 사용 | 72.4% | 15.7% | 48.9% | 83.9% |
| Humanity's Last Exam: 도구 미사용 | 45.9% | 10.2% | — | 56.9% |
| Humanity's Last Exam: 도구 사용 | 57.4% | 18.7% | — | 64.5% |
| Terminal-Bench 4.0: 에이전트 코딩 | 39.2% | 0.0% | 16.4% | 70.6% |
| FrontierCode 1.1: 에이전트 코딩 | 46.4% | — | 42.4% | 52.1% |
| Chartography: 시각 추론 | 46.4% | 6.4% | 29.1% | 61.6% |
이 수치를 “Haiku 5.5는 2위”라는 한마디로 압축할 수는 없습니다. 벤치마크마다 측정하는 능력이 전혀 다릅니다. 지식 작업은 결과물의 품질을, OSWorld는 모델이 실제 컴퓨터를 조작할 수 있는지를, Terminal-Bench는 명령줄에서 여러 단계로 이루어진 전문 작업을 끝낼 수 있는지를 봅니다. Humanity's Last Exam은 고난도 지식과 추론 쪽에 더 가깝습니다.
같은 모델이 작업마다 큰 편차를 보인다는 사실 자체가 평가 결과의 일부입니다.
첫 번째 변화: Haiku 5.5는 이전 세대를 크게 따돌렸습니다
Haiku 4.5와 Haiku 5.5만 놓고 봐도 업그레이드 폭은 매우 뚜렷합니다.
GDPval-AA v2.1은 735에서 1620으로 올라 이전 세대의 약 2.2배가 되었고, AA-Briefcase는 614에서 1578로 올라 약 2.6배가 되었습니다. OSWorld는 15.7%에서 72.4%로, Terminal-Bench는 0.0%에서 39.2%로 올랐습니다.
이것은 “답변 문장이 더 매끄러워졌다” 수준의 변화가 아닙니다. OSWorld와 Terminal-Bench는 모두 긴 작업 흐름을 다룹니다. 모델은 작업을 이해하고, 도구를 호출하고, 피드백을 처리하며, 중간에 실수한 뒤에도 계속 진행해야 합니다. 이런 테스트에서 크게 향상되었다는 것은 Haiku 5.5가 더 이상 짧은 텍스트 분류와 요약에만 어울리는 모델이 아니라는 뜻입니다.
특히 OSWorld가 그렇습니다. Haiku 4.5의 15.7%와 Haiku 5.5의 72.4% 사이에는 뚜렷한 단절이 있습니다. 벤치마크 설정, 오프라인 하위 세트, 공식 테스트 조건을 감안하더라도, 이 결과는 Haiku 5.5의 컴퓨터 사용 능력에 세대가 바뀔 만큼 큰 변화가 있었음을 보여 줍니다.
다만 한 항목의 향상이 곧 “모든 프로덕션 작업이 같은 폭으로 좋아졌다”는 뜻은 아닙니다. 벤치마크는 특정 작업 집합을 측정할 뿐이고, 실제 제품은 컨텍스트 길이, 도구 정의, 오류 복구, 네트워크 지연, 비즈니스 데이터의 품질에도 영향을 받습니다.
두 번째 변화: GPT-6 Luna와 경쟁하는 구간에 들어섰습니다
Anthropic이 공개한 항목에서 Haiku 5.5는 GPT-6 Luna보다 높은 점수를 기록했습니다.
- GDPval-AA: 1620 대 1437
- AA-Briefcase: 1578 대 1336
- OSWorld: 72.4% 대 48.9%
- Terminal-Bench: 39.2% 대 16.4%
- Chartography: 46.4% 대 29.1%
이 데이터는 신중한 판단 하나를 뒷받침하기에 충분합니다. Haiku 5.5는 주류 가성비 모델들이 경쟁하는 구간에 진입했습니다.
하지만 여기에는 두 가지 단서를 반드시 붙여야 합니다.
첫째, 이 수치는 Anthropic 발표 페이지에서 나왔습니다. 회사마다 벤치마크 실행 방식, 모델 설정, 도구 구성, 통계 방법이 다를 수 있습니다. 제조사가 보여 주는 능력의 위치를 파악하는 데는 적합하지만, 완전히 독립적이고 완전히 대칭적인 제3자 순위로 그대로 받아들이기에는 적합하지 않습니다.
둘째, “GPT-6 Luna보다 높다”가 “모든 작업에서 GPT-6 Luna보다 낫다”를 뜻하지는 않습니다. 공식 표가 뒷받침하는 것은 공개된 항목끼리의 비교뿐이며, 테스트하지 않은 작업으로 결과를 확대 해석할 수는 없습니다.
합리적인 표현은 다음과 같습니다.
Anthropic이 공개한 비교 항목에서 Haiku 5.5는 GPT-6 Luna보다 높은 성적을 보였습니다. 실제 모델 선택은 여전히 작업 유형, 가격, 속도, 호출 방식을 함께 고려해 판단해야 합니다.
세 번째 변화: Sonnet에 가까워졌지만, 모델 등급의 차이는 여전히 남아 있습니다
Haiku 5.5와 Sonnet 5.5의 격차도 많은 것을 알려 줍니다.
GDPval-AA v2.1에서 Haiku 5.5는 1620점, Sonnet 5.5는 1840점입니다. AA-Briefcase에서는 각각 1578점과 1824점입니다. OSWorld에서는 Haiku 5.5가 72.4%, Sonnet 5.5가 83.9%입니다. Humanity's Last Exam은 도구 없이 각각 45.9%와 56.9%, 도구를 사용하면 각각 57.4%와 64.5%입니다.
이 격차는 Haiku 5.5가 이미 지식 작업과 컴퓨터 사용의 상당 부분을 처리할 수 있지만, 복잡도가 더 올라가면 Sonnet 5.5가 여전히 안정적인 우위를 가진다는 것을 보여 줍니다.
가장 주목할 격차는 Terminal-Bench입니다. Haiku 5.5는 39.2%, Sonnet 5.5는 70.6%입니다. 이 벤치마크는 명령줄 환경에서 복잡한 다단계 전문 작업을 완료하도록 요구하며, 장기 실행 에이전트 코딩에 더 가깝습니다. 여기서 Haiku 5.5는 Haiku 4.5보다 훨씬 높지만, Sonnet 5.5와는 여전히 큰 차이가 있습니다.
이는 모델 선택에 분명한 경계를 제시합니다.
- 국소적이고 반복적이며 검증 가능한 작업이라면 Haiku 5.5가 매력적입니다.
- 장기적인 계획, 여러 파일에 걸친 수정, 연속적인 오류 복구가 필요한 작업에는 여전히 Sonnet 5.5가 더 적합합니다.
- 일부 벤치마크에서 Haiku 5.5가 Sonnet에 가깝다고 해서 두 모델을 같은 모델의 가격만 다른 버전으로 취급해서는 안 됩니다.
가격이 내려간 뒤에는 “작업당 비용”을 봐야 합니다
Haiku 5.5의 가격은 이번 발표의 또 다른 핵심입니다.
100K 토큰 이하 요청에서 Haiku 5.5의 입력 가격은 100만 토큰당 0.10달러, 출력 가격은 0.50달러입니다. 100K 토큰을 넘으면 각각 0.50달러와 2.50달러가 됩니다. Anthropic에 따르면 Haiku 5.5의 평균 실행 비용은 Haiku 4.5보다 약 75% 낮습니다.
| 요청 규모 | 입력 가격 | 출력 가격 | 캐시 읽기 |
|---|---|---|---|
| 100K 토큰 이하 | $0.10 / MTok | $0.50 / MTok | $0.01 / MTok |
| 100K 토큰 초과 | $0.50 / MTok | $2.50 / MTok | $0.05 / MTok |
겉으로 보면 100K 이내의 입력 가격은 Haiku 4.5의 1달러에서 0.10달러로, 출력 가격은 5달러에서 0.50달러로 내려가 명목 단가가 90% 낮아졌습니다. 하지만 Anthropic은 Haiku 5.5가 새로운 토크나이저를 사용하기 때문에 같은 작업에도 토큰이 조금 더 소모될 수 있다고 밝혔습니다. 그래서 평균 실행 비용의 하락 폭은 단순한 90%가 아니라 약 75%입니다.
실제 제품이라면 여기에 세 가지를 더 따져 봐야 합니다.
- Haiku 5.5가 한 번의 호출로 작업을 끝내는 비율
- 실패했을 때 필요한 재시도 횟수
- Sonnet이나 Opus를 불러 검토하고 수정해야 하는지 여부
더 의미 있는 지표는 다음과 같습니다.
성공한 작업 1건당 비용
= 작업을 완료하는 데 든 총비용 ÷ 성공적으로 완료한 작업 수Haiku 5.5의 1회 호출 비용이 Sonnet의 10분의 1에 불과하더라도, 어떤 유형의 작업에서 두 번 재시도해야 하거나 요청의 20%가 결국 Sonnet으로 넘어가야 한다면, 실제 절감 폭은 가격표상의 차이보다 작아집니다.
반대로 작업 결과를 자동으로 검증할 수 있고 실패하더라도 저렴하게 재시도할 수 있다면, Haiku 5.5는 매우 강력한 경제적 우위를 가질 수 있습니다.
100K 토큰을 넘으면 가격 경계가 제품 아키텍처를 바꿉니다
Haiku 5.5의 가격표에서 100K 토큰은 중요한 분기점입니다.
짧은 요청과 중간 길이의 요청에서는 Haiku 5.5의 낮은 가격이 쉽게 드러납니다. 하지만 코드 저장소, 긴 대화, 기업 지식 베이스, 대량의 문서를 다루다 보면 100K 토큰에 자주 근접하거나 이를 넘게 됩니다. 이때 모든 내용을 한 번의 요청에 밀어 넣는 것이 꼭 최선은 아닙니다.
더 합리적인 아키텍처는 보통 다음 요소를 포함합니다.
- 먼저 Haiku 5.5로 문서를 분류하고 관련성을 걸러 냅니다.
- 원본 내용을 구조화된 요약으로 압축합니다.
- 현재 질문과 관련된 부분만 더 큰 모델에 넘깁니다.
- 반복되는 컨텍스트에는 캐시를 사용합니다.
- 여러 턴의 대화를 매번 전부 다시 보내지 않고, 검색 가능한 상태로 저장합니다.
이 지점이 Haiku 5.5가 에이전트 아키텍처와 가장 밀접하게 연결되는 곳입니다. Haiku 5.5는 저렴한 응답 모델일 뿐 아니라, 컨텍스트 압축, 검색 결과 정리, 하위 작업 실행을 맡는 기반 계층이 될 수도 있습니다.
effort 설정으로 정적인 순위표만으로는 부족해졌습니다
Haiku 5.5는 Haiku 시리즈 최초로 effort 조절을 지원하는 모델입니다. 같은 모델이라도 작업의 중요도에 따라 추론에 투입하는 자원을 조절해, 품질, 지연 시간, 비용 사이에서 선택할 수 있습니다.
이는 벤치마크를 읽는 방식을 바꿉니다. 고정된 점수 하나는 특정 설정에서의 성능만 알려 줄 뿐이고, 모델이 예산에 따라 어떻게 동작하는지는 비용–품질 곡선 전체를 봐야 알 수 있습니다.
간단한 작업은 낮은 effort가 더 적합할 수 있습니다.
- 분류
- 형식 변환
- 고정 필드 추출
- 짧은 텍스트 재작성
중간 복잡도의 작업은 effort를 높일 수 있습니다.
- 긴 문서 요약
- 여러 단락에 걸친 정보 통합
- 브라우저에서의 다단계 작업
- 먼저 판단한 뒤 도구를 호출해야 하는 작업
복잡한 작업은 effort를 높여도 반드시 Sonnet을 대체할 수 있는 것은 아닙니다. Terminal-Bench의 격차가 바로 그 경고입니다. 추론 예산을 늘리면 성능이 개선될 수는 있지만, 장기 계획, 오류 복구, 복잡한 도구 체인에서의 능력 격차가 자동으로 사라지지는 않습니다.
숫자를 실제 모델 라우팅으로 바꾸기
공식 성적과 제품 포지션을 종합하면, 비교적 안전한 라우팅 표를 먼저 만들 수 있습니다.
| 작업 유형 | 기본 선택 | 이유 |
|---|---|---|
| 분류, 라우팅, 라벨링 | Haiku 5.5 | 호출량이 많고 출력 구조가 명확하며 검증하기 쉬움 |
| 필드 추출, 데이터 정리 | Haiku 5.5 | 작업 경계가 명확하고 대량 동시 처리에 적합함 |
| 요약과 컨텍스트 압축 | Haiku 5.5 | 가격과 속도의 이점이 큼 |
| 단일 단계 또는 짧은 브라우저 작업 | Haiku 5.5 | OSWorld 성적에서 컴퓨터 사용 능력이 크게 향상됨 |
| 일반적인 코드 설명과 소규모 수정 | Haiku 5.5 또는 Sonnet 5.5 | 자동 테스트 유무와 실수의 비용에 따라 다름 |
| 여러 파일에 걸친 코드 수정 | Sonnet 5.5 | Terminal-Bench에서 여전히 뚜렷한 격차가 있음 |
| 장기 실행 에이전트 코딩 | Sonnet 5.5 또는 Opus 5.5 | 지속적인 계획과 오류 복구가 필요함 |
| 최종 검토와 고위험 판단 | Sonnet 5.5 또는 Opus 5.5 | 더 높은 안정성과 더 강한 추론 능력이 필요함 |
이 표는 “Haiku 5.5의 능력 한계”에 대한 영구적인 정의가 아닙니다. 공식 벤치마크, 가격, 제품 포지션을 한자리에 모아 얻은 첫 번째 사용 제안일 뿐입니다.
실제로 배포할 때는 자체 작업 세트로 다음을 확인해야 합니다.
- 출력이 비즈니스 기준을 충족하는지
- 실패를 자동으로 감지할 수 있는지
- 실패 후 재시도가 비용 면에서 타당한지
- 더 낮은 지연 시간이 실제로 제품 경험을 개선하는지
- 낮은 가격이 늘어난 사람의 검수 비용으로 상쇄되지는 않는지
공식 벤치마크를 읽는 법
새 모델의 벤치마크를 볼 때 가장 빠지기 쉬운 오해는 두 가지입니다.
첫 번째는 모든 항목을 하나의 종합 순위로 압축하는 것입니다. 지식 작업, 컴퓨터 사용, 개방형 추론, 에이전트 코딩은 서로 다른 능력이므로 총점 한 줄로 대신할 수 없습니다.
두 번째는 공식 성적을 그대로 프로덕션 환경의 결론으로 받아들이는 것입니다. 공식 벤치마크에는 명확한 테스트 설정이 있지만, 실제 제품은 프롬프트, 도구, 컨텍스트, 네트워크, 데이터, 오류 복구 메커니즘의 영향도 받습니다.
더 신뢰할 수 있는 독해법은 세 단계로 나뉩니다.
먼저 능력의 도약을 봅니다
Haiku 5.5는 Haiku 4.5보다 꾸준히 향상되었습니까? 공식 표를 보면 답은 분명히 “예”입니다. 특히 OSWorld, 지식 작업, 에이전트 코딩 항목에서 두드러집니다.
다음으로 작업의 경계를 봅니다
더 큰 모델을 따라잡았습니까? 답은 작업에 따라 다릅니다. 일부 지식 작업과 컴퓨터 사용에서는 이미 Sonnet에 근접했지만, 복잡한 에이전트 코딩에서는 여전히 뚜렷한 격차가 있습니다.
마지막으로 단위 비용을 봅니다
쓸 가치가 있는지는 품질, 가격, 지연 시간, 실패 복구가 함께 만들어 내는 결과에 달려 있습니다. 벤치마크 점수만으로는 제품이 모델을 바꿔야 하는지 답할 수 없습니다.
최종 판단: Haiku 5.5의 “강함”은 대량으로 쓸 수 있다는 데 있습니다
Haiku 5.5가 Sonnet 5.5를 넘어섰느냐고만 묻는다면 답은 간단합니다. 아닙니다. 공식 데이터는 Sonnet 5.5가 지식 작업, 컴퓨터 사용, 종합 추론, 에이전트 코딩에서 여전히 우위에 있음을 이미 보여 줍니다.
Haiku 5.5가 Haiku 4.5보다 강하냐고만 묻는다면 답 역시 분명합니다. 그렇습니다. 게다가 향상 폭도 큽니다.
정말 논의할 가치가 있는 것은 세 번째 질문입니다. 프로덕션 시스템 안의 국소적인 작업을 대량으로 맡을 만큼 이미 강해졌습니까?
공식 성적과 가격을 보면, 이번에도 답은 “예”일 가능성이 높습니다.
Haiku 5.5의 가치는, 예전에는 중형 모델이 필요했지만 중형 모델의 가격을 치를 만큼은 아니었던 일련의 작업을 더 빠르고 저렴한 실행 계층으로 옮길 수 있다는 데 있습니다. 분류, 추출, 요약, 컨텍스트 압축, 짧은 브라우저 작업, 에이전트 하위 작업이 모두 Haiku 5.5의 주 무대가 될 수 있습니다.
이것은 새로운 “모델 순위 1위” 성적표가 아니라, 모델 간 분업에 관한 성적표입니다.
- Haiku 4.5는 소형 모델이 단순한 일을 저렴하게 처리할 수 있음을 증명했습니다.
- Haiku 5.5는 소형 모델이 도구와 여러 단계가 필요한 일의 일부도 맡을 수 있음을 증명하기 시작했습니다.
- Sonnet 5.5는 여전히 더 복잡한 계획, 코딩, 지식 작업을 담당합니다.
- Opus 5.5는 계속해서 장기적이고 난도가 높으며 실수의 대가가 큰 작업을 처리합니다.
모델 평가의 초점도 “누구의 점수가 가장 높은가”에서 “어떤 작업에 누구를 호출하는 것이 가장 가치 있는가”로 옮겨 가고 있습니다.
