긴 컨텍스트는 어디까지 유효할까? 검색에서 문서 간 추론까지

긴 컨텍스트 창은 먼저 요청이 들어가는지를 답합니다. 실제로는 관련 정보를 찾고, 충돌을 해결하고, 멀리 떨어진 증거를 연결하는 능력이 중요합니다. 더 많은 토큰을 받는다고 이 과정이 보장되지는 않습니다.

이 글은 2026-11-14에 확인한 논문으로 평가안을 제시합니다. Folkbench는 모델을 호출하거나 서비스의 유효 길이를 측정하지 않았습니다. 실험, 기준값, 예시는 편집상의 제안입니다.

용량, 검색, 이해 구분하기

용량은 허용되는 입력·출력 예산입니다. 검색은 특정 사실을 찾고, 통합은 여러 사실을 비교·추적·집계하거나 판단합니다. 관련은 있지만 서로 같은 능력이 아닙니다.

명시된 주문 번호를 찾으면 검색에 성공한 것입니다. 원주문, 변경, 환불로 최종 결제액을 정하려면 시간 순서, 규칙, 연결 관계도 알아야 합니다. 모든 파일이 창에 들어가도 답변에 일부만 반영될 수 있습니다.

자료에 답이 없는 경우와 모델이 못 찾은 경우도 구분합니다. 증거 부족을 인식하면 그럴듯한 일반 지식으로 누락된 사실을 채우는 일을 줄일 수 있습니다.

상호 보완적인 세 논문

Lost in the Middle은 여러 문서의 질의응답과 키-값 검색에서 정보 위치의 영향을 조사합니다. 증거를 시작이나 끝에만 두면 전체 입력 성능을 대표하지 못할 수 있습니다. 특정 모델의 과거 관찰이며 모든 새 모델에 동일한 문제가 있다는 증거는 아닙니다.

RULER는 길이와 복잡도를 통제하며 여러 단계 추적과 집계를 추가합니다. 진단에는 유용하지만 합성 과제가 모든 실제 문서 업무를 포괄하지는 못합니다.

LongBench v2는 503개 객관식 문제로 단일 문서, 여러 문서, 긴 컨텍스트 내 학습, 대화 이력, 코드 저장소, 구조화 데이터의 여섯 유형을 다룹니다. 범위는 8k부터 2M 단어이지 토큰이 아닙니다. 객관식은 채점을 일관되게 하지만 완전하고 유용한 보고서 작성과 같지 않습니다.

세 연구는 평가 설계를 보완합니다. 시기와 절차가 다른 점수를 합쳐 새 순위를 만드는 근거는 아닙니다.

길이·위치·과제의 실험 행렬

필요한 업무를 먼저 정하고 길이 구간을 만듭니다. 구간마다 앞, 중간, 뒤와 여러 곳에 분산된 증거를 포함합니다. 위치를 옮겨도 의미와 참조를 보존하고 명확한 시간 순서를 모호하게 만들지 않아야 합니다.

길이를 늘릴 때는 핵심 과제를 유지하고 통제된 자료를 더해 방해의 영향을 봅니다. 자연스러운 긴 문서는 연결된 사실 자체도 늘 수 있으므로 실제 과제 집합을 별도로 넣어야 합니다. 채움용 글을 늘리는 것이 전체 이해 능력은 아닙니다.

같은 토큰 표시보다 같은 자료

토크나이저마다 동일 문서의 토큰 수가 다릅니다. 모델 간에는 같은 자료를 우선하고 단어·문자 수와 모델별 토큰 수를 함께 기록합니다. 각 모델 용량 한계를 보는 별도 실험은 토큰 수를 맞출 수 있지만 동일 입력은 아니라고 밝혀야 합니다.

시스템 지시와 출력 공간을 남겨 두고 형식, 표·이미지 처리, 잘림 여부와 위치를 기록합니다. 한도 초과는 미지원 또는 사전에 정의한 실패로 표시합니다. 조용히 본문을 삭제하면 전체 문서를 평가한 것이 아닙니다.

모든 모델이 받는 공통 부분만 비교한다면 제외한 과제의 수와 종류를 공개합니다. 어려운 문항 제거로 짧은 창 모델이 유리해 보이는 일을 방지합니다.

직접 긴 입력과 검색 증강 분리하기

검색 증강은 일부 구절을 먼저 선택하고, 직접 긴 입력은 더 완전한 자료를 모델에 전달합니다. 모두 유용할 수 있지만 측정 대상이 다릅니다. 분할, 색인, 검색 순위, 반환 구절 수가 결과에 영향을 줍니다.

전체 과정 성공률과 검색 단계 증거 포함률을 함께 보고합니다. 필요한 사실이 모델에 도달하지 않았다면 추론만 탓할 수 없습니다. 증거가 충분한데 틀리면 통합과 생성 과정을 분석합니다.

사람이 확인한 관련 구절을 주는 진단 조건으로 검색 병목을 찾을 수 있습니다. 이는 정상 운영 성적이 아니며 다른 시스템의 전체 과정 점수와 섞어 순위를 매기면 안 됩니다. 목적은 차이 설명이지 주 점수 향상이 아닙니다.

유효 길이는 과제와 기준에 달려 있다

유효 길이는 과제와 무관한 물리 상수가 아닙니다. 긴 입력에서 사실 하나를 찾지만 짧은 자료의 상충 조항은 해결하지 못할 수 있습니다. 응용별 요구 정확도도 다릅니다.

허용 품질을 먼저 선언하고 길이별 점수와 불확실성을 보여 줍니다. 하나의 상한을 발표한다면 과제, 예산, 기준을 명시하고 짧은 구간도 충족하는지 확인합니다. 측정한 최장 통과 구간이 더 긴 입력의 필연적 실패를 증명하지는 않습니다.

같은 문서의 질문은 구조를 공유합니다. 문서나 과제 그룹 수준에서 의존성을 처리합니다. 평가 오차 구간 연구에 따라 대응 차이와 95% 구간을 제시하면 평균만 있는 것보다 유익합니다. 적은 표본은 표시하고 매끈한 곡선으로 확실성을 연출하지 않습니다.

오류 유형과 비용 포함하기

관찰되는 오류에는 불완전한 입력 전달, 증거 누락, 유사 사실 혼동, 오래된 버전 사용, 구절 간 관계 오류, 자료 부족 시 지어낸 답변이 있습니다. 오답만 기록하면 진단 정보를 잃습니다. 다만 이 분류는 행동 설명이지 입증된 내부 기제는 아닙니다.

HELM의 다중 지표 접근을 따라 정확도, 입력 처리와 전체 응답 시간, 총비용, 재시도, 캐시 조건을 기록합니다. 콜드 캐시와 웜 캐시는 구분합니다. 긴 창이 비용을 크게 늘리면 모든 업무에 적합하지 않을 수 있습니다.

결과는 안정적인 과제와 길이, 놓치기 쉬운 위치, 비용, 증거 부족 대응이라는 능력 경계를 보여 줘야 합니다. 제품 소개의 최대 숫자보다 입력 구성과 설정 선택에 도움이 됩니다. 공통 요건은 [모델 순위의 신뢰성](/ko/blog/llm-benchmark-rankings-contamination/)을 참고하세요.