Uma janela longa responde primeiro se a solicitação cabe. O leitor costuma precisar de algo além: localizar informações, resolver conflitos e conectar evidências distantes. Aceitar mais tokens não garante realizar essas etapas.
Este artigo propõe avaliações com base em fontes verificadas em 2026-11-14. O Folkbench não consultou modelos nem mediu o comprimento efetivo de serviços. Os desenhos, limites de qualidade e exemplos abaixo são propostas editoriais.
Capacidade, recuperação e compreensão
Capacidade é o orçamento de entrada e saída permitido. Recuperação é encontrar um fato. Integração exige comparar, acompanhar relações, agregar ou concluir a partir de vários fatos. São capacidades relacionadas, mas não equivalentes.
Encontrar um número de pedido explicitamente escrito demonstra recuperação. Determinar o valor final usando pedido original, alterações e reembolsos também exige cronologia, regras aplicáveis e vínculos. Todos os arquivos podem caber e só alguns influenciarem a resposta.
É importante separar uma resposta ausente do material de uma resposta que o modelo não localizou. Reconhecer evidência insuficiente evita preencher lacunas com conhecimento geral plausível.
Três perspectivas complementares
Lost in the Middle estuda a posição da informação relevante em perguntas sobre vários documentos e recuperação de chaves e valores. Evidência apenas no início ou no fim pode não representar a entrada inteira. É um resultado histórico para modelos e tarefas específicos, não prova de que modelos novos sofram igualmente.
O RULER acrescenta rastreamento de várias etapas e agregação, controlando comprimento e complexidade. Ajuda a diagnosticar mudanças com entradas maiores, mas tarefas sintéticas não cobrem todo trabalho documental.
O LongBench v2 reúne 503 questões de múltipla escolha em seis categorias: documento único, múltiplos documentos, aprendizado em contexto longo, histórico de conversa, repositórios e dados estruturados. O intervalo descrito é de 8k a 2M palavras, não tokens. Múltipla escolha facilita a correção, mas não equivale a entregar um relatório completo e utilizável.
Esses estudos orientam desenhos complementares; não justificam juntar pontuações de anos e protocolos diferentes em um ranking novo.
Uma matriz de comprimento, posição e tarefa
Escolha primeiro o trabalho e depois as faixas de comprimento. Cada faixa deve incluir evidência no início, no meio, no fim e distribuída. Mover evidências precisa preservar sentido e referências, sem tornar uma cronologia clara ambígua.
| Tarefa | Observação | Variáveis controladas |
|---|---|---|
| Recuperar um fato | Encontrar o correto | Posição e distratores semelhantes |
| Recuperar vários | Encontrar todos | Quantidade e duplicações |
| Rastrear várias etapas | Ligar relações corretas | Etapas e distância |
| Agregar | Produzir estatística completa | Escala e regras de contagem ou deduplicação |
| Julgar entre documentos | Usar evidência e versão corretas | Conflitos, tempo e prioridade de fontes |
| Evidência ausente | Admitir que não é possível determinar | Dificuldade comparável a itens respondíveis |
Ao aumentar o comprimento, preserve inicialmente a tarefa central e acrescente material controlado. Isso mostra o efeito da distração adicional. Documentos naturais também podem conter mais fatos interligados; inclua tarefas reais separadas, sem equiparar preenchimento extra a toda compreensão de textos longos.
Mesmo material é mais justo que a mesma etiqueta de tokens
Tokenizadores dividem o mesmo documento de formas diferentes. Priorize material idêntico e informe palavras ou caracteres junto com os tokens de cada modelo. Para testar limites próprios, faça outro experimento controlado por tokens e declare que as entradas já não são idênticas.
Reserve espaço para instruções e saída. Registre formato, processamento de tabelas e imagens, truncamento e localização. Entrada acima do limite deve ser marcada como não suportada ou tratada conforme a falha prevista. Apagar texto silenciosamente não equivale a testar o documento completo.
Se comparar apenas um subconjunto aceito por todos, divulgue quantidade e tipo das tarefas excluídas. Remover itens difíceis pode favorecer artificialmente uma janela menor.
Separar contexto nativo e recuperação aumentada
Um sistema com recuperação escolhe trechos antes de enviá-los ao modelo; o contexto nativo fornece material mais completo diretamente. Ambos podem ser úteis, mas são objetos diferentes. Divisão em trechos, índice, ordenação e quantidade de passagens alteram resultados.
Informe sucesso de ponta a ponta e cobertura das evidências recuperadas. Se os fatos corretos nunca chegam ao modelo, não atribua tudo ao raciocínio. Se chegam completos e a resposta está errada, investigue integração e geração.
Uma condição diagnóstica pode fornecer trechos relevantes verificados por pessoas para localizar problemas de recuperação. Ela não representa o sistema normal de produção e não deve disputar posição com fluxos completos. Serve para explicar diferenças, não inflar a pontuação principal.
Comprimento efetivo exige tarefa e limite de qualidade
Não é uma propriedade física independente da tarefa. Um modelo pode localizar um fato em uma entrada enorme e não conciliar cláusulas conflitantes numa menor. Aplicações também exigem níveis diferentes de acurácia.
Declare antes o patamar aceitável e mostre desempenho e incerteza por faixa. Se publicar um limite, especifique tarefas, orçamento e critério, conferindo se faixas menores também passam. A maior faixa testada que atende ao critério não prova que toda entrada maior falhe.
Perguntas do mesmo documento compartilham estrutura. Trate essa dependência por documento ou grupo. Conforme a análise das barras de erro, diferenças pareadas e intervalos de 95% são mais informativos que uma média. Sinalize faixas com poucas amostras, sem suavizar curvas para sugerir certeza.
Relatar falhas e custo de uso
Falhas observáveis incluem entrega incompleta, evidência ignorada, confusão de fatos semelhantes, versões antigas, relações incorretas entre trechos e respostas inventadas quando falta informação. Registrar somente erro perde diagnóstico. Essas categorias descrevem comportamento, não mecanismos internos comprovados.
A abordagem de múltiplas métricas do HELM também se aplica. Registre acurácia, tempo de processamento e da resposta completa, custo total, novas tentativas e condições de cache. Separe cache frio e quente. Uma janela maior que encarece muito cada tarefa pode não atender a todo fluxo.
O resultado deve mapear limites: quais tarefas permanecem estáveis, em quais comprimentos e posições, a que custo e como o sistema reage à falta de evidência. Isso ajuda a organizar entradas e escolher configurações, em vez de comparar apenas o maior número da página comercial. Veja [a confiabilidade dos rankings](/pt/blog/llm-benchmark-rankings-contamination/).
