Monitor de degradação

Monitor de degradação v0.1

Medições brutas de um mesmo modelo em várias revendas: na mesma janela de tempo, todas as revendas respondem ao mesmo conjunto de sondas de identidade (data de corte do conhecimento, “a versão mais recente que você conhece” e outras), e registramos a concordância com as respostas de referência desse modelo, os tokens de entrada, os tokens de raciocínio e a impressão digital do modelo. Os números são publicados como estão, sem veredito.

Modelos: 14 · Rotas: 101
ModeloRevendaOrdenar
100% (90 respostas)109–24,2601,014DeepSeek V4.1 Flash—98.2%1.31 s¥2.59
100% (90 respostas)109–24,2601,014DeepSeek V4 Pro—99.0%1.35 s¥11.4
100% (90 respostas)109–24,2601,014GLM 5.3—98.5%0.96 s¥8.56
100% (90 respostas)109–24,2601,014Qwen 3.8 Max—98.0%1.06 s¥20.4
98% (90 respostas)109–24,2600Claude Haiku 5.5————
98% (90 respostas)100–161,34938GPT 6.1 Sol—98.7%0.87 s¥0.44
98% (90 respostas)—0Grok 4.7—98.3%5.11 s¥3.10
97% (90 respostas)52–24,260996Claude Fable 5.1—98.2%1.34 s¥4.38
97% (90 respostas)52–24,260996Claude Fable 5.1————
97% (90 respostas)52–24,260996Claude Fable 5.1————
97% (90 respostas)52–24,260996Claude Fable 5.1————
97% (90 respostas)52–24,260559Claude Opus 5.5—97.3%1.57 s¥1.75
97% (90 respostas)52–24,260559Claude Opus 5.5————
97% (90 respostas)52–24,260559Claude Opus 5.5————
97% (90 respostas)109–45,1080Claude Sonnet 5—97.7%1.77 s¥7.30
97% (90 respostas)109–45,1080Claude Sonnet 5—97.7%1.58 s¥9.20
97% (90 respostas)109–45,1080Claude Sonnet 5—97.2%1.29 s¥0.88
97% (90 respostas)109–45,1080Claude Sonnet 5————
97% (90 respostas)109–24,2600Claude Haiku 5.5—98.0%0.94 s—
97% (90 respostas)109–24,2600Claude Haiku 5.5————
97% (90 respostas)100–151,76939GPT 6 Astra—98.5%1.33 s¥2.19
97% (90 respostas)100–151,76939GPT 6 Astra————
97% (90 respostas)100–151,76939GPT 6 Astra————
97% (90 respostas)100–151,76939GPT 6 Astra————
97% (90 respostas)100–151,76939GPT 6 Astra————
97% (90 respostas)100–161,34938GPT 6.1 Sol————
97% (90 respostas)100–161,34938GPT 6.1 Sol————
97% (90 respostas)100–161,34938GPT 6.1 Sol————
97% (90 respostas)—0Grok 4.7————
97% (90 respostas)—0Kimi K3—98.0%1.16 s¥28.6
85% (20 respostas)101–22,95323GPT 6 Astra—100.0%9.76 s—
61% (18 respostas)116–402217Claude Opus 5.5—93.3%9.05 s—
44% (18 respostas)116–139243Claude Haiku 5.5—96.7%7.00 s—
39% (18 respostas)114–4110Claude Haiku 5.5—100.0%23.19 s—
69% (13 respostas)3,685–21,5900Gemini 3.8 Flash————
54% (28 respostas)121–1400Grok 4.7————
28% (18 respostas)239–7480Claude Haiku 5.5—77.4%19.67 s—
100% (54 respostas)456–69469Claude Opus 5.5————
100% (54 respostas)472–730178Claude Haiku 5.5————
100% (8 respostas)22,945–22,95638GPT 6 Astra—100.0%4.04 s¥3.30
96% (28 respostas)5,264–5,27929GPT 6 Astra————
89% (28 respostas)4,203–4,21827GPT 6 Astra—100.0%8.02 s—
89% (28 respostas)486–4,21235GPT 6 Astra————
89% (18 respostas)129–1550Claude Fable 5.1————
88% (8 respostas)22,945–22,95642GPT 6.1 Sol————
86% (28 respostas)93–4,21818GPT 6 Astra————
83% (18 respostas)127–1530Claude Sonnet 5—96.7%6.55 s—
83% (18 respostas)116–1390Claude Haiku 5.5————
82% (28 respostas)93–10836GPT 6 Astra—100.0%2.88 s—
82% (28 respostas)812–8280GPT 6.1 Sol—100.0%3.49 s¥15.4
82% (28 respostas)100–11638GPT 6.1 Sol————
79% (28 respostas)93–10833GPT 6 Astra—100.0%9.99 s¥2.04
79% (28 respostas)93–10834GPT 6.1 Sol————
72% (18 respostas)129–155537Claude Haiku 5.5—77.8%14.16 s—
68% (28 respostas)4,207–4,48016GPT 6.1 Sol—96.7%5.20 s—
68% (28 respostas)101–4,4840GPT 6 Astra—93.3%8.16 s¥11.9
61% (28 respostas)4,211–18,5630GPT 5.6 Terra————
56% (18 respostas)116–1390Claude Opus 5.5—83.3%12.04 s¥8.80
56% (18 respostas)114–1370Claude Haiku 5.5—77.8%9.30 s¥2.04
50% (18 respostas)2,025–10,7400Claude Haiku 5.5—79.3%21.85 s—
50% (18 respostas)127–153458Claude Sonnet 5—61.1%12.08 s—
44% (18 respostas)116–139170Claude Haiku 5.5—100.0%2.17 s—
44% (18 respostas)258–2,8600Claude Haiku 5.5—88.9%24.58 s¥2.04
44% (18 respostas)153–1680Claude Sonnet 5—100.0%3.97 s¥4.40
41% (17 respostas)116–1390Claude Haiku 5.5————
40% (5 respostas)137–1440Claude Opus 5.5—60.0%2.38 s¥4.77
39% (18 respostas)116–139208Claude Haiku 5.5—100.0%2.03 s—
33% (18 respostas)121–2390Claude Haiku 5.5—100.0%2.88 s¥4.40
28% (18 respostas)148–4630Claude Haiku 5.5—88.9%15.94 s¥2.04
Ainda não medido————100.0%23.19 s—
Ainda não medido————100.0%23.19 s—
Ainda não medido————100.0%8.85 s—
Ainda não medido————98.6%1.40 s¥3.29
Ainda não medido————98.2%0.91 s¥4.46
Ainda não medido————73.3%1.83 s—
Ainda não medido————100.0%2.27 s—
Ainda não medido————77.4%3.02 s¥4.40
Ainda não medido————100.0%3.52 s—
Ainda não medido————100.0%6.04 s—
Ainda não medido————100.0%2.45 s—
Ainda não medido————100.0%4.62 s¥2.38
Ainda não medido————100.0%7.18 s¥0.66
Ainda não medido————90.0%6.70 s—
Ainda não medido————86.7%4.67 s—
Ainda não medido————0.0%——
Ainda não medido————100.0%2.51 s—
Ainda não medido————100.0%3.63 s—
Ainda não medido————100.0%3.95 s—
Ainda não medido————100.0%4.17 s¥1.30
Ainda não medido————94.4%6.48 s—
Ainda não medido————89.7%6.03 s—
Ainda não medido————96.7%9.57 s—
Ainda não medido————88.9%6.48 s¥2.04
Ainda não medido————100.0%3.31 s—
Ainda não medido————100.0%4.88 s¥1.27
Ainda não medido————100.0%12.91 s—
Ainda não medido————96.7%10.99 s—
Ainda não medido————0.0%——
Ainda não medido————96.7%4.34 s—
Ainda não medido————88.9%5.53 s¥2.04
Ainda não medido————90.0%7.27 s—
SondasEm cada janela, todas as revendas de um modelo recebem o mesmo conjunto de sondas de identidade, reformuladas e marcadas com um identificador aleatório a cada vez, para evitar cache e manipulação direcionada
ComparaçãoCada resposta é reduzida a uma categoria curta e comparada com as respostas de referência do modelo obtidas em uma rota confiável
MediçõesConcordância das sondas, tokens de entrada, mediana dos tokens de raciocínio, impressão digital do modelo
PublicaçãoOs números brutos são publicados diretamente, com todas as revendas do mesmo modelo lado a lado

Perguntas frequentes

Como ler esses números?

As sondas fazem perguntas como “qual é a data de corte do seu conhecimento” ou “qual é o iPhone mais recente que você conhece”: modelos diferentes respondem de forma diferente, e um mesmo modelo responde de forma consistente. Concordância bem abaixo das outras revendas, tokens de entrada que não batem com os das demais ou uma impressão digital que não parece a do modelo merecem atenção. Números isolados oscilam; quanto mais respostas, mais confiáveis.

Por que olhar a contagem de tokens de entrada?

A mesma entrada enviada ao mesmo modelo deve sempre gerar exatamente a mesma contagem de tokens. Uma contagem diferente da das outras revendas geralmente indica outro modelo ou conteúdo extra adicionado à requisição.

Por que ainda não há dados?

O monitor de degradação ainda está sendo integrado. As primeiras medições vão aparecer aqui. A disponibilidade, o tempo até o primeiro token e o custo por sessão na tabela são medições ao vivo.

Qual a diferença em relação ao ranking geral?

O ranking geral cobre disponibilidade, velocidade e preço. O monitor de degradação mostra se cada revenda entrega o modelo verdadeiro. Por enquanto, ele não afeta os rankings.