Degradations-Monitor

Degradations-Monitor v0.1

Rohe Messwerte für ein Modell über alle Relays hinweg: Im selben Zeitfenster beantwortet jedes Relay dieselben Identitäts-Prüffragen (Wissensstichtag, „die neueste Version, die Sie kennen“ und Ähnliches). Wir erfassen die Übereinstimmung mit den Referenzantworten dieses Modells, die Eingabe-Token, die Reasoning-Token und den Modell-Fingerabdruck. Die Werte werden unverändert und ohne Urteil veröffentlicht.

Modelle: 14, Routen: 101
ModellRelaySortieren
100% (Antworten: 90)109–24,2601,014DeepSeek V4.1 Flash—98.2%1.31 s¥2.59
100% (Antworten: 90)109–24,2601,014DeepSeek V4 Pro—99.0%1.35 s¥11.4
100% (Antworten: 90)109–24,2601,014GLM 5.3—98.5%0.96 s¥8.56
100% (Antworten: 90)109–24,2601,014Qwen 3.8 Max—98.0%1.06 s¥20.4
98% (Antworten: 90)109–24,2600Claude Haiku 5.5————
98% (Antworten: 90)100–161,34938GPT 6.1 Sol—98.7%0.87 s¥0.44
98% (Antworten: 90)—0Grok 4.7—98.3%5.11 s¥3.10
97% (Antworten: 90)52–24,260996Claude Fable 5.1—98.2%1.34 s¥4.38
97% (Antworten: 90)52–24,260996Claude Fable 5.1————
97% (Antworten: 90)52–24,260996Claude Fable 5.1————
97% (Antworten: 90)52–24,260996Claude Fable 5.1————
97% (Antworten: 90)52–24,260559Claude Opus 5.5—97.3%1.57 s¥1.75
97% (Antworten: 90)52–24,260559Claude Opus 5.5————
97% (Antworten: 90)52–24,260559Claude Opus 5.5————
97% (Antworten: 90)109–45,1080Claude Sonnet 5—97.7%1.77 s¥7.30
97% (Antworten: 90)109–45,1080Claude Sonnet 5—97.7%1.58 s¥9.20
97% (Antworten: 90)109–45,1080Claude Sonnet 5—97.2%1.29 s¥0.88
97% (Antworten: 90)109–45,1080Claude Sonnet 5————
97% (Antworten: 90)109–24,2600Claude Haiku 5.5—98.0%0.94 s—
97% (Antworten: 90)109–24,2600Claude Haiku 5.5————
97% (Antworten: 90)100–151,76939GPT 6 Astra—98.5%1.33 s¥2.19
97% (Antworten: 90)100–151,76939GPT 6 Astra————
97% (Antworten: 90)100–151,76939GPT 6 Astra————
97% (Antworten: 90)100–151,76939GPT 6 Astra————
97% (Antworten: 90)100–151,76939GPT 6 Astra————
97% (Antworten: 90)100–161,34938GPT 6.1 Sol————
97% (Antworten: 90)100–161,34938GPT 6.1 Sol————
97% (Antworten: 90)100–161,34938GPT 6.1 Sol————
97% (Antworten: 90)—0Grok 4.7————
97% (Antworten: 90)—0Kimi K3—98.0%1.16 s¥28.6
85% (Antworten: 20)101–22,95323GPT 6 Astra—100.0%9.76 s—
61% (Antworten: 18)116–402217Claude Opus 5.5—93.3%9.05 s—
44% (Antworten: 18)116–139243Claude Haiku 5.5—96.7%7.00 s—
39% (Antworten: 18)114–4110Claude Haiku 5.5—100.0%23.19 s—
69% (Antworten: 13)3,685–21,5900Gemini 3.8 Flash————
54% (Antworten: 28)121–1400Grok 4.7————
28% (Antworten: 18)239–7480Claude Haiku 5.5—77.4%19.67 s—
100% (Antworten: 54)456–69469Claude Opus 5.5————
100% (Antworten: 54)472–730178Claude Haiku 5.5————
100% (Antworten: 8)22,945–22,95638GPT 6 Astra—100.0%4.04 s¥3.30
96% (Antworten: 28)5,264–5,27929GPT 6 Astra————
89% (Antworten: 28)4,203–4,21827GPT 6 Astra—100.0%8.02 s—
89% (Antworten: 28)486–4,21235GPT 6 Astra————
89% (Antworten: 18)129–1550Claude Fable 5.1————
88% (Antworten: 8)22,945–22,95642GPT 6.1 Sol————
86% (Antworten: 28)93–4,21818GPT 6 Astra————
83% (Antworten: 18)127–1530Claude Sonnet 5—96.7%6.55 s—
83% (Antworten: 18)116–1390Claude Haiku 5.5————
82% (Antworten: 28)93–10836GPT 6 Astra—100.0%2.88 s—
82% (Antworten: 28)812–8280GPT 6.1 Sol—100.0%3.49 s¥15.4
82% (Antworten: 28)100–11638GPT 6.1 Sol————
79% (Antworten: 28)93–10833GPT 6 Astra—100.0%9.99 s¥2.04
79% (Antworten: 28)93–10834GPT 6.1 Sol————
72% (Antworten: 18)129–155537Claude Haiku 5.5—77.8%14.16 s—
68% (Antworten: 28)4,207–4,48016GPT 6.1 Sol—96.7%5.20 s—
68% (Antworten: 28)101–4,4840GPT 6 Astra—93.3%8.16 s¥11.9
61% (Antworten: 28)4,211–18,5630GPT 5.6 Terra————
56% (Antworten: 18)116–1390Claude Opus 5.5—83.3%12.04 s¥8.80
56% (Antworten: 18)114–1370Claude Haiku 5.5—77.8%9.30 s¥2.04
50% (Antworten: 18)2,025–10,7400Claude Haiku 5.5—79.3%21.85 s—
50% (Antworten: 18)127–153458Claude Sonnet 5—61.1%12.08 s—
44% (Antworten: 18)116–139170Claude Haiku 5.5—100.0%2.17 s—
44% (Antworten: 18)258–2,8600Claude Haiku 5.5—88.9%24.58 s¥2.04
44% (Antworten: 18)153–1680Claude Sonnet 5—100.0%3.97 s¥4.40
41% (Antworten: 17)116–1390Claude Haiku 5.5————
40% (Antworten: 5)137–1440Claude Opus 5.5—60.0%2.38 s¥4.77
39% (Antworten: 18)116–139208Claude Haiku 5.5—100.0%2.03 s—
33% (Antworten: 18)121–2390Claude Haiku 5.5—100.0%2.88 s¥4.40
28% (Antworten: 18)148–4630Claude Haiku 5.5—88.9%15.94 s¥2.04
Noch nicht gemessen————100.0%23.19 s—
Noch nicht gemessen————100.0%23.19 s—
Noch nicht gemessen————100.0%8.85 s—
Noch nicht gemessen————98.6%1.40 s¥3.29
Noch nicht gemessen————98.2%0.91 s¥4.46
Noch nicht gemessen————73.3%1.83 s—
Noch nicht gemessen————100.0%2.27 s—
Noch nicht gemessen————77.4%3.02 s¥4.40
Noch nicht gemessen————100.0%3.52 s—
Noch nicht gemessen————100.0%6.04 s—
Noch nicht gemessen————100.0%2.45 s—
Noch nicht gemessen————100.0%4.62 s¥2.38
Noch nicht gemessen————100.0%7.18 s¥0.66
Noch nicht gemessen————90.0%6.70 s—
Noch nicht gemessen————86.7%4.67 s—
Noch nicht gemessen————0.0%——
Noch nicht gemessen————100.0%2.51 s—
Noch nicht gemessen————100.0%3.63 s—
Noch nicht gemessen————100.0%3.95 s—
Noch nicht gemessen————100.0%4.17 s¥1.30
Noch nicht gemessen————94.4%6.48 s—
Noch nicht gemessen————89.7%6.03 s—
Noch nicht gemessen————96.7%9.57 s—
Noch nicht gemessen————88.9%6.48 s¥2.04
Noch nicht gemessen————100.0%3.31 s—
Noch nicht gemessen————100.0%4.88 s¥1.27
Noch nicht gemessen————100.0%12.91 s—
Noch nicht gemessen————96.7%10.99 s—
Noch nicht gemessen————0.0%——
Noch nicht gemessen————96.7%4.34 s—
Noch nicht gemessen————88.9%5.53 s¥2.04
Noch nicht gemessen————90.0%7.27 s—
PrüffragenIn jedem Zeitfenster erhält jedes Relay eines Modells dieselben Identitäts-Prüffragen – jedes Mal anders formuliert und mit einer zufälligen Kennung versehen, um Caches und gezielte Manipulation auszuschließen
AbgleichJede Antwort wird auf eine kurze Kategorie reduziert und mit den Referenzantworten des Modells von einer vertrauenswürdigen Route verglichen
MesswertePrüffragen-Übereinstimmung, Eingabe-Token, Median der Reasoning-Token, Modell-Fingerabdruck
VeröffentlichungRohwerte werden direkt veröffentlicht, alle Relays desselben Modells nebeneinander

Häufige Fragen

Wie sind diese Zahlen zu lesen?

Die Prüffragen lauten etwa „Wann ist Ihr Wissensstichtag?“ oder „Welches ist das neueste iPhone, das Sie kennen?“: Verschiedene Modelle antworten unterschiedlich, ein und dasselbe Modell antwortet konsistent. Eine Übereinstimmung deutlich unter der anderer Relays, Eingabe-Token, die nicht zu den anderen passen, oder ein Fingerabdruck, der nicht zum Modell passt, verdienen einen genaueren Blick. Einzelwerte schwanken; je mehr Antworten, desto verlässlicher.

Warum auf die Anzahl der Eingabe-Token achten?

Dieselbe Eingabe an dasselbe Modell sollte immer genau dieselbe Token-Anzahl ergeben. Weicht die Anzahl von anderen Relays ab, deutet das meist auf ein anderes Modell oder auf zusätzliche Inhalte in der Anfrage hin.

Warum gibt es noch keine Daten?

Der Degradations-Monitor wird noch angebunden. Die ersten Messwerte erscheinen hier. Verfügbarkeit, Zeit bis zum ersten Token und Session-Kosten in der Tabelle sind Live-Messwerte.

Worin unterscheidet sich das von der Gesamtrangliste?

Die Gesamtrangliste bewertet Verfügbarkeit, Geschwindigkeit und Preis. Der Degradations-Monitor zeigt, ob ein Relay tatsächlich das echte Modell ausliefert und nicht heimlich ein schwächeres. Auf die Ranglisten wirkt er sich vorerst nicht aus.