GPT-6.2 Astra und Claude Fable 5.2 erreichten bei Epoch AI jeweils 174 Punkte im Epoch Capabilities Index. Bei offenen Aufgaben aus der Arbeit derselben Organisation kam Astra im Mittel auf 65%, Fable 5.2 auf 82%. GPT-6.2 Sol wiederum lag in zwei Softwaretests nahe an Astra. Die Terminal-Aufgaben kosteten mit Sol insgesamt rund ein Fünftel so viel. Diese Ergebnisse betreffen unterschiedliche Fähigkeiten. Ein Modell kann ein schwieriges Problem lösen, ein prüfbares Ergebnis abliefern und trotzdem Mühe haben, selbst die richtige Forschungsfrage zu wählen. Epoch-Modellprofil · Epoch-Arbeitsaufgaben · Terminal-Bench 4.0

OpenAI veröffentlichte beide Modelle am 17. November 2026. Folkbench analysiert die am 18. November öffentlich zugänglichen Ergebnisse. Die Messwerte stammen von den jeweiligen Prüfstellen, die Spezifikationen und Herstellerangaben von OpenAI. Folkbench hat die Modelle für diesen Artikel nicht erneut getestet. OpenAI-Ankündigung

Evaluation und KonfigurationGPT-6.2 AstraGPT-6.2 Sol
Artificial Analysis Intelligence Index v5.0.1, max6257
ARC-AGI-2, max95.8%85.8%
ARC-AGI-3, Standardumgebung, max70.3%54.9%
Terminal-Bench 4.0, Codex, max62.1% ± 2.3%61.5% ± 2.8%
Epoch Automation Reports, Codex65%Nicht evaluiert

Artificial Analysis · ARC Prize · Terminal-Bench · Epoch Automation Reports

Abstraktion und der Einfluss des Zustands

Die 62 im Index von Artificial Analysis liegen 5 Punkte über dem früheren Astra und unter Fable 5.2 mit 65. Sol erreicht den Wert des früheren Astra von 57 bei etwa 15% der gewichteten Modellkosten pro Aufgabe. Epoch verwendet eine eigene Skala. Ein bayessches Item-Response-Modell schätzt unter anderem Aufgabenschwierigkeit und Trennschärfe. Für konkrete Arbeiten zählt, welche Aufgaben und Ausführungsbedingungen in den zugrunde liegenden Tests vorkommen. Artificial Analysis · ECI-Methodik

In ARC-AGI-2 erkennt das Modell Regeln aus Rasterbeispielen. Bei max liegt Astra 10.0 Prozentpunkte vor Sol. In der Standardumgebung von ARC-AGI-3, die Lernen aus Aktionsfeedback verlangt, sind es 15.4 Punkte. In der öffentlichen Demonstration trägt die Standardumgebung vom Modell gewählte Notizen weiter. Der Provider Adapter bewahrt zusätzlich undurchsichtigen Schlussfolgerungszustand über Anfragen hinweg und komprimiert lange Interaktionen. Dort erzielen Astra und Sol bei max 99.8% und 98.2%. Astras 100.0% bei xhigh im Adapter entsprechen 56.5% in der Standardumgebung derselben Stufe. Die technische Weitergabe früherer Versuche und verworfener Hypothesen beeinflusst also auch den Abstand der Modelle. Verifizierte ARC-Ergebnisse

Softwareentwicklung und professionelle Arbeit

In Terminal-Bench 4.0 beträgt der Abstand in Codex bei max 0.6 Prozentpunkte, bei starker Überlappung der publizierten Intervalle. Der Durchlauf der Suite ist mit rund 1.400 US-Dollar für Astra und 300 US-Dollar für Sol ausgewiesen. FrontierCode 2.0 prüft mit 132 von Maintainern formulierten Aufgaben, ob Änderungen korrekt, hinreichend getestet und im vorgesehenen Umfang bleiben. OpenAI berichtet einen Abstand innerhalb von 0.5 Prozentpunkten bei max und für Sol etwa ein Fünftel der Kosten. Im Coding Agent Index von Artificial Analysis hält Astra den Vorgängerwert, während Sol 3 Punkte gegenüber GPT-6.1 Sol verliert. Die Repository-Fragen in SWE-Atlas-QnA-AA fallen um 14 Punkte, unter anderem wegen ausgelassener Fakten. Ein brauchbarer Patch und eine vollständige Erklärung des vorhandenen Codes stellen unterschiedliche Anforderungen. Terminal-Bench · Cognition · OpenAI · Artificial Analysis

OpenAI meldet in Agents’ Last Exam einen Vorsprung von 5.5 Punkten vor Fable 5.2 bei 5% der angegebenen Kosten. Neun Aufgaben mit Fables Ausweichmodell sind ausgenommen. Epochs manuelle Bewertung kehrt die Reihenfolge um 17 Prozentpunkte um. Astra übertrifft dort die 56% des früheren Astra. Die Stichprobe ist klein, je Modell und Aufgabe gab es einen Lauf, und die Agentenumgebungen unterscheiden sich. Bei der Delegation von Berichten verdienen Zielgruppe, Belegauswahl und Qualität der Überarbeitung eigene Bewertungskriterien. OpenAI · Epoch-Methodik und Einschränkungen

Was die Wissenschaftstests aussagen

Astra liegt in HLE-Diamond und im schweren Physik-Teil von CritPt v2 in der Startauswertung jeweils hinter Fable 5.2 und vor den übrigen verglichenen Systemen. AA-Omniscience meldet bei max 59% für Astra und 55% für Sol als Halluzinationsrate. Im Zähler stehen falsche Antworten, im Nenner falsche, teilweise richtige und ausgelassene Antworten. Das ist eine Aussage über Antworten unter Unsicherheit. Literaturverweise brauchen eine eigene Prüfung. Artificial Analysis · AA-Omniscience-Definition

Epoch zeigt für FrontierMath Tier 4 v2 100% für Astra und 98% für den Vorgänger, jeweils in der veröffentlichten Genauigkeit. Für FrontierMath Erdős stehen 10% und 3%. Die 68 Probleme waren bei Einrichtung des Benchmarks offen. Lean prüft die formalen Beweise oder Widerlegungen. Ob der formale Satz die ursprüngliche Frage getreu erfasst und einen neuen Beitrag liefert, bleibt davon unterscheidbar. Epoch-Modellergebnisse · FrontierMath Erdős

In Terminal-Bench-Science 0.1 mit 70 überprüfbaren Forschungsaufgaben erreicht Astra 78.6% bei xhigh und 78.1% bei max. Beim offenen Versuchsdesign in Epochs Test benannte Astra hingegen hauptsächlich Schachfiguren um, statt unbekannte Spielregeln einzuführen. So eignete sich der Entwurf kaum zum beabsichtigten Generalisierungstest. Epoch beobachtete auch seltene Überarbeitung nach dem ersten Versuch. OpenAIs Systemkarte ordnet Astra hinsichtlich KI-Selbstverbesserung in High ein und Sol darunter. Die Einstufung bezieht sich auf eine bestimmte KI-Forschungsumgebung. Terminal-Bench-Science · Epoch-Fallstudie · OpenAI-Systemkarte

Kosten pro abgenommenem Ergebnis

Beide Modelle haben 1.050.000 Kontexttokens, maximal 922.000 Eingabe- und 128.000 Ausgabetokens. Pro Million Tokens in kurzen Standardanfragen stehen Eingabe, Cache-Lesen und Ausgabe bei Astra bei 8 / 0.40 / 40 US-Dollar, bei Sol bei 2 / 0.10 / 10 US-Dollar. Über 272K Eingabetokens verdoppeln sich Eingabe und Cache, und die Ausgabe kostet 1.5× für die gesamte Anfrage. Bei 100.000 ungecachten Eingabe- und 10.000 fakturierten Ausgabetokens kostet Astra 1.20 US-Dollar, Sol 0.30 US-Dollar, vor Werkzeugen und Cache-Schreibvorgängen. Bei festen Kosten im Verhältnis 1:4 ist ein Sol-Erstversuch mit einem Astra-Nachlauf günstiger, wenn weniger als 75% eskalieren. Entscheidend sind zusätzlich Abnahmequote, Latenz und Aufwand der Kontrolle. Sol ist für prüfbare Routineaufgaben gut belegt, Astra für schwierige formale Ableitungen und das Erkennen unvertrauter Regeln. Offene Forschung braucht bei beiden einen überprüfbaren Beleg und ein tragfähiges Versuchsdesign. Astra-API · Sol-API