Benchmarks, die noch trennen.

AA output speedOutput tokens per second

Nimm diesen Test, wenn · Wenn es um Streaming-Geschwindigkeit nach dem ersten Chunk geht — IDE-Gefühl, Chat-Responsivität, Batch-Durchsatz — nicht um Antwortqualität.

Sagt dir nicht · IDE- oder Chat-App-Latenz — nur First-Party-API-Routen, die AA als Default-Provider trackt.

195 Score-Zeilen · 1 Quelle · aktualisiert 2026-10-12

Artificial Analysis Long Context ReasoningAA-LCR

Nimm diesen Test, wenn · Long-Context-Research scheitert, wenn Modelle den Faden über entfernte Evidenz verlieren. AA-LCR ist eine der wenigen öffentlichen Suites, die Synthese über lange Inputs bewertet — nicht nur Retrieval-Trivia.

Sagt dir nicht · Retrieval aus externen Datenbanken — der Kontext liegt nur im Prompt.

184 Score-Zeilen · 1 Quelle · aktualisiert 2026-09-28

Omniscience AccuracyAA-Omniscience

Nimm diesen Test, wenn · Für quellenstarke Studierende ist die relevante Fehlerart die selbstsichere Falschantwort. AA-Omniscience ist die öffentliche Suite, die Abruf und Hallucination gemeinsam über Domänen bewertet, die in Papers tatsächlich vorkommen.

Sagt dir nicht · Open-Web-Recherche — die Fragen sind Closed-Book. Ein Modell, das suchen und zitieren sollte, wird hier nicht getestet.

12 Score-Zeilen · 1 Quelle · aktualisiert 2026-09-01

CritPtCritical Physics Tasks

Nimm diesen Test, wenn · Wenn GPQA und HLE nicht mehr sagen, ob ein Modell Forschungsphysik kann: originale, unveröffentlichte Aufgaben mit rate-resistenten Antworten, noch weit von der Decke (Frontier um 30 %).

Sagt dir nicht · Lehrbuch- oder Contest-Physik — die Aufgaben sind originale Forschungsmassstab-Tasks, keine recycelten Qualifying-Exam-Items.

12 Score-Zeilen · 1 Quelle · aktualisiert 2026-09-01

Nimm diesen Test, wenn · Wenn du Langhorizont-Softwarearbeit über mehrere Sprachen mit Verhaltens-Verifiers brauchst — härtere Kontaminationslage als klassisches SWE-bench Verified.

Sagt dir nicht · Kein Python-only-Issue-Fixing wie SWE-bench Verified — DeepSWE umfasst Go, Rust, TypeScript und mehr.

8 Score-Zeilen · 1 Quelle · aktualisiert 2026-08-04

Nimm diesen Test, wenn · Wenn MATH und AIME die Frontier nicht mehr trennen, ist das der lebende Mathe-Trenner: originale Expertenaufgaben, Python-fähig, noch weit von der Decke.

Sagt dir nicht · Tier-4-Forschungsprobleme — die 43-Aufgaben-Erweiterung ist ein separates, härteres Set. Tiers-1-3-Headlines nicht mit Tier 4 mischen.

15 Score-Zeilen · 1 Quelle · aktualisiert 2026-08-15

GPQA DiamondGraduate-Level Google-Proof Q&A

Nimm diesen Test, wenn · Nutze GPQA Diamond, wenn du nach leichteren Suites noch einen trennenden Frontier-Wissenschaftscheck brauchst. Behandle es als einen Reasoning-Beleg unter anderen — nützlich für Modellvergleiche, nicht als Auswahlliste für studentische Schreibtools.

Sagt dir nicht · Allgemeine Nützlichkeit — ein schmaler Ausschnitt der Spitzenwissenschaft, keine Alltagsaufgaben.

184 Score-Zeilen · 2 Quellen · aktualisiert 2026-09-28

Humanity's Last ExamHLE

Nimm diesen Test, wenn · Wenn du eine harte, fachübergreifende Expertenprüfung brauchst — von Mathe bis professionellem Recht und Medizin — als Closed-Book-Stresstest, nicht als Forschungsproduktivitäts-Proxy.

Sagt dir nicht · Echte Forschungsproduktivität — Prüfungsfragen erfassen nicht die unordentliche Such-und-Synthetisieren-Arbeit, die eine Forscher:in tatsächlich leistet.

186 Score-Zeilen · 1 Quelle · aktualisiert 2026-09-28

MMMU-ProMMMU Pro

Nimm diesen Test, wenn · Originales MMMU trennt die Frontier nicht mehr. MMMU-Pro ist die lebende multimodale Prüfung: Shortcuts entfernt, zehn Optionen, noch Spreizung unter der alten 88-%-Decke.

Sagt dir nicht · Originale MMMU-Headlines — die enthalten noch textlösbare Items. Eine 88-%-MMMU-Zeile ist keine MMMU-Pro-Zeile.

8 Score-Zeilen · 1 Quelle · aktualisiert 2026-09-01

SciCode

Nimm diesen Test, wenn · Wenn es um wissenschaftliches Programmieren mit Domänen-Bibliotheken und mehrstufigem numerischem Code geht — nicht um allgemeines SWE-Issue-Fixing.

Sagt dir nicht · Wet-Lab-Validierung — generierter Code wird nur gegen Referenztests bewertet.

97 Score-Zeilen · 1 Quelle · aktualisiert 2026-09-28

Terminal-BenchTerminal-Bench 2.1

Nimm diesen Test, wenn · Wenn du realistische containerisierte Terminal-Arbeit brauchst — Debug, Dateien, Befehle, Artefakte — als agentisches Ops-Signal. Diese Seite trackt AAs veröffentlichte 2.1-/Hard-Zeilen, nicht das v4.0-Slice im Index v4.3.

Sagt dir nicht · Nicht nur das Modell — Harness, Tools, Retries, Zeitlimits und Container-Setup können Werte stark verschieben.

167 Score-Zeilen · 2 Quellen · aktualisiert 2026-09-28

Nimm diesen Test, wenn · Für quellenstarke Studierende und Forscher:innen ist das der lebende Science-Agent-Trenner: echte Labor-Workflows, noch weit von der Decke (beste veröffentlichte 0.1-Zeile ist 30 %).

Sagt dir nicht · Nicht nur das Modell — jede veröffentlichte 0.1-Zeile nennt ein Agent-Harness (Claude Code, Codex, Grok Build). Die Harness-Wahl verschiebt den Wert.

9 Score-Zeilen · 1 Quelle · aktualisiert 2026-09-01