Warum dieser Benchmark nützlich ist
Redaktionelle Einordnung ausstehendWir veröffentlichen zuerst Methodik und Ledger. Die benchmark-spezifische Analyse folgt nach der Desk-Prüfung.
Benchmarks / Coding
LiveCodeBench
Kontaminationsresistente Coding-Probleme aus aktuellen Contest-Releases — AA führt Modelle im öffentlichen Harness erneut aus.
CodingSolidAktivNiedriges KontaminationsrisikoSeit 2024
Was dieser Benchmark nicht misst
- Mehrdatei-Refactors oder IDE-Agent-Loops.
- Privater Codebase-Kontext — Aufgaben sind nur öffentliche Contest-Slices.
Abdeckung
- Aufgabenfamilie
- Coding
- Format
- Zeitgebundene Coding-Tasks mit öffentlichem Grader.
- Bewertung
- pass@1-Prozent aus AA-Läufen.
- Verantwortliche Stelle
- LiveCodeBench authors
So liest du die Scores
Die Lesehilfe steht noch aus. Nutze bis zur Desk-Einordnung Aufgabenformat, Bewertungsmethode und Quelldaten im Ledger.
Was er nicht abdeckt
- Mehrdatei-Refactors oder IDE-Agent-Loops.
- Privater Codebase-Kontext — Aufgaben sind nur öffentliche Contest-Slices.
Scores
13 ZeilenEvidenz-Ledger
1313 Zeilen
91.7%bester Score
13quellgeprüft
1Quellen
2026-07-21Quelldatum
Wo die Zeilen liegen
0255075100
Auf die Skala dieses Benchmarks normalisiert (0–100). Die Tabelle zeigt die Rohwerte.
Neueste Belege
- Gemini 3 Pro91.7% ·
- GPT-5.288.9% ·
- GPT-5.186.8% ·
- OpenAI o380.8% ·
- Gemini 3 Flash Preview79.7% ·
Scores nutzen die eigene Einheit und Skala dieses Benchmarks, keinen universellen Qualitätswert.
| # | Modell | Veröffentlichung | Score | Herkunft | Beleglage |
|---|---|---|---|---|---|
| 1 | Gemini 3 ProGoogle | 2025-11-18 | 91.7% | 2026-07-21 | Quelle geprüft |
| 2 | GPT-5.2OpenAI | 2025-12-11 | 88.9% | 2026-07-21 | Quelle geprüft |
| 3 | GPT-5.1OpenAI | 2025-11-13 | 86.8% | 2026-07-21 | Quelle geprüft |
| 4 | OpenAI o3OpenAI | 2025-04-16 | 80.8% | 2026-07-21 | Quelle geprüft |
| 5 | Gemini 3 Flash PreviewGoogle | 2025-12-17 | 79.7% | 2026-07-21 | Quelle geprüft |
| 6 | DeepSeek R1DeepSeek | 2025-01-20 | 77% | 2026-07-21 | Quelle geprüft |
| 7 | Claude Opus 4.5Anthropic | 2025-11-24 | 73.8% | 2026-07-21 | Quelle geprüft |
| 8 | OpenAI o1OpenAI | 2024-09-12 | 67.9% | 2026-07-21 | Quelle geprüft |
| 9 | Mistral Large 3Mistral | 2025-12-02 | 46.5% | 2026-07-21 | Quelle geprüft |
| 10 | Llama 4 MaverickMeta | 2026-04-05 | 39.7% | 2026-07-21 | Quelle geprüft |
| 11 | Llama 4 ScoutMeta | 2026-04-05 | 29.9% | 2026-07-21 | Quelle geprüft |
| 12 | Command ACohere | 2026-03-15 | 28.7% | 2026-07-21 | Quelle geprüft |
| 13 | Claude 3 OpusAnthropic | 2024-03-04 | 27.9% | 2026-07-21 | Quelle geprüft |
Was er abdeckt
Die Notiz zur Datenqualität steht aus. Jede Ledger-Zeile trägt weiterhin Quellen-URL, Quelldatum und Zeitpunkt des Einlesens.
Wo er an Grenzen stößt
Noch ist keine Obergrenze erfasst. Wenn sich Scores oben bündeln, kann der Benchmark Frontier-Modelle möglicherweise nicht mehr trennen.
Belege
Quellen und weiterführende Lektüre
- AA LiveCodeBench· geprüft 2026-06-10
The Pack · Redaktionsnewsletter
Neue Karten in dein Postfach. Kostenlos.
Eine kurze E-Mail, wenn eine Karte erscheint oder den Status wechselt. Kein Tracking, keine Drittanbieter-Analytics. Abmeldung mit einem Klick.