Warum dieser Benchmark nützlich ist
Long Context ist heute ein Produktversprechen fast jedes Frontier-Modells. LongBench v2 trennt Fenstergröße von echter Langkontext-Schlussfolgerung.
LongBench v2
LongBench 2
Ob Long-Context-Modelle über lange, realistische Inputs schlussfolgern können, statt nur ein großes Tokenfenster anzunehmen.
Was dieser Benchmark nicht misst
- Keine Retrieval-Qualität — der Benchmark testet Modellnutzung bereitgestellten Kontexts, nicht ob dein Suchsystem die richtigen Dokumente gefunden hat.
- Nicht jede Langdokument-Aufgabe — Legal Review, Literature Review, Codebase-Navigation und Meeting-Analyse scheitern unterschiedlich.
- Kein garantiert nutzbares Kontextfenster — beworbene Tokenlimits können bei realen Prompts schon vorher degradieren.
Abdeckung
- Aufgabenfamilie
- Langer Kontext
- Format
- Langdokument- und Langkontext-Reasoning-Aufgaben mit Leaderboard-Settings für no-CoT- und CoT-Evaluation.
- Bewertung
- Accuracy-artiges Aggregat je Evaluationssetting. Nur innerhalb desselben Settings vergleichen.
- Verantwortliche Stelle
- LongBench team
So liest du die Scores
Werte immer neben Kontextlänge, Prompt-Setting und CoT-Erlaubnis lesen. Dasselbe Modell kann sich bewegen, wenn sich das Reasoning-Setup ändert.
Was er nicht abdeckt
- Keine Retrieval-Qualität — der Benchmark testet Modellnutzung bereitgestellten Kontexts, nicht ob dein Suchsystem die richtigen Dokumente gefunden hat.
- Nicht jede Langdokument-Aufgabe — Legal Review, Literature Review, Codebase-Navigation und Meeting-Analyse scheitern unterschiedlich.
- Kein garantiert nutzbares Kontextfenster — beworbene Tokenlimits können bei realen Prompts schon vorher degradieren.
Scores
19 ZeilenEvidenz-Ledger
1919 Zeilen
58.4%bester Score
0quellgeprüft
1Quellen
2026-04-01Quelldatum
Wo die Zeilen liegen
0255075100
Auf die Skala dieses Benchmarks normalisiert (0–100). Die Tabelle zeigt die Rohwerte.
Neueste Belege
- Claude Opus 4.858.4% · LongBench v2 leaderboard
- Llama 4 Scout57.2% · LongBench v2 leaderboard
- GPT 5.556.1% · LongBench v2 leaderboard
- Gemini 3.1 Pro55.4% · LongBench v2 leaderboard
- Gemini 2.0 Ultra54.8% · LongBench v2 leaderboard
Scores nutzen die eigene Einheit und Skala dieses Benchmarks, keinen universellen Qualitätswert.
| # | Modell | Veröffentlichung | Score | Herkunft | Beleglage |
|---|---|---|---|---|---|
| 1 | Claude Opus 4.8AnthropicNo-CoT setting. CoT evaluation shows different results — read both. | 2026-05-28 | 58.4% | LongBench v2 leaderboard2026-04-01 | Prüfung nötig |
| 2 | Llama 4 ScoutMeta10M context variant — strong on retrieval-heavy document tasks. | 2026-04-05 | 57.2% | LongBench v2 leaderboard2026-04-01 | Prüfung nötig |
| 3 | GPT 5.5OpenAI | 2026-04-23 | 56.1% | LongBench v2 leaderboard2026-04-01 | Prüfung nötig |
| 4 | Gemini 3.1 ProGoogle | 2026-02-19 | 55.4% | LongBench v2 leaderboard2026-04-01 | Prüfung nötig |
| 5 | Gemini 2.0 UltraGoogle | 2024-12-11 | 54.8% | LongBench v2 leaderboard2026-04-01 | Prüfung nötig |
| 6 | GPT 5.4OpenAI | 2026-03-05 | 54.2% | LongBench v2 leaderboard2026-04-01 | Prüfung nötig |
| 7 | Gemini 3.5 FlashGoogle | 2026-05-19 | 53.8% | LongBench v2 leaderboard2026-04-01 | Prüfung nötig |
| 8 | Claude Sonnet 4.6Anthropic | 2026-02-17 | 52.6% | LongBench v2 leaderboard2026-04-01 | Prüfung nötig |
| 9 | Gemini 3 Flash PreviewGoogle | 2025-12-17 | 51.4% | LongBench v2 leaderboard2026-04-01 | Prüfung nötig |
| 10 | o3OpenAIReasoning models show mixed results on retrieval-heavy long-context tasks. | 2025-04-16 | 51.2% | LongBench v2 leaderboard2026-04-01 | Prüfung nötig |
| 11 | Mistral Large 3Mistral | 2025-12-02 | 50.8% | LongBench v2 leaderboard2026-04-01 | Prüfung nötig |
| 12 | Llama 4 MaverickMeta | 2026-04-05 | 49.8% | LongBench v2 leaderboard2026-04-01 | Prüfung nötig |
| 13 | Kimi K2.6Moonshot | 2026-04-20 | 49.1% | LongBench v2 leaderboard2026-04-01 | Prüfung nötig |
| 14 | DeepSeek V4DeepSeek | 2026-04-24 | 48.6% | LongBench v2 leaderboard2026-04-01 | Prüfung nötig |
| 15 | Kimi K2.5Moonshot | 2026-01-27 | 48.2% | LongBench v2 leaderboard2026-04-01 | Prüfung nötig |
| 16 | Qwen 3.7 MaxAlibaba | 2026-05-20 | 47.8% | LongBench v2 leaderboard2026-04-01 | Prüfung nötig |
| 17 | Grok 4.3xAI | 2026-04-30 | 46.2% | LongBench v2 leaderboard2026-04-01 | Prüfung nötig |
| 18 | MiniMax M3MiniMax | 2026-05-31 | 45.6% | LongBench v2 leaderboard2026-04-01 | Prüfung nötig |
| 19 | Claude Haiku 4.5Anthropic | 2025-10-01 | 44.8% | LongBench v2 leaderboard2026-04-01 | Prüfung nötig |
Was er abdeckt
Primärquelle ist das LongBench-v2-Leaderboard. VerdictPal sollte das no-CoT-/CoT-Setting in jeder Zeile erhalten.
Wo er an Grenzen stößt
Ein guter LongBench-Wert beweist keine Citation Fidelity, keine Quellenwahl und keinen datenschutzsicheren Dokumentenumgang.
Tools, die ihn ausweisen
Belege
Quellen und weiterführende Lektüre
- LongBench-v2-Leaderboard· geprüft 2026-06-03
- LongBench-v2-Paper· geprüft 2026-06-03
- Leaderboard
Fragen zu diesem Benchmark
Jede Antwort unten stammt aus den datierten Feldern dieser Seite. Nichts davon ist zusätzlich für Suchmaschinen geschrieben.
Was misst LongBench v2?
Ob Long-Context-Modelle über lange, realistische Inputs schlussfolgern können, statt nur ein großes Tokenfenster anzunehmen.
Was beweist ein hoher LongBench v2-Wert nicht?
Ein starkes LongBench v2-Ergebnis sagt nichts aus über:
- Keine Retrieval-Qualität — der Benchmark testet Modellnutzung bereitgestellten Kontexts, nicht ob dein Suchsystem die richtigen Dokumente gefunden hat.
- Nicht jede Langdokument-Aufgabe — Legal Review, Literature Review, Codebase-Navigation und Meeting-Analyse scheitern unterschiedlich.
- Kein garantiert nutzbares Kontextfenster — beworbene Tokenlimits können bei realen Prompts schon vorher degradieren.
Wie wird LongBench v2 bewertet?
Accuracy-artiges Aggregat je Evaluationssetting. Nur innerhalb desselben Settings vergleichen. Aufgabenformat: Langdokument- und Langkontext-Reasoning-Aufgaben mit Leaderboard-Settings für no-CoT- und CoT-Evaluation.
Ist LongBench v2 gesättigt?
LongBench v2 ist im Atlas derzeit als Aktiv markiert.
Können LongBench v2-Ergebnisse durch Trainingsdaten verunreinigt sein?
Das Kontaminationsrisiko für LongBench v2 ist als Kontamination mittel eingestuft. Behandle jede Zeile auf dieser Seite als öffentliche Angabe mit Quelle und Datum, nicht als kontrolliertes Experiment.
The Pack · Redaktionsnewsletter
Neue Tools in dein Postfach. Kostenlos.
Eine kurze E-Mail, wenn ein Tool erscheint oder den Status wechselt. Kein Tracking, keine Drittanbieter-Analytics. Abmeldung mit einem Klick.