Warum dieser Benchmark nützlich ist
Er fordert Abstraktion und mehrstufiges Schlussfolgern. So erkennst du Modelle, die ein Problem zusammenhalten, auch wenn der Prompt nicht wie eine bekannte Prüfungsfrage aussieht.
Benchmarks / Reasoning
IFBench
Instruction-Following Benchmark
Präzises Instruction-Following bei neuen Constraints — testet, ob Modelle komplexe, ungesehene Formatregeln ohne Abdriften befolgen.
Was dieser Benchmark nicht misst
- Frontier-Trennung heute — Artificial Analysis entfernte IFBench aus dem Intelligence Index v4.1, weil Frontier-Modelle ihn sättigten.
- Faktische Genauigkeit — eine perfekt formatierte falsche Antwort scored trotzdem.
- Echte Nutzeraufgaben — synthetische Constraint-Tests, keine Produktions-Workflows.
Abdeckung
- Aufgabenfamilie
- Reasoning
- Format
- Neue Instruction-Following-Aufgaben mit strikten Output-Constraints; Genauigkeit auf ungesehenen Regelsets.
- Bewertung
- Constraint-Satisfaction-Genauigkeit. AA veröffentlicht weiterhin Ergebnisse, gewichtet IFBench aber nicht mehr im Composite-Index.
- Verantwortliche Stelle
- Artificial Analysis
So liest du die Scores
Lies IFBench als ausgedient Signal mit mittleres kontaminationsrisiko. Vergleiche Modelle nur, wenn Quelle, Testumgebung, Prompting, Sampling und Score-Einheit übereinstimmen.
Was er nicht abdeckt
- Frontier-Trennung heute — Artificial Analysis entfernte IFBench aus dem Intelligence Index v4.1, weil Frontier-Modelle ihn sättigten.
- Faktische Genauigkeit — eine perfekt formatierte falsche Antwort scored trotzdem.
- Echte Nutzeraufgaben — synthetische Constraint-Tests, keine Produktions-Workflows.
Scores
57 ZeilenEvidenz-Ledger
5757 Zeilen
82.86%bester Score
57quellgeprüft
1Quellen
2026-07-21Quelldatum
Wo die Zeilen liegen
0255075100
Auf die Skala dieses Benchmarks normalisiert (0–100). Die Tabelle zeigt die Rohwerte.
Neueste Belege
- MiniMax M382.86% ·
- Nemotron 3 Ultra 550B A55B (Reasoning)81.36% ·
- Grok 4.381.29% ·
- Grok 4.20 Reasoning81.22% ·
- Qwen3.7 Max80.54% ·
Scores nutzen die eigene Einheit und Skala dieses Benchmarks, keinen universellen Qualitätswert.
| # | Modell | Veröffentlichung | Score | Herkunft | Beleglage |
|---|---|---|---|---|---|
| 1 | MiniMax M3MiniMax | 2026-05-31 | 82.86% | 2026-07-21 | Quelle geprüft |
| 2 | Nemotron 3 Ultra 550B A55B (Reasoning)NVIDIA | 2026-06-04 | 81.36% | 2026-07-21 | Quelle geprüft |
| 3 | Grok 4.3xAI | 2026-04-30 | 81.29% | 2026-07-21 | Quelle geprüft |
| 4 | Grok 4.20 ReasoningxAI | 2026-03-05 | 81.22% | 2026-07-21 | Quelle geprüft |
| 5 | Qwen3.7 MaxAlibaba | 2026-05-19 | 80.54% | 2026-07-21 | Quelle geprüft |
| 6 | MiMo-V2.5-ProXiaomi | 2026-04-22 | 79.86% | 2026-07-21 | Quelle geprüft |
| 7 | Qwen 3.7 PlusAlibaba | 2026-06-02 | 77.96% | 2026-07-21 | Quelle geprüft |
| 8 | Gemini 3.1 Flash LiteGoogle | 2026-05-07 | 77.21% | 2026-07-21 | Quelle geprüft |
| 9 | Gemini 3.1 Pro PreviewGoogle | 2026-02-19 | 77.14% | 2026-07-21 | Quelle geprüft |
| 10 | DeepSeek V4 Pro (Reasoning, Max Effort)DeepSeek | 2026-04-24 | 76.46% | 2026-07-21 | Quelle geprüft |
| 11 | Gemini 3.5 FlashGoogle | 2026-05-19 | 76.33% | 2026-07-21 | Quelle geprüft |
| 12 | GLM-5.1Zhipu | 2026-04-07 | 76.26% | 2026-07-21 | Quelle geprüft |
| 13 | Kimi K2.6Moonshot | 2026-04-20 | 75.99% | 2026-07-21 | Quelle geprüft |
| 14 | GPT-5.4 NanoOpenAI | 2026-03-17 | 75.92% | 2026-07-21 | Quelle geprüft |
| 15 | Muse SparkOther | 2026-01-01 | 75.92% | 2026-07-21 | Quelle geprüft |
| 16 | GPT 5.5OpenAI | 2026-04-23 | 75.85% | 2026-07-21 | Quelle geprüft |
| 17 | MiniMax M2.7MiniMax | 2026-04-15 | 75.71% | 2026-07-21 | Quelle geprüft |
| 18 | Gemma 4 31B ITGoogle | 2026-03-01 | 75.58% | 2026-07-21 | Quelle geprüft |
| 19 | GPT-5.2OpenAI | 2025-12-11 | 75.44% | 2026-07-21 | Quelle geprüft |
| 20 | GPT-5.3 Codex (xhigh)OpenAI | 2026-02-05 | 75.37% | 2026-07-21 | Quelle geprüft |
| 21 | Gemini 3.5 Flash (medium)Google | 2026-05-19 | 74.56% | 2026-07-21 | Quelle geprüft |
| 22 | GPT 5.4OpenAI | 2026-03-05 | 73.95% | 2026-07-21 | Quelle geprüft |
| 23 | Gemma 4 12B (Reasoning)Google | 2026-06-07 | 73.54% | 2026-07-21 | Quelle geprüft |
| 24 | GLM-5.2Zhipu | 2026-06-13 | 73.33% | 2026-07-21 | Quelle geprüft |
| 25 | GPT-5.4 MiniOpenAI | 2026-03-17 | 73.27% | 2026-07-21 | Quelle geprüft |
| 26 | GPT-5.1OpenAI | 2025-11-13 | 72.86% | 2026-07-21 | Quelle geprüft |
| 27 | GPT-5.6 SolOpenAI | 2026-07-09 | 72.65% | 2026-07-21 | Quelle geprüft |
| 28 | GPT-5.5 (high)OpenAI | 2026-04-23 | 71.63% | 2026-07-21 | Quelle geprüft |
| 29 | MiniMax M2.5MiniMax | 2026-04-01 | 71.63% | 2026-07-21 | Quelle geprüft |
| 30 | OpenAI o3OpenAI | 2025-04-16 | 71.43% | 2026-07-21 | Quelle geprüft |
| 31 | GPT-5.6 TerraOpenAI | 2026-07-09 | 71.22% | 2026-07-21 | Quelle geprüft |
| 32 | GPT-5.5 (medium)OpenAI | 2026-04-23 | 70.95% | 2026-07-21 | Quelle geprüft |
| 33 | Gemini 3 ProGoogle | 2025-11-18 | 70.41% | 2026-07-21 | Quelle geprüft |
| 34 | OpenAI o1OpenAI | 2024-09-12 | 70.34% | 2026-07-21 | Quelle geprüft |
| 35 | Kimi K2.5Moonshot | 2026-01-27 | 70.2% | 2026-07-21 | Quelle geprüft |
| 36 | Step 3.7 FlashStepFun | 2026-06-01 | 67.28% | 2026-07-21 | Quelle geprüft |
| 37 | HyperNova 60B 2605Multiverse | 2026-05-06 | 66.46% | 2026-07-21 | Quelle geprüft |
| 38 | GPT-5.5 (low)OpenAI | 2026-04-23 | 64.35% | 2026-07-21 | Quelle geprüft |
| 39 | Claude Fable 5Anthropic | 2026-06-09 | 63.47% | 2026-07-21 | Quelle geprüft |
| 40 | Kimi K2.7 CodeMoonshot | 2026-06-12 | 63.13% | 2026-07-21 | Quelle geprüft |
| 41 | Claude Opus 4.8Anthropic | 2026-05-28 | 62.24% | 2026-07-21 | Quelle geprüft |
| 42 | Claude Opus 4.7Anthropic | 2026-04-16 | 58.64% | 2026-07-21 | Quelle geprüft |
| 43 | North Mini CodeCohere | 2026-06-09 | 57.55% | 2026-07-21 | Quelle geprüft |
| 44 | Claude Sonnet 4.6 (Adaptive Reasoning, Max Effort)Anthropic | 2026-02-17 | 56.6% | 2026-07-21 | Quelle geprüft |
| 45 | LFM2.5-8B-A1BLiquid | 2026-06-08 | 55.65% | 2026-07-21 | Quelle geprüft |
| 46 | Gemini 3 Flash PreviewGoogle | 2025-12-17 | 55.1% | 2026-07-21 | Quelle geprüft |
| 47 | Claude Opus 4.6 (Adaptive Reasoning, Max Effort)Anthropic | 2026-02-05 | 53.13% | 2026-07-21 | Quelle geprüft |
| 48 | MiniCPM5-1B (Reasoning)OpenBMB | 2026-06-04 | 49.32% | 2026-07-21 | Quelle geprüft |
| 49 | Gemma 4 12B (Non-reasoning)Google | 2026-06-10 | 45.17% | 2026-07-21 | Quelle geprüft |
| 50 | Claude Opus 4.6Anthropic | 2026-02-05 | 44.63% | 2026-07-21 | Quelle geprüft |
| 51 | Claude Opus 4.7 (Non-reasoning, High Effort)Anthropic | 2026-04-16 | 43.61% | 2026-07-21 | Quelle geprüft |
| 52 | Claude Opus 4.5Anthropic | 2025-11-24 | 42.99% | 2026-07-21 | Quelle geprüft |
| 53 | Llama 4 MaverickMeta | 2026-04-05 | 42.99% | 2026-07-21 | Quelle geprüft |
| 54 | Claude Sonnet 4.6Anthropic | 2026-02-17 | 41.16% | 2026-07-21 | Quelle geprüft |
| 55 | DeepSeek R1DeepSeek | 2025-01-20 | 39.59% | 2026-07-21 | Quelle geprüft |
| 56 | Llama 4 ScoutMeta | 2026-04-05 | 39.52% | 2026-07-21 | Quelle geprüft |
| 57 | Mistral Large 3Mistral | 2025-12-02 | 36.19% | 2026-07-21 | Quelle geprüft |
Was er abdeckt
Archiviert — aus AA Intelligence Index v4.1 wegen Sättigung entfernt. AA führt es weiter; VerdictPal behält den Glossar-Eintrag als Ehrlichkeits-Beleg.
Wo er an Grenzen stößt
Noch ist keine Obergrenze erfasst. Wenn sich Scores oben bündeln, kann der Benchmark Frontier-Modelle möglicherweise nicht mehr trennen.
Belege
Quellen und weiterführende Lektüre
AA-IFBench-Evaluation· geprüft 2026-07-09- AA-Intelligence-Index-Methodik· geprüft 2026-07-09
The Pack · Redaktionsnewsletter
Neue Karten in dein Postfach. Kostenlos.
Eine kurze E-Mail, wenn eine Karte erscheint oder den Status wechselt. Kein Tracking, keine Drittanbieter-Analytics. Abmeldung mit einem Klick.