Warum dieser Benchmark nützlich ist
Wenn du Graduierten-Wissenschaft willst, die Laien schwer googeln — ein schmaler, aber noch trennender Wissens-/Reasoning-Ausschnitt.
GPQA Diamond
Graduate-Level Google-Proof Q&A
Schwere Wissenschaftsfragen auf Graduiertenniveau (Biologie, Physik, Chemie), so geschrieben, dass Laien sie auch mit Websuche nicht lösen — die 'Diamond'-Teilmenge ist der hochwertigste, von Experten geprüfte Anteil.
Was dieser Benchmark nicht misst
- Allgemeine Nützlichkeit — ein schmaler Ausschnitt der Spitzenwissenschaft, keine Alltagsaufgaben.
- Ob ein Modell merkt, wann es überfordert ist; es beantwortet trotzdem jede Frage.
- Geringe Größe (198 Diamond-Fragen) — wenige Glückstreffer verschieben den Wert spürbar.
Abdeckung
- Aufgabenfamilie
- Reasoning
- Format
- 198 von Experten geprüfte Multiple-Choice-Fragen im Diamond-Satz; 'Google-sicher' konzipiert.
- Bewertung
- Genauigkeit (% korrekt).
- Verantwortliche Stelle
- Rein et al.
So liest du die Scores
Genauigkeit auf 198 Diamond-MCQs. Kleiner Satz: wenige Glückstreffer verschieben den Wert. Mit Experten- (~65–74 %) und Web-Laien-Decke (~34 %) vergleichen, nicht mit Alltagsnutzen.
Was er nicht abdeckt
- Allgemeine Nützlichkeit — ein schmaler Ausschnitt der Spitzenwissenschaft, keine Alltagsaufgaben.
- Ob ein Modell merkt, wann es überfordert ist; es beantwortet trotzdem jede Frage.
- Geringe Größe (198 Diamond-Fragen) — wenige Glückstreffer verschieben den Wert spürbar.
Scores
190 ZeilenEvidenz-Ledger
190190 Zeilen
96.1%bester Score
183quellgeprüft
2Quellen
2026-09-10bis 2026-05-15
Wo die Zeilen liegen
0255075100
Auf die Skala dieses Benchmarks normalisiert (0–100). Die Tabelle zeigt die Rohwerte.
Neueste Belege
- GPT-6 Astra96.1% ·
- Gemini 3.8 Flash95.3% ·
- Grok 4.694.9% ·
- Gemini 3.7 Flash94.5% ·
- Gemini 3.1 Pro Preview94.1% ·
Scores nutzen die eigene Einheit und Skala dieses Benchmarks, keinen universellen Qualitätswert.
| # | Modell | Veröffentlichung | Score | Herkunft | Beleglage |
|---|---|---|---|---|---|
| 1 | GPT-6 AstraOpenAI | 2026-09-03 | 96.1% | 2026-09-10 | Quelle geprüft |
| 2 | Gemini 3.8 FlashGoogle | 2026-09-02 | 95.3% | 2026-09-10 | Quelle geprüft |
| 3 | Grok 4.6xAI | 2026-08-12 | 94.9% | 2026-09-10 | Quelle geprüft |
| 1 | Claude Mythos PreviewAnthropic | 2026-06-01 | 94.6% | GPQA Diamond paper leaderboard2026-06-02 | Quelle geprüft |
| 5 | Gemini 3.7 FlashGoogle | 2026-08-13 | 94.5% | 2026-09-10 | Quelle geprüft |
| 6 | Gemini 3.1 Pro PreviewGoogle | 2026-02-19 | 94.1% | 2026-09-10 | Quelle geprüft |
| 7 | GPT-5.6 SolOpenAI | 2026-07-09 | 94.1% | 2026-09-10 | Quelle geprüft |
| 8 | Claude Fable 5.1Anthropic | 2026-09-01 | 93.7% | 2026-09-10 | Quelle geprüft |
| 9 | Claude Opus 5 (Adaptive Reasoning, High Effort)Anthropic | 2026-07-24 | 93.7% | 2026-09-10 | Quelle geprüft |
| 10 | Claude Opus 5 (Adaptive Reasoning, Xhigh Effort)Anthropic | 2026-07-24 | 93.7% | 2026-09-10 | Quelle geprüft |
| 11 | Kimi K3Moonshot | 2026-07-16 | 93.5% | 2026-09-10 | Quelle geprüft |
| 12 | Muse Spark 1.3Meta | 2026-09-02 | 93.5% | 2026-09-10 | Quelle geprüft |
| 13 | Qwen3.8 2.4T A95BAlibaba | 2026-08-12 | 93.5% | 2026-09-10 | Quelle geprüft |
| 14 | Claude Opus 5 (Adaptive Reasoning, Max Effort)Anthropic | 2026-07-24 | 93.2% | 2026-09-10 | Quelle geprüft |
| 15 | GPT-5.5 (high)OpenAI | 2026-04-23 | 93.2% | 2026-09-10 | Quelle geprüft |
| 16 | Grok 4.5xAI | 2026-07-08 | 93.1% | 2026-09-10 | Quelle geprüft |
| 17 | MiniMax M3MiniMax | 2026-05-31 | 92.9% | 2026-09-10 | Quelle geprüft |
| 18 | DeepSeek V4 Pro 0813 (Reasoning, Max Effort)DeepSeek | 2026-08-13 | 92.8% | 2026-09-10 | Quelle geprüft |
| 19 | Gemini 3.6 Flash (high)Google | 2026-07-21 | 92.8% | 2026-09-10 | Quelle geprüft |
| 20 | Qwen3.8 MaxAlibaba | 2026-08-03 | 92.7% | 2026-09-10 | Quelle geprüft |
| 21 | Claude Fable 5Anthropic | 2026-06-09 | 92.6% | 2026-09-10 | Quelle geprüft |
| 22 | GPT-5.5 (medium)OpenAI | 2026-04-23 | 92.6% | 2026-09-10 | Quelle geprüft |
| 23 | GPT-5.6 TerraOpenAI | 2026-07-09 | 92.5% | 2026-09-10 | Quelle geprüft |
| 24 | Qwen3.7 MaxAlibaba | 2026-05-19 | 92.3% | 2026-09-10 | Quelle geprüft |
| 25 | Qwen3.8-Flash-NextAlibaba | 2026-08-26 | 92.3% | 2026-09-10 | Quelle geprüft |
| 26 | Gemini 3.5 Flash (medium)Google | 2026-05-19 | 92.1% | 2026-09-10 | Quelle geprüft |
| 27 | GPT 5.4OpenAI | 2026-03-05 | 92% | 2026-09-10 | Quelle geprüft |
| 28 | Claude Opus 5 (Adaptive Reasoning, Medium Effort)Anthropic | 2026-07-24 | 91.9% | 2026-09-10 | Quelle geprüft |
| 29 | GLM-5.3Zhipu | 2026-08-14 | 91.7% | 2026-09-10 | Quelle geprüft |
| 30 | GPT-5.3 Codex (xhigh)OpenAI | 2026-02-05 | 91.5% | 2026-09-10 | Quelle geprüft |
| 31 | Claude Opus 4.7Anthropic | 2026-04-16 | 91.4% | 2026-09-10 | Quelle geprüft |
| 32 | DeepSeek V4 Flash Vision (Reasoning, Max Effort)DeepSeek | 2026-08-21 | 91.3% | 2026-09-10 | Quelle geprüft |
| 33 | GLM-5.3-FlashZhipu | 2026-08-26 | 91.2% | 2026-09-10 | Quelle geprüft |
| 34 | Claude Sonnet 5Anthropic | 2026-06-30 | 91.1% | 2026-09-10 | Quelle geprüft |
| 35 | GPT-5.6 LunaOpenAI | 2026-07-09 | 91.1% | 2026-09-10 | Quelle geprüft |
| 36 | Grok 4.20 ReasoningxAI | 2026-03-05 | 91.1% | 2026-09-10 | Quelle geprüft |
| 37 | GPT-5.5 (low)OpenAI | 2026-04-23 | 91% | 2026-09-10 | Quelle geprüft |
| 38 | DeepSeek V4 Flash 0731 (Reasoning, Max Effort)DeepSeek | 2026-07-31 | 90.8% | 2026-09-10 | Quelle geprüft |
| 39 | Gemini 3 ProGoogle | 2025-11-18 | 90.8% | 2026-09-10 | Quelle geprüft |
| 1 | Kimi K2.6Moonshot | 2026-04-20 | 90.5% | GPQA Diamond paper leaderboard2026-05-15 | Quelle geprüft |
| 41 | Agnes 2.5 Pro BetaOther | 2026-08-26 | 90.5% | 2026-09-10 | Quelle geprüft |
| 42 | DeepSeek V4 Pro (Reasoning, High Effort)DeepSeek | 2026-04-24 | 90.5% | 2026-09-10 | Quelle geprüft |
| 43 | Qwen3.8 27BAlibaba | 2026-08-14 | 90.5% | 2026-09-10 | Quelle geprüft |
| 44 | Muse Spark 1.2Meta | 2026-08-05 | 90.4% | 2026-09-10 | Quelle geprüft |
| 45 | GPT-5.2OpenAI | 2025-12-11 | 90.3% | 2026-09-10 | Quelle geprüft |
| 46 | Qwen 3.7 PlusAlibaba | 2026-06-02 | 90% | 2026-09-10 | Quelle geprüft |
| 47 | GPT-5.2 Codex (xhigh)OpenAI | 2025-12-11 | 89.9% | 2026-09-10 | Quelle geprüft |
| 48 | Gemini 3 Flash Preview (Reasoning)Google | 2025-12-17 | 89.8% | 2026-09-10 | Quelle geprüft |
| 49 | Muse Spark 1.1Meta | 2026-07-09 | 89.8% | 2026-09-10 | Quelle geprüft |
| 50 | Hy3Other | 2026-07-06 | 89.7% | 2026-09-10 | Quelle geprüft |
| 51 | Claude Opus 4.6 (Adaptive Reasoning, Max Effort)Anthropic | 2026-02-05 | 89.6% | 2026-09-10 | Quelle geprüft |
| 52 | Kimi K2.7 CodeMoonshot | 2026-06-12 | 89.6% | 2026-09-10 | Quelle geprüft |
| 53 | GLM-5.2Zhipu | 2026-06-13 | 89.5% | 2026-09-10 | Quelle geprüft |
| 54 | Grok Build 0.1 0616xAI | 2026-06-16 | 89.5% | 2026-09-10 | Quelle geprüft |
| 55 | Inkling SmallOther | 2026-07-30 | 89.5% | 2026-09-10 | Quelle geprüft |
| 56 | Qwen3.5 397B A17B (Reasoning)Alibaba | 2026-02-16 | 89.3% | 2026-09-10 | Quelle geprüft |
| 57 | Nex-N2-ProOther | 2026-06-02 | 89.2% | 2026-09-10 | Quelle geprüft |
| 58 | Solar Pro 4Other | 2026-08-06 | 89.1% | 2026-09-10 | Quelle geprüft |
| 59 | Grok 4.3 (medium)xAI | 2026-04-30 | 89% | 2026-09-10 | Quelle geprüft |
| 60 | Claude Opus 5 (Adaptive Reasoning, Low Effort)Anthropic | 2026-07-24 | 88.9% | 2026-09-10 | Quelle geprüft |
| 61 | Qwen3.6 Max PreviewAlibaba | 2026-04-20 | 88.8% | 2026-09-10 | Quelle geprüft |
| 62 | Gemini 3 Pro Preview (low)Google | 2025-11-18 | 88.7% | 2026-09-10 | Quelle geprüft |
| 63 | Claude Opus 4.7 (Non-reasoning, High Effort)Anthropic | 2026-04-16 | 88.5% | 2026-09-10 | Quelle geprüft |
| 64 | Grok 4.20 0309 (Reasoning)xAI | 2026-03-10 | 88.5% | 2026-09-10 | Quelle geprüft |
| 65 | Muse SparkOther | 2026-01-01 | 88.4% | 2026-09-10 | Quelle geprüft |
| 66 | Qwen3.6 PlusAlibaba | 2026-04-02 | 88.2% | 2026-09-10 | Quelle geprüft |
| 67 | Claude Sonnet 4.6 (Adaptive Reasoning, Max Effort)Anthropic | 2026-02-17 | 87.5% | 2026-09-10 | Quelle geprüft |
| 68 | DeepSeek V4 Flash (Reasoning, High Effort)DeepSeek | 2026-04-24 | 86.7% | 2026-09-10 | Quelle geprüft |
| 69 | Claude Opus 4.5 (Reasoning)Anthropic | 2025-11-24 | 86.6% | 2026-09-10 | Quelle geprüft |
| 70 | Apodex 1.1Other | 2026-08-30 | 86.4% | 2026-09-10 | Quelle geprüft |
| 71 | DeepSeek V3.2 (Reasoning)DeepSeek | 2025-12-01 | 84% | 2026-09-10 | Quelle geprüft |
| 72 | DeepSeek R1DeepSeek | 2025-01-20 | 81.3% | 2026-09-10 | Quelle geprüft |
| 73 | Claude 4.1 Opus (Reasoning)Anthropic | 2025-08-05 | 80.9% | 2026-09-10 | Quelle geprüft |
| 74 | Claude Sonnet 4.6 (Non-reasoning, Low Effort)Anthropic | 2026-02-17 | 79.7% | 2026-09-10 | Quelle geprüft |
| 75 | Claude 4 Opus (Reasoning)Anthropic | 2025-05-22 | 79.6% | 2026-09-10 | Quelle geprüft |
| 1 | Gemini 3.1 ProGoogleCoT prompting. PhD-level science MCQ. | 2026-02-19 | 78.4% | Artificial Analysis GPQA Diamond evaluation2026-06-09 | Prüfung nötig |
| 2 | Grok 4.3xAI | 2026-04-30 | 88% | GPQA Diamond paper leaderboard2026-05-15 | Quelle geprüft |
| 78 | Kimi K2.5Moonshot | 2026-01-27 | 87.9% | 2026-09-10 | Quelle geprüft |
| 79 | Grok 4xAI | 2025-07-10 | 87.7% | 2026-09-10 | Quelle geprüft |
| 80 | Agnes 2.5 Pro AlphaOther | 2026-07-24 | 87.6% | 2026-09-10 | Quelle geprüft |
| 81 | GPT-5.4 MiniOpenAI | 2026-03-17 | 87.5% | 2026-09-10 | Quelle geprüft |
| 82 | MiniMax M2.7MiniMax | 2026-04-15 | 87.4% | 2026-09-10 | Quelle geprüft |
| 83 | GPT-5.1OpenAI | 2025-11-13 | 87.3% | 2026-09-10 | Quelle geprüft |
| 84 | K2 Horizon 375B A23BOther | 2026-09-03 | 87.3% | 2026-09-10 | Quelle geprüft |
| 85 | Inkling (xhigh)Other | 2026-07-15 | 87.2% | 2026-09-10 | Quelle geprüft |
| 86 | GPT-5.4 (low)OpenAI | 2026-03-05 | 87.1% | 2026-09-10 | Quelle geprüft |
| 87 | MiMo-V2-ProXiaomi | 2026-03-18 | 87% | 2026-09-10 | Quelle geprüft |
| 88 | Motif 3 (Beta)Other | 2026-07-21 | 86.9% | 2026-09-10 | Quelle geprüft |
| 89 | GLM-5.1Zhipu | 2026-04-07 | 86.8% | 2026-09-10 | Quelle geprüft |
| 90 | Hy3-preview (Reasoning)Other | 2026-04-23 | 86.7% | 2026-09-10 | Quelle geprüft |
| 91 | Nemotron 3 Ultra 550B A55B (Reasoning)NVIDIA | 2026-06-04 | 86.7% | 2026-09-10 | Quelle geprüft |
| 92 | MiMo-V2.5-ProXiaomi | 2026-04-22 | 86.6% | 2026-09-10 | Quelle geprüft |
| 93 | GPT-5.2 (medium)OpenAI | 2025-12-11 | 86.4% | 2026-09-10 | Quelle geprüft |
| 94 | Qwen3 Max ThinkingAlibaba | 2026-01-26 | 86.1% | 2026-09-10 | Quelle geprüft |
| 95 | Qwen3.5 397B A17B (Non-reasoning)Alibaba | 2026-02-16 | 86.1% | 2026-09-10 | Quelle geprüft |
| 96 | GPT-5.1 Codex (high)OpenAI | 2025-11-13 | 86% | 2026-09-10 | Quelle geprüft |
| 97 | GLM-4.7 (Reasoning)Zhipu | 2025-12-22 | 85.9% | 2026-09-10 | Quelle geprüft |
| 98 | Qwen3.5 27B (Reasoning)Alibaba | 2026-02-24 | 85.8% | 2026-09-10 | Quelle geprüft |
| 99 | A.X-K2Other | 2026-08-12 | 85.7% | 2026-09-10 | Quelle geprüft |
| 100 | Gemma 4 31B ITGoogle | 2026-03-01 | 85.7% | 2026-09-10 | Quelle geprüft |
| 101 | Qwen3.5 122B A10B (Reasoning)Alibaba | 2026-02-24 | 85.7% | 2026-09-10 | Quelle geprüft |
| 102 | Ring-2.6-1TOther | 2026-05-08 | 85.7% | 2026-09-10 | Quelle geprüft |
| 103 | Solar Open2 250BOther | 2026-08-12 | 85.7% | 2026-09-10 | Quelle geprüft |
| 104 | KAT Coder Pro V2Other | 2026-03-27 | 85.5% | 2026-09-10 | Quelle geprüft |
| 105 | Ling 3.0 FlashOther | 2026-08-04 | 85.5% | 2026-09-10 | Quelle geprüft |
| 106 | MiMo-V2-Omni-0327Xiaomi | 2026-03-27 | 85.5% | 2026-09-10 | Quelle geprüft |
| 107 | GPT-5 (high)OpenAI | 2025-08-07 | 85.4% | 2026-09-10 | Quelle geprüft |
| 108 | MiMo-V2.5Xiaomi | 2026-04-22 | 84.9% | 2026-09-10 | Quelle geprüft |
| 109 | MiniMax M2.5MiniMax | 2026-04-01 | 84.8% | 2026-09-10 | Quelle geprüft |
| 110 | GLM-5-TurboZhipu | 2026-03-15 | 84.7% | 2026-09-10 | Quelle geprüft |
| 111 | GPT-5.5 Instant (May 2026)OpenAI | 2026-05-05 | 84.6% | 2026-09-10 | Quelle geprüft |
| 112 | MiMo-V2-Flash (Reasoning)Xiaomi | 2025-12-16 | 84.6% | 2026-09-10 | Quelle geprüft |
| 113 | JT-4.1 Flash 236B A21BOther | 2026-07-09 | 84.5% | 2026-09-10 | Quelle geprüft |
| 114 | o3-proOpenAI | 2025-06-10 | 84.5% | 2026-09-10 | Quelle geprüft |
| 115 | Grok 4.3 (low)xAI | 2026-04-30 | 84.3% | 2026-09-10 | Quelle geprüft |
| 116 | GPT-5 (medium)OpenAI | 2025-08-07 | 84.2% | 2026-09-10 | Quelle geprüft |
| 117 | Kimi K3 (low)Moonshot | 2026-07-16 | 84.2% | 2026-09-10 | Quelle geprüft |
| 118 | Qwen3.6 27B (Reasoning)Alibaba | 2026-04-22 | 84.2% | 2026-09-10 | Quelle geprüft |
| 119 | Qwen3.6 35B A3B (Reasoning)Alibaba | 2026-04-16 | 84.1% | 2026-09-10 | Quelle geprüft |
| 120 | Claude Opus 4.6Anthropic | 2026-02-05 | 84% | 2026-09-10 | Quelle geprüft |
| 121 | Gemini 3.5 Flash-LiteGoogle | 2026-07-21 | 83.8% | 2026-09-10 | Quelle geprüft |
| 122 | Kimi K2 ThinkingMoonshot | 2025-11-06 | 83.8% | 2026-09-10 | Quelle geprüft |
| 123 | GPT-5 Codex (high)OpenAI | 2025-09-23 | 83.7% | 2026-09-10 | Quelle geprüft |
| 124 | MiMo-V2-Flash (Feb 2026)Xiaomi | 2025-12-16 | 83.5% | 2026-09-10 | Quelle geprüft |
| 125 | Muse GlimmerMeta | 2026-08-10 | 83.5% | 2026-09-10 | Quelle geprüft |
| 126 | Claude 4.5 Sonnet (Reasoning)Anthropic | 2025-09-29 | 83.4% | 2026-09-10 | Quelle geprüft |
| 127 | Motif 3Other | 2026-08-12 | 83.4% | 2026-09-10 | Quelle geprüft |
| 128 | MiniMax-M2.1MiniMax | 2025-12-23 | 83% | 2026-09-10 | Quelle geprüft |
| 129 | JT-35B-FlashOther | 2026-05-14 | 82.9% | 2026-09-10 | Quelle geprüft |
| 130 | K-EXAONE 2.0 0803Other | 2026-08-12 | 82.9% | 2026-09-10 | Quelle geprüft |
| 131 | Qwen3.6 27B (Non-reasoning)Alibaba | 2026-04-22 | 82.9% | 2026-09-10 | Quelle geprüft |
| 132 | Gemini 3.5 Flash (minimal)Google | 2026-05-19 | 82.8% | 2026-09-10 | Quelle geprüft |
| 133 | MiMo-V2-OmniXiaomi | 2026-03-19 | 82.8% | 2026-09-10 | Quelle geprüft |
| 134 | OpenAI o3OpenAI | 2025-04-16 | 82.7% | 2026-09-10 | Quelle geprüft |
| 135 | GPT-5.5 Instant (June 2026)OpenAI | 2026-06-25 | 82.3% | 2026-09-10 | Quelle geprüft |
| 136 | Gemini 3.1 Flash LiteGoogle | 2026-05-07 | 82.2% | 2026-09-10 | Quelle geprüft |
| 137 | GLM-5 (Reasoning)Zhipu | 2026-02-11 | 82% | 2026-09-10 | Quelle geprüft |
| 138 | GPT-5.4 NanoOpenAI | 2026-03-17 | 81.7% | 2026-09-10 | Quelle geprüft |
| 139 | Qwen3.6 35B A3B (Non-reasoning)Alibaba | 2026-04-16 | 81.7% | 2026-09-10 | Quelle geprüft |
| 2 | Claude Sonnet 4.6Anthropic | 2026-02-17 | 77.2% | Artificial Analysis GPQA Diamond evaluation2026-06-09 | Prüfung nötig |
| 3 | GPT 5.5OpenAI | 2026-04-23 | 81.2% | GPQA Diamond paper leaderboard2026-05-15 | Quelle geprüft |
| 142 | Gemini 3 Flash PreviewGoogle | 2025-12-17 | 81.2% | 2026-09-10 | Quelle geprüft |
| 143 | Claude Opus 4.5Anthropic | 2025-11-24 | 81% | 2026-09-10 | Quelle geprüft |
| 144 | GLM 5V Turbo (Reasoning)Zhipu | 2026-04-01 | 80.9% | 2026-09-10 | Quelle geprüft |
| 145 | Step 3.7 FlashStepFun | 2026-06-01 | 80.9% | 2026-09-10 | Quelle geprüft |
| 146 | GPT-5 (low)OpenAI | 2025-08-07 | 80.8% | 2026-09-10 | Quelle geprüft |
| 147 | G9v3-39A5BOther | 2026-08-03 | 80.5% | 2026-09-10 | Quelle geprüft |
| 3 | DeepSeek V4 Pro MaxDeepSeek | 2026-04-24 | 75.6% | Artificial Analysis GPQA Diamond evaluation2026-06-09 | Prüfung nötig |
| 4 | Claude Opus 4.8Anthropic | 2026-05-28 | 79.8% | GPQA Diamond paper leaderboard2026-05-15 | Quelle geprüft |
| 150 | EXAONE 4.5 33BOther | 2026-04-09 | 79.4% | 2026-09-10 | Quelle geprüft |
| 151 | Kimi K2.6 (Non-reasoning)Other | 2026-04-20 | 78.8% | 2026-09-10 | Quelle geprüft |
| 152 | LongCat-2.0Meituan | 2026-06-29 | 78% | 2026-09-10 | Quelle geprüft |
| 153 | Grok 4.20 0309 v2 (Non-reasoning)xAI | 2026-04-07 | 77.6% | 2026-09-10 | Quelle geprüft |
| 154 | GPT-5.5 (Non-reasoning)OpenAI | 2026-04-23 | 76.8% | 2026-09-10 | Quelle geprüft |
| 155 | MiMo-V2.5-Pro (Non-reasoning)Xiaomi | 2026-04-22 | 76.2% | 2026-09-10 | Quelle geprüft |
| 156 | North Mini CodeCohere | 2026-06-09 | 75.7% | 2026-09-10 | Quelle geprüft |
| 157 | Gemma 4 12B (Reasoning)Google | 2026-06-07 | 75.3% | 2026-09-10 | Quelle geprüft |
| 158 | Ling-2.6-1TOther | 2026-04-23 | 75.2% | 2026-09-10 | Quelle geprüft |
| 159 | Mistral Medium 3.5Mistral | 2026-04-29 | 74.8% | 2026-09-10 | Quelle geprüft |
| 160 | OpenAI o1OpenAI | 2024-09-12 | 74.7% | 2026-09-10 | Quelle geprüft |
| 161 | Nemotron 3.5 LightningNVIDIA | 2026-08-11 | 74.3% | 2026-09-10 | Quelle geprüft |
| 4 | Gemini 3.5 FlashGoogle | 2026-05-19 | 74.1% | Artificial Analysis GPQA Diamond evaluation2026-06-09 | Prüfung nötig |
| 5 | Qwen 3.7 MaxAlibaba | 2026-05-20 | 73.8% | Artificial Analysis GPQA Diamond evaluation2026-06-09 | Prüfung nötig |
| 164 | Ling 3.0 TinyOther | 2026-08-06 | 73.4% | 2026-09-10 | Quelle geprüft |
| 165 | Hy3-preview (Non-reasoning)Other | 2026-04-23 | 73.2% | 2026-09-10 | Quelle geprüft |
| 166 | DeepSeek V4 Pro (Non-reasoning)DeepSeek | 2026-04-24 | 71.7% | 2026-09-10 | Quelle geprüft |
| 167 | DeepSeek V4 Flash (Non-reasoning)DeepSeek | 2026-04-24 | 71.6% | 2026-09-10 | Quelle geprüft |
| 6 | Mistral Large 3Mistral | 2025-12-02 | 71.2% | Artificial Analysis GPQA Diamond evaluation2026-06-09 | Prüfung nötig |
| 169 | MiniCPM5-2BOpenBMB | 2026-09-07 | 70.2% | 2026-09-10 | Quelle geprüft |
| 7 | Llama 4 MaverickMeta | 2026-04-05 | 69.4% | Artificial Analysis GPQA Diamond evaluation2026-06-09 | Prüfung nötig |
| 171 | GLM-5.2 (Non-reasoning)Zhipu | 2026-06-16 | 68.6% | 2026-09-10 | Quelle geprüft |
| 172 | JT-MINIOther | 2026-04-15 | 67.6% | 2026-09-10 | Quelle geprüft |
| 173 | DiffusionGemma 26B A4BGoogle | 2026-06-10 | 66.9% | 2026-09-10 | Quelle geprüft |
| 174 | GLM-5 (Non-reasoning)Zhipu | 2026-02-11 | 66.6% | 2026-09-10 | Quelle geprüft |
| 175 | Gemma 4 12B (Non-reasoning)Google | 2026-06-10 | 66.1% | 2026-09-10 | Quelle geprüft |
| 176 | Grok 4.3 (Non-reasoning)xAI | 2026-04-30 | 65.8% | 2026-09-10 | Quelle geprüft |
| 177 | Granite 4.2 30BOther | 2026-08-25 | 64.4% | 2026-09-10 | Quelle geprüft |
| 178 | Granite 4.2 8BOther | 2026-08-25 | 63.1% | 2026-09-10 | Quelle geprüft |
| 179 | Ling 2.6 FlashOther | 2026-04-21 | 59.3% | 2026-09-10 | Quelle geprüft |
| 180 | Llama 4 ScoutMeta | 2026-04-05 | 58.7% | 2026-09-10 | Quelle geprüft |
| 181 | Granite 4.2 3BOther | 2026-08-25 | 55.9% | 2026-09-10 | Quelle geprüft |
| 182 | Command ACohere | 2026-03-15 | 52.7% | 2026-09-10 | Quelle geprüft |
| 183 | LFM2.5-8B-A1BLiquid | 2026-06-08 | 51.3% | 2026-09-10 | Quelle geprüft |
| 184 | Claude 3 OpusAnthropic | 2024-03-04 | 48.9% | 2026-09-10 | Quelle geprüft |
| 185 | Granite 4.1 30BOther | 2026-04-29 | 48.1% | 2026-09-10 | Quelle geprüft |
| 186 | Nemotron 3 Nano Omni 30B A3B ReasoningNVIDIA | 2026-04-29 | 46.9% | 2026-09-10 | Quelle geprüft |
| 187 | G9v3-3BOther | 2026-07-23 | 43.8% | 2026-09-10 | Quelle geprüft |
| 188 | MiniCPM-V 4.6 1.3BOpenBMB | 2026-05-11 | 30.5% | 2026-09-10 | Quelle geprüft |
| 189 | MiniCPM5-1B (Reasoning)OpenBMB | 2026-06-04 | 27.8% | 2026-09-10 | Quelle geprüft |
| 190 | MiniCPM5-1B (Non-reasoning)OpenBMB | 2026-05-25 | 26.9% | 2026-09-10 | Quelle geprüft |
Was er abdeckt
Dieser Benchmark gehört zur Familie reasoning. Sein Format: 198 von Experten geprüfte Multiple-Choice-Fragen im Diamond-Satz; 'Google-sicher' konzipiert. Der Score sollte immer mit Aufgabenformat, Bewertungsmethode, Quelldatum und Benchmark-Version gelesen werden.
Wo er an Grenzen stößt
Promovierte Fachexperten erreichen ~65-74 % im eigenen Fach; geübte Laien mit Websuche ~34 %.
Tools, die ihn ausweisen
Belege
Quellen und weiterführende Lektüre
- Paper (Rein et al.)· geprüft 2026-05-30
- Auch auf Vals AI (eigener Lauf)· geprüft 2026-06-09
Fragen zu diesem Benchmark
Jede Antwort unten stammt aus den datierten Feldern dieser Seite. Nichts davon ist zusätzlich für Suchmaschinen geschrieben.
Was misst GPQA Diamond?
Schwere Wissenschaftsfragen auf Graduiertenniveau (Biologie, Physik, Chemie), so geschrieben, dass Laien sie auch mit Websuche nicht lösen — die 'Diamond'-Teilmenge ist der hochwertigste, von Experten geprüfte Anteil.
Was beweist ein hoher GPQA Diamond-Wert nicht?
Ein starkes GPQA Diamond-Ergebnis sagt nichts aus über:
- Allgemeine Nützlichkeit — ein schmaler Ausschnitt der Spitzenwissenschaft, keine Alltagsaufgaben.
- Ob ein Modell merkt, wann es überfordert ist; es beantwortet trotzdem jede Frage.
- Geringe Größe (198 Diamond-Fragen) — wenige Glückstreffer verschieben den Wert spürbar.
Wie wird GPQA Diamond bewertet?
Genauigkeit (% korrekt). Aufgabenformat: 198 von Experten geprüfte Multiple-Choice-Fragen im Diamond-Satz; 'Google-sicher' konzipiert.
Ist GPQA Diamond gesättigt?
GPQA Diamond ist im Atlas derzeit als Aktiv markiert. Kontext zur Obergrenze: Promovierte Fachexperten erreichen ~65-74 % im eigenen Fach; geübte Laien mit Websuche ~34 %.
Können GPQA Diamond-Ergebnisse durch Trainingsdaten verunreinigt sein?
Das Kontaminationsrisiko für GPQA Diamond ist als Kontamination niedrig eingestuft. Behandle jede Zeile auf dieser Seite als öffentliche Angabe mit Quelle und Datum, nicht als kontrolliertes Experiment.
The Pack · Redaktionsnewsletter
Neue Tools in dein Postfach. Kostenlos.
Eine kurze E-Mail, wenn ein Tool erscheint oder den Status wechselt. Kein Tracking, keine Drittanbieter-Analytics. Abmeldung mit einem Klick.