VerdictPal
Beitreten

Modelle / Google

Gemini 1.5 Ultra (2024)

Gemini 1.5 · Release 2024-02-15

Gemini 1.5 Ultra 2024. MMLU 90,0 % (CoT@32) im öffentlichen Ledger. MMMU 59,4 %. Flaggschiff vor Gemini 2.

Legacy-Ultra-Tier für Multimodal- und Wissens-Benchmarks — von Gemini 3.x abgelöst.

Composite90
Kontext1M
Input / 1M—
Output / 1M—
Wissensstichtag2023-11-01
Statuslightweight
Gemini
Not enough families covered yet.Add more benchmark rows for Gemini 1.5 Ultra (2024) to see the radar.
Benchmark-Platzierungen

Wo Gemini 1.5 Ultra (2024) auf jeder öffentlichen Benchmark-Quelle mit Zeile steht. Rang zählt jedes Modell mit neuester Zeile im selben Test — kein universeller Qualitätsscore.

BenchmarkFamilyRangScoreQuelleDatum
MMLUKnowledge#6/ 2290Gemini technical report2023-12-06
Family-Kontext

Die drei höchstscorierenden kartierten Modelle pro Capability-Family. Wo Gemini 1.5 Ultra (2024) auftaucht, ist es hervorgehoben.

KnowledgeGemini 1.5 Ultra (2024) · 90
  1. 1
    GPT 5.5
    91
  2. 2
    Claude Opus 4.8
    91
  3. 3
    Claude Sonnet 4.6
    91
Long context
  1. 1
    Kimi K3
    75
  2. 2
    GPT-5.1
    75
  3. 3
    GPT-5.6 Sol
    74
Family-Abdeckung

Ein hoher Composite, der eine schwache Family versteckt, ist eine Falle. Diese Balken zeigen Families ohne öffentlichen Test — und wo das Modell führt.

Knowledge90
Preis vs. Performance
0255075100$0.10$0.30$1$3$10$30input USD / 1M tokens · log scale →← intelligence

Hover or tab any dot for name, score, and input price.

AnthropicOpenAIMistralAlibabaDeepSeekGoogleMoonshotMiniMaxxAIMetaZhipuXiaomiMeituanCohere

Volles Benchmark-Ledger

Jeder Katalog-Benchmark für Gemini 1.5 Ultra (2024). Scores verlinken zur Originalquelle; Lücken heißen: noch keine öffentliche Zeile.

1 Quell-Zeilen

1 of 32 catalog benchmarks have a sourced row for Gemini 1.5 Ultra (2024).

Knowledge

Quellen