Warum dieser Benchmark nützlich ist
Redaktionelle Einordnung ausstehendWir veröffentlichen zuerst Methodik und Ledger. Die benchmark-spezifische Analyse folgt nach der Desk-Prüfung.
Benchmarks / Agentisch
Vending-Bench 2
Langhorizont-Business-Kohärenz: Ein Modell führt 365 Tage ein simuliertes Automaten-Unternehmen — Inventar, Lieferanten-Mail, Preise, Refunds — bewertet nach Endkontostand (USD).
AgentischSolidAktivNiedriges KontaminationsrisikoSeit 2026
Was dieser Benchmark nicht misst
- Keine Single-Shot-Tool-Calls — Läufe überschreiten 20 Mio. Output-Tokens; der Test ist anhaltendes Urteil.
- Keine physische Robotik — alles ist E-Mail- und Ledger-Simulation.
- Kein menschliches Ceiling — Andon schätzt ~63.000 $/Jahr für einen starken Menschen; Modelle erreichen einen Bruchteil.
Abdeckung
- Aufgabenfamilie
- Agentisch
- Format
- Start 500 $; 2 $/Tag Standgebühr; 365 simulierte Tage; mittlerer Endsaldo über 5 Läufe.
- Bewertung
- Endkontostand in USD (höher ist besser).
- Verantwortliche Stelle
- Andon Labs
So liest du die Scores
Die Lesehilfe steht noch aus. Nutze bis zur Desk-Einordnung Aufgabenformat, Bewertungsmethode und Quelldaten im Ledger.
Was er nicht abdeckt
- Keine Single-Shot-Tool-Calls — Läufe überschreiten 20 Mio. Output-Tokens; der Test ist anhaltendes Urteil.
- Keine physische Robotik — alles ist E-Mail- und Ledger-Simulation.
- Kein menschliches Ceiling — Andon schätzt ~63.000 $/Jahr für einen starken Menschen; Modelle erreichen einen Bruchteil.
Scores
5 ZeilenEvidenz-Ledger
55 Zeilen
10936.76bester Score
5quellgeprüft
1Quellen
2026-06-01Quelldatum
Wo die Zeilen liegen
0255075100
Auf die Skala dieses Benchmarks normalisiert (0–100). Die Tabelle zeigt die Rohwerte.
Neueste Belege
- Claude Opus 4.710936.76 · Andon Labs Vending-Bench 2
- GLM 5.28313.78 · Andon Labs Vending-Bench 2
- Claude Opus 4.68017.59 · Andon Labs Vending-Bench 2
- GPT 5.57523.84 · Andon Labs Vending-Bench 2
- Claude Fable 5 (high)5680.26 · Andon Labs Vending-Bench 2
Scores nutzen die eigene Einheit und Skala dieses Benchmarks, keinen universellen Qualitätswert.
| # | Modell | Veröffentlichung | Score | Herkunft | Beleglage |
|---|---|---|---|---|---|
| 1 | Claude Opus 4.7Anthropic | 2026-05-01 | 10936.76 | Andon Labs Vending-Bench 22026-06-01 | Quelle geprüft |
| 2 | GLM 5.2Zhipu | 2026-05-15 | 8313.78 | Andon Labs Vending-Bench 22026-06-01 | Quelle geprüft |
| 3 | Claude Opus 4.6Anthropic | 2026-03-09 | 8017.59 | Andon Labs Vending-Bench 22026-06-01 | Quelle geprüft |
| 4 | GPT 5.5OpenAI | 2026-04-23 | 7523.84 | Andon Labs Vending-Bench 22026-06-01 | Quelle geprüft |
| 10 | Claude Fable 5 (high)Anthropic | 2026-06-09 | 5680.26 | Andon Labs Vending-Bench 22026-06-01 | Quelle geprüft |
Was er abdeckt
Die Notiz zur Datenqualität steht aus. Jede Ledger-Zeile trägt weiterhin Quellen-URL, Quelldatum und Zeitpunkt des Einlesens.
Wo er an Grenzen stößt
Noch ist keine Obergrenze erfasst. Wenn sich Scores oben bündeln, kann der Benchmark Frontier-Modelle möglicherweise nicht mehr trennen.
Belege
Quellen und weiterführende Lektüre
- Andon Labs Vending-Bench 2· geprüft 2026-06-22
- Vending-Bench-v1-Paper· geprüft 2026-06-22
The Pack · Redaktionsnewsletter
Neue Karten in dein Postfach. Kostenlos.
Eine kurze E-Mail, wenn eine Karte erscheint oder den Status wechselt. Kein Tracking, keine Drittanbieter-Analytics. Abmeldung mit einem Klick.