Warum dieser Benchmark nützlich ist
Wenn es um anhaltendes Business-Urteil über Hunderte simulierter Tage geht — Inventar, Lieferanten, Preise — nicht um Single-Shot-Tool-Calls.
Vending-Bench 2
Langhorizont-Business-Kohärenz: Ein Modell führt 365 Tage ein simuliertes Automaten-Unternehmen — Inventar, Lieferanten-Mail, Preise, Refunds — bewertet nach Endkontostand (USD).
Was dieser Benchmark nicht misst
- Keine Single-Shot-Tool-Calls — Läufe überschreiten 20 Mio. Output-Tokens; der Test ist anhaltendes Urteil.
- Keine physische Robotik — alles ist E-Mail- und Ledger-Simulation.
- Kein menschliches Ceiling — Andon schätzt ~63.000 $/Jahr für einen starken Menschen; Modelle erreichen einen Bruchteil.
Abdeckung
- Aufgabenfamilie
- Agentisch
- Format
- Start 500 $; 2 $/Tag Standgebühr; 365 simulierte Tage; mittlerer Endsaldo über 5 Läufe.
- Bewertung
- Endkontostand in USD (höher ist besser).
- Verantwortliche Stelle
- Andon Labs
So liest du die Scores
Mittlerer Endkontostand in USD über Läufe (höher ist besser). Startkapital und Tagesgebühren sind im Harness fix; Ledger-Simulation, keine Robotik und kein Menschen-Ceiling-Claim.
Was er nicht abdeckt
- Keine Single-Shot-Tool-Calls — Läufe überschreiten 20 Mio. Output-Tokens; der Test ist anhaltendes Urteil.
- Keine physische Robotik — alles ist E-Mail- und Ledger-Simulation.
- Kein menschliches Ceiling — Andon schätzt ~63.000 $/Jahr für einen starken Menschen; Modelle erreichen einen Bruchteil.
Scores
10 ZeilenEvidenz-Ledger
1010 Zeilen
11181.87bester Score
10quellgeprüft
1Quellen
2026-08-04Quelldatum
Wo die Zeilen liegen
0255075100
Auf die Skala dieses Benchmarks normalisiert (0–100). Die Tabelle zeigt die Rohwerte.
Neueste Belege
- Claude Opus 511181.87 · Andon Labs Vending-Bench 2
- Claude Opus 4.710936.76 · Andon Labs Vending-Bench 2
- GPT-5.6 Sol9619.37 · Andon Labs Vending-Bench 2
- GLM 5.28313.78 · Andon Labs Vending-Bench 2
- Claude Opus 4.68017.59 · Andon Labs Vending-Bench 2
Scores nutzen die eigene Einheit und Skala dieses Benchmarks, keinen universellen Qualitätswert.
| # | Modell | Veröffentlichung | Score | Herkunft | Beleglage |
|---|---|---|---|---|---|
| 1 | Claude Opus 5Anthropic | 2026-07-24 | 11181.87 | Andon Labs Vending-Bench 22026-08-04 | Quelle geprüft |
| 2 | Claude Opus 4.7Anthropic | 2026-05-01 | 10936.76 | Andon Labs Vending-Bench 22026-08-04 | Quelle geprüft |
| 3 | GPT-5.6 SolOpenAI | 2026-07-09 | 9619.37 | Andon Labs Vending-Bench 22026-08-04 | Quelle geprüft |
| 4 | GLM 5.2Zhipu | 2026-05-15 | 8313.78 | Andon Labs Vending-Bench 22026-08-04 | Quelle geprüft |
| 5 | Claude Opus 4.6Anthropic | 2026-03-09 | 8017.59 | Andon Labs Vending-Bench 22026-08-04 | Quelle geprüft |
| 6 | GPT 5.5OpenAI | 2026-04-23 | 7523.84 | Andon Labs Vending-Bench 22026-08-04 | Quelle geprüft |
| 7 | GPT-5.6 TerraOpenAI | 2026-07-09 | 7343.21 | Andon Labs Vending-Bench 22026-08-04 | Quelle geprüft |
| 8 | Claude Sonnet 4.6Anthropic | 2026-02-17 | 7204.14 | Andon Labs Vending-Bench 22026-08-04 | Quelle geprüft |
| 9 | Muse Spark 1.1Meta | 2026-07-09 | 6520.47 | Andon Labs Vending-Bench 22026-08-04 | Quelle geprüft |
| 10 | Claude Sonnet 5Anthropic | 2026-06-30 | 6377.7 | Andon Labs Vending-Bench 22026-08-04 | Quelle geprüft |
Was er abdeckt
Dieser Benchmark gehört zur Familie agentisch. Sein Format: Start 500 $; 2 $/Tag Standgebühr; 365 simulierte Tage; mittlerer Endsaldo über 5 Läufe. Der Score sollte immer mit Aufgabenformat, Bewertungsmethode, Quelldatum und Benchmark-Version gelesen werden.
Wo er an Grenzen stößt
Noch ist keine Obergrenze erfasst. Wenn sich Scores oben bündeln, kann der Benchmark Frontier-Modelle möglicherweise nicht mehr trennen.
Belege
Quellen und weiterführende Lektüre
- Andon Labs Vending-Bench 2· geprüft 2026-06-22
- Vending-Bench-v1-Paper· geprüft 2026-06-22
Fragen zu diesem Benchmark
Jede Antwort unten stammt aus den datierten Feldern dieser Seite. Nichts davon ist zusätzlich für Suchmaschinen geschrieben.
Was misst Vending-Bench 2?
Langhorizont-Business-Kohärenz: Ein Modell führt 365 Tage ein simuliertes Automaten-Unternehmen — Inventar, Lieferanten-Mail, Preise, Refunds — bewertet nach Endkontostand (USD).
Was beweist ein hoher Vending-Bench 2-Wert nicht?
Ein starkes Vending-Bench 2-Ergebnis sagt nichts aus über:
- Keine Single-Shot-Tool-Calls — Läufe überschreiten 20 Mio. Output-Tokens; der Test ist anhaltendes Urteil.
- Keine physische Robotik — alles ist E-Mail- und Ledger-Simulation.
- Kein menschliches Ceiling — Andon schätzt ~63.000 $/Jahr für einen starken Menschen; Modelle erreichen einen Bruchteil.
Wie wird Vending-Bench 2 bewertet?
Endkontostand in USD (höher ist besser). Aufgabenformat: Start 500 $; 2 $/Tag Standgebühr; 365 simulierte Tage; mittlerer Endsaldo über 5 Läufe.
Ist Vending-Bench 2 gesättigt?
Vending-Bench 2 ist im Atlas derzeit als Aktiv markiert.
Können Vending-Bench 2-Ergebnisse durch Trainingsdaten verunreinigt sein?
Das Kontaminationsrisiko für Vending-Bench 2 ist als Kontamination niedrig eingestuft. Behandle jede Zeile auf dieser Seite als öffentliche Angabe mit Quelle und Datum, nicht als kontrolliertes Experiment.
The Pack · Redaktionsnewsletter
Neue Tools in dein Postfach. Kostenlos.
Eine kurze E-Mail, wenn ein Tool erscheint oder den Status wechselt. Kein Tracking, keine Drittanbieter-Analytics. Abmeldung mit einem Klick.