Warum dieser Benchmark nützlich ist
Er übersetzt Programmierfähigkeit in überprüfbare Patches oder Erfolgsquoten. Damit lassen sich Agenten-Testumgebungen vergleichen, nicht nur Basismodelle.
Agent Diff Review (VerdictPal Lab)
Wenn ein Coding-Agent (Cursor Agent, Factory Droid) ein kleines Repo-Fixture patcht: Bleibt der Diff im Scope, bestehen Tests, werden Projektregeln eingehalten und ist der Patch vor dem Merge reviewbar? Wir bewerten sieben eingefrorene Aufgaben mit einer Diff-Review-Rubrik — der Fehler, bei dem Agenten Extra-Dateien anfassen oder grüne Tests mit unsicheren Patches liefern.
Was dieser Benchmark nicht misst
- Langhorizont-SWE-bench-Issue-Resolution — Aufgaben sind bewusst klein (Single-Session-Fixes auf einem Snapshot-Repo), keine stundenlange Repo-Archäologie.
- Modellintelligenz isoliert — Harness, Default-Routing, Auto-Run-Einstellungen und Quota-Drosselung können Werte genauso verschieben wie das Modell selbst.
- Tab-Completion oder Chat-Qualität — nur agent-erzeugte Diffs auf der eingefrorenen Aufgabenbank zählen; Vibe-Prosa wird ignoriert.
Abdeckung
- Aufgabenfamilie
- Coding
- Format
- Ein eingefrorenes TypeScript-Snapshot-Repo (Fixture v0.1) mit sieben kleinen Aufgaben (T01–T07): zwei Bugfixes, ein Refactoring, ein Test-Add, ein Lint-Autofix, ein Rules-Compliance-Pass, eine Integrations-Verdrahtung. Jedes Tool erhält denselben Prompt auf einem sauberen Checkout; Agenten nur mit Standard-Einstellungen. Privacy Mode (Cursor) oder gleichwertige No-Training-Datennutzung (Factory) muss vor der ersten Aufgabe verifiziert und per Screenshot dokumentiert werden.
- Bewertung
- Safe-Pass-Rate = Aufgaben, die alle fünf Rubrik-Dimensionen bestehen / 7, plus Fehlerzähler pro Dimension (test-pass, scope, safety, rules, reviewability). Eine Aufgabe fällt durch, wenn eine Dimension durchfällt.
- Verantwortliche Stelle
- VerdictPal desk
So liest du die Scores
Lies Agent Diff Review (VerdictPal Lab) als aktiv Signal mit kontamination niedrig. Vergleiche Modelle nur, wenn Quelle, Testumgebung, Prompting, Sampling und Score-Einheit übereinstimmen.
Was er nicht abdeckt
- Langhorizont-SWE-bench-Issue-Resolution — Aufgaben sind bewusst klein (Single-Session-Fixes auf einem Snapshot-Repo), keine stundenlange Repo-Archäologie.
- Modellintelligenz isoliert — Harness, Default-Routing, Auto-Run-Einstellungen und Quota-Drosselung können Werte genauso verschieben wie das Modell selbst.
- Tab-Completion oder Chat-Qualität — nur agent-erzeugte Diffs auf der eingefrorenen Aufgabenbank zählen; Vibe-Prosa wird ignoriert.
- Es ist ein kleiner, handbewerteter Satz — frühe Zahlen sind richtungsweisend, nicht endgültig.
Scores
0 ZeilenEvidenz-Ledger
Noch keine Ergebnisse veröffentlicht.
Das Protokoll ist vor dem Lauf öffentlich.
Was er abdeckt
Protokoll v0.1 ist eingefroren; Ergebnisse stehen aus dem ersten VerdictPal-Lab-Desk-Lauf — die Atlas-Karte ist das Protokoll, kein aufgefülltes Leaderboard.
Wo er an Grenzen stößt
Noch ist keine Obergrenze erfasst. Wenn sich Scores oben bündeln, kann der Benchmark Frontier-Modelle möglicherweise nicht mehr trennen.
So führen wir ihn aus
Eingefrorenes Protokoll v0.1 (2026-07-06). Sieben Aufgaben (T01–T07) auf Fixture-Repo v0.1. Vor dem Lauf: Privacy Mode AN (Cursor) oder dokumentierte No-Training-Datennutzung (Factory) verifizieren; Screenshot der Einstellungen. Pro Aufgabe: Agent erzeugt einen Diff; zwei Reviewer bewerten unabhängig test-pass, scope, safety, rules, reviewability; Unstimmigkeiten werden dokumentiert gelöst. Nach dem Lauf: angefasste Dateien, `npm test` / `npm run lint` und Quota-Verbrauch protokollieren. Vollständiges Runbook: docs/lab/agent-diff-review-v0.1.md.
Reproduzierbarkeit
Fixture-Repo v0.1 (Commit-Hash festgehalten), Aufgabenprompts (T01–T07), Laufdatum, Tool-Version, Modell-Routing, Privacy-Mode-Screenshot und Einstellungen werden protokolliert, damit Dritte den Lauf wiederholen können. Tools: Cursor (Agent, Privacy Mode an), Factory (Droid CLI oder Desktop, Auto-Run standardmäßig aus sofern nicht anders vermerkt).Belege
Quellen und weiterführende Lektüre
- VerdictPal-Methodik· geprüft 2026-05-30
- Agent-Diff-Review-v0.1-Runbook· geprüft 2026-07-06
Fragen zu diesem Benchmark
Jede Antwort unten stammt aus den datierten Feldern dieser Seite. Nichts davon ist zusätzlich für Suchmaschinen geschrieben.
Was misst Agent Diff Review (VerdictPal Lab)?
Wenn ein Coding-Agent (Cursor Agent, Factory Droid) ein kleines Repo-Fixture patcht: Bleibt der Diff im Scope, bestehen Tests, werden Projektregeln eingehalten und ist der Patch vor dem Merge reviewbar? Wir bewerten sieben eingefrorene Aufgaben mit einer Diff-Review-Rubrik — der Fehler, bei dem Agenten Extra-Dateien anfassen oder grüne Tests mit unsicheren Patches liefern.
Was beweist ein hoher Agent Diff Review (VerdictPal Lab)-Wert nicht?
Ein starkes Agent Diff Review (VerdictPal Lab)-Ergebnis sagt nichts aus über:
- Langhorizont-SWE-bench-Issue-Resolution — Aufgaben sind bewusst klein (Single-Session-Fixes auf einem Snapshot-Repo), keine stundenlange Repo-Archäologie.
- Modellintelligenz isoliert — Harness, Default-Routing, Auto-Run-Einstellungen und Quota-Drosselung können Werte genauso verschieben wie das Modell selbst.
- Tab-Completion oder Chat-Qualität — nur agent-erzeugte Diffs auf der eingefrorenen Aufgabenbank zählen; Vibe-Prosa wird ignoriert.
- Es ist ein kleiner, handbewerteter Satz — frühe Zahlen sind richtungsweisend, nicht endgültig.
Wie wird Agent Diff Review (VerdictPal Lab) bewertet?
Safe-Pass-Rate = Aufgaben, die alle fünf Rubrik-Dimensionen bestehen / 7, plus Fehlerzähler pro Dimension (test-pass, scope, safety, rules, reviewability). Eine Aufgabe fällt durch, wenn eine Dimension durchfällt. Aufgabenformat: Ein eingefrorenes TypeScript-Snapshot-Repo (Fixture v0.1) mit sieben kleinen Aufgaben (T01–T07): zwei Bugfixes, ein Refactoring, ein Test-Add, ein Lint-Autofix, ein Rules-Compliance-Pass, eine Integrations-Verdrahtung. Jedes Tool erhält denselben Prompt auf einem sauberen Checkout; Agenten nur mit Standard-Einstellungen. Privacy Mode (Cursor) oder gleichwertige No-Training-Datennutzung (Factory) muss vor der ersten Aufgabe verifiziert und per Screenshot dokumentiert werden.
Ist Agent Diff Review (VerdictPal Lab) gesättigt?
Agent Diff Review (VerdictPal Lab) ist im Atlas derzeit als Aktiv markiert.
Können Agent Diff Review (VerdictPal Lab)-Ergebnisse durch Trainingsdaten verunreinigt sein?
Das Kontaminationsrisiko für Agent Diff Review (VerdictPal Lab) ist als Kontamination niedrig eingestuft. Behandle jede Zeile auf dieser Seite als öffentliche Angabe mit Quelle und Datum, nicht als kontrolliertes Experiment.
The Pack · Redaktionsnewsletter
Neue Tools in dein Postfach. Kostenlos.
Eine kurze E-Mail, wenn ein Tool erscheint oder den Status wechselt. Kein Tracking, keine Drittanbieter-Analytics. Abmeldung mit einem Klick.