Citation Fidelity (VerdictPal Lab)
EntwurfProtokoll v0.112 Fragen
Wenn eine Antwortmaschine eine Quelle zitiert: Sagt die Quelle wirklich, was behauptet wird? Wir bewerten echte Forschungsfragen daraufhin, ob jede zitierte Aussage durch die verlinkte Seite gedeckt ist — der Fehler, der Studierende am meisten kostet.
Captures vollständig — Bewertung ausstehend
Alle Capture-Slots sind gefüllt. Score-Zeilen erscheinen erst nach unabhängiger menschlicher Bewertung und Desk-Lead-Sign-off. Bis dahin kein aufgefülltes Leaderboard.
Was er dir nicht sagt
- Antwortqualität oder Flüssigkeit — eine schön geschriebene Antwort mit erfundener Quelle fällt hier bewusst durch.
- Vollständigkeit — wir prüfen, ob das Zitierte stimmt, nicht ob jede relevante Quelle gefunden wurde.
- Es ist ein kleiner, handbewerteter Satz — frühe Zahlen sind richtungsweisend, nicht endgültig.
Methode
Eingefrorenes Protokoll v0.1 (2026-07-06). Zwölf Fragen (Q01–Q12): drei Policy Brief, drei Produktvergleich, drei akademisch angrenzend, drei lokal/aktuell. Jede Engine erhält denselben Prompt und Standard-Einstellungen; zwei Reviewer bewerten jede zitierte Aussage unabhängig (gestützt / ungestützt / defekter Link); Unstimmigkeiten werden dokumentiert gelöst. Vollständiges Runbook: docs/lab/citation-fidelity-v0.1.md.So entsteht der Score: /methodology