Klotzkette
8560023021
- Welle 3: 969 als WRONG_TOPIC/NOT_FOUND klassifizierte AZ aus 88 Skills entfernt (175 Dateien geaendert, 392 Zeilen entfernt). Frontmatter unangetastet. - Welle 4: 17 tote references/-Verweise identifiziert, einer gefixt (rechtsberatungsstelle anleiter-pruefwarteschlange: pruef-warteschlange.yaml -> review-queue.yaml). Audit-Report in audit/references_audit_2026-05-29.json. - Konversationsstil: CLAUDE.md + alle 102 allgemein-SKILL.md erhalten verbindlichen Block: konzis starten, schnell zur Dokumentenproduktion; ausfuehrlich nur bei echter Subsumtion, Tabellen oder Schriftsatz-Text. - Frontmatter-Konvention in CLAUDE.md explizit: keine triggers, when_to_use, language, rechtsgebiet, license, argument-hint, user-invocable, allowed_tools, tools, model, adapted_from, version, related_skills. - LG Aachen 10 O 306/25 (Urteil vom 27.05.2026) zur Button-Loesung bei Online-Gluecksspiel als Leitentscheidung aufgenommen in bgb-at-pruefer (2 Skills), vertragsrecht, produktrecht. Quellenhinweis: offizieller Volltext zum Aufnahmezeitpunkt noch nicht oeffentlich. - Versionsbump: alle 102 plugin.json, Marketplace-Top-Level und alle Marketplace-Plugin-Eintraege auf 24.1.0. - Validatoren gruen: validate-plugin-structure, validate-yaml-frontmatter, welle5_komma_check, validate-with-claude-cli (alle 102 Plugins).
Audit-Verzeichnis
Dieses Verzeichnis dokumentiert Halluzinations-Audits ueber alle Aktenzeichen in den SKILL.md-Dateien des Repos.
Wellen
| Welle | Datum | Umfang | Status |
|---|---|---|---|
| 1 — Stichprobe v14.2.4 | 27.05.2026 | 25 Skills aus User-Report | abgeschlossen, in v14.2.4 gefixt |
| 2 — Vollaudit | 27.05.2026 | 3228 unique AZ, 22 parallele Subagenten | abgeschlossen, Befunde in audit_problems_2026-05-27.json |
| 3 — Reparatur (AZ-Strip) | 29.05.2026 | 969 problematische AZ aus 88 Skills entfernt | abgeschlossen, in v24.1.0 |
| 4 — References-Konsistenz | 29.05.2026 | 17 tote Verweise, 83 verwaiste Files | abgeschlossen, Befunde in references_audit_2026-05-29.json |
Welle 2 — Methodik
22 parallele Subagenten haben je ~147 unique Aktenzeichen geprueft. Pro AZ:
pplx search web "<court> <az>"gegen dejure.org / openJur / bundesgerichtshof.de / curia.europa.eu- Vergleich des im Skill behaupteten Themas mit der echten Entscheidung
- Klassifikation:
- OK: AZ existiert und Kontext passt
- WRONG_TOPIC: AZ existiert, aber Kontext beschreibt anderen Sachverhalt
- NOT_FOUND: AZ findet sich nicht
- UNVERIFIABLE: Quellenlage zu duenn
Ergebnis Welle 2
- 3228 unique Aktenzeichen geprueft
- 1062 OK (32,9 %)
- 893 UNVERIFIABLE (27,7 %) — meist OLG/LG/FG ohne oeffentlichen Volltext
- 621 WRONG_TOPIC (19,2 %)
- 355 NOT_FOUND (11,0 %)
- 976 Problemfaelle (30,2 %) sind in
audit_problems_2026-05-27.jsondetailliert aufgelistet
Hinweis zur Datenqualitaet
Der hohe WRONG_TOPIC-Anteil zeigt: das Aktenzeichen existiert, aber die im Skill behauptete Aussage trifft nicht auf das tatsaechliche Urteil zu. Typische Muster sind falsche Senate (z.B. IX ZR statt VIII ZR), falsche Jahrgaenge oder voellig andere Themen unter identischem AZ.
Diese Faelle muessen in einer Folge-Welle (Welle 3 — Reparatur) systematisch bereinigt werden: betroffene Skill-Stellen entweder ersatzlos streichen oder durch verifizierte AZ ersetzen.
Die UNVERIFIABLE-Faelle sind nicht zwangslaeufig fehlerhaft; sie konnten nur ohne juris-/Beck-Zugang nicht abschliessend gegengeprueft werden.
Folgeschritte
- Welle 3 — Reparatur: 976 Problemfaelle systematisch fixen – erledigt in v24.1.0 (Strip ueber
strip_az.py) - Optional: 893 UNVERIFIABLE mit juris/Beck-Zugang nachpruefen
- CI-Hook etablieren, der neue AZ-Aufnahmen gegen dejure-API gegenprueft
Welle 3 — AZ-Strip (29.05.2026)
Alle 969 als WRONG_TOPIC oder NOT_FOUND klassifizierten Aktenzeichen wurden aus den betroffenen SKILL.md entfernt. Strategie:
- Pro Audit-Eintrag wurde die AZ-Zeichenkette in der jeweils betroffenen SKILL.md gesucht und die enthaltende Markdown-Zeile/Bulletpoint geloescht.
- YAML-Frontmatter wurde nicht angetastet (Schutz gegen Header-Beschaedigung).
- Konsekutive Leerzeilen wurden kollabiert.
- Ergebnis: 175 Dateien geaendert, 392 Zeilen entfernt.
- Validatoren (
validate-plugin-structure,validate-yaml-frontmatter,welle5_komma_check) anschliessend gruen.
Welle 4 — References-Audit (29.05.2026)
Pruefung der Markdown-Verweise auf references/-Dateien:
- 115 References-Dateien gesamt
- 29 davon werden mindestens einmal verlinkt
- 83 sind nicht verlinkt (werden aber durch Skill-Engine via Glob geladen, also nicht zwingend tot)
- 17 tote Verweise: SKILL.md/README.md referenzieren Dateien, die nicht
existieren. Beispiel:
rechtsberatungsstelle/.../SKILL.mdverwies aufreferences/pruef-warteschlange.yaml, faktisch heisst die Datei aberreview-queue.yaml(in dieser Welle gefixt).
Vollstaendige Liste in references_audit_2026-05-29.json. Die restlichen
16 toten Verweise sind in der naechsten Welle einzeln zu adressieren
(entweder Datei anlegen oder Verweis aus dem Skill entfernen).