Wie kontrolliere ich KI-generierte CRM-Daten auf Fehler und Halluzinationen?

Eine KI-Ausgabe kann sprachlich überzeugend und trotzdem sachlich falsch sein. Im CRM werden aus kleinen Fehlern schnell falsche Anreden, erfundene Fakten, unzulässige Kategorien oder Automatisierungen mit Kundenwirkung.

Eine sprachlich überzeugende Ausgabe ist noch keine geprüfte Angabe.

Die kurze Antwort

Behandeln Sie jede KI-Ausgabe als unbestätigten Vorschlag. Fordern Sie Quellen-Record-IDs und belegende Textstellen an. Nutzen Sie ein strukturiertes Schema und prüfen Sie Datentypen sowie erlaubte Werte. Vergleichen Sie kritische Aussagen mit dem Quelldatensatz. Neue oder geänderte CRM-Werte sollten zunächst in einen Prüfstatus gelangen. Für rechtliche, finanzielle oder kundenwirksame Entscheidungen bleibt eine fachkundige menschliche Freigabe erforderlich.

Grounding statt freier Ergänzung

Weisen Sie das Modell an, nur aus bereitgestellten Feldern abzuleiten und bei fehlender Evidenz „nicht bestimmbar“ zurückzugeben. Verlangen Sie für jede Klassifikation die Quell-ID und eine kurze Begründung. Das reduziert erfundene Ergänzungen und macht Fehler prüfbar.

Maschinelle Validierung vor dem CRM

JSON-Schema, Pflichtfelder, Datums- und Zahlenformate, Auswahllisten und Bereichsgrenzen müssen technisch geprüft werden. Geschäftsregeln erkennen Widersprüche wie Abschlussdatum vor Erstkontakt oder Status „gewonnen“ ohne Betrag. Ungültige Ergebnisse werden verworfen, nicht still repariert.

Referenzdatensatz und Freigabestufen

1. Reale Fälle datenschutzgerecht anonymisieren.
2. Erwartete Werte durch Fachleute festlegen.
3. Genauigkeit je Feld und Fehlerklasse messen.
4. Kritische Fehler stärker gewichten als Stilabweichungen.
5. Grenzwert für Auto-Vorschlag und manuelle Prüfung definieren.
6. Regressionstest bei Prompt- oder Modelländerung wiederholen.

Produktion überwachen

Protokollieren Sie Modell- und Prompt-Version, Quellen, vorgeschlagene Werte, Prüferentscheidung und Korrektur. Beobachten Sie Ablehnungs- und Korrekturraten nach Segment. Ein plötzlicher Rückgang kann auf veränderte Quelldaten, Mappingfehler oder Modellverhalten hinweisen.

Kontrollen, die vor dem Datensatz greifen

Der gefährlichste Fehler ist der plausible. Eine erfundene Angabe, die zum Rest des Datensatzes passt, fällt niemandem auf und wird zur Grundlage für die nächste Entscheidung. Prüfen Sie deshalb nicht auf Auffälligkeit, sondern gegen die Quelle, aus der die Angabe stammen sollte.

Setzen Sie die Kontrolle vor die Übernahme, nicht danach. Ein Eintrag im führenden System gilt schnell als geprüft. Spätere Korrekturen erreichen möglicherweise nicht alle nachgelagerten Verwendungen.

Prüfen Sie maschinell, was sich eindeutig prüfen lässt. Dazu gehören Formate, Auswahlwerte, Wertebereiche und Pflichtfelder. Diese Kontrollen erkennen formale Fehler vor der menschlichen Prüfung.

Halten Sie einen festen Satz Referenzfälle mit bekanntem richtigem Ergebnis vor. Nach jeder Änderung an Vorgaben oder Modell laufen diese Fälle erneut durch. Ohne diesen Vergleich merken Sie eine Verschlechterung erst an den Beschwerden aus dem Betrieb.

Kennzeichnen Sie generierte Inhalte dauerhaft im Datensatz. Wer in einem Jahr eine Angabe anzweifelt, muss erkennen können, ob sie von einem Menschen erfasst oder maschinell erzeugt wurde. Ohne diese Unterscheidung lässt sich ein Qualitätsproblem später nicht mehr eingrenzen.

Legen Sie fest, was bei einem erkannten Fehler passiert. Eine Prüfung, die Abweichungen meldet, aber keinen Weg zur Korrektur beschreibt, erzeugt eine Liste, die niemand abarbeitet. Benennen Sie eine zuständige Person und ein Zeitfenster, sonst wird aus der Kontrolle eine Statistik über bekannte, aber ungelöste Probleme. Werten Sie die gemeldeten Fälle regelmäßig gemeinsam aus, denn wiederkehrende Fehlerarten verweisen fast immer auf eine Ursache in der Vorgabe und nicht auf Zufall.

Abnahme-Checkliste

• Zweck, Verantwortlichkeit und erwartetes Ergebnis sind dokumentiert.
• Nur notwendige Daten und Berechtigungen werden verwendet.
• Vertrag, Produktvariante und aktuelle Anbieterbedingungen sind geprüft.
• Normalfall, Grenzfall und Fehlerfall wurden nachvollziehbar getestet.
• Kritische Ausgaben benötigen eine fachliche menschliche Freigabe.
• Protokollierung, Löschung, Offboarding und Rollback sind festgelegt.

Häufige Fragen

Kann ich die Lösung ohne Datenschutzprüfung produktiv einsetzen?

Bei personenbezogenen Kunden- oder Beschäftigtendaten sollte die verantwortliche Datenschutzstelle den konkreten Zweck, Vertrag und Datenfluss vor der Produktivfreigabe prüfen.

Reicht eine gute Prompt-Anweisung als Schutz?

Nein. Prompts unterstützen das Verhalten, ersetzen aber keine Berechtigungsgrenzen, Datenminimierung, technische Validierung, Protokollierung und menschliche Freigabe.

Wie starte ich mit möglichst geringem Risiko?

Beginnen Sie mit synthetischen oder wirksam anonymisierten Daten, rein lesendem Zugriff und einem begrenzten Testdatensatz. Erweitern Sie den Umfang erst nach dokumentierter Qualitäts- und Risikoprüfung.

Quellen und ausführliche Anleitung

Stand: 13. August 2026. Anthropic Docs: Halluzinationen reduzieren, Anthropic Docs: Evaluation Tool. Die ausführliche Fassung mit Betriebs- und Teststandard steht im Zophoria-Hilfebereich.