KI-Bonitätsprüfung: menschliche Kontrolle und Rechtsbehelf

Eine automatisierte Bonitätsprüfung kann über Kredit, Versicherungsschutz oder eine Bewerbung entscheiden. Beruht diese Entscheidung ausschließlich auf automatisierter Verarbeitung und wirkt sie rechtlich oder ähnlich erheblich, greift Art. 22 DSGVO. Dann müssen Unternehmen die Ausnahme, die Information und die menschliche Kontrolle besonders sorgfältig organisieren.

Dieser Beitrag zeigt, woran Sie eine Entscheidung nach Art. 22 DSGVO erkennen, welche Rolle ein Score oder Profil spielt und wie betroffene Personen eine nachvollziehbare Prüfung und einen wirksamen Einwand ermöglichen. Eine Software, die nur Informationen für eine spätere manuelle Entscheidung sortiert, ist nicht automatisch eine Entscheidung nach Art. 22. Entscheidend ist der tatsächliche Ablauf.

Art. 22 Abs. 1 DSGVO schützt betroffene Personen davor, einer Entscheidung unterworfen zu werden, die ausschließlich auf automatisierter Verarbeitung einschließlich Profiling beruht und rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Für die Prüfung zählt daher nicht, ob ein Unternehmen das System als KI, Scorecard oder Regelwerk bezeichnet. Maßgeblich sind die tatsächlichen Verarbeitungsschritte und die Wirkung der fertigen Entscheidung.

Eine automatische Ablehnung eines Kreditantrags, die Verweigerung eines Versicherungsprodukts oder der vollständige Ausschluss aus einem Bewerbungsverfahren kann die notwendige Erheblichkeit erreichen. Das gilt nicht schon für jede interne Priorisierung. Wird ein Score nur als Hinweis verwendet und entscheidet danach eine Person eigenständig, muss der menschliche Beitrag tatsächlich in die Entscheidung einfließen können.

Unternehmen sollten deshalb den Ablauf vom Eingang der Daten bis zur Mitteilung an die betroffene Person aufzeichnen. Dazu gehören Datenquellen, verwendete Merkmale, Schwellenwerte, Ausnahmen, die Person mit Entscheidungsbefugnis und die konkrete Folge. Der Glossareintrag zur automatisierten Entscheidung erklärt die Grundbegriffe. Die Definition des Profilings hilft bei der vorgelagerten Abgrenzung.

Ein Bonitätsscore kann aus Zahlungserfahrungen, öffentlichen Informationen, Angaben aus einem Antrag oder weiteren Datenquellen gebildet werden. Die Bildung eines solchen Profils ist nicht automatisch die verbotene oder beschränkte Entscheidung nach Art. 22 DSGVO. Entscheidend ist, ob aus dem Ergebnis ohne echte menschliche Prüfung eine Entscheidung über die Person folgt.

Die Auswirkung muss im konkreten Lebensbereich betrachtet werden. Ein negativer Score kann zum Beispiel die Finanzierung einer Wohnung, den Zugang zu einer Versicherung oder die berufliche Auswahl beeinflussen. Auch eine Entscheidung, die formal nur einen Antrag ablehnt, kann für die betroffene Person wirtschaftlich erheblich sein. Ein allgemeiner Hinweis auf die technische Genauigkeit des Modells beantwortet diese Frage nicht.

Bei der Prüfung sollten Unternehmen die Entscheidung und ihre Folgen getrennt beschreiben. Welche Handlung wird automatisch ausgelöst? Welche Alternativen stehen offen? Wird ein identischer Fall durch eine Person anders beurteilt? Welche Informationen erhält die betroffene Person? Diese Fragen machen sichtbar, ob die Software nur unterstützt oder die maßgebliche Entscheidung faktisch vorwegnimmt.

Art. 22 Abs. 2 DSGVO nennt drei Ausnahmen: Die Entscheidung kann für den Abschluss oder die Erfüllung eines Vertrags erforderlich sein, durch Unionsrecht oder nationales Recht ausdrücklich zugelassen werden oder auf einer ausdrücklichen Einwilligung beruhen. Die gewählte Ausnahme muss zur konkreten Entscheidung passen. Eine bloße Zweckmäßigkeit oder ein allgemeiner Verweis auf Effizienz genügt nicht.

Bei Vertragserforderlichkeit und ausdrücklicher Einwilligung verlangt Art. 22 Abs. 3 DSGVO geeignete Maßnahmen zum Schutz der Rechte und Freiheiten. Dazu gehören zumindest die Möglichkeit menschlichen Eingreifens, die eigene Sicht darzulegen und die Entscheidung anzufechten. Das Unternehmen sollte deshalb nicht nur eine Kontaktadresse nennen, sondern eine zuständige Person, die den Fall mit den nötigen Informationen wirklich neu bewerten kann.

Art. 22 Abs. 4 DSGVO schränkt Entscheidungen ein, die auf besonderen Kategorien personenbezogener Daten nach Art. 9 Abs. 1 DSGVO beruhen. Eine solche Entscheidung darf grundsätzlich nicht auf diesen Daten basieren, außer unter den dort genannten zusätzlichen Voraussetzungen und mit geeigneten Schutzmaßnahmen. Für die Praxis bedeutet das: Datenherkunft, Merkmalsauswahl und mögliche Ersatzmerkmale müssen vor dem Einsatz nachvollziehbar geprüft werden.

Art. 13 und Art. 14 DSGVO verlangen bei den dort geregelten Erhebungen Informationen über das Bestehen einer automatisierten Entscheidungsfindung einschließlich Profiling. In den einschlägigen Fällen sind außerdem aussagekräftige Informationen über die involvierte Logik sowie über die Tragweite und die angestrebten Auswirkungen der Verarbeitung zu geben. Eine rein technische Beschreibung des Modells reicht nicht, wenn die betroffene Person die Bedeutung der Entscheidung nicht verstehen kann.

Wird ein Score aus Daten erhoben, die nicht direkt bei der betroffenen Person stammen, ist auch die verfügbare Information über die Herkunft zu berücksichtigen. Art. 15 DSGVO ergänzt das Auskunftsrecht. Dort ist die automatisierte Entscheidungsfindung einschließlich Profiling ebenfalls ausdrücklich genannt. Die Antwort muss daher die Verarbeitung und ihre Folgen verständlich einordnen, ohne Geschäftsgeheimnisse pauschal als Grund für jede Auskunft zu verwenden.

Die Information sollte in der Praxis an der Entscheidung ansetzen: Welche Datenkategorien wurden berücksichtigt? Welche Rolle hatte der Score? Welche Entscheidung wurde daraus abgeleitet? Welche Folgen hatte sie? Und wie kann die Person eine menschliche Prüfung anstoßen? Der Schwerpunkt zu Betroffenenrechten und Auskunft ordnet die allgemeinen Anforderungen an. Für die konkrete Datenkopie ist der Beitrag zum Auskunftsbegehren nach Art. 15 DSGVO hilfreich.

Eine menschliche Kontrolle ist nicht schon dadurch gegeben, dass ein Mitarbeiter am Ende auf eine Schaltfläche klickt. Die Person muss die relevanten Informationen erhalten, den Fall eigenständig bewerten und die Entscheidung ändern können. Wer nur die technische Ausgabe bestätigt, keine Unterlagen anfordern darf oder unter Zeitdruck jede Abweichung vermeiden soll, übt keine wirksame Kontrolle aus.

Der Rechtsbehelf sollte verständlich beschrieben werden. Betroffene Personen müssen wissen, an wen sie sich wenden, welche Angaben für die Prüfung sinnvoll sind und wann sie mit einer Antwort rechnen können. Eine Stellungnahme darf nicht wegen einer unklaren technischen Fehlermeldung ausgeschlossen werden. Auch der Inhalt der Prüfung und das Ergebnis sollten nachvollziehbar dokumentiert werden.

Unternehmen profitieren von einem getrennten Ablauf für automatisierte Entscheidungen: Eingang des Einwands sichern, Identität nur soweit erforderlich prüfen, Entscheidungsdaten und relevante Unterlagen zusammenstellen, menschlich neu bewerten und das Ergebnis verständlich mitteilen. Die Prüfung sollte auch zeigen, ob ein Fehler im Datensatz, ein ungeeignetes Merkmal oder eine falsche Zuordnung vorlag.

Für die Rechenschaft sollten Unternehmen festhalten, welche Entscheidung automatisiert getroffen wird, welche Datenquellen und Merkmale einfließen, welche Ausnahme nach Art. 22 Abs. 2 DSGVO herangezogen wird und welche Schutzmaßnahmen bestehen. Hinzu kommen die Informationstexte, der Weg zur menschlichen Prüfung, die Zuständigkeit für Einwände und die Aufbewahrung der Entscheidungsvorgänge.

Häufige Fehler entstehen, wenn ein Score mit einer Entscheidung gleichgesetzt wird, ohne die letzte manuelle Prüfung zu untersuchen. Ebenso problematisch ist eine allgemeine Datenschutzinformation, die weder die Tragweite der Bewertung noch den Weg zum Einwand erklärt. Eine weitere Schwachstelle ist die fehlende Verbindung zwischen Anbieter und Unternehmen: Wer ein externes Modell einsetzt, muss die Datenquellen, Aktualität und Entscheidungslogik des Dienstleisters für die eigene Prüfung ausreichend verstehen.

Vor einer Änderung am Modell sollte die Organisation außerdem prüfen, ob sich Daten, Personengruppen, Schwellenwerte oder Folgen verändert haben. Die Schwerpunktseite zu Datenschutz-Governance und Compliance unterstützt die Ordnung von Zuständigkeiten und Nachweisen. Ein klarer Prüfpfad ist besonders wichtig, wenn eine automatisierte Entscheidung wiederholt über viele Personen in ähnlicher Weise wirkt.

Wir prüfen mit Ihnen den konkreten Entscheidungsablauf, die Datenquellen, die Ausnahme nach Art. 22 DSGVO, die Information und den Weg zur menschlichen Kontrolle. Kontaktieren Sie uns mit dem Ablaufdiagramm, den eingesetzten Bewertungskriterien, den Informationstexten und einem Beispiel der Entscheidung, damit die Auswirkungen und der sinnvolle nächste Schritt nachvollziehbar eingeordnet werden können.