Transparenzregister: Watson zur Missbrauchs- und Betrugserkennung im Beihilfeumfeld

Anfang Mai hat die Fraktion Bündnis 90/Die Grünen den Senat aufgefordert, ein Transparenzregister für Künstliche Intelligenz (KI) für Berlin zu schaffen und so das Vertrauen in die Digitalisierung zu stärken. Solch ein Transparenzregister für KI ist auch nicht schwer umzusetzen. Als Beispiel habe ich die nötigen Informationen zum Einsatz von Watson bei der Senatsverwaltung für Finanzen angefragt (Drucksache 19/18763) und nach dem Algorithmic Transparency Standard von Eurocities nachgebaut.

Das folgende Beispiel für den Registereintrag “Missbrauchs- und Betrugserkennung im Beihilfeumfeld” wurde auf Grundlage der schriftlichen Anfrage 19/18763 und dem Bericht Rote Nr. 1506 erstellt und umfasst die wichtigsten Einträge nach dem Eurocities-Standard. Der Eintrag kann auch als .csv heruntergeladen werden und ich stelle diesen dem Senat gerne für das Open-Data-Portal oder als ersten Eintrag für ein Transparenzregister zur Verfügung. Das Beispiel zeigt, dass es schon mit einer einfachen Website auf Berlin.de möglich wäre, ein Transparenzregister wie in Helsinki herzustellen.

Missbrauchs- und Betrugserkennung im Beihilfeumfeld

Das Landesverwaltungsamt (LVwA) Berlin setzt Watson zur Missbrauchs- und Betrugserkennung im Beihilfeumfeld ein. Die eingesetzte Künstliche Intelligenz wird für eine automatische Bewertung (Scoring) eingesetzt und “gibt Hinweise zu Vorgängen, die für eine Detailprüfung durch Beihilfeexpertinnen und Beihilfeexperten vorgeschlagen werden.” (Drucksache 19/18763).

• Verantwortlich für den Einsatz: Das Land Berlin, Landesverwaltungsamt (LVwA) Berlin
• Abteilung: Beihilfestelle
• Bereich: Finanzen (finance)
• Status: betriebsbereit (operational)
• Entscheidungsprozesse: “Das System selbst trifft keine Entscheidungen. Die eingesetzte KI übermittelt automatische Bewertungen (Scoring) aus den analysierten Daten des Beihilfeservice und gibt Hinweise zu Vorgängen, die für eine Detailprüfung durch Beihilfeexpertinnen und Beihilfeexperten vorgeschlagen werden.” (Drucksache 19/18763).
• Ziel: “Gegenstand dieser Lösung ist – basierend auf definierten beihilfespezifischen Verdachtsmomenten – die Auswertung großer strukturierter Datenmengen mit dem Ziel der Identifizierung neuer potenzieller Missbrauchsfälle.” (Drucksache 19/18763).
• Einfluss: Identifizierung neuer potenzieller Missbrauchsfälle.
• Risiko: kein externes Auditing, Proof-of-Concept durch externe IT-Beratung, extern beauftragte Datenschutzfolgeabschätzung, Einbindung der behördlichen Datenschutzbeauftragten und der Berliner Beauftragten für Datenschutz und Informationsfreiheit.
• Verhältnismäßigkeit: “Ziel des eingesetzten Systems ist eine effiziente Betrugsprävention im Beihilfeservice und die Entlastung von umfangreichen – manuell nicht mehr zu bewältigenden – Datenanalysen.” (Drucksache 19/18763). “Diese technische Unterstützung wurde gegenüber der Beihilfestelle auch von den Gerichten und dem Rechnungshof gefordert, um eine enge Kontrolldichte sicherzustellen.” (Drucksache 19/18763).
• Rechtliche Grundlagen: “Dem Beihilfeservice im Landesverwaltungsamt stehen entsprechende Kontrollbefugnisse und dem folgend auch entsprechende Kontrollpflichten zu. Insbesondere ergibt sich eine solche Kontrollpflicht aus haushaltsrechtlichen Vorschriften, insbesondere § 7a Absatz 1 LHO.” (Drucksache 19/18763). “Die grundsätzliche Frage der Zulässigkeit der Datenverarbeitung im Kontext eines forensischen Datenmodells ist vor dem Echtbetriebseinsatz im Rahmen einer extern durchgeführten Datenschutzfolgeabschätzung nach der Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/46/EG – Datenschutz-Grundverordnung – (DSGVO) abschließend geprüft worden, die im Ergebnis die Zulässigkeit der Verarbeitung nach Artikel 6 Absatz 1 Buchstabe e) in Verbindung mit Artikel 9 Absatz 2 Buchstabe b) DSGVO bestätigt hat.” (Drucksache 19/18763).
• Daten: pseudonymisierte Rechnungsbelege
• Typ des Algorithmus: (unklar)
• Erklärung: “Das System analysiert pseudonymisierte Rechnungsbelege, die im Kontext der Antragstellung beim Beihilfeservice eingereicht werden. Im Rahmen des oben genannten PoC wurde dem damaligen Pilotsystem ein definierter – ebenfalls pseudonymisierter – Datenbestand als Trainingsdaten zur Verfügung gestellt.” (Drucksache 19/18763).
• Folgeabschätzung (Algorithm Impact Assessment): “Das oben genannte PoC wurde unter Anlehnung eines Algorithmic Impact Assessment (AIA) durchgeführt. Im System wird ein Algorithmus zur automatischen Bewertung (Scoring) von Rechnungsbelegen, Verdachtsmomenten und Kennzahlen verwendet. Dieses Scoring wurde im Kontext des PoC zusammen mit dem externen Dienstleister entwickelt. Da das PoC bereits im Jahr 2014 durchgeführt wurde, ist jedoch davon auszugehen, dass es von aktuellen AIA-Fragebögen abweicht.” (Drucksache 19/18763).
• Leistungsüberwachung: (unklar) Bericht im Parlament zu den Fallzahlen liegt aus dem März 2024 vor (Rote Nr. 1506).
• Typ des Algorithmus: vorhersagend
• Menschliche Intervention: “Die eingesetzte KI übermittelt automatische Bewertungen (Scoring) aus den analysierten Daten des Beihilfeservice und gibt Hinweise zu Vorgängen, die für eine Detailprüfung durch Beihilfeexpertinnen und Beihilfeexperten vorgeschlagen werden.” (Drucksache 19/18763).
• Widerspruchsmöglichkeit: (unklar)

1. Was ist die Einsatzbeschreibung der KI-Technologie Watson im Beihilfebereich und dessen Ziel?

Das Landesverwaltungsamt (LVwA) Berlin verfügt seit rund 10 Jahren über eine Künstliche Intelligenz (KI)-basierte Lösung zur Missbrauchs- und Betrugserkennung im Beihilfeumfeld. Gegenstand dieser Lösung ist – basierend auf definierten beihilfespezifischen Verdachtsmomenten – die Auswertung großer strukturierter Datenmengen mit dem Ziel der Identifizierung neuer potentieller Missbrauchsfälle.

Das eingesetzte KI-basierte Fraud-Management-System analysiert auf Basis der vorgegebenen Verdachtsmomente einen definierten Anteil – pseudonymisierter – Rechnungsbelege des Beihilfeservice. Die Datenaufbereitung und Visualisierung erfolgt mittels der eingesetzten KI. Im Ergebnis der regelmäßig durchgeführten Analyse des Datenbestandes erhält der Beihilfeservice umfangreiche Auswertungsresultate (gewichtete und bewertete Kennzahlen je Verdachtsmoment).

In einem sogenannten Fraud Cockpit erfolgt die Strukturierung aller systemrelevanten Daten in Kennzahlen nach gruppierten Verdachtsmomenten. Hier ist auch die flexible Kombination von Verdachtsmomenten und die weitere Detailanalyse von Kennzahlen möglich.

Mittels der KI werden darüber hinaus Mustererkennungen auf Grundlage von bekannten Betrugsfällen genutzt und auf den zu prüfenden Datenbestand übertragen, um gegebenenfalls weitere analoge Fälle zu identifizieren.

Ziel des eingesetzten Systems ist eine effiziente Betrugsprävention im Beihilfeservice und die Entlastung von umfangreichen – manuell nicht mehr zu bewältigenden – Datenanalysen.

2. In welche Entscheidungsprozesse ist Watson involviert?

Das System selbst trifft keine Entscheidungen. Die eingesetzte KI übermittelt automatische Bewertungen (Scoring) aus den analysierten Daten des Beihilfeservice und gibt Hinweise zu Vorgängen, die für eine Detailprüfung durch Beihilfeexpertinnen und Beihilfeexperten vorgeschlagen werden.

3. Gab es eine Risikoanalyse zum Einsatz von Watson und was waren deren Ergebnisse?

Im Vorfeld des Einsatzes von Watson im Beihilfeumfeld wurde zusammen mit dem externen Informationstechnik (IT)-Dienstleister im Jahr 2014 ein Proof of Concept (PoC) durchgeführt. Im Kontext des PoC konnte die Evidenz erbracht werden, dass das zum Einsatz beabsichtigte Fraud-Management-System die gewünschten Hinweise auf potentielle Betrugsvorgänge erbringen kann. Der Beweis wurde innerhalb des PoC insbesondere dadurch erbracht, dass bereits bekannte und aufgedeckte Betrugsfälle vom System markiert wurden und für diese Fälle eine weitere – manuelle – Detailprüfung durch Beihilfeexpertinnen und Beihilfeexperten vorgeschlagen wurde.

Zur Absicherung datenschutzrechtlicher Risiken wurde eine extern beauftragte Datenschutzfolgeabschätzung erstellt und sowohl der behördliche Datenschutzbeauftragte als auch der Berliner Beauftragte für Datenschutz und Informationsfreiheit eingebunden.

4. Welche Gründe gibt es für den Einsatz von Watson?

Seit Mitte 2010 ist im Beihilfeservice eine Koordinierungsstelle zur Früherkennung von Betrugsverdachtsfällen eingerichtet und eine regelmäßige Zusammenarbeit mit dem Landeskriminalamt Berlin etabliert.

In bereits damals aufgetretenen strafrechtlichen Verfahren zum Beihilfebetrug wurde seitens des zuständigen Gerichts stets die Frage gestellt, durch welche Maßnahmen die Beihilfe präventiv betrügerisches Vorgehen verhindert. Je lückenhafter diese präventiven Kontrollen sind, desto geringer wird regelmäßig die kriminelle Energie der Täter durch die Strafverfolgungsbehörden bewertet.

Der Beihilfeservice hat sich daher ausgehend vom Jahr 2010 in der Betrugsprävention sukzessive stärker aufgestellt und – neben klassischen organisatorischen Maßnahmen – zusätzlich wirkungsvolle technische Kontrollmaßnahmen realisiert. Diese technische Unterstützung wurde gegenüber der Beihilfestelle auch von den Gerichten und dem Rechnungshof gefordert, um eine enge Kontrolldichte sicherzustellen.

5. Was ist die gesetzliche Grundlage für den Einsatz von Watson?

Dem Beihilfeservice im Landesverwaltungsamt stehen entsprechende Kontrollbefugnisse und dem folgend auch entsprechende Kontrollpflichten zu. Insbesondere ergibt sich eine solche Kontrollpflicht aus haushaltsrechtlichen Vorschriften, insbesondere § 7a Absatz 1 LHO. Aus diesem folgt, dass die Einnahmen, Ausgaben und Verpflichtungsermächtigungen im Rahmen eines Systems der dezentralen Verantwortung der Organisationseinheiten veranschlagt werden sollen. Dabei ist die Finanzverantwortung auf der Grundlage der Haushaltsermächtigung auf die Organisationseinheiten übertragen, die die Fach- und Ressourcenverantwortung haben. Durch Informations- und Steuerungsinstrumente ist sicherzustellen, dass das jeweils verfügbare Ausgabevolumen nicht überschritten wird.

Weiter konkretisiert wird diese Verpflichtung darüber hinaus durch die vom Senat von Berlin beschlossenen Richtlinien für die Arbeit der Prüfgruppen in der Hauptverwaltung. Diese sieht explizit die mögliche Nutzung forensischer Datenanalysen vor.

Die grundsätzliche Frage der Zulässigkeit der Datenverarbeitung im Kontext eines forensischen Datenmodells ist vor dem Echtbetriebseinsatz im Rahmen einer extern durchgeführten Datenschutzfolgeabschätzung nach der Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/46/EG – Datenschutz-Grundverordnung – (DSGVO) abschließend geprüft worden, die im Ergebnis die Zulässigkeit der Verarbeitung nach Artikel 6 Absatz 1 Buchstabe e) in Verbindung mit Artikel 9 Absatz 2 Buchstabe b) DSGVO bestätigt hat. Sowohl der behördliche Datenschutzbeauftragte als auch der Berliner Beauftragte für Datenschutz und Informationsfreiheit wurden hierbei eingebunden.

6. Welche Daten werden von Watson verarbeitet und welche Trainingsdaten wurden verwendet?

Das System analysiert pseudonymisierte Rechnungsbelege, die im Kontext der Antragstellung beim Beihilfeservice eingereicht werden. Im Rahmen des oben genannten PoC wurde dem damaligen Pilot-System ein definierter – ebenfalls pseudonymisierter – Datenbestand als Trainingsdaten zur Verfügung gestellt.

7. Wurde ein Algorithm impact assessment durchgeführt und was waren die Ergebnisse?

Das oben genannte PoC wurde unter Anlehnung eines Algorithmic Impact Assessment (AIA) durchgeführt. Im System wird ein Algorithmus zur automatischen Bewertung (Scoring) von Rechnungsbelegen, Verdachtsmomenten und Kennzahlen verwendet. Dieses Scoring wurde im Kontext des PoC zusammen mit dem externen Dienstleister entwickelt. Da das PoC bereits im Jahr 2014 durchgeführt wurde, ist jedoch davon auszugehen, dass es von aktuellen AIAFragebögen abweicht.