Wo unterstützt KI und ADM die Berliner Verwaltung?

Obwohl Berlin die Digitalisierung an vielen Stellen verpasst hat, wird von der Berliner Verwaltung bereits KI gestützte Software eingesetzt. Ich habe daher mal gefragt wo KI-Basierte Entscheidungshilfen in Berlin zum Einsatz kommen und wie es durch den Einsatz zu potentieller Diskriminierung kommt. Die Antwort (Rote Nummer 1270, Bericht Nr. 21, Seite 133 ff. ) teilt dabei in KI-Systeme welche keine Entscheidungen treffen und jene die Entscheidungen treffen. Klare Kriterien oder ein Tranzparenzregister gibt es immer noch nicht für den Einsatz von ADM (Automated Decision Making).

Im Vergleich zum letzten Doppelhaushalt sind Anzahl und Zwecke deutlich angestiegen. Derzeit gibt es 15 verschiedene Anwendungen mit KI-Systemen. Ein Transparenzregister wäre schon jetzt ohne Gutachten möglich und würde modernes Verwaltungshandeln transparent machen. Auch der Ethikrat ist zu dem Schluss gekommen, dass es beim Einsatz von KI-Systemen in Verwaltung bestimmte Voraussetzung und Maßnahmen braucht. Zwar Ordnet der Senat das Potential von Diskriminierung richtig ein, benennt jedoch keine Maßnahmen oder Strategie für die Zukunft.

Nicht-entscheidungsbasierten KI-Systeme

• ChatbotBobbi,Zweck:VirtuellerBürger-Service-AssistentzurEntlastungderD115- Callcenter-Mitarbeiterinnen und -Mitarbeiter
• KrimPro Predictive Policing, Zweck: Vorhersagende Polizeiarbeit im Bereich Wohnungseinbrüche
• Gesichtserkennungssystem, Zweck: zur Recherche von Bildern im erkennungsdienstlichen Datenbestand
• Sprecher- und Audioanalyse System Vocalise (Oxford Wave Research), Zweck: automatischer forensischer Stimmenvergleich
• INSITU, Zweck: KI-System unterstützt Einsatzkräfte bei der Durchführung der Tatortbefundaufnahme zur Erkennung von Objekten in Bilddaten
• KibarDok, Zweck: automatisierte und barrierefreie Erschließung von Dokumenten
• WEBApp„KIBARDOKServices“,Zweck:FachwissenderDenkmalbehördennutzbar machen und barrierefrei bereitstellen
• Intelligent Zoning Engine (IZE), Zweck: Optimierter Zuschnitt von Grundschuleinzugsgebieten
• BingAI,Zweck:RelevanzderSuchergebnisseverbessern
• DeepL,Zweck:maschinellesÜbersetzen
• GoogleImages,Zweck:IdentifikationvonvisuellenElementeninBildern
• Vectech IDX, Zweck: KI-gestütztes, entomologisches System für die Identifikation der verschiedenen Insektenarten und Zecken im Rahmen des Vektormonitorings.

Entscheidungsbasierte KI-Systeme

• Steuerfestsetzung mittels Risikomanagementsystem (RMS): Dieses System kann verschiedene steuerlich relevante Zusammenhänge aufzeigen, um menschliche Entscheidungen vorzubereiten und Steuerfälle in Risikoklassen einzuteilen. Das KI- System für Steuerfestsetzung und Risikomanagement analysiert Steuererklärungen von Steuerpflichtigen, erstellt Risikoprofile und führt Plausibilitätsprüfungen durch. Die Effizienz- und Effektivitätssteigerung dieses KI-Systems für die Verwaltung besteht darin, dass durch die automatisierte Analyse von großen Mengen an Steuererklärungen in kürzester Zeit massiv Zeit gespart und der Arbeitsaufwand der manuellen Überprüfung minimiert wird. Durch den Einsatz von KI im Risikomanagement kann das System Steuerpflichtige anhand bestimmter Kriterien in Risikoklassen einteilen, so dass die Steuerbehörden gezielt ihre Ressourcen auf diejenigen Fälle lenken können, die ein höheres Risiko für Steuerhinterziehung oder fehlerhafte Angaben aufweisen.
• Datenanalyse: Die steuerliche Außenprüfung verwendet Algorithmen zur Datenanalyse, sowohl zur zielgenauen Fallauswahl als auch zur Sachverhaltsermittlung, was auf Entscheidungsfindung hindeutet.
• Webcrawler; Dieser erstellt automatisierte Analysen von Webseiten zwecks Ermittlung der steuerrechtlichen Sachverhalte, so dass konzipierte Prüfungen in Fällen des Internethandels vorgenommen werden können.

Zur Minimierung von möglicher Diskriminierung durch entscheidungsbasierte KI-Systeme, müssen Entwickler und Organisationen sicherstellen, dass die Trainingsdaten vielfältig und ausgewogen sowie auch die Algorithmen fair und ausgewogen sind. Von Relevanz ist aber zudem die Gewährleistung von Transparenz und Überprüfbarkeit. Darüber hinaus sind eine kontinuierliche Überwachung und Bewertung der Systeme notwendig, um sicherzustellen, dass keine Diskriminierung auftritt und um gegebenenfalls Korrekturen vornehmen zu können. Es ist wichtig, ethische und rechtliche Standards einzuhalten sowie sicherzustellen, dass die Systeme Gleichheit und Fairness fördern.

Bei der Betrachtung von Diskriminierungspotentialen durch den Einsatz von KI-basierten Entscheidungshilfen ist es wichtig, auf die sehr unterschiedliche, technologische Komplexität der eingesetzten Systeme und die Unschärfe des KI-Begriffs hinzuweisen. Daher wird oftmals eher der Begriff ADM (Automated Decision Making) für automatisierte Entscheidungssysteme verwandt.

Dabei kann unterschieden werden zwischen regelbasierten ADM-Systemen, die aufgrund einer begrenzten Menge an Daten halb- oder vollautomatisierte Entscheidungsempfehlungen als Output generieren und KI-basierten, lernenden ADM- Systemen, die aufgrund einer konstanten (und ggf. unbegrenzten) Zufuhr von neuen Daten halb- oder vollautomatisierten Entscheidungsempfehlungen als Output generieren.

Grundsätzlich kann es bei dem Einsatz von ADM zu einer Diskriminierung aufgrund des sogenannten „algorithmic bias“ kommen, also einer Verzerrung der Entscheidungsempfehlung durch Fehler in der Datenerhebung oder -verarbeitung. Diese können bewusst („expliziter Bias“) durch gezielte Programmierung dieser Systeme d.h. beabsichtigte Datenverarbeitung (Vorurteile oder Absicht der Programmiererinnen und Programmierer) oder unbewusst (implizierter Bias) durch die Verwendung verzerrter Datensätze bei der Programmierung (Trainieren des Systems) entstehen. Diese Verzerrungen aufgrund der Qualität der Trainingsdaten, anhand derer ein System lernt, können bspw. bereits in der Gesellschaft vorhandene, strukturelle Diskriminierungen reproduzieren oder sogar verstärken. Dies wird auch Verzerrung aufgrund historischer Daten genannt.

Ebenso kommt es häufig zu Verzerrungen aufgrund fehlender Datensätze, wenn das System bspw. anhand von sehr homogenen Datensätzen (d. h. Daten einer spezifischen Gruppe, bspw. weißer, mittelalter, männlicher Personen) trainiert wurde und nicht die vielfältigen Charakteristika der eigentlichen Zielgruppe für die Anwendung des Systems repräsentiert. Von den homogenen Trainingsdaten abweichende Datensätze können dann im Echtbetrieb des Systems entweder gar nicht verarbeitet werden, werden als abweichend und damit fehlerhaft eingestuft oder bei Entscheidungsempfehlungen negativ bewertet bzw. die betroffenen Personen (-gruppen) ausgeschlossen.

Je nach Komplexität der verwandten Algorithmen, kann zudem der Bias erst durch das Lernen des Systems (bspw. „deep learning“ durch neuronale, künstliche Netze), entstehen d.h. durch das Auswerten stets neuer Datensätze (big data) und das konstante „Erkennen“ von neuen, u. U. nicht erwünschten oder benachteiligenden Mustern. In diesem Fall hat der errechnete Output (bspw. eine Entscheidungs- oder Handlungsempfehlung) eine diskriminierende Auswirkung, die möglicherweise weder von den Entwicklerinnen und Entwicklern intendiert war, noch durch diese selbst nachvollziehbar ist (Prinzip der „black box“). Dies erschwert zudem die Rechtsdurchsetzung, da sich in vielen Fällen weder aus der Offenlegung der Quellcodes noch der Trainingsdaten ein direktes Diskriminierungspotential erkennen lässt und erst durch das „deep learning“, also das kontinuierliche Integrieren verzerrter Datensätze in die mathematische Handlungsanweisung ein diskriminierender Output „in Echtbetrieb“ entsteht.

Zudem sei kurz zu erwähnen, dass Diskriminierungen auch dann entstehen können, wenn keine personenbezogenen Daten oder geschützten Merkmale direkt verarbeitet werden. Ersteres kann z. B. durch die Verarbeitung raumbezogener Daten und einer daraus resultierenden, mittelbaren Diskriminierung entstehen. So kann bspw. der Einsatz von KrimPro, einem System für Kriminalitätsprognosen wie der Wahrscheinlichkeitsberechnung von Wohnraumeinbrüchen in bestimmten Wohngegenden, für eine erhöhte Repräsentanz von Polizeistreifen in den ausgewählten Wohngegenden sorgen. Dies kann dann bspw. im Rahmen von verdachtsunabhängigen Personenkontrollen zu Benachteiligungen bestimmter Gruppen wie BPoC Personen durch unverhältnismäßig viele Kontrollen führen. Zum anderen kann die Auswertung sogenannter „Proxy-Daten“ zu Diskriminierung führen, wenn das System stellvertretend für ein geschütztes Merkmal andere Indikatoren auswählt, um Wahrscheinlichkeiten zu berechnen. Diese können dann stellvertretend für geschützte Kategorien für automatisierte Entscheidungen herangezogen werden, fallen aber selbst nicht unter das Gesetz. Bekannte Beispiele für Proxies sind unter anderem Arbeitserfahrung für Alter oder Geschlecht und gesprochene Sprachen für Herkunft.

Die Verwaltung bzw. öffentliche Hand muss aufgrund ihrer Schlüsselfunktion bspw. bei der Daseinsfürsorge oder der Rechtsprechung eine Vorreiterrolle gegenüber dem privaten Sektor einnehmen. Daher hat die Verwaltung die Verpflichtung und per Gesetz den Auftrag, einen diskriminierungssensiblen, sozial gerechten und transparenten Einsatz von Algorithmen (ADM) sicherzustellen, der entsprechende Beschwerdewege und eine niedrigschwellige Rechtsdurchsetzung ermöglicht.

Quelle: Rote Nummer 1270, Bericht Nr. 21, Seite 133 ff.