Automatisierte Entscheidungssysteme in der Berliner Verwaltung
Wir hatten den Senat gebeten, über die Ergebnisse der von SenASGIVA beauftragten Expertise zur Anwendung von automatisierten Entscheidungssystemen (ADM) zu berichten. Dieser Bericht liegt nun vor (Rote Nr. 1021 A). Die Expertise hatte dabei zwei zentrale Ziele:
- sie ist ein Beitrag dazu, die Rechts- und Handlungssicherheit für Verwaltungen bei der Entwicklung und Anwendung von ADM-Systemen zu erhöhen
- die Ergebnisse stellen die Basis für die Entwicklung von Grundsätzen dar, so dass die im Land Berlin in Auftrag gegebenen und eingesetzten ADM-Systeme by design diversitygerecht und diskriminierungssensibel sind und entsprechende Beschwerdewege und Korrekturen des ADM-Systems präventiv implementiert werden können
Die Expertise verweist auf das Berliner Landesantidiskriminierungsgesetz (LADG) und das damit verbunden Leitprinzip, Diskriminierung zu verhindern und zu beseitigen – dies gilt auch für ADM- und KI-Systeme. Besonders im Fall von lernenden Systemen besteht laut der Expertise die Gefahr für Proxy-Diskriminierung, etwa Wohnort stellvertretend für sozialen Status. Überhaupt empfiehlt die Rechtsexpertise derzeit, „regelbasierte ADM-Systeme und KI-Systeme vorzuziehen, die keine personenbezogenen Daten verarbeiten.“ Die Begründung: es gibt aktuell keine Ermächtigung, die DSGVO und das Berliner Datenschutzgesetz lässt dies nur in Grenzen zu. Außerdem wiederholt die Expertise, was der Ethikrat in seiner Stellungnahme zu Künstlicher Intelligenz bereits genannt hat: transparente Dokumentation und Schulung von Mitarbeitern. Meine Fraktion Bündnis 90/Die Grünen hat deswegen ein KI-Transparenzregister gefordert – dieser wurde von den Koalitionsparteien im Ausschuss Digitalisierung und Datenschutz allerdings abgelehnt.
Bei der Vergabe soll auf diskriminierungssensible und diversitygerechte Entwicklung geachtet und die Risikostufen, welche in der europäischen KI-Verordnung festgeschrieben sind, angewendet werden. Abschließend wird empfohlen, sowohl das Thema diskriminierungssensiblen und diversitygerechten Umgang als auch Vergabegrundsätze als Rundschreiben an die Mitarbeiter*innen der Berliner Verwaltung zu verbreiten. Die Rechtsexpertise soll in der KI Taskforce weiter verarbeitet werden. Die Rechtsexpertise greift dabei vieles auf, was Bündnis 90/Die Grünen im Antrag Roadmap in ein neues Zeitalter – Berlin braucht eine KI-Governance bereits im Sommer gefordert hat. Der Senat hinkt deutlich hinter der öffentlichen Diskussion und den technischen Entwicklungen hinterher. In dem Zusammenhang ist auch das Rechtsgutachten der Antidiskriminierungsstelle des Bundes “Automatisch Benachteiligt” zu nennen.
