Debatte zum Transparenzregister für Künstliche Intelligenz
Spätestens mit ChatGPT und Stable Diffusion sind Künstliche Intelligenz, maschinelles Lernen und Algorithmen Debattenthema. So viele Möglichkeiten wie uns diese Techniken bieten, so viele Fragen müssen geklärt werden, wenn diese innerhalb der Verwaltung eingesetzt werden.
Anfang diesen Jahres hat der Deutsche Ethikrat seine Stellungnahme zu den “Herausforderungen durch Künstliche Intelligenz” veröffentlicht. Auch auf EU Ebene wird zur Zeit der “Artificial Intelligence Act” (AI Act) debattiert, was wiederum von der Zivilgesellschaft aufgegriffen wird. Bereits 2022 hatte ich im Rahmen der Haushaltsdebatte um eine Liste von KI Systemen und Algorithmen gebeten, welche in der Berliner Verwaltung eingesetzt werden. Zu der Zeit wurden in vier Senatsverwaltungen bzw. Behörden KI Systeme und Algorithmen eingesetzt (Details hier im Beitrag). Leider konnte die Verwaltung damals noch keine einheitlichen Kriterien zur Auswahl und Prüfung nennen.
Bezüglich qualitätssichernder Prozesse, Tests und Dokumentationspflichten sowie Schutzmechanismen gegen Diskriminierungen oder andere beim Lernprozess entstehende Biase liegen keine Erkenntnisse vor. Für das Technologiefeld der KI ist derzeit keine Federführung festgelegt. Jede verfahrensverantwortliche Stelle prüft und entscheidet in ihrem eignen Zuständigkeitsbereich über den Einsatz von KI.
Es ist geplant, dass der AI Act in diesem Jahr im EU-Parlament abgestimmt wird (Stand des Verfahrens kann auf der EU Parlamentsseite abgerufen werden). Der von der EU-Kommission vorgeschlagene AI Act wird jetzt schon von der Zivilgesellschaft kritisiert, dieser enthält zu viele Ausnahmen und abgeschwächtes Transparenzregister für KI und Algorithmen. In einem solchen Register sollen alle KI und Algorithmen, welche von der Verwaltung eingesetzt werden aufgelistet werden, die Datengrundlage auf denen sie arbeitet und welche Entscheidung diese fallen.
AlgorithmWatch hat dazu ein Konzeptpapier “Ein KI-Transparenzregister für die öffentliche Verwaltung” veröffentlicht. Dieses bezieht sich auf das eine bereits veröffentlichte Folgeabschätzung mit detaillierter Checkliste.
Grundlage der Folgeabschätzung sind insbesondere rechtliche und ethische Fragen. So soll vermieden werden, dass etwa KI und Algorithmen Personengruppen diskriminieren. Die Folgeabschätzung soll dabei helfen zum einen zu Entscheiden, ob ein bestimmtes System überhaupt eingesetzt werden kann und zum anderen wie hoch die Kontrolle und Transparenz beim Einsatz sein muss.
Der Deutsche Ethikrat betrachtet in seiner Stellungnahme den Umgang mit KI und Algorithmen in verschiedenen Bereichen, wie Medizin und Bildung. Im Kapitel 8 zu „Öffentlicher Verwaltung“ gibt der Ethikrat unter anderem die folgenden Empfehlungen:
- Standardisierung und pauschale Kategorisierungen müssen hinterfragt werden.
- Es braucht technische und organisatorische Mechanismen, die verhindern, dass automatisierte Entscheidungen unreflektiert übernommen werden. Hier weist der Ethikrat auf den sogenannten Automation Bias hin, dieser beschreibt die Situation in der Menschen automatisierte Entscheidungen als „besser“ bewerten als jene von Menschen.
- Um den Schutz vor Diskriminierung zu garantieren, braucht es ein hohes Maß an Transparenz und Nachvollziehbarkeit.
- Software in der öffentlichen Verwaltung benötigt Qualitätskriterien und Dokumentation bei der Beschaffung.
- Personen, welche in der öffentlichen Verwaltung solche Systeme einsetzen, müssen qualifiziert sein, die Verwendungsweise, Verzerrung und Limits zu verstehen.
- Betroffene benötigen ein Einsichts- und Einspruchsrecht.
- Besonders im sozialen Bereich ist sicherzustellen, dass durch Automatisierungen individuelle Hilfebedarfe eingeschränkt werden.
Sowohl die Arbeit des Deutschen Ethikrats und von AlgorithmWatch zeigen, dass wir uns auch in Berlin mit den Konsequenzen von KI und Algorithmen beschäftigen müssen. Es gilt genau wie beim Datenschutz und der IT-Sicherheit, dass Folgeabschätzungen vor dem Einsatz gemacht werden müssen. Das bedeutet, es braucht Transparenz, Nachvollziehbarkeit und klare Kriterien für die Verwaltung.