Das Thema „Vertrauenswürdige KI“ wird im BRZ als Innovationsprojekt geführt. In Zusammenarbeit mit verschiedenen EU-Institutionen wurde dafür ein Prüfkatalog entwickelt. Das BRZ positioniert sich damit als eine der Schlüsselfiguren im Bereich Ethik & KI.
Vertrauenswürdige KI ist im BRZ seit Anfang 2019 Thema. Analyse der Effekte algorithmischer Entscheidungsfindung auf menschliches Verhalten und das Aufzeigen ethischer Konflikte wurden damals Schwerpunkte einer neuen BRZ Initiative. Ziel war mehr Transparenz: Jede österreichische Bürgerin und jeder Bürger sollte künftig wissen, wenn die Verwaltung algorithmische Entscheidungsunterstützung bei Verfahren einsetzt. Außerdem wurde im BRZ frühzeitig begonnen, das aus rund 30 Mitarbeitern und Mitarbeiterinnen bestehende BRZ Team Advanced Analytics & Knowledge Discovery in das Thema einzubinden. Ein Informationsaustausch in Brüssel mit der EU-Initiative „Ethische Richtlinien für eine vertrauenswürdige KI“ war einer der ersten Aktivitäten zum Thema.
Wissenstransfer ohne Grenzen
In Folge brachte sich das BRZ zusammen mit anderen europäischen Institutionen verstärkt ein, um gemeinsam einen KI-Assessment Katalog zu pilotieren. Anfang 2020 organisierte das Bertelsmann-Projektteam „Ethik der Algorithmen“ in Berlin einen Erfahrungsaustausch zu Sensibilisierungsmaßnahmen. All das Know-how aus diesen grenzüberschreitenden Wissenstransfers und eine Landkarte zu ethischen und rechtsbasierten KI-Prinzipien des Berkman Klein Centers der Harvard Universität waren schließlich die Grundlage für den Entschluss, sich im BRZ künftig auf das Thema Prüfkatalog zu konzentrieren und die Idee eines KI-Gütesiegels nicht weiterzuverfolgen.
Risikoeinschätzung für besseres Verständnis
Im sensiblen Bereich der öffentlichen Verwaltung ist es besonders schwierig ethische Themen und Prüfaspekte zu behandeln. Das Beispiel des „AMS-Algorithmus“ hat deutlich aufgezeigt wie emotional und wenig sachlich fundiert solch ein Thema in der Öffentlichkeit diskutiert wird. Um von Beginn an möglichen Widerständen entgegenzuwirken, konzentriert sich der BRZ-Ansatz auf die Risikoeinschätzung algorithmischer Entscheidungsunterstützung. Wichtig ist dabei eine Sensibilisierung aller Beteiligten. Auch zahlreiche Publikationen zu ethischen Aspekten des KI-Einsatzes betonen den notwendigen Diskurs mit allen Stakeholdern. Durch das Assessment kann ein noch besseres Verständnis für die Kernanliegen vermittelt werden. Zahlreiche Schwachstellen werden identifiziert. Darüber hinaus enthält der Bericht wesentliche, konkrete Verbesserungsvorschläge auf fachlicher und prozessualer Ebene.
BRZ-Framework hält Praxistest stand
Die ersten Anwendungen des BRZ-Frameworks „Vertrauenswürdige KI“ im Rahmen mehrerer proof-of concepts haben gezeigt, dass wesentliche Ziele erreicht wurden:
- Sensibilisierung für Governance-Kriterien zum Thema vertrauenswürdige KI in der öffentlichen Verwaltung
- Definition von Schwerpunktsetzungen
- Verortung der Einsatzmöglichkeiten algorithmischer Assistenzsysteme
- Operationalisierung der Nutzenaspekte
- Maßnahmen zur Stärkung des Vertrauens von Bürger:innen in die Technologie
- Voraussetzungen zur Schaffung von Vorbildern für gemeinwohlorientierte Assistenzsysteme
Kriterienkatalog für vertrauenswürdige KI
Im September 2020 präsentiert das BRZ im Rahmen des Forum Alpbach seinen Kriterienkatalog für vertrauenswürdige Künstliche Intelligenz erstmals der Öffentlichkeit. Den Mitgliedern der EURITAS, dem Netzwerk der europäischen Dienstleister des öffentlichen Sektors in Finnland, Österreich, Deutschland, Schweiz, Kroatien, Italien, Niederlande und Dänemark wurde das BRZ Vorgehen Anfang 2021 präsentiert. Im selben Jahr fiel der Startschuss für das BRZ-Innovationsprojekt „Bias-Mitigation“. Dieses lieferte in einem White Paper Erfahrungswerte wie man kognitive Verzerrungen in machine-learning datasets erkennen und abschwächen kann.
In BRZ-Organisation fest verankert
Heute ist das Thema Vertrauenswürdige KI in die Enterprise Architektur des BRZ eingegliedert und im BRZ-eigenen Technologie Radar verortet. Durch die Gründung einer eigenen Community of Practice im BRZ, ein Thinktank bestehend aus 18 BRZ-Mitarbeiter:innen, erfolgt zudem die Institutionalisierung. Mittlerweile beschäftigt sich eine ansehnliche Gruppe von BRZ Mitarbeiterinnen und Mitarbeitern in vielfältiger Form mit dem Thema. Sie trägt auch dafür Sorge, dass das Thema vertrauenswürdige KI den Kunden nähergebracht und bei allen relevanten Projekten berücksichtigt wird.
Umsetzung des Artificial Intelligence Act der EU
Über das BRZ hinaus erfolgt außerdem ein reger Gedankenaustausch mit jenen Akteuren, die bei unserem Kunden, der öffentlichen Verwaltung, die nationale Umsetzung des Artificial Intelligence Act der EU in Österreich vorbereiten. Dabei stellt sich die Frage, wie kann die öffentliche Verwaltung „maschinelle“ Diskriminierung vermeiden? Gemäß der EU-Richtlinie gilt es, die Lernprozesse genau zu dokumentieren und die zugrunde liegenden Datensätze sorgfältig zu prüfen. Die nächsten Herausforderungen für die öffentliche Verwaltung wird es sein, Verwaltungsverfahren mit hohem Risiko gemäß den vorliegenden Normen zu klassifizieren.
