Durch den Einsatz von Künstlicher Intelligenz (englisch Artificial Intelligence, AI) wird die Entscheidungsverantwortung an Maschinen abgegeben, wodurch (potenzielle) Risiken entstehen können. Für viele Unternehmen ist es jedoch schwer, die Risiken, die mit dem noch unterprobten AI-Einsatz verbunden sind, zu evaluieren und zu kontrollieren. Ein Workshop vom Know-Center in Zusammenarbeit mit Leftshift One und SGS zum Thema Vertrauenswürdigkeit, also „Trustworthy AI“, bei denen an einer Zertifizierung von AI-Anwendungen gearbeitet wird, soll Abhilfe schaffen, indem Ansätze zur Risikobewertung und Risikominimierung geboten werden.
Was genau ist unter „Trustworthy AI“ zu verstehen?
AI-Risiken wie Voreingenommenheit (“Bias”), nicht erklärbare Ergebnisse (“Black-Box”), fehlende Robustheit gegenüber feindlichen Angriffen oder ethische Probleme sind bekannte Risiken. Herausforderungen für Unternehmen und AI-Entwickler sind daher besonders die Bereitstellung valider Trainingsdaten sowie die Implementierung gewisser Sicherheitsvorkehrungen, die überprüfen, ob die AI innerhalb der definierten Grenzen agiert. Für Unternehmen sind bei der Implementierung von AI-Anwendungen vor allem Sicherheit, Transparenz, Kontrollmaßnahmen, menschliches Eingreifen in die Anwendung sowie Datenschutz wichtig.
Unter dem Motto “Trustworthy AI” wird versucht, die Anforderungen an AI-Anwendungen zusammenzufassen. Um die Vertrauenswürdigkeit von AI-Anwendungen zu gewährleisten, stellt z.B. die Erklärbarkeit von AI-Entscheidungen oder die Robustheit des Systems wichtige Anforderungen dar. Die von der Europäischen Union eingesetzte Hochrangige Expertengruppe für Künstliche Intelligenz (HEG-KI) erarbeitete “Ethik-Leitlinien für eine vertrauenswürdige KI”. Hierbei wurden sieben Anforderungen für eine vertrauenswürdige AI definiert:
- Vorrang menschlichen Handelns und menschliche Aufsicht
- Technische Robustheit und Sicherheit
- Datenschutz und Datenqualitätsmanagement
- Transparenz
- Vielfalt, Nichtdiskriminierung
- Gesellschaftliches und ökologisches Wohlergehen
- Rechenschaftspflicht
Zertifizierung schafft Vertrauen – im wahrsten Sinne des Wortes
Die Anforderungen der Ethik-Leitlinien sind jedoch nicht verbindlich, sondern stellen lediglich eine Empfehlung dar. Um das Vertrauen in AI-Anwendungen zu erhöhen, arbeiten bereits mehrere Institutionen (DIN, BSI, Fraunhofer oder PwC – um ein paar zu nennen) an Zertifizierungen von AI-Anwendungen. Die Zertifizierung soll Qualitätsstandards für eine AI “Made in Europe” schaffen und einen verantwortungsvollen Umgang mit AI-Anwendungen sichern.
Ein erster – und ziemlich umfangreicher – Prüfkatalog wurde vom Fraunhofer Institut veröffentlicht. Der AI-Prüfkatalog unterteilt vertrauenswürdige AI-Anwendungen in sechs Dimensionen.
Tabelle 1: Die sechs Dimensionen von vertrauenswürdigen AI-Anwendungen samt den dazugehörigen Anforderungen
| Dimension | Anforderungen |
| Fairness | Die AI-Anwendung darf nicht zu ungerechtfertigter Diskriminierung führen, z.B. durch unausgewogene Trainingsdaten (Stichwort „Bias“ oder Unterrepräsentation). |
| Autonomie und Kontrolle | Die Autonomie der AI-Anwendung und des Menschen muss gewährleistet sein, wie z.B. “Human-in-the-Loop”. |
| Transparenz | Die AI-Anwendung muss nachvollziehbare, reproduzierbare und erklärbare Entscheidungen liefern. |
| Verlässlichkeit | Die AI-Anwendung muss verlässlich sein, das heißt robust, und unter veränderten Eingabedaten konsistente Ausgaben liefern. |
| Sicherheit | Die AI-Anwendung muss sicher – im Sinn von IT-Sicherheit – und gegenüber Angriffen und Manipulationen geschützt sein. |
| Datenschutz | Die AI-Anwendung muss sensible Daten (wie etwa personenbezogene Daten oder Geschäftsgeheimnisse) schützen. |
Der Prüfkatalog verfolgt dabei einen risikobasierten Ansatz, wobei mögliche Risiken aus unterschiedlichen Gesichtspunkten betrachtet werden. Das heißt bei der Prüfung zu jeder Dimension ist eine Schutzbedarfsanalyse durchzuführen, die die Auswirkung auf die Betroffenen oder die Umgebung analysiert. Wird der Schutzbedarf einer Dimension mit einem geringen Risiko eingeschätzt, muss die Dimension nicht weiter geprüft werden. Vielmehr ist zu argumentieren, warum das Risiko der AI-Anwendung hinsichtlich der Dimension als gering eingestuft wurde. Kommt jedoch die Schutzbedarfsanalyse zum Ergebnis, dass die AI-Anwendung ein mittleres oder hohes Risiko birgt, ist eine detaillierte Risikoanalyse entlang der Risikogebiete durchzuführen. Die dokumentierten Antworten zu jeder Dimension bilden die Grundlage für die Zertifizierung.
Zusammenarbeit von Forschung und Produktion
Wie die Zertifizierung im Allgemeinen und die Dokumentation der unterschiedlichen Anforderungen im Speziellen ausgestaltet werden müssen, ist Gegenstand eines aktuellen Forschungsprojekts. Hierbei arbeitet Leftshift One gemeinsam mit dem Know-Center und SGS daran, den AI-Prüfkatalog des Fraunhofer Instituts anhand einer praktischen AI-Anwendung zu durchlaufen. Das Forschungsprojekt soll dabei besonders Aufschluss darüber geben, ob der Prüfkatalog ausreichend ist, um AI-Anwendungen zu zertifizieren oder ob der Prüfkatalog adaptiert werden muss.
Claudia Perus (Product Owner, Leftshift One), Philipp Nöhrer (Law & Compliance, Leftshift One)
