Prüfung von Künstlicher Intelligenz

Eine Vielzahl von Unternehmen nutzt Verfahren der Künstlichen Intelligenz (KI) für leichte Routineaufgaben, um Mitarbeiter für komplexere Aufgaben freistellen zu können. KIs sind dazu in der Lage, die Verarbeitung von Mustern bestimmter Aufgaben zu erlernen und das künstliche Wissen auf neue Aufgaben anzuwenden.

Die KIs weisen aber auch Grenzen auf, die nur schwer vorherzusagen sind. Zudem ist es möglich, eine KI beispielsweise durch gezielte Änderungen in den verwendeten Daten zu manipulieren. Durch die teilweise schwer nachzuvollziehenden Entscheidungsfindungen eines KI-Systems bleiben die daraus resultierenden fehlerhaften Entscheidungen der KI möglicherweise unentdeckt. Deshalb ist es wichtig, die Prozesse und die Entwicklung der KI zu verstehen.

Anforderungsdimensionen für die Künstliche Intelligenz (IDW EPS 861)

Prozess- und Kontrollprüfungen für KI-Systeme werden bereits durchgeführt. Die Validierung von KI-Systemen kann mit dem IDW EPS 861 auch außerhalb der Abschlussprüfung durchgeführt werden. Der IDW EPS 861 schafft den Rahmen für die Prüfung der Angemessenheit und Wirksamkeit von KI-Systemen und umfasst dafür vier Anforderungsdimensionen:

  1. Ethische und rechtliche Anforderungen für KI: Beim Betrieb eines KI-Systems sind die Einhaltung von ethischen, gesetzlichen und weiteren regulatorischen Vorschriften zu gewährleisten.
  2. Nachvollziehbarkeit: Die Entscheidungen eines KI-Systems müssen nachvollziehbar, transparent und erklärbar sein.
  3. IT-Sicherheit: KI-Systeme müssen Vertraulichkeit, Integrität und Authentizität gewährleisten.
  4. Leistungsfähigkeit: Die Ausgestaltung der IT-Infrastruktur, die Beschaffung und Nutzung der notwendigen Daten sowie die Ergebnisse des KI-Systems werden in den Anforderungsdimensionen beschrieben.

Mit diesen vier Anforderungsdimensionen ist eine ganzheitliche KI-Prüfung möglich. Zusätzlich hierzu empfiehlt sich eine Konkretisierung der Umsetzung, Einhaltung und Prüfung durch Anwendung zusätzlicher Prüfungskriterien, wie etwa AIC4 (Compliance-Kriterienkatalog für Cloud-Dienste mit Künstlicher Intelligenz). AIC4 wurde für KI-Systeme entwickelt, die auf Methoden des Machine Learning (maschinelles Lernen) basieren. Beim Machine Learning handelt es sich um einen Teilbereich der Künstlichen Intelligenz, bei dem IT-Systeme automatisch Muster und Zusammenhänge aus Daten erlernen und sich selbstständig verbessern. Spezifische Kriterien in AIC4 ermöglichen die Validierung der Sicherheit eines KI-Systems über dessen Lebenszyklus. Der Prüfer wird somit in die Lage versetzt, die Einhaltung prozessorientierter KI-Kriterien zu bescheinigen.

Einfluss von regulatorischen Vorgaben auf KI-Prüfungen

Für die Entwicklung, den Betrieb und den Einsatz von KI sind diverse regulatorische Entwicklungen zu beobachten. Die Umsetzung solcher Regulatorik wird eine umfassende Validierung von KI-Systemen über den gesamten Lebenszyklus hinweg erfordern. Es werden bereits weitere Standards und Prüfkataloge – unter anderem seitens des Europäischen Komitees für elektrotechnische Normung und der Internationalen Organisation für Normung – zur Erlangung von Prüfungssicherheit über KI-Systeme entwickelt. Das Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme stellt derzeit schon einen kostenfreien KI-Prüfkatalog zur Verfügung.

Der Bedarf an regulatorischen Vorgaben wurde von den aufsichtsrechtlichen Verantwortlichen bereits erkannt und seitens der Standardsetzer aufgegriffen.

Handlungsbedarf

  • Bei neuem oder bereits vorhandenem Einsatz von KI in Banken und Finanzdienstleistungsinstituten ist es notwendig, sich mit den regulatorischen Voraussetzungen zum Einsatz von KI auseinanderzusetzen und das prüferische Vorgehen zu verstehen. Bei Beachtung beider Aspekte kann der Einsatz von KI in Banken und Finanzdienstleistungsinstituten möglich sowie technisch und rechtlich sicherer werden.
  • Prüfer müssen mit den Anforderungsdimensionen des IDW EPS 861 vertraut sein.
  • KI-Systeme sind ganzheitlich auf die vier Anforderungsdimensionen zu prüfen.
Veröffentlicht in Allgemein