SafeAI – Künstliche Intelligenz im Leistungs- und Sicherheits-Check

Künstliche Intelligenz (KI) birgt ein enormes Potenzial. Für Anwender und Entwickler ist aber nicht allein die Leistungsfähigkeit entscheidend, Sicherheit ist ebenfalls von höchster Bedeutung. Deshalb müssen auch KI-Systeme – ähnlich wie technische Anlagen oder Maschinen – auf Risiken und Schwachstellen überprüft werden.

Dazu werden die verwendeten Modelle und Algorithmen auf Robustheit und Sicherheit untersucht. Dies umfasst auch Tests der mathematischen Methoden und Überprüfungen zur Transparenz bzw. Nachvollziehbarkeit der Ergebnisse. Dabei wird nicht nur das Modell selbst unter die Lupe genommen. Es wird auch sichergestellt, dass die Nutzung und Weiterverarbeitung der verwendeten Daten nur im zulässigen Rahmen erfolgt.

SafeAI ist jedoch kein rein technischer Ansatz. Ethische Überlegungen spielen ebenfalls eine Rolle. So wird auch nach möglicher Befangenheit in den Trainingsdaten gesucht, um Diskriminierung zu vermeiden. Denn ein KI-Modell ist nur so gut wie die Daten, mit denen es trainiert wurde.

Regulatorische Vorgaben finden ebenfalls Berücksichtigung. Die KI-spezifische Gesetzgebung steckt zwar noch in den Anfängen, wird aber kontinuierlich weiterentwickelt. So hat die EU jüngst mit dem AI Act erstmals ein länderübergreifendes Regelwerk für den sicheren und vertrauenswürdigen Einsatz Künstlicher Intelligenz verabschiedet.

Ein KI-Gütesiegel stärkt Vertrauen und Akzeptanz

Parallel zu einer stärkeren Regulierung ist davon auszugehen, dass in Zukunft vermehrt Zertifizierungen und Gütesiegel eingeführt werden, um das Vertrauen und die Akzeptanz in der Öffentlichkeit zu stärken. Ein Gütesiegel für KI könnte ähnlich wie das TÜV-Siegel in der Automobilindustrie funktionieren und signalisieren, dass ein KI-System umfassend getestet und für sicher befunden wurde.

Ein Meilenstein bei der Etablierung neuer Standards ist die DIN SPEC 92005, an deren Entwicklung die IABG maßgeblich beteiligt war. Dabei handelt es sich um eine Spezifikation, die Aussagen über die Fehleranfälligkeit von KI-Systemen machen kann. Unsicherheiten, die bei der Anwendung von maschinellem Lernen und KI auftreten, werden analysiert und quantifiziert. Auf Basis der Ergebnisse können dann Optimierungsmaßnahmen eingeleitet werden.

KI im öffentlichen Sektor: Sicherheit und Robustheit stehen an erster Stelle

Das Erkennen von Prognoseunsicherheiten gewinnt an Bedeutung, da KI-Systeme in immer mehr Alltagssituationen eingesetzt werden. Ein Beispiel ist das autonome Fahren: Die KI muss zuverlässig erkennen, wo die Straße verläuft, welche anderen Verkehrsteilnehmer in der Nähe sind und wie sie auf eine Baustelle reagieren soll. Damit die KI das Auto nicht nur bei schönem Wetter, sondern auch bei Regen und Dunkelheit sicher lenkt, sind umfangreiche Tests, Erprobungen und Validierungen notwendig.

Auch im öffentlichen Sektor gibt es zahlreiche Anwendungsmöglichkeiten, wie ein aktuelles Beispiel zeigt: So lässt sich im Rettungsdienst mithilfe einer KI-gestützten Analyse das wahrscheinliche Einsatzaufkommen deutlich besser prognostizieren. Welche Vorteile damit verbunden sind, zeigen Zahlen aus dem Landkreis Marburg-Biedenkopf: Allein im Jahr 2022 mussten rund 13.700 Einsätze neu geplant werden. Der Landkreis hat deshalb gemeinsam mit der IABG ein Projekt gestartet, um die Einsatzplanung mit Hilfe von KI zu optimieren. Auch bei solchen KI-Systemen stehen Sicherheit und Robustheit absolut im Vordergrund. Denn Anomalien, Ereignisveränderungen und Trends müssen sicher erkannt und Manipulationsrisiken vermieden werden.

Mit dem „SafeAI Kit“ der IABG von Anfang an auf der sicheren Seite

Der Bedarf an KI-Anwendungen steigt, nicht zuletzt aufgrund des Fachkräftemangels. Denn in vielen Industrien und öffentlichen Verwaltungen fehlt es an qualifiziertem Personal. Eine breite Unterstützung durch KI ist daher notwendig, um Dienstleistungen aufrechtzuerhalten.

Die IABG testet nicht nur bereits verfügbare KI-Anwendungen und KI-Modelle, sondern unterstützt auch den Entwicklungsprozess mit einem „SafeAI Kit“. Das Tool gibt bereits in der Entwicklungsphase Hinweise darauf, ob die eingesetzten Methoden robust und stabil sind und wo gegebenenfalls nachjustiert werden muss. Ein hilfreiches Werkzeug für neue Anwendungen, denn sichere KI ist nicht nur ein technisches Ziel, sondern eine Notwendigkeit für die Zukunft.