Kontinuierliche Überwachung von KI-Systemen: Was Prüfer im laufenden Betrieb sehen wollen

Fast jede Organisation, die KI produktiv einsetzt, hat inzwischen ein Monitoring. Dashboards mit Genauigkeitswerten, Latenzen, Ausreißerquoten. In der Prüfsituation nützt das häufig wenig, und zwar aus einem Grund, den Betreiber selten kommen sehen: Kennzahlen sind kein Nachweis. Sie werden erst zu einem, wenn feststeht, ab welchem Wert reagiert wird, wer reagiert und was dann geschah.

Der Beitrag liegt zwischen zwei AAIA-Domänen. Was zu überwachen ist, behandelt Domäne 2, AI Operations. Wie geprüft wird, behandelt Domäne 3, Prüfmethoden und Tools. Dazwischen liegt die Frage, die in der Praxis über das Prüfergebnis entscheidet: Welche Spur hinterlässt ein Monitoring, und genügt diese Spur als Beleg?

1. Warum Kennzahlen allein nichts belegen

Ein klassisches IT-System verändert sich zwischen zwei Prüfungen nur durch bewusste Änderungen. Ein KI-System verändert sich auch ohne Eingriff, weil sich die Daten verändern, auf die es trifft. Ein Freigabebeschluss aus dem Vorjahr sagt deshalb wenig darüber aus, wie das System heute entscheidet.

Daraus folgt die Prüflogik: Nicht die einmalige Freigabe steht im Mittelpunkt, sondern der Nachweis, dass Abweichungen bemerkt, bewertet und behandelt werden. Ein Dashboard belegt den ersten Teil. Die beiden anderen belegt es nicht.

2. Die vier Fragen, die ein Prüfer stellt

Was wird gemessen, und warum genau das?

Genauigkeit allein ist selten aussagekräftig. Geprüft wird, ob die gewählten Kennzahlen zum Einsatzzweck passen: Trefferquote bei einem Klassifikator, Verteilungsabstand bei Eingangsdaten, Rückweisungsquote bei einer Entscheidungsunterstützung. Wer nur misst, was das Werkzeug von sich aus anbietet, hat die Auswahl nicht getroffen, sondern übernommen.

Ab welchem Wert passiert etwas?

Das ist die Frage, an der die meisten Prüfungen hängen bleiben. Ein Schwellenwert muss vorab festgelegt, begründet und dokumentiert sein. Wird er erst im Nachhinein aus den beobachteten Werten abgeleitet, ist er keine Kontrolle, sondern eine Beschreibung.

Wer reagiert, und in welcher Frist?

Eine Schwellenwertüberschreitung ohne benannten Adressaten erzeugt eine Benachrichtigung, keine Reaktion. Geprüft wird die Rolle, die Vertretung und der Zeitrahmen, innerhalb dessen eine Bewertung vorliegen muss.

Was geschah beim letzten Mal?

Der stärkste Nachweis ist ein realer Vorgang: Schwelle überschritten, bewertet, entschieden, dokumentiert. Ein Monitoring, das in zwölf Monaten nie ausgelöst hat, wirft die Frage auf, ob die Schwellen zu weit gesetzt sind.

3. Welche Nachweise tatsächlich tragen

• Eine Monitoring-Spezifikation mit Kennzahl, Schwellenwert, Begründung und Datum der Festlegung
• Zeitreihen der überwachten Werte über einen aussagekräftigen Zeitraum, nicht nur der Momentwert im Dashboard
• Alarmprotokolle mit Zeitstempel, Adressat und Quittierung
• Bewertungsvermerke zu ausgelösten Alarmen, auch wenn die Entscheidung lautete, nichts zu tun
• Versionsstand des produktiven Modells zum jeweiligen Zeitpunkt, damit Werte einem Stand zuordenbar bleiben
• Nachweis, dass die Schwellenwerte selbst regelmäßig überprüft werden

Der vierte Punkt wird am häufigsten vergessen. Ein Alarm, der bewertet und bewusst nicht eskaliert wurde, ist ein vollwertiger Kontrollnachweis, wenn die Bewertung dokumentiert ist. Ohne Vermerk sieht ein Prüfer nur einen ignorierten Alarm.

4. Die typischen Befunde

Vier Muster tauchen regelmäßig auf. Erstens Schwellenwerte, die nirgends festgelegt sind, sondern im Kopf einer Person existieren. Zweitens ein Monitoring, das nur die Modellgüte betrachtet und die Eingangsdaten ausklammert, obwohl die Veränderung dort zuerst sichtbar wird. Drittens Alarme, die an ein Sammelpostfach gehen. Viertens Protokolle mit zu kurzer Aufbewahrungsfrist, sodass der Prüfzeitraum gar nicht belegbar ist.

5. Der regulatorische Anschluss

Die Anforderung ist nicht nur eine Prüfungskonvention. Für Hochrisiko-Systeme verlangt der EU AI Act eine Beobachtung nach dem Inverkehrbringen sowie Protokollierung über den Lebenszyklus. Die Fristen dafür sind durch die Omnibus-Verordnung nach hinten gerückt, die Anforderungen selbst nicht, wie in der ersten Ausgabe von Compliance Delta eingeordnet. Wer heute ein prüffähiges Monitoring aufbaut, arbeitet damit zugleich an einem Nachweis, der später ohnehin verlangt wird.

6. Unsere Empfehlung

Nehmen Sie sich eine einzige Kennzahl vor und führen Sie sie vollständig durch: festgelegter Schwellenwert mit Begründung, benannte Rolle, Frist, Protokoll, Bewertungsvermerk. Der Aufwand liegt bei wenigen Stunden, und das Ergebnis ist die Vorlage für alle weiteren. Für die AAIA-Vorbereitung gilt dieselbe Reihenfolge: Erst verstehen, welcher Nachweis eine Aussage belegen würde, dann die Prüftechnik dazu.

Häufige Fragen zum Monitoring von KI-Systemen

Reicht ein Dashboard als Nachweis?

Nein. Ein Dashboard zeigt den aktuellen Zustand. Für die Prüfung wird der Verlauf über den Prüfzeitraum benötigt, dazu die festgelegten Schwellenwerte und die Belege für ausgelöste Reaktionen.

Wie oft müssen Schwellenwerte überprüft werden?

Eine feste Frequenz gibt es nicht. Üblich und belastbar ist eine Überprüfung bei jedem Retraining sowie einmal jährlich, jeweils dokumentiert.

Zählt ein bewusst nicht eskalierter Alarm gegen die Organisation?

Nur ohne Dokumentation. Eine begründete Entscheidung, nicht einzugreifen, ist ein Kontrollnachweis. Ein unkommentierter Alarm im Protokoll ist das Gegenteil.

Quellen

• ISACA, Advanced in AI Audit (AAIA), öffentliches Exam Content Outline, Domänen 2 und 3
• Verordnung (EU) 2024/1689 (EU AI Act), Beobachtung nach dem Inverkehrbringen und Protokollierung
• ISO/IEC 42001:2023, Abschnitte zu Überwachung, Messung und Verbesserung