5 Wege zu mehr KI-Accountability

TetianaKtv | shutterstock.com

Intelligente Systeme werden zunehmend produktiv eingesetzt. Ist das der Fall, müssen viele Unternehmen schnell feststellen, dass das im Hinblick auf die Accountability Probleme aufwirft. Schließlich funktionieren KI-Tools nicht wie klassische Enterprise-Software: Ihre dynamische Interaktion mit Daten, APIs und Business-Workflows kann unvorhersehbare Ergebnisse hervorbringen.   

Den Status Quo bei vielen Anwendern bringt David DuChene, Manager beim KI-Dienstleister SHI International, auf den Punkt: „Wenn bei der KI etwas schiefgeht, wird die Verantwortung in der Regel demjenigen zugewiesen, der dem Problem am nächsten stand.“

Und weil KI-Systeme im Rahmen von Workflows zunehmend nicht mehr die Rolle des Beraters, sondern die des Akteurs einnehmen, lässt sich Accountability nicht mehr allein über Richtlinien durchsetzen. Vielmehr ist es Aufgabe der IT-Führungskräfte, diese direkt in die Struktur ihrer Betriebsabläufe zu integrieren. Zum Beispiel in Form der folgenden fünf Maßnahmen.

1. Verantwortlichkeiten klar definieren

Immer noch sind diverse KI-Anwenderunternehmen (insbesondere im Enterprise-Umfeld) davon überzeugt, dass KI-Accountability eine Aufgabe für die gesamte Belegschaft ist. Experten argumentieren allerdings, dass diese Annahme sich als falsch erweist, sobald die Systeme produktiv eingesetzt werden. Zum Beispiel Joe Wilson, SVP und CIO beim Softwareanbieter CSG: „Geteilte Accountability ist keine Accountability. Ein direkter Owner ist unabdingbar.“

Laut dem Manager werde bei seinem Arbeitgeber auf diese Weise verfahren. Zudem durchliefen KI-Initiativen Governance Reviews, an denen auch die Geschäftsleitung beteiligt ist. Darüber hinaus setze CSG jedoch auch auf „CIO-Repräsentanten“, die in den Geschäftsbereichen und Produktgruppen eingebettet sind. Auf diese Weise will der Softwareanbieter laut seinem CIO sicherstellen, dass die Accountability den gesamten Lebenszyklus von KI-Initiativen abdeckt.

Formalisierte Verantwortlichkeitsstrukturen wie diese fehlten jedoch bislang in den meisten Unternehmen, hält DuChene fest: „Auf dem Papier mag es zwar Verantwortliche geben, aber sobald ein System tatsächlich ausfällt, wird alles neu verhandelt.“

Ob Organisationen in Sachen Accountability wirklich vorbereitet sind, lässt sich laut dem Manager anhand einer diagnostischen Frage klären: „Wenn Ihr KI-Deployment eine falsche Antwort generiert, die das Unternehmen Geld kostet, wer wird dann das Postmortem schreiben? Wenn Führungskräfte diese Frage nicht direkt beantworten können, existieren Accountability-Strukturen in der Praxis wahrscheinlich noch nicht.“

2. Governance rechtzeitig einziehen

In den vergangenen Jahren haben viele Unternehmen KI-Systeme eingeführt – laut DuChene, bevor sie die dafür notwendigen Grundlagen in Bezug auf Governance und Operations geschaffen haben: „Das größte Problem, das wir regelmäßig beobachten, hängt mit der richtigen Reihenfolge der Maßnahmen zusammen. In vielen Fällen wurden jede Menge Häuser gebaut, deren Wände bereits standen, bevor das Fundament gegossen war.“

Das führe im Nachgang zu kostspieligen Nachrüstungsmaßnahmen, meint der Manager: „Die Teams in diesen Unternehmen stellen dann häufig viel zu spät fest, dass wichtige Dinge wie Datenklassifizierungssysteme, KI-bezogene IAM-Kontrollen oder Eskalationskanäle für Fehler nicht vorhanden sind.“  

Laut Seth Dobrin, CEO beim KI-Modellanbieter Arya Labs und ehemaliger Global AI Leader bei IBM, scheitert Governance oft daran, dass Unternehmen sie als reinen Policy-Layer betrachteten, anstatt sie direkt in operative Workflows zu integrieren. „Wenn man das nicht richtig hinbekommt, wird das Ganze auseinanderfallen“, konstatiert der KI-Experte. Er verweist auf das Beispiel eines Versicherungsunternehmens, das über 18 Monate ein intelligentes System aufgebaut hatte, bevor die Rechtsabteilung das Deployment lahmgelegt habe: „Das Problem war nicht die Technologie selbst, sondern, dass Governance in der Frühphase des Projekts keine Rolle gespielt hat. Am Ende musste das Unternehmen das Projekt dann verwerfen.“

CSG-Manager Wilson argumentiert an dieser Stelle, dass Governance die Teams in Unternehmen dabei unterstützen sollte, Komplexität zu bewältigen, statt sie in ihrer Handlungsfähigkeit einzuschränken: „Governance ist eher ein Fahrwerkssystem als ein Bremsmechanismus. Die Dinge sollen schneller gehen, müssen aber auch funktionieren, wenn man in unwegsames Gelände gerät.“

In diesem Zusammenhang kommt es auch auf die Daten an, warnt Quais Taraki, CTO von EnterpriseDB. Viele Unternehmen würden regelmäßig unterschätzen, wie schwierig es ist, die Accountability aufrechtzuerhalten, sobald KI-Systeme mit fragmentierten Datenumgebungen im Enterprise-Umfeld interagierten: „Ein KI-Assistent, der beispielsweise Kundeninteraktionen zusammenfasst, könnte regulierte oder vertrauliche Daten aus Systemen abrufen, die dafür niemals vorgesehen waren.“

Um Probleme wie diese gar nicht erst entstehen zu lassen, sind starke Data-Governance-Praktiken unabdingbar. Konkret:

• Lineage,
• Provenance Tracking,
• Klassifizierungssysteme und
• Zugriffskontrollen.

Darüber hinaus schaffen diese Maßnahmen auch die Grundlage für Accountability, falls doch einmal etwa schiefgehen sollte. Denn sie ermöglichen es festzustellen, auf welche Daten ein KI-System zugegriffen hat, wie die Outputs generiert wurden – und auch, ob sensible Informationen dabei eine Entscheidung beeinflusst haben. „Ohne Data Lineage und Provenance sind keine Ursachenanalysen möglich – sprich, man weiß nicht, was zu ändern ist und hat keinen Einblick, wie sich die Dinge auf unerwartete Weise verändert haben“, hält Taraki fest.

Der CTO plädiert dafür, Accountability an regulierten Datenprodukten auszurichten – statt an organisatorischen Silos: „Wenn die Ownership quer über Infrastruktur-, Data-Science- und Entwickler-Teams verteilt wird, kann es schwierig werden, nach einem Fehler zu klären, wer verantwortlich war. Klare Zuständigkeiten für die Datenprodukte, die die KI-Systeme versorgen, tragen dazu bei, die Rechenschaftspflicht über den gesamten KI-Lebenszyklus hinweg sicherzustellen.“

3. Observability integrieren

Klassische Enterprise-Monitoring-Systeme wurden in erster Linie dafür entwickelt, um die Verfügbarkeit, den Infrastrukturzustand und die Applikationsleistung zu überwachen. Künstliche Intelligenz wirft jedoch neue Herausforderungen auf: Bei diesen Systemen müssen Reasoning-Pfade, Entscheidungsketten und Verhaltensabweichungen nachverfolgt werden.

Nik Kale, Mitglied der Coalition for Secure AI (CoSAI), empfiehlt dazu einen sogenannten „Investigation Graph“. Dieser könne Aufschluss darüber geben, was ein KI-System beobachtet, auf welche Tools es zugegriffen hat, zu welchen Schlussfolgerungen es gelangt ist und welche Aktionen es letztendlich ergriffen hat. „Wenn etwas nicht funktioniert, ist der erste Impuls immer die Frage danach, warum die KI diese Entscheidung getroffen hat. Man müsste aber eher danach fragen, wie das System tatsächlich agiert hat – schließlich handelt nicht das KI-Modell, sondern das System um es herum.“

Diese breitere Accountability-Perspektive verändert auch die Wahrnehmung von Observability: Anstatt KI-Modelle isoliert zu überwachen, brauchen Unternehmen zunehmend Transparenz über sämtliche Systeme, mit denen diese interagieren – einschließlich Datenquellen, APIs, Anwendungen, Sicherheitskontrollen und nachgelagerten Workflows. Für die Praxis heißt das, umfassend zu protokollieren – nämlich:

• Prompts,
• Outputs,
• Tool-Aufrufe,
• Datenzugriffs-Events sowie
• Agentenaktionen.

In Kombination mit herkömmlicher Anwendungs- und Infrastruktur-Telemetrie entstehen so auditierbare Protokolle darüber, wie sich KI-Systeme verhalten haben und warum Entscheidungen getroffen wurden.

Diese Transparenz wird besonders wichtig, wenn IT-Verantwortliche es mit unbefugter KI-Nutzung zu tun bekommen. Während Governance-Richtlinien definieren, welche Tools Mitarbeiter verwenden sollten, hilft Observability dabei, aufzudecken, welche Tools sie tatsächlich nutzen. Indem die Observability über KI-Modelle hinaus auf die gesamte Unternehmensumgebung ausgeweitet wird, kann die IT Schatten-KI früher erkennen, schneller untersuchen und die dadurch entstehenden Accountability-Lücken schließen.

4. Eskalationsmechanismen etablieren

Die wichtigste Accountability-Frage ist allerdings, wann ein KI-System innehalten und um Hilfe bitten sollte. Leider ist das in der Erfahrung von KI-Experte Kale ein Bereich, der bei den meisten KI-Implementierungen in Unternehmen eher wenig Beachtung finde. Der Manager argumentiert, dass Unternehmen explizite Eskalationspfade, menschliche Entscheidungspunkte und klar definierte Stoppmechanismen für KI-Systeme benötigten, die im Produktivbetrieb eingesetzt werden: „Ein ‚Abnicker‘ wäre hier fehl am Platz – Stichwort ‚Human in the Loop‘. Dieser Mensch sollte benannt sein und auch die Befugnis haben, die KI zu stoppen.“

Geht es nach CIO Wilson, sind solche Notaus-Mechanismen auch mit Blick auf die Incident Response nötig: „Ein herkömmlicher IT-Vorfall ist typischerweise ein ‚Up‘- oder ‚Down‘-Szenario. KI-Ausfälle sind etwas subtiler: Modelle können im Zeitverlauf Drift entwickeln oder Workflows Ergebnisse liefern, die unerwartet sind, aber technisch nicht auffallen.“

Daraus ergebe sich laut dem Manager ein wachsender Bedarf für interdisziplinäre Response-Prozesse, an denen Rechts-, Kommunikations-, Security-, Audit-, Business- und IT-Operation-Teams parallel beteiligt sind.

5. KI wie Mitarbeiter behandeln

Traditionelle Software kann oft bereits zum Zeitpunkt ihrer Veröffentlichung geprüft und freigegeben werden, weil ihr Verhalten zwischen den Versionen relativ stabil bleibt. Das ist bei KI-Systemen anders: Modelle entwickeln sich weiter, Prompts ändern sich, Retrieval-Systeme werden aktualisiert, und auch die Informationen, die Agenten zur Verfügung stehen, verändern sich kontinuierlich. Dennoch betrachten nicht wenige Unternehmen KI nach wie vor wie herkömmliche Anwendungen.

Kale ist jedoch der Auffassung, dass die Technologie sich weniger wie deterministische Software, sondern eher wie Mitarbeiter verhält: „Man kann KI nicht einfach einmal bereitstellen und es dann dabei belassen. Ähnlich wie bei der Belegschaft braucht es auch hier ein gewisses Maß an Oversight – etwa in Form von Performance-Reviews, Feedback-Runden oder um abweichendem Verhalten Einhalt zu gebieten.“

Diese Herausforderung geht über intern entwickelte Systeme hinaus, wie der IT-Entscheider festhält: „Unternehmen müssen auch die KI-Services von Drittanbietern im Blick behalten, auf die sie sich verlassen. Denn diese aktualisieren Software und Funktionen möglicherweise hinter den Kulissen.“

Um die Verantwortlichkeiten zwischen Anwenderunternehmen, Software- und Modellanbietern sowie Infrastrukturbetreibern zu klären, verweist Kale auf das „AI Shared Responsibility Framework“ (PDF) der CoSAI. (fm)

Dieser Artikel ist im Original bei unserer Schwesterpublikation Computerworld.com erschienen.