Mathias Herrmann:„Für mich wird AI Governance zunehmend Teil der Führungskompetenz“

Mathias Herrmann, Founder und CEO der ALLEHERZEN GmbH. Das IT- und Softwareunternehmen aus Wiesbaden hat seine Schwerpunkte im Bereich Digitalisierung, Prozessautomatisierung und künstliche Intelligenz.

Onpulson: Herr Herrmann, Sie sind Gründer und CEO der ALLEHERZEN GmbH. Ihr IT- und Softwareunternehmen hat sich u.a. auf künstliche Intelligenz spezialisiert. Ab welchem Punkt wird aus einer unterstützenden KI ein System, dessen Entscheidungen für Menschen kaum noch nachvollziehbar oder kontrollierbar sind?

Mathias Herrmann: Für mich gibt es dafür keinen festen technischen Schwellenwert. Entscheidend ist der Übergang von der Empfehlung zur Handlung. Solange eine KI Inhalte vorbereitet oder Optionen vorschlägt, liegt die operative Entscheidung noch beim Menschen. Anders wird es, wenn ein Agent selbst auf Systeme zugreifen, Daten verändern, Transaktionen auslösen oder verbindlich kommunizieren darf. Dabei sollte man Nachvollziehbarkeit und Kontrolle unterscheiden.

Ich muss nicht in der Lage sein jeden internen Verarbeitungsschritt eines Modells vollständig zu erklären, um seinen Handlungsspielraum kontrollieren zu können. Unternehmen sollten vor allem wissen: Welche Informationen darf der Agent nutzen? Welche Aktionen stehen ihm zur Verfügung? Unter welchen Bedingungen darf er sie ausführen? Wann muss er stoppen oder einen Menschen einbeziehen? Kritisch wird es deshalb nicht allein bei zunehmender Modellintelligenz, sondern wenn wachsende Autonomie auf unklare oder nur sprachlich formulierte Grenzen trifft.

Onpulson: Wer trägt die Verantwortung, wenn eine KI eigenständig eine falsche Entscheidung trifft – Unternehmen, Entwickler, Führungskräfte oder die Anwender?

Mathias Herrmann: Ein KI-Agent wird nicht selbst zum Rechtssubjekt. Verantwortung verschwindet somit nicht dadurch, dass ein System autonom handelt. Wer rechtlich im Einzelfall verantwortlich oder haftbar ist, hängt von Rolle, Einsatzkontext und dem jeweils anwendbaren Recht ab. Auch der AI Act verteilt Pflichten auf unterschiedliche Akteure wie Anbieter und Betreiber; bei Hochrisiko-Systemen sieht er beispielsweise konkrete Pflichten für technische und organisatorische Maßnahmen, menschliche Aufsicht und Monitoring vor.

Für Unternehmen ist aber schon vor jeder juristischen Einzelfallprüfung etwas anderes wichtig: Verantwortung muss organisatorisch eindeutig zugeordnet sein, bevor Autonomie delegiert wird. Wer darf dem Agenten Handlungsspielraum geben? Wer definiert Grenzen? Wer überwacht den Betrieb? Wer entscheidet bei Eskalationen? Autonomie delegiert Handlungsmacht, aber nicht Verantwortung.

Onpulson: In welchen Geschäftsbereichen sollten Unternehmen KI bewusst Grenzen setzen und Entscheidungen weiterhin zwingend Menschen überlassen?

Mathias Herrmann: Ich würde das weniger nach Geschäftsbereich als nach Wirkung, Risiko und Reversibilität unterscheiden. Je stärker eine Aktion Rechte oder Lebensumstände von Menschen beeinflusst, erhebliche finanzielle Folgen erzeugt, sensible Daten betrifft, eine externe rechtliche Bindung auslöst oder nur schwer rückgängig zu machen ist, desto stärker sollte menschliche Kontrolle sein.

Gleiches gilt für ungewöhnliche Situationen, in denen die vorhandenen Regeln den Fall nicht eindeutig abdecken. Beispiele wären größere finanzielle Verpflichtungen, weitreichende Personalentscheidungen, kritische Kundenentscheidungen, Krisenkommunikation oder irreversible Änderungen an produktiven Systemen. „Human-in-the-Loop“ sollte allerdings nicht bedeuten, dass ein Mensch jede Routineaktion bestätigen muss. Sinnvoller ist ein abgestufter Handlungsspielraum: Innerhalb klarer Grenzen autonom, oberhalb definierter Schwellen mit Freigabe und außerhalb des Mandats mit einem klaren Stopp.

Onpulson: Welche konkreten organisatorischen und technischen Schutzmaßnahmen sollten Unternehmen einführen, bevor sie KI-Systemen größere Entscheidungsbefugnisse übertragen?

Mathias Herrmann: Organisation und Technik müssen zusammen gedacht werden. Organisatorisch braucht es zunächst einen klaren Owner für den jeweiligen agentischen Prozess, ein definiertes Mandat, eine Bewertung der Risiken sowie eine Festlegung, welche Situationen autonom bearbeitet werden dürfen und welche eskaliert werden müssen.

Technisch reicht klassischer Systemzugriff allein nicht aus. Es muss auf Ebene konkreter Aktionen gesteuert werden: Welcher Agent darf in welchem Kontext welche Business Action mit welchen Parametern ausführen? Dazu gehören Least Privilege, Limits, verbindliche Policies, Freigabeschwellen, Trennung kritischer Berechtigungen, Monitoring, ein wirksamer Kill-Switch und ein nachvollziehbarer Audit-Trail.

Ein besonders wichtiger Punkt ist dabei, dass diese Grenzen außerhalb der probabilistischen Entscheidungslogik des Agenten durchgesetzt werden. Der Agent darf eine Regel nicht deshalb umgehen können, weil er sie anders interpretiert. Genau diese Architekturklasse bezeichnen wir bei COLOSSOS als Governed Access Layer. Dabei handelt es sich um eine Schicht zwischen Agent und Unternehmenssystemen, die kontrolliert, welche Zugriffe und Aktionen unter welchen Bedingungen tatsächlich ausgeführt werden dürfen.

Onpulson: Welche Kompetenzen benötigen Unternehmer und Führungskräfte, um die Risiken autonom handelnder KI realistisch einschätzen und kontrollieren zu können?

Mathias Herrmann: Führungskräfte müssen keine Machine-Learning-Engineers werden, sollten aber verstehen, was sie eigentlich delegieren. Dazu gehört ein grundlegendes Verständnis dafür, dass generative KI probabilistisch arbeitet, dass ein Agent mit Tools und Systemzugriff qualitativ etwas anderes ist als ein Chatbot und dass technische Berechtigung noch kein fachliches Mandat bedeutet.

Entscheider sollten deshalb zumindest in der Lage sein die folgenden fünf Fragen zu beantworten: Welches Ziel erhält der Agent? Welche Daten und Systeme benötigt er wirklich? Welche Aktionen darf er ausführen? Welche Risiken sind akzeptabel? Und wann muss der Agent stoppen oder eskalieren? Für mich wird AI Governance zunehmend Teil der Führungskompetenz. Nicht weil jeder Vorstand technische Details verstehen muss, sondern weil die Entscheidung darüber, wie viel Handlungsmacht an Maschinen delegiert wird, keine reine IT-Entscheidung ist.

Onpulson: Wo sollte der Gesetzgeber verbindliche Grenzen setzen – und wo besteht die Gefahr, dass zu strenge Vorgaben Innovation und Wettbewerbsfähigkeit ausbremsen?

Mathias Herrmann: Verbindliche Grenzen sind dort sinnvoll, wo KI erhebliche Auswirkungen auf Sicherheit, Grundrechte oder wirtschaftlich bedeutende Entscheidungen haben kann. Der europäische AI Act folgt grundsätzlich bereits einem solchen risikobasierten Ansatz und verlangt beispielsweise bei Hochrisiko-Systemen risikoadäquate menschliche Aufsicht sowie technische und organisatorische Maßnahmen. Die entsprechenden High-Risk-Pflichten werden nach der aktuellen Fassung schrittweise anwendbar: Für Annex-III-Systeme ab 2. Dezember 2027 und für bestimmte produktintegrierte Hochrisiko-Systeme ab 2. August 2028.

Problematisch wird Regulierung, wenn sie konkrete Technologien oder Architekturen vorschreibt, statt überprüfbare Schutzziele zu definieren. Der Gesetzgeber sollte beispielsweise verlangen können, dass kritische Systeme kontrollierbar, überwacht und nachvollziehbar sind. Er sollte aber möglichst nicht festlegen, welches Modell, welche technische Plattform oder welcher konkrete Lösungsweg dafür verwendet werden muss.

Gute Regulierung definiert den verbindlichen Sicherheitsrahmen, lässt Unternehmen aber möglichst viel Freiheit darin, wie sie ihn technisch erfüllen. Sie darf nicht zum Ersatz für technische Governance werden. Ein Gesetz kann festlegen, welche Grenzen erforderlich sind – durchsetzen muss sie am Ende die Architektur.

^{Bildnachweis: istockphoto.com/AnaMOMarques}

(cf)