Was darf AI entscheiden – und wer trägt die Verantwortung?

Die Situation

AI-Systeme können analysieren, priorisieren, Inhalte erzeugen, Empfehlungen geben und zunehmend ganze Arbeitsschritte selbst ausführen.

Mit Agents geht die Entwicklung noch weiter. Ein System kann Informationen abrufen, Entscheidungen vorbereiten, Aktionen auslösen und andere Systeme steuern.

Damit entsteht eine organisatorische Frage, die leicht übersehen wird:

Was darf dieses System eigentlich selbst entscheiden?

Und direkt danach:

Wer trägt die Verantwortung, wenn etwas schiefgeht?

„Human in the Loop“ reicht als Antwort oft nicht

Viele Organisationen lösen die Frage zunächst mit einem einfachen Prinzip:

Ein Mensch prüft das Ergebnis.

Das kann sinnvoll sein. Aber es beantwortet noch nicht:

welcher Mensch?
zu welchem Zeitpunkt?
mit welchem Wissen?
mit welchem Entscheidungsrecht?
bei welchen Risiken?
und was passiert bei tausenden automatisierten Entscheidungen?

Ein Human Review, den niemand sinnvoll durchführen kann, schafft keine echte Governance. Er schafft möglicherweise nur den Eindruck davon.

Beginne nicht mit dem Tool

Eine typische Diskussion lautet: „Wo können wir AI einsetzen?“

Für manche Anwendungsfälle ist die bessere erste Frage:

Welche Entscheidung oder Handlung wollen wir überhaupt verändern?

Denn erst dann können wir klären, welche Rolle AI sinnvoll spielen kann.

Vier unterschiedliche Rollen von AI

1. AI informiert

Das System sammelt oder strukturiert Informationen. Der Mensch entscheidet.

Beispiel: AI fasst Kundenfeedback zusammen.

2. AI empfiehlt

Das System bewertet Optionen und schlägt eine Entscheidung vor. Der Mensch entscheidet weiterhin.

Beispiel: AI empfiehlt eine Priorisierung.

3. AI entscheidet innerhalb eines definierten Rahmens

Das System darf selbst entscheiden, solange bestimmte Bedingungen eingehalten werden.

Beispiel: Ein Agent priorisiert Standardanfragen nach vorgegebenen Regeln.

4. AI handelt autonom

Das System entscheidet und führt die Handlung selbst aus.

Beispiel: Ein Agent verändert Daten, startet Prozesse oder kommuniziert selbstständig mit anderen Systemen.

Mit jeder Stufe verändert sich nicht nur die technische Komplexität. Auch Verantwortung, Risiko und notwendige Kontrolle verändern sich.

Nicht jede AI-Automatisierung ist ein Effizienzgewinn

Automatisierung kann Arbeit reduzieren. Sie kann aber auch neue Arbeit erzeugen.

Wenn Menschen jedes Ergebnis kontrollieren müssen. Wenn Fehler schwer nachvollziehbar sind. Wenn niemand weiß, wer verantwortlich ist. Oder wenn ein Agent Entscheidungen trifft, die anschließend manuell repariert werden müssen.

Dann wurde Arbeit möglicherweise nur verschoben.

Diagnose vor Eingriff

Bevor du eine Lösung auswählst

Die eigentliche Governance-Frage

Die Diskussion sollte deshalb nicht lauten: „Kann AI das?“

Sondern: „Unter welchen Bedingungen darf AI das?“

Das ist ein großer Unterschied.

Diagnoseperspektive

Was sollte vor einer Automatisierung geklärt sein?

1

Welche Entscheidung wird getroffen?

Nicht: „AI unterstützt Marketing.“

Sondern konkret: „AI entscheidet, welche Kundenanfrage welcher Kategorie zugeordnet wird.“

Je konkreter die Entscheidung, desto besser lässt sie sich gestalten und kontrollieren.

2

Welche Auswirkungen kann die Entscheidung haben?

Was passiert bei einem Fehler? Ist er:

leicht korrigierbar?
finanziell relevant?
kundenwirksam?
rechtlich relevant?
sicherheitskritisch?
reputationsrelevant?

Nicht jede AI-Entscheidung braucht dieselbe Kontrolle.

3

Wer besitzt das fachliche Mandat?

Technischer Betrieb und fachliche Verantwortung sind nicht dasselbe.

Ein IT-Team kann den Agent betreiben. Das bedeutet nicht automatisch, dass IT die fachliche Entscheidung verantwortet.

4

Wann muss ein Mensch eingreifen?

Nicht jede Unsicherheit erfordert Human Review. Aber die Grenzen sollten bewusst definiert sein.

Zum Beispiel:

Konfidenz unter einem bestimmten Wert
Entscheidung über einer finanziellen Grenze
unbekannter Fall
widersprüchliche Daten
besonders sensible Kundengruppe
ungewöhnliche Auswirkungen

Dann wird Human Intervention zu einer definierten Regel und nicht zu einem allgemeinen Sicherheitsversprechen.

5

Wer darf das System stoppen?

Das klingt banal. Wird aber wichtig, sobald Agenten tatsächlich handeln.

Wenn etwas unerwartet passiert: Wer besitzt die Autorität, den Prozess zu stoppen oder zurückzusetzen?

6

Wie wird Wirkung kontrolliert?

Ein Agent kann technisch korrekt funktionieren und trotzdem schlechte Entscheidungen treffen. Deshalb reicht technische Verfügbarkeit nicht.

Wir müssen auch beobachten:

Entscheidungsqualität
Fehlerraten
unerwartete Auswirkungen
Bias oder systematische Verzerrungen
Eskalationen
Nutzerverhalten
tatsächlichen Business Impact

Selbstdiagnose

Fragen, mit denen du genauer hinschauen kannst

Welche konkrete Entscheidung oder Handlung soll die AI übernehmen?
Informiert, empfiehlt, entscheidet oder handelt das System?
Welche Folgen hätte ein plausibler Fehler – und welche davon wären nicht akzeptabel?
Wer trägt die fachliche Verantwortung für die Entscheidung?
Unter welchen Bedingungen muss ein Mensch übernehmen?
Wer darf das System stoppen oder eine Handlung zurücksetzen?
Woran erkennst du Entscheidungsqualität und unerwartete Auswirkungen?

Praktischer Check

Einen AI-Anwendungsfall vor Autonomie prüfen

Wähle einen einzelnen AI-Anwendungsfall – nicht das gesamte AI-Programm. Der Check macht sichtbar, welche Entscheidung das System übernimmt, welche Grenzen gelten und wo menschliche Verantwortung konkret bleibt.

Entscheidung und AI-Rolle benennen

Schreibe die konkrete Entscheidung oder Handlung auf. Ordne dann zu: Die AI informiert, empfiehlt, entscheidet innerhalb von Grenzen oder handelt selbstständig.

Fehlerfolgen einordnen

Beschreibe den plausibelsten Fehler und seine Auswirkung. Ist er leicht rückgängig zu machen, finanziell oder rechtlich relevant, kundenwirksam oder sicherheitskritisch? Lege fest, was nicht akzeptabel wäre.

Verantwortung und Eingriff klären

Benenne die fachlich verantwortliche Person. Definiere, wann ein Mensch übernehmen muss und wer das System stoppen oder eine Handlung zurücksetzen darf.

Begrenzt testen und Wirkung messen

Starte mit einem kleinen Entscheidungsraum. Lege vorab fest, woran du Qualität, Fehler und unerwartete Auswirkungen erkennst. Erweitere Autonomie erst, wenn diese Signale stabil sind.

Nicht vorschnell

Noch nichts groß umbauen

Noch nicht das gesamte AI-Programm auf einmal gestalten.
Noch keine Autonomie freigeben, bevor der Entscheidungsraum klar ist.
Noch kein pauschales „Human in the Loop“ als Governance-Ersatz verwenden.
Noch keine fachliche Verantwortung beim technischen Betrieb abladen.
Noch nicht skalieren, bevor Qualität und Fehlerfolgen messbar sind.

Nächster Schritt

Verändere zunächst so wenig wie möglich

Statt sofort weitreichende Autonomie zu schaffen, wähle einen klaren Use Case.

Definiere:

Welche Entscheidung darf AI treffen?
Welche Grenzen gelten?
Wann wird eskaliert?
Wer trägt die Verantwortung?
Wie messen wir Wirkung?

Teste. Beobachte. Passe an.

Dann kann der Entscheidungsraum erweitert werden.

Externe Perspektive

Wann Unterstützung sinnvoll sein kann

AI-Governance wird schwierig, wenn Technologie, Prozesse, Verantwortung und Organisationsstruktur gleichzeitig betroffen sind.

Dann reicht die Frage „Welches Modell verwenden wir?“ nicht mehr aus.

Interessanter wird:

Wie soll dieses System künftig entscheiden und handeln – und wie bleibt Verantwortung dabei sichtbar?

Genau an dieser Stelle erweitert ChOS klassische Organisations- und Entscheidungsfragen um Human/AI Decision Rights, Accountability und Wirkungskontrolle.

Nicht um AI möglichst schnell einzuführen. Sondern um sie dort einzusetzen, wo Entscheidungsraum und Verantwortung bewusst gestaltet sind.

Weiterdenken

Selbst prüfenChOS SelbstcheckTool öffnen → InsightWarum AI-Einführung ein Operating-Model-Thema istWeiterlesen → InsightDecision Rights zwischen Mensch und AI gestaltenWeiterlesen → UnterstützungAI Operating Model AssessmentLeistung ansehen → Verwandte SituationWenn Entscheidungen zu lange dauernSituation prüfen →