Der teuerste Satz der KI: „Erledigt.“

MENSCH & KI
FIELD NOTE 002

Ein persönliches Experiment über moderne Softwareentwicklung, Coding Agents – und darüber, was passiert, wenn Mensch und KI tatsächlich anfangen, gemeinsam zu arbeiten.

Ich hatte dieses Problem schon einmal!

Nur damals hieß die KI noch Entwickler.

Vor einigen Jahren war ich als Product Owner regelmäßig in derselben Situation:

Ein Ticket war fertig.
Die Anforderungen waren umgesetzt.
Die Entwickler waren überzeugt, dass alles funktioniert.

Und im Review stellte sich heraus:

Irgendetwas anderes war kaputt.

Nicht unbedingt das Feature selbst. Oft war es ein angrenzender Prozess oder eine bestehende Funktion, die niemand vollständig durchgespielt hatte.

Irgendwann habe ich deshalb eine einfache Regel eingeführt:

Wer etwas entwickelt, muss es selbst zeigen können.

Nicht nur den Code.

Nicht nur das Ticket.

Sondern die tatsächliche Funktion – im realen Ablauf.

Das war manchmal unangenehm.

Aber erstaunlich wirksam.

Viele Jahre später: Déjà-vu

Heute arbeite ich intensiv mit KI-Agenten in der Softwareentwicklung.

Und irgendwann saß ich wieder vor genau diesem Muster.

Der Agent hatte seine Aufgabe umgesetzt.

Die Tests waren grün.

Die Änderung war sauber eingegrenzt.

Formal sah alles gut aus.

Und trotzdem entsprach der tatsächliche Systemzustand nicht dem gewünschten Ergebnis.

Der Agent sagte sinngemäß:

Erledigt.

Das System sagte:

Nicht ganz.

Dabei gibt es durchaus Leitplanken

KI-gestützte Entwicklung bedeutet für mich nicht:

„Hier ist ein Prompt. Bau mal.“

Es gibt klar abgegrenzte Work Items, Akzeptanzkriterien, Architecture Decision Records, Git-Branches, Pull Requests, Unit-, Integrations- und Architekturtests sowie definierte Reviews.

Warum?

Weil ein Sprachmodell sehr gut darin ist, eine plausible Lösung zu erzeugen.

Aber Plausibilität ist keine Verifikation.

Ein Unit Test beantwortet eine bestimmte Frage.

Ein Integrationstest eine andere.

Ein Architekturtest prüft wiederum andere Grenzen.

Und selbst wenn alle grün sind, bleibt noch eine ziemlich banale Frage:

Funktioniert das Produkt jetzt tatsächlich so, wie es benutzt werden soll?

Genau hier entsteht die Lücke.

Ein Agent kann einen Codepfad korrekt ändern.

Die Tests bestätigen die Änderung.

Trotzdem kann eine andere Komponente noch mit einem alten Zustand arbeiten, ein Reload ein anderes Ergebnis zeigen oder ein angrenzender Ablauf beschädigt worden sein.

Die Aufgabe wurde lokal korrekt erledigt.

Das Gesamtergebnis ist trotzdem falsch.

Also kam die alte Regel zurück

Wer baut, muss zeigen, dass es funktioniert.

Bei einem KI-Agenten bedeutet das beispielsweise:

Anwendung starten.
Health und Readiness prüfen.
Den tatsächlichen Workflow ausführen.
Persistenz und Reload testen.
Logs ansehen.
Angrenzende Funktionen prüfen.

Nicht:

Hast du die Aufgabe ausgeführt?

Sondern:

Kannst du nachweisen, dass der gewünschte Zustand erreicht wurde?

Das klingt ähnlich.

Ist aber ein erheblicher Unterschied.

Und selbst das reicht nicht

Denn wer eine Lösung gebaut hat, sieht sie anders als jemand, dessen Aufgabe darin besteht, Fehler zu finden.

Das gilt für Menschen.

Und offenbar auch für KI.

Deshalb kam eine zweite Regel hinzu:

Wer baut, prüft selbst. Aber jemand anderes prüft seitwärts.

Ein Implementierungsagent versucht zu zeigen, dass seine Lösung funktioniert.

Ein unabhängiger Reviewer versucht, Schwachstellen, Seiteneffekte oder falsche Annahmen zu finden.

Bei kritischen Punkten kommt ein Mensch hinzu.

Interessanterweise findet man verwandte Ansätze auch in der Forschung zu Large Language Models.

Self-Refine untersucht ein Verfahren, bei dem ein Modell zunächst eine Antwort erzeugt, diese selbst kritisiert und anschließend iterativ verbessert. In den untersuchten Aufgaben schnitt dieses iterative Vorgehen besser ab als eine einmalige Generierung.[1]

Tree of Thoughts verfolgt einen anderen Ansatz: Ein Modell folgt nicht nur einem einzigen Lösungsweg, sondern kann mehrere mögliche Pfade untersuchen, bewerten und bei Bedarf zurückgehen. Gerade bei Aufgaben, die Planung oder Suche erfordern, konnte dieses Vorgehen deutliche Verbesserungen zeigen.[2]

Noch näher an der Idee einer seitlichen Prüfung liegt Multi-Agent Debate. Dabei erzeugen mehrere Modellinstanzen zunächst eigene Antworten und setzen sich anschließend über mehrere Runden mit den Ergebnissen der anderen auseinander. In den untersuchten Aufgaben verbesserten sich dadurch unter anderem mathematisches und strategisches Reasoning sowie die faktische Qualität.[3]

Ich würde daraus allerdings keine einfache Formel ableiten wie:

Mehr Agenten = bessere Ergebnisse.

So funktioniert es nicht.

Ein zweiter Agent ist nicht automatisch unabhängig, nur weil er ein zweites Chatfenster besitzt.

Wenn beide dieselben Annahmen übernehmen, dieselben Informationen sehen und sich nur gegenseitig bestätigen, haben wir keine Qualitätssicherung geschaffen.

Wir haben zwei sehr höfliche Fehlergeneratoren.

Der für mich entscheidende Gedanke aus diesen Ansätzen ist deshalb einfacher:

Die erste plausible Antwort sollte nicht automatisch die letzte sein.

Unterschiedliche Rollen, unterschiedliche Fragen

Der Implementierende fragt:

Wie löse ich die Aufgabe?

Die Selbstprüfung fragt:

Was habe ich möglicherweise übersehen?

Der Reviewer fragt:

Wo könnte diese Lösung falsch sein?

Und die reale Verifikation fragt:

Funktioniert der tatsächliche Workflow?

Das ist mehr als eine technische Feinheit.

Es verändert die Art, wie Zusammenarbeit organisiert wird.

Seitliche Kontrolle statt permanenter menschlicher Aufsicht

In vielen Diskussionen über KI-Governance fällt schnell der Begriff:

Human in the Loop.

Der Mensch soll eben alles kontrollieren.

Das klingt vernünftig.

Skaliert aber schlecht.

Wenn ein Mensch jede Arbeit eines KI-Agenten vollständig nachvollziehen, jeden Test erneut prüfen und jede Änderung von vorne verstehen muss, haben wir kein gutes Arbeitssystem gebaut.

Dann haben wir nur einen sehr schnellen Ausführenden geschaffen und daneben einen Vollzeitaufpasser gesetzt.

Die interessantere Frage lautet deshalb:

Wie organisiert man Kontrolle so, dass unterschiedliche Perspektiven Fehler sichtbar machen, ohne jeden Schritt manuell zu wiederholen?

Für mich entsteht daraus eher ein System verschiedener Rollen:

Implementierungsagent
setzt eine klar abgegrenzte Änderung um.

Automatisierte Tests
prüfen bekannte fachliche und technische Regeln.

Reviewer-Agent
prüft Diff, Seiteneffekte, Architektur und mögliche Regressionen.

End-to-End-Verifikation
zeigt, ob der tatsächliche Workflow funktioniert.

Menschliche Freigabe
greift dort ein, wo Wirkung, Risiko oder Verantwortung es erfordern.

Das ist näher an einem funktionierenden Team als an klassischer Automatisierung.

Daraus ist für mich eine einfache Regel entstanden:

Der Implementierende und der Reviewer haben nicht denselben Job

Der Implementierende versucht zu beweisen, dass es funktioniert.

Der Reviewer versucht zu beweisen, dass es nicht funktioniert.

Beide Perspektiven sind notwendig.

Denn wenn alle Beteiligten nur bestätigen wollen, dass alles gut ist, entsteht keine Qualitätssicherung.

Dann entsteht gemeinschaftliche Selbstberuhigung.

Das funktioniert bei Menschen schon mäßig.

Mit KI wird es nur schneller.

Und plötzlich ist das kein reines Softwarethema mehr

Menschen kompensieren schlechte Prozesse erstaunlich gut.

Sie kennen den Kontext.

Sie erinnern sich an frühere Entscheidungen.

Sie fragen einen Kollegen.

Sie wissen, welche Regel zwar nirgendwo steht, aber trotzdem gilt.

Und sie merken häufig:

Das kann so nicht gemeint sein.

KI kann das nicht automatisch.

Sie arbeitet mit dem Kontext, den wir ihr geben oder verfügbar machen.

Das legt sehr schnell offen, wo Organisationen von implizitem Wissen leben.

Von stillen Annahmen.

Von nicht dokumentierten Regeln.

Von Menschen, die seit zehn Jahren wissen, wie es wirklich funktioniert.

Das kann frustrierend sein.

Aber vielleicht ist genau das eine der interessantesten Nebenwirkungen der Zusammenarbeit mit KI:

Sie macht sichtbar, wo unsere Organisation nur deshalb funktioniert, weil Menschen permanent Lücken ausgleichen.

Vielleicht ist das gar kein KI-Problem

Je länger ich damit arbeite, desto weniger glaube ich, dass die zentrale Kompetenz der kommenden Jahre „Prompt Engineering“ heißt.

Die schwierigeren Fragen sind älter:

Was ist das eigentliche Ziel?

Woran erkennen wir, dass es erreicht wurde?

Welche Entscheidungen darf jemand selbst treffen?

Welche Grenzen gelten?

Wer überprüft wen?

Wann reicht Selbstkontrolle?

Wann braucht es eine zweite Perspektive?

Und wann muss ein Mensch übernehmen?

Das sind keine neuen Fragen der künstlichen Intelligenz.

Das sind Fragen von Führung, Organisation und Zusammenarbeit.

KI macht nur sehr schnell sichtbar, wenn wir darauf keine guten Antworten haben.

Field Note 002

Was passiert, wenn Mensch und KI tatsächlich anfangen, gemeinsam zu arbeiten?

Vielleicht beginnt echte Zusammenarbeit nicht damit, dass KI mehr Aufgaben übernimmt.

Vielleicht beginnt sie dort, wo wir Arbeit anders organisieren:

mit klaren Zielen,
mit überprüfbaren Ergebnissen,
mit unterschiedlichen Perspektiven
und mit Verantwortung, die nicht verschwindet, nur weil eine Maschine beteiligt ist.

Und vielleicht ist deshalb der gefährlichste Satz nicht:

„Die KI hat einen Fehler gemacht.“

Sondern:

„Erledigt.“

Was davon hängen bleibt

„Erledigt“ heißt noch nicht, dass das Ziel erreicht wurde.

KI braucht deshalb mehr als gute Prompts: klare Ziele, überprüfbare Ergebnisse, unabhängige Kontrolle – und menschliche Verantwortung.

Vielleicht zwingt uns KI vor allem dazu, Arbeit besser zu organisieren.

Was passiert, wenn Mensch und KI tatsächlich anfangen, gemeinsam zu arbeiten?

Genau das möchte ich herausfinden.

Quellen

[1] Self-Refine
Aman Madaan et al. (2023): Self-Refine: Iterative Refinement with Self-Feedback.
Advances in Neural Information Processing Systems 36, NeurIPS 2023.
Link zu dem Artikel

[2] Tree of Thoughts
Shunyu Yao et al. (2023): Tree of Thoughts: Deliberate Problem Solving with Large Language Models.
Advances in Neural Information Processing Systems 36, NeurIPS 2023.
Link zu dem Artikel

[3] Multi-Agent Debate
Yilun Du, Shuang Li, Antonio Torralba, Joshua B. Tenenbaum & Igor Mordatch (2024): Improving Factuality and Reasoning in Language Models through Multiagent Debate.
Proceedings of the 41st International Conference on Machine Learning, PMLR 235.
Link zu dem Artikel