Mehrere KI-Agenten im Zusammenspiel: Fehler vermeiden

1. Warum mehrere Agenten neue Fehler erzeugen

Ein kleines, alltägliches Beispiel führt mitten ins Problem. Ein Unternehmen betreibt eine Kette aus drei KI-Agenten, um Kundentexte zu erstellen: Der erste recherchiert ein Thema und fasst die Quellen zusammen, der zweite baut daraus einen fertigen Kundentext, der dritte prüft das Ergebnis — allerdings nur auf Rechtschreibung und Formatierung.

Nun unterläuft dem Recherche-Agenten ein Fehler: Er fasst eine Quelle inhaltlich falsch zusammen. Der Schreib-Agent übernimmt diese falsche Zusammenfassung als gesicherte Grundlage und formuliert daraus einen sprachlich einwandfreien Text. Der Prüf-Agent findet keinen Tippfehler und gibt frei. Der ursprüngliche Fehler entstand also sehr wohl in einem Agenten — der Recherche-Agent hat seine Aufgabe gerade nicht korrekt erfüllt. Entscheidend ist aber, was danach geschah: Die beiden nachgelagerten Agenten taten jeder für sich, was ihr enger Auftrag verlangte, und keiner war dafür zuständig, den Inhalt gegen die Quelle zu prüfen. So wird aus einem einzelnen Modellfehler ein Fehler, der ungehindert das System verlässt und beim Kunden landet. Das eigentliche Versagen liegt nicht im Fehler selbst, sondern darin, dass ihn keine Übergabe- und keine Prüfkontrolle abfing.

Das ist das Kennzeichen von Multi-Agent-Systemen: Ein Fehler mag in einem Agenten entstehen, doch zum unentdeckten Systemfehler wird er zwischen den Agenten — an den Übergabestellen, in den Zuständigkeiten, in der Art, wie die Arbeit aufgeteilt und wieder zusammengeführt wird. Das Neue an der Arbeitsteilung ist nicht, dass Fehler passieren, sondern dass niemand sie mehr auffängt.

Warum setzen Unternehmen überhaupt auf mehrere Agenten? Weil Arbeitsteilung auch bei KI Vorteile hat. Anthropic berichtet etwa, dass ein Multi-Agent-System eine komplexe Rechercheaufgabe nach der eigenen internen Messung um rund 90 Prozent besser bewältigte als ein einzelner Agent — allerdings um den Preis erheblich höherer Betriebskosten (rund fünfzehnmal so viele verarbeitete Token — die Abrechnungseinheit für Modellnutzung) und „schnell wachsender Koordinationskomplexität“.^[2] Die Fachwelt ist sich keineswegs einig: Andere erfahrene Praktiker raten derzeit sogar grundsätzlich von Multi-Agent-Architekturen ab und bevorzugen einen einzelnen, durchgängig arbeitenden Agenten.^[3] Der Einsatz mehrerer Agenten ist also eine bewusste Design-Entscheidung — kein Standard, den man ungeprüft übernimmt. Dort aber, wo er sich lohnt, verschiebt sich das Risiko: weg von der Frage „Ist das Modell gut genug?“ hin zu „Ist die Zusammenarbeit gut organisiert?“

2. Die vier typischen Koordinationsfehler

Die MAST-Studie hat 1.642 protokollierte Abläufe aus sieben verbreiteten Multi-Agent-Systemen ausgewertet und daraus eine Fehlertaxonomie mit 14 Fehlermodi entwickelt.^[1] Zur Einordnung: Diese sieben Systeme sind quelloffene Forschungs-Frameworks; die Zahlen geben die Richtung vor, sind aber keine Punktprognose für ein konkretes Produktivsystem. Die begutachtete MAST-Studie ist dabei der belastbarste Anker; die meisten ergänzenden Mechanik-Belege dieses Kapitels sind noch nicht abschließend begutachtete Preprints, die wir als solche kennzeichnen. Fachbegriffe und Fehlermodus-Namen aus englischsprachigen Quellen sind sinngemäß ins Deutsche übertragen. Für Entscheider lassen sich vier praxisrelevante Muster verdichten; welches zuerst droht, hängt auch von der Bauform ab (sequentielle Kette, paralleler Aufbau, geteilte Zuständigkeit).

1 · Fehlerfortpflanzung — der Fehler, der sich vererbt

Ein Agent liefert ein falsches Zwischenergebnis, der nachgelagerte übernimmt es unkritisch als gesicherte Grundlage. Der Fehler pflanzt sich fort, statt aufzufallen. In der MAST-Taxonomie ist das der Modus „unvollständige oder fehlende Verifikation“, bei dem Fehler oder Inkonsistenzen unentdeckt weitergegeben werden können.^{[1, p. 25]} Ein aktueller Preprint zeigt, wie ein einziger eingeschleuster Fehler eine Kettenreaktion auslöst, während kleine Ungenauigkeiten sich zu einem systemweiten „falschen Konsens“ verfestigen.^[4] Eine weitere Arbeit findet, dass die Zuverlässigkeit über lange Handlungsketten schneller abnimmt als naiv erwartet.^[5] Ehrlicherweise ist die Evidenz nicht einheitlich: Eine Studie findet keine pauschale Verstärkung, sondern teils eine Abschwächung — auf Kosten der sachlichen Genauigkeit.^[6] Die Lehre bleibt nüchtern: Ein zweiter Agent ist keine verlässliche Selbstkorrektur.

2 · Zuständigkeitslücken — jeder denkt, der andere macht es

Eine Aufgabe fällt zwischen die Rollen: Beide Agenten gehen davon aus, der jeweils andere übernehme einen Schritt — am Ende macht ihn keiner. Diese Klasse ist besonders gut belegt; MAST führt „Fehlabstimmung zwischen Agenten“ als zweitgrößte Fehlerquelle, mit Mustern wie dem Zurückhalten von Information oder dem Ignorieren fremder Eingaben.^[1] Ein aktueller Preprint mit über 22.000 Abläufen beobachtet zudem einen „Zuschauer-Effekt“: Agenten berechnen intern die richtige Lösung, unterwerfen sich dann aber der falschen Mehrheitsmeinung der Gruppe.^[7] Verantwortung, die nicht ausdrücklich zugewiesen ist, wird nicht automatisch übernommen.

3 · Endlosschleifen — das System kommt nicht zum Ende

Bei widersprüchlichem Feedback terminieren Agenten nicht: Sie reichen eine Aufgabe endlos hin und her oder warten auf einen Abschluss, der nie kommt. MAST erfasst das als „Abbruchbedingungen nicht erkannt“.^[1] Ein Preprint benennt „unendliche Agenten-Schleifen“ als eigene Fehlerklasse und fand in realen Software-Projekten dutzende bestätigte Fälle.^[8] Für Entscheider zählt vor allem die Kostenfolge: Eine unbegrenzte Schleife verbraucht ununterbrochen Rechenzeit und Geld. Auch aus der Praxis wird von Agenten berichtet, die „endlos das Web nach nicht existierenden Quellen durchsuchten“.^[2]

4 · Doppelarbeit — zwei tun dasselbe

Sind Zuständigkeiten nicht sauber getrennt, bearbeiten mehrere Agenten überlappende Teilprobleme parallel und produzieren teils widersprüchliche, teils redundante Ergebnisse — ein wesentlicher Kostentreiber.^[9] Auch Anthropic berichtet aus der Praxis, dass Agenten ohne klare Aufgabengrenzen Arbeit doppelt erledigen.^[2] In MAST entspricht das den Modi „Schrittwiederholung“ und „Missachtung der Rollenvorgabe“.^[1] Doppelarbeit ist selten ein Sicherheitsrisiko, aber ein stiller Effizienzverlust.

3. Der unterschätzte Hebel: das System-Design

Modellwahl und Architektur prägen das Fehlerbild gemeinsam — doch ein großer und in der Praxis oft unterschätzter Hebel liegt im Aufbau des Systems und in der Abstimmung zwischen den Agenten. Die Autoren führen viele Ausfälle eher auf Herausforderungen des organisatorischen Designs und der Koordination als auf Grenzen einzelner Agenten zurück.^{[1, p. 9]}

Zwei Einordnungen sind wichtig, um nicht in falsche Sicherheit zu verfallen. Erstens sind das Anteile an den Fehler-Klassifikationen, kein Beweis, dass genau dieser Anteil der Ausfälle „nicht am Modell“ lag — Modell und Architektur wirken zusammen. Zweitens betont die Studie, dass keine einzelne Fehlerkategorie dominiert; es gibt keinen einzelnen Hebel, der alles löst. Bessere Modelle helfen, reichen nach Einordnung der Autoren aber nicht aus, um ein zuverlässiges Zusammenspiel zu garantieren.^{[1, pp. 8–9]} Das System-Design ist der zusätzliche, oft unterschätzte Hebel. Wie wirksam es sein kann, zeigt die Studie an sich selbst: Gezielte Eingriffe — klarere Rollen, eine robustere Ablaufsteuerung oder ein zusätzlicher Prüfschritt — hoben die Erfolgsquote bei identischem Modell messbar an. Als Beleg führt die Studie eine Fallstudie an, in der allein das Hinzufügen eines inhaltlichen Prüfschritts die Aufgaben-Erfolgsquote um 15,6 Prozent steigerte (Framework ChatDev, Benchmark ProgramDev). Das ist ein Einzelbefund aus einer Fallstudie, keine für jedes System garantierte Zahl.

Zwei technische Eigenschaften von Sprachmodellen verschärfen die Koordinationsfehler und sollten jedem Entscheider geläufig sein.

Nicht-Determinismus. Dieselbe Eingabe kann zu unterschiedlichen Ausgaben führen, weil das Modell seine Antworten aus einer Wahrscheinlichkeitsverteilung zieht. Selbst wenn man die „Kreativität“ auf null stellt, ist die Ausgabe gehosteter Modelle in der Praxis nicht garantiert reproduzierbar.^[10] Für Multi-Agent-Systeme heißt das: Ein Fehler von heute lässt sich morgen vielleicht nicht nachstellen.

Drift. Modelle können sich über die Zeit verändern, etwa wenn Anbieter neue Versionen bereitstellen. Eine vielzitierte Untersuchung dokumentierte, wie die Trefferquote bei einer Aufgabe binnen Monaten von 84 auf 51 Prozent fiel.^[11] Gerade diese Einzelmessung wurde später methodisch kritisiert — der Einbruch ging teils auf die Auswertung zurück, nicht allein auf das Modell —, das Grundphänomen möglicher Verhaltensänderungen ist jedoch breiter belegt und macht regelmäßige Tests sinnvoll. Ein System, das gestern lief, kann nach einem Modell-Update anders reagieren.

4. Was Unternehmen konkret tun können

Koordinationsfehler sind kein Schicksal, sondern eine Frage der Gestaltung. Sieben Maßnahmen adressieren die vier Fehlermuster gezielt; sie lassen sich schrittweise einführen und ergänzen einander. Wichtig ist die Unterscheidung, was eine Maßnahme leistet: Klare Rollen, verbindliche Übergaben und eine inhaltliche Prüfinstanz senken unmittelbar die Fehlerquote. Abbruchgrenzen, Monitoring und Modell-Pinning tun das nicht direkt — sie begrenzen den Schaden, erleichtern die Fehlersuche und halten das System über Modellwechsel hinweg stabil. Erst beides zusammen ergibt ein belastbares System.

1. 1
   Klare Rollen und saubere Aufgabenteilung.

   Jeder Agent braucht einen eindeutigen Auftrag und klare Grenzen. Anthropic beschreibt, dass Agenten ohne klare Aufgabengrenzen Arbeit duplizieren oder Lücken lassen;^[2] MAST zeigt, dass das Erzwingen klarer Rollen die Fehlerquote messbar senkt.^[1]

2. 2
   Verbindliche Übergaben (Handoffs).

   Der gefährlichste Moment ist die Übergabe. Statt formloser Zulieferung folgt sie einem festen Muster: Ziel, Ausgabeformat, erlaubte Werkzeuge und Quellen, klare Grenzen.^[2] Programmierte Kontrollpunkte prüfen ein Zwischenergebnis, bevor es weiterläuft.^[12]

3. 3
   Eine eigene inhaltliche Prüfinstanz.

   Die wichtigste Einzelmaßnahme gegen Fehlerfortpflanzung: ein Agent (oder Mensch), dessen Auftrag die inhaltliche Prüfung ist — nicht Rechtschreibung, sondern Richtigkeit. MAST betont die zentrale Bedeutung von Prüf-Agenten.^[1] Ein KI-Prüfer ist brauchbar (über 80 % Übereinstimmung mit menschlichen Urteilen), hat aber Verzerrungen und muss bewusst gestaltet werden.^[13]

4. 4
   Schutzregeln (Guardrails).

   Vorgeschaltete Regeln prüfen Ein- und Ausgaben und fangen Unerwünschtes ab. Sinnvoll ist eine gestaffelte Verteidigung aus mehreren spezialisierten Prüfregeln.^[14] Ein etabliertes Open-Source-Werkzeug stellt solche Regeln modellunabhängig bereit.^[15]

5. 5
   Abbruch- und Budgetgrenzen.

   Kein Agent darf unbegrenzt laufen. Harte Grenzen — maximale Durchläufe, ein Zeit- oder Kostenbudget, eine klare Abbruchbedingung — sind die direkte Antwort auf Endlosschleifen. Sie senken nicht die Fehlerquote, begrenzen aber Kosten und Schaden, wenn ein Lauf entgleist.

6. 6
   Durchgängige Nachvollziehbarkeit (Monitoring).

   Weil Agenten nicht deterministisch sind, lassen sie sich ohne Protokollierung kaum debuggen.^[2] Jeder Modell-Aufruf, jeder Werkzeugeinsatz wird als Datensatz erfasst. Dafür existieren offene, sich entwickelnde OpenTelemetry-Konventionen, die Modellaufrufe, Agenten- und Werkzeugausführungen einheitlich beschreiben.^[16] Monitoring verhindert keinen Fehler, macht ihn aber auffindbar: Man sieht, an welcher Übergabe er entstand, statt hinterher zu raten.

7. 7
   Menschliche Freigaben an kritischen Stellen.

   Nicht jeder Schritt braucht einen Menschen, aber die folgenschweren schon. Vor kostspieligen oder unumkehrbaren Aktionen — Zahlung, Löschung, Versand an den Kunden — gibt ein Mensch frei.^[12][14] Für Unternehmen im europäischen Raum ist das nicht nur gute Praxis: Bei Systemen, die der EU AI Act als hochriskant einstuft, ist wirksame menschliche Aufsicht rechtlich vorgeschrieben — eine Freigabestufe an der kritischen Stelle zahlt zugleich auf die Compliance ein.

Zwei betriebliche Disziplinen ergänzen die sieben Maßnahmen. Auch sie senken nicht direkt die Fehlerquote, sondern halten das System stabil, wenn sich das Modell im Hintergrund verändert. Beim Modell-Pinning wird eine getestete Modellversion fest eingestellt und erst nach eigener Prüfung gewechselt. Microsoft ermöglicht, automatische Modell-Upgrades zu deaktivieren, und empfiehlt, Anwendungen und Workflows mit einer neuen Modellversion zu testen.^[17] Spätestens vor der Stilllegung einer alten Version muss jedoch auf eine unterstützte Version migriert werden. Eval ist die systematische, wiederholbare Prüfung der Ergebnisqualität gegen feste Kriterien, zunehmend automatisiert.^[13] Sie ist ein belastbarer Weg, vor einem Modellwechsel festzustellen, ob das System weiter zuverlässig arbeitet.

Für die Geschäftsführung: Kontrollniveau nach Risiko festlegen

Die sieben Maßnahmen sind das Handwerkszeug der IT. Die Geschäftsführung entscheidet eine Ebene darüber: Welcher Prozess verdient welches Kontrollniveau, und wer trägt die Verantwortung? Für die Einordnung genügen zwei Fragen: Wie groß ist der Schaden, wenn ein Fehler durchrutscht? Und wie selbstständig handelt das System — schlägt es nur vor, oder löst es selbst Aktionen aus? Aus beiden ergibt sich das angemessene Kontrollniveau.

Drei Festlegungen gehören dabei auf die Führungsebene, nicht in die Technik:

• Verantwortung benennen. Jeder produktive Agenten-Prozess braucht einen menschlichen Verantwortlichen, der Freigaben erteilt und für Fehler geradesteht. KI verschiebt Verantwortung nicht — sie bleibt beim Menschen und im Unternehmen.
• Kontrollniveau festlegen und dokumentieren. Vor dem Produktivgang je Prozess einordnen, welche Stufe der Matrix gilt und warum. Das schafft eine nachvollziehbare Grundlage, auch gegenüber Aufsicht und Kunden.
• Erfolgskriterien vereinbaren. Legen Sie messbare Kriterien fest, woran Sie erkennen, dass die Kontrollen wirken: etwa die Fehlerquote in Stichproben, den Anteil der Läufe mit menschlicher Korrektur, die Zeit bis zur Fehlererkennung oder die Kosten je Vorgang. Ohne Zielgröße bleibt „gut genug“ Gefühlssache.

5. Das Praxisbeispiel — gelöst

Kehren wir zum Eingangsbeispiel zurück und legen die Maßnahmen darüber. Die falsche Zusammenfassung des Recherche-Agenten hätte an mehreren Stellen abgefangen werden können.

Mit einer verbindlichen Übergabe liefert der Recherche-Agent seine Zusammenfassung nicht mehr als bloßen Text, sondern mit Quellenbezug und einer Angabe, wie sicher er sich ist — damit ist die Behauptung überhaupt erst nachprüfbar. Die inhaltliche Prüfinstanz — der entscheidende neue Baustein — prüft die Zusammenfassung gegen die Originalquelle, nicht die Rechtschreibung des Endtextes, und schlägt an, wo der bisherige dritte Agent nichts sah. Das Monitoring macht den Ablauf im Nachhinein sichtbar, sodass klar wird, an welcher Übergabe der Fehler entstand. Und weil der Text an einen Kunden geht — ein folgenreicher Schritt —, gibt vor dem Versand ein Mensch frei.

Fazit

Multi-Agent-Systeme sind kein Risiko, das man meiden müsste — sie sind ein Werkzeug, das man richtig konstruieren muss. In der MAST-Auswertung entfielen 76,5 Prozent der klassifizierten Fehler auf System-Design und Abstimmung zwischen den Agenten.^{[1, p. 2]} Das ist kein allgemeiner Kausalnachweis, zeigt aber konkrete Hebel, die Unternehmen unmittelbar beeinflussen können. Ein besseres Modell kann helfen; gegen typische Koordinationsfehler braucht es zusätzlich klarere Rollen, verbindliche Übergaben und eine echte Prüfinstanz.

Diese Woche starten — die drei größten Hebel

• Eine inhaltliche Prüfinstanz einbauen — Richtigkeit prüfen, nicht nur Form.
• Rollen schriftlich festlegen — je Agent: wofür zuständig, wofür nicht.
• Abbruch- und Kostengrenzen setzen — damit kein Agent unbemerkt Geld verbrennt.

Quellen