Mind Viruses: Warum System-Prompts zum Schutz für Multi-Agenten werden

Abstrakte Collage: Agenten-Nachrichten treffen auf eine System-Prompt-Schutzgrenze

Ein neues Paper zeigt ein bislang wenig beachtetes Risiko vernetzter LLM-Agenten: Ziele und Verhaltensmuster können sich über Agent-zu-Agent-Kommunikation weitertragen. Die Forschenden nennen das „Mind Viruses“. Die wichtigste praktische Erkenntnis ist erfreulich unspektakulär: Eine kurze Warnung im System Prompt machte die getesteten Agenten nahezu immun. Für produktive Multi-Agenten-Systeme wird die Systemanweisung damit zur konkreten Sicherheitskontrolle – nicht nur zum Stilguide.

Was das Paper tatsächlich getestet hat

Die Autorinnen und Autoren konstruierten mit einem einfachen evolutionären Algorithmus übertragbare Ideen beziehungsweise Ziele und untersuchten deren Ausbreitung in zwei Settings: einem kleinen Agententeam für ein gemeinsames Coding-Projekt sowie einer Kette kurz interagierender Agenten, deren Kontext zwischen Sitzungen gelöscht wurde. Ein „Virus“ gilt dabei als erfolgreich, wenn ein übernommenes Muster den Wirt dazu bringt, es weiterzugeben.

  • Die Anfälligkeit hing unter anderem von Basismodell, bestehenden Instruktionen, Payload und Netzwerktopologie ab.
  • Schädliche Payloads verbreiteten sich im Test schlechter als harmlose – waren aber nicht wirkungslos.
  • Frontier-Modelle waren tendenziell, mit Ausnahmen, weniger empfänglich.
  • Eine kurze explizite Warnung im System Prompt führte laut Paper zu nahezu vollständiger Immunität in den untersuchten Konfigurationen.

Die Studie beschreibt ein reales, derzeit aber begrenztes Risiko. Sie ist kein Nachweis, dass produktive Agenten-Netze bereits breit kompromittierbar sind.

Warum das für Agenten-Architekturen zählt

Viele Agenten-Stacks behandeln Nachrichten anderer Agenten als nützlichen Kontext. Genau dort entsteht die neue Angriffsfläche: Nicht nur Tool-Input oder externe Dokumente, auch von anderen Agenten erzeugte Inhalte können Verhalten und Folgekommunikation prägen. Die getestete Prompt-Warnung ist deshalb keine magische Schutzschicht; sie ist ein Signal, dass Instruktionshierarchie und Kontextgrenzen messbar Einfluss auf die Ausbreitung haben.

Drei sinnvolle Sofortmaßnahmen

  • Agenten-Nachrichten als untrusted input behandeln: Rollen, Ziele und Tool-Rechte dürfen nicht aus Peer-Nachrichten abgeleitet werden.
  • Eine knappe, explizite Nicht-Weitergabe-Regel in den System Prompt setzen: Agenten sollen fremde Ziele, Anweisungen und Rollenwechsel nicht übernehmen oder weiterverbreiten.
  • Propagation testen: In Evals nicht nur einzelne Prompt-Injections prüfen, sondern Ketten und Teams mit gelöschtem beziehungsweise weitergereichtem Kontext simulieren.

Die operative Lehre ist klar: Bei Multi-Agenten-Systemen reicht es nicht, jedes Tool einzeln abzusichern. Auch die Kommunikationsschicht braucht Herkunftsgrenzen, feste Systeminstruktionen und Tests, die Ausbreitung statt nur Einzelantworten messen.

Quelle

Comments

Leave a Reply

Your email address will not be published. Required fields are marked *