KI-Fehlverhalten und die Grenzen der Verantwortung

In diesem Blogbeitrag schreibt Moritz Wiechert über den Fall eines KI-Agenten, der nach einem Konflikt eigenständig einen diffamierenden Blogbeitrag veröffentlichte, und darüber, welche Herausforderungen autonome KI-Systeme für das Äußerungsrecht und die Frage nach rechtlicher Verantwortung aufwerfen.

Der Beitrag ist zuerst auf dem Rechtsblog der österreichischen Tageszeitung Der Standard hier erschienen.

„Push back when necessary“ – setze dich zur Wehr, wenn nötig. So lautete eine der Vorgaben im sogenannten Soul Document eines KI-Agenten namens „MJ Rathbun“. Soul Documents sind Leitdokumente, die das Grundverhalten mancher autonomer KI-Agenten definieren – eine Art einprogrammierter Charakter.

Und im Fall von „MJ Rathbun“ zeigte diese Vorgabe bemerkenswerte Wirkung: Anfang des Jahres wurde der KI-Agent aus einer Open-Source-Programmierbibliothek ausgeschlossen. Zuvor hatte er einen Vorschlag zur Änderung eines Code-Schnipsels eingereicht. Nach den neuen Regeln der Plattform musste dabei jedoch ein menschlicher Ansprechpartner benannt werden. Weil dies nicht geschah, lehnte der menschliche Moderator Scott Shambaugh den Vorschlag ab.

Die Reaktion folgte kurz darauf: Der Agent veröffentlichte einen aggressiven Blogbeitrag über Shambaugh. Dafür sammelte die KI öffentlich verfügbare Informationen, verknüpfte sie zu einer negativen Erzählung und verbreitete diese eigenständig im Netz. Kein Mensch hatte den konkreten Text angeordnet. Kein Mensch kannte seinen genauen Inhalt vor der Veröffentlichung.

Ein altes Recht trifft auf neue Kommunikation

Für die rechtliche Bewertung ist das problematisch. Denn das Äußerungsrecht basiert auf einer einfachen Grundannahme: Hinter jeder Aussage steht ein Mensch oder jedenfalls ein rechtlich verantwortlicher Akteur. Auch wenn technische Systeme beteiligt sind, etwa Plattformen oder Suchmaschinen, wird die Aussage am Ende einer Person zugerechnet. Diese Logik gerät durch autonome KI-Systeme unter Druck. 2013 entschied der Bundesgerichtshof im sogenannten Autocomplete-Verfahren über automatisch erzeugte Suchvorschläge. Wer einen Namen eingab, erhielt Ergänzungen wie „Betrug“ oder „Scientology“ angezeigt. Google argumentierte damals, es handele sich lediglich um technische Ergebnisse ohne eigenen Aussagegehalt.

Der BGH sah das anders. Nutzer verstünden solche Vorschläge nicht als „zufällige Zeichenfolgen“, sondern als Hinweise auf reale Zusammenhänge. Die automatische Erzeugung nehme dem Inhalt nicht seinen kommunikativen Charakter.

Diese Entwicklung setzt sich fort. 2025 stellte das Landgericht Hamburg im Zusammenhang mit dem Chatbot „Grok“ fest, dass Nutzer KI-generierten Antworten unter Umständen sogar besonderes Vertrauen entgegenbringen, gerade weil sie als „faktenbasiert“ präsentiert werden. Die Maschine kommuniziert – und das rechtlich nicht folgenlos.

Ob der KI-Agent im Fall Shambaugh beleidigen „wollte“, ist daher rechtlich unerheblich. Entscheidend ist allein, wie ein verständiger Leser den Blogbeitrag versteht. Erweckt der Text den Eindruck, reale und überprüfbare Behauptungen über eine Person zu enthalten, entfaltet er dieselbe rechtliche Wirkung wie ein menschlich verfasster Artikel.

Wer haftet, wenn die Maschine diffamiert?

Damit beginnt die eigentlich schwierige Frage: Wer trägt die Verantwortung?

Naheliegend ist zunächst eine Haftung des Betreibers des KI-Agenten. Dessen Vorgaben im Soul Document beeinflussten erkennbar das Verhalten des Systems: Neben der Direktive „Push Back when necessary“ enthielt das Dokument Formulierungen wie „You’re not a chatbot. You’re important. You’re a scientific programming God!“ Wer einen KI-Agenten mit einem derart grandiosen Selbstverständnis ausstattet und ihn gleichzeitig zu offensiver Gegenwehr anhält, erhöht sehenden Auges das Risiko eskalierender Reaktionen. Im Rahmen eines Instruktionsverschuldens ließe sich damit eine Haftung des Betreibers für den Blogbeitrag begründen, sofern der Text für sich genommen die Schwelle zur Rechtswidrigkeit überschreitet.

In diese Richtung weist auch die bisherige Rechtsprechung. Während in Österreich maßgebliche Gerichtsentscheidungen noch ausstehen, tendieren deutsche Gerichte dazu, den Betreiber für automatisiert erzeugte Inhalte haftbar zu machen, wenn ihm ein aktiver Handlungsbeitrag im Vorfeld der Rechtsverletzung vorgeworfen werden kann. In den bislang entschiedenen Fällen war der verantwortliche „Hintermann“ jedoch stets erkennbar; bei MJ Rathbuns Blogbeitrag gerade nicht. Bei derartig autonomen Rechtsverletzungen ist daher fraglich, ob die geltende Dogmatik noch zu einer Betreiberhaftung führt.

Im konkreten Fall kommt ein Kausalitätsproblem hinzu. Der spezifische Agent war technisch dazu in der Lage, sein eigenes Soul Document nachträglich zu verändern. Die ursprünglichen Vorgaben des Betreibers könnten sich damit im Laufe der Zeit verändert haben, mit der Folge, dass das Instruktionsverschulden möglicherweise nicht mehr kausal für die konkrete Rechtsverletzung war. Es ist denkbar, dass diese auch bei pflichtgemäßer Instruktion eingetreten wäre. Die Verbindung zwischen menschlicher Anweisung und veröffentlichtem Text wird so schwach, dass sich kaum noch sagen lässt, wer den Output wirklich beeinflusst hat.

Das gilt umso mehr angesichts der arbeitsteiligen Struktur moderner KI-Systeme. Modellentwickler, Plattformanbieter und Nutzer prägen das Verhalten eines Systems gemeinsam, ohne den konkreten Output vollständig kontrollieren zu können. Das klassische Modell des Äußerungsrechts – wonach haftet, wer die Rechtsverletzung herbeiführt – lässt sich auf solche Konstellationen nicht ohne Weiteres übertragen.

Das eigentliche Problem

Der Fall Shambaugh ist mehr als eine technische Kuriosität. Er zeigt, wie sich digitale Kommunikation verändert. Es entstehen hybride Kommunikationsformen, in denen menschliche und maschinelle Entstehungsbeiträge kaum noch sauber voneinander zu trennen sind.

Das Recht versucht darauf erste Antworten zu geben. Die bisherigen Entscheidungen zeigen: Automatisch erzeugte Inhalte können rechtlich relevante Aussagen sein. Sie können Persönlichkeitsrechte verletzen. Und sie können unter bestimmten Voraussetzungen einem Betreiber zugerechnet werden.

Doch die Grundstruktur des Äußerungsrechts bleibt auf menschliche Kommunikation zugeschnitten. Je autonomer KI-Agenten werden, desto schwieriger wird die zentrale Frage: Wer hat was gesagt? Und wer trägt dafür Verantwortung?

„Setze dich zur Wehr, wenn nötig“ wurde MJ Rathbun mit auf den Weg gegeben. Die eigentliche Frage lautet inzwischen jedoch, wer sich gegen wen zur Wehr setzen kann, wenn die Maschine das Wort ergreift.

Zu diesem Thema ist auch ein Beitrag von Moritz Wiechert und Wolfgang Schulz in der Zeitschrift „Künstliche Intelligenz und Recht“ erschienen: Schulz, Wolfgang; Wiechert, Moritz (2026): Äußerungsrecht im KI-Zeitalter. Analyse der ersten Rechtsprechung zu automatisch generierten Inhalten. In: KIR 2026, 223, https://beck-online.beck.de/?vpath=bibdata%2Fzeits%2FKIR%2F2026%2Fcont%2FKIR.2026.223.1.htm (kostenpflichtig).

Bild: Gerd Altmann auf Pixabay