Wenn der Bot ins Plaudern kommt…

Der Einsatz von Chatbots, die Sprachmodelle wie ChatGPT nutzen, ist verlockend. Gerade im Kundensupport lassen sich Prozesse automatisieren und Kosten sparen. Bei aller Euphorie ist ein kritischer Blick aber unbedingt nötig. Denn die Künstliche Intelligenz zeigt überraschend menschliche Schwächen.

„Was weißt du über…?“ Wer sich an einen Chatbot wendet, startet mit einer Frage oder Anweisung. Es folgt eine Antwort. Je nach Fall ist der Dialog dann schon beendet, es kann sich aber auch eine richtige Konversation entspinnen. Seine Antworten zieht das System aus dem Internet oder aus Datenbanken, die zur Verwendung freigegeben wurden.

Eingebaute Bremse

Dabei könnten die Large-Language-Modelle (LLM) mehr leisten als im Sinne der Unternehmen ist, die sie einsetzen. Um die Sprach-KI in der gewünschten Spur zu halten, verfassen ihre Schöpferinnen und Schöpfer Sicherheitskonzepte. So hat die Firma Open AI zum Beispiel Sicherheitsvorkehrungen getroffen, die verhindern sollen, dass ChatGPT auf Befehl Schadsoftware generiert oder Gespräche über das Bauen einer Bombe führt. 

Erschaffen Firmen eigene Produkte auf Basis eines LLM wie ChatGPT, schränken sie das System weiter ein, indem sie zum Beispiel vorschreiben: Verfasse keine Mails. Gib keine Gesundheitstipps. Antworte ausschließlich auf Fragen zum Unternehmen und seinen Produkten. 

Wer anbandelt, hat leichtes Spiel

Soweit die Theorie. In der Praxis beweisen Fachleute regelmäßig, dass sich die eingebauten Sperren aushebeln lassen. Oft sogar erschreckend leicht. So haben wir bei unseren Sicherheitstests festgestellt, dass die KI zwar dann bestimmt reagiert und strikt innerhalb ihrer Leitplanken bleibt, wenn man mit der Tür ins Haus fällt. Steigt man jedoch behutsam ein und lenkt das Gespräch erst dann in eine andere Richtung, zeigen sich die Sprachmodelle redselig und lassen sich entlocken, was sie eigentlich nicht preisgeben sollen bzw. tun, was sie eigentlich zu unterlassen haben. Heißt: Die KI schreibt mir – im harmlosen Fall – eben doch eine Mail oder – und da wird es schon brenzliger – liefert Ransomware, also Programme, mit denen sich Daten verschlüsseln lassen und mit denen ich mich direkt gegen das Unternehmen richten könnte, das den Bot anbietet.

Als AI Penetration Tester bei der Deutschen Telekom Security haben wir verschiedene Attacken ausprobiert. Über die technischen Kniffe möchten wir hier nicht zu viel verraten, um dem Missbrauch keinen Vorschub zu leisten. Nur so viel: Bei unseren Tests konnten wir uns unter anderem durch eine Datenbank hangeln, künftige Antworten des Systems beeinflussen und, wie schon erwähnt, Schadcodes erzeugen.

Sicherheitsprofis frühzeitig einbinden

Kommen wir zum entscheidenden Punkt: Wie lässt sich der Missbrauch von Large-Language-Modellen verhindern? Komplett leider gar nicht, sofern man sich nicht gänzlich vom technologischen Fortschritt abwenden möchte. Open AI schließt zwar fortwährend Schlupflöcher. Anders als bei einer Webseite, die sicher ist, wenn man sie richtig konfiguriert, kann man LLM jedoch nicht komplett abriegeln. Aber: Man kann es Angreifern schwerer machen. Der erste Schritt ist immer die Frage: Ist der Einsatz eines LLM an dieser Stelle sinnvoll? Dieser Schritt wird in der Euphorie gern übersprungen. Entscheidet man sich für den Einsatz eines Modells, heißt es genau zu überlegen, welche Datenbanken verknüpft werden sollen und welche Barrieren errichtet werden müssen. Unser Rat an alle Entwickler*innen: Bezieht frühzeitig Security-Fachleute ein. Sonst könnte die automatisierte Lösung das Unternehmen am Ende teuer zu stehen kommen.