Wie ChatGPT zum Datendieb werden kann
Forscher des Saarbrücker Helmholtz-Zentrums Cispa warnen vor Sicherheitsrisiken beim Programm ChatGPT. Hacker könnten das KI-Programm dadurch im Handumdrehen in einen Datendieb verwandeln.
Intelligenz ist ein Zweig der Informatik, der in der Vergangenheit immer wieder für öffentliches Aufsehen sorgte. Leider nicht unbedingt im positiven Sinne. Da gab es Autopiloten, die vor roten Ampeln ausfielen, KI-Bots, die im Internet herumpöbelten, und digitale Assistenten mit Hörschäden, die plötzlich in einen Kaufrausch verfielen.
Zu Jahresbeginn hat sich das Negativimage der KI dann plötzlich gewandelt – denn jetzt gibt es ChatGPT. Der „Generative Pre-trained Transformer“, den schon Millionen von Internet-Nutzern getestet haben, gilt als der Tausendsassa der Textverarbeitung. Er formuliert in Sekundenbruchteilen druckreifen Text, schreibt Gedichte in fast jeder Sprache, kann aber ebenso gut Computerprogramme verfassen. ChatGPT ist bei Weitem nicht perfekt, weil KI-Software aber ununterbrochen dazulernt, sollen schon in nächster Zukunft derartige Programme, die bisher nur auf dem Spielplatz der IT-Nerds zu finden waren, in unserem digitalen Alltag Einzug halten. Der Microsoft-Konzern will die intelligenten Helfer zum Beispiel in Büro-Software integrieren. Sie sollen „dabei helfen, besser zu schreiben, zu gestalten und zu präsentieren“, erklärt der US-Konzern. Alles prima also – oder?
„Eher nicht“, antwortet auf diese Frage Mario Fritz. Der Saarbrücker Informatik-Professor leitet am Helmholtz-Zentrum für IT-Sicherheit Cispa eine Forschungsgruppe, die Risiken der KI untersucht. Er hält es „für ziemlich überraschend, um es einmal vorsichtig auszudrücken, dass solche Programme jetzt in ein Office-Paket integriert werden sollen.“Die Sicherheitsrisiken, die in der neuen Technologie steckten, seien bisher kaum untersucht. Auf eine ihrer Missbrauchsmöglichkeiten haben die Cispa-Wissenschaftler
gerade in Zusammenarbeit mit dem Saarbrücker IT-Unternehmen Sequire Technology aufmerksam gemacht. Das Saarbrücker Startup wurde vor zwei Jahren gegründet, hat zehn Mitarbeiter und ist auf Themen rund um die IT-Sicherheit spezialisiert, erklärt Geschäftsführer Christoph Endres.
Die IT-Spezialisten sprechen von sogenannten „Prompt injections“. Der „Prompt“ist die Eingabeaufforderung eines Computerprogramms, die Stelle, an der die Software Anweisungen des Benutzers entgegennimmt. ChatGPT akzeptiert am Prompt sowohl normalen Text als auch Kommandos seines Nutzers. „Das Programm unterscheidet dabei aber nicht zwischen Daten und Befehlen“, erklärt Mario Fritz. Und weil ChatGPT über diesen Mechanismus zusätzlich in der Lage ist, Text von Internetseiten auszuwerten, lassen sich auf diese Weise kinderleicht schädliche Anweisungen ins Programm einschleusen, haben die Forscher des Cispa und von Sequire demonstriert. Es kommt aber noch schlimmer: Für einen solchen Angriff benötige ein potenzieller Hacker nicht einmal besondere Programmierkenntnisse, erklärt der Cispa-Forscher. Ein Dutzend Anweisungen in Textform, die für den Nutzer unsichtbar auf einer Webseite versteckt sind, genügten,
um ChatGPT aus einem harmlosen Helfer in einen Datendieb zu verwandeln, haben die Informatiker in einer Demoanwendung gezeigt. Im Szenario, das die Saarbrücker IT-Wissenschaftler entwickelt haben, verwandelt sich ein Chat-Modul auf der täuschend echt nachgemachten
Seite eines großen Internet-Handelshauses nach einigen einleitenden netten Phrasen in einen bösen Bot, der mit allerlei hinterhältigen Methoden versucht, Kennung und das Passwort des Kontoinhabers abzufangen. „Und das“, sagt Mario Fritz, „war eben nur ein Beispiel von mehreren.“Denkbar seien sehr viel komplexere schädliche Computeranwendungen, die von Phishing-Mails bis zur Anleitung zur Programmierung oder dem direkten Entwurf von Computerviren reichten.
Lassen sich solche KI-Angriffe, wie der beim Passwort-Diebstahl, noch
mit Antivirensoftware abfangen? „Natürlich gibt es Methoden, um so etwas zu erkennen, aber deren Treffsicherheit ist niedrig.“Da Programme wie ChatGPT nicht zwischen Daten und Befehlen unterscheiden, gebe es eine praktisch unbegrenzte Zahl von Angriffsmustern. „Ein konventionelles Antivirenprogramm ist da überfordert“, erklärt der Cispa-Forscher.
Mario Fritz leitet das IT-Netzwerk Elsa, das europäische Standards für sichere KIAnwendungen in Europa entwickeln soll. Für den Saarbrücker Informatiker kommt es nun darauf an, dass in der EU möglichst schnell ein rechtlicher Rahmen abgesteckt wird, der Regeln für den Einsatz von Programmen der Künstlichen Intelligenz definiert, bevor sich diese Software in großem Stil zu verbreiten beginnt. Dabei sei es unter anderem wichtig, bei Software, in der ein KI-Modul drinstecke, das auch dem Nutzer klar mitzuteilen. Für Nutzer sei es schließlich wichtig,
solche Programme bewusst einzusetzen – oder darauf zu verzichten. In der Rolle des Copiloten könne eine KI einem menschlichen Fahrer den Weg auf der Datenautobahn weisen. Als Autopilot sei sie dagegen vollkommen ungeeignet, sagt Mario Fritz.
Weil KI-Systeme „große Risiken für die Menschheit darstellen“, fordern nun Informatiker weltweit, die Weiterentwicklung von Programmen, die leistungsfähiger als ChatGPT in der Version 4 sind, für mindestens sechs Monate zu unterbrechen. Im weltweiten Aufruf, den mittlerweile über 20 000 Wissenschaftler, darunter auch Informatiker aus dem Saarland, unterschrieben haben, wird kritisiert, der Wettlauf in den KI-Laboren sei in den vergangenen Monaten außer Kontrolle geraten. Dabei könnten noch nicht einmal die Entwickler dieser Programme deren Verhalten verstehen, vorhersagen oder kontrollieren.
Das Saarbrücker IT-Unternehmen Sequire hat mittlerweile sowohl den Microsoft-Konzern als auch OpenAI, das Unternehmen, das ChatGPT programmiert hat, auf die neu entdeckte Schwachstelle hingewiesen. „Uns ist nicht bekannt, dass MS/OpenAI an einer Lösung arbeitet, die das Problem beseitigt“, schließt Christoph Endres.
„Konventionelle AntivirenProgramme sind da überfordert.“Professor Mario Fritz vom Helmholtz-Zentrum Cispa zu den Abwehrmöglichkeiten gegen bösartige KI-Software