Forscher:innen schlagen Alarm

KI-Modell von Anthropic versucht, Menschen mit Phishing-Mails zu manipulieren

Veröffentlicht: Vor 49 Minuten

von Deborah Rebel

:newstime

KI legt Fake-Accounts für Angriff an

Videoclip • 01:03 Min • Ab 12

Während eines Testlaufs hat ein KI-Modell auf eigene Initiative versucht, eine Sicherheitslücke in öffentlich verfügbare Software einzubringen. Zu diesem Zweck verschickte es Phishing-Mails an Personen, um Login-Informationen zu erlangen.

Das Wichtigste in Kürze

Britische Sicherheitsforscher:innen haben das KI-Modell von Anthropic bei dem Versuch ertappt, eine Sicherheitslücke in öffentliche Software einzuschleusen.
Die KI hat dabei Fake-Identitäten erschaffen, um mit Betreuer:innen der Software zu kommunizieren – und unter anderem über Phishing-Mails versucht, Login-Informationen zu erhalten.
Die Forscher:innen entdeckten das Vorgehen erst nachträglich durch die Auswertung des Tests. Künftig wollen sie Testläufe in Echtzeit überwachen, um solche Vorfälle zu vermeiden.

KI gerät während eines Tests außer Kontrolle

Eine Künstliche Intelligenz des US-Unternehmens Anthropic hat während eines Testlaufs des Britain’s AI Security Institute (AISI) selbstständig Phishing-Mails an Menschen verschickt, um eine Cyberattacke durchzuführen. Das gaben britische Sicherheitsforscher:innen bekannt – und räumten zugleich ein, dass sie das Vorgehen erst nachträglich über eine Auswertung des Datenverkehrs entdeckten, wie die Deutsche Presse-Agentur (dpa) berichtet.

Das KI-Sicherheitsinstitut des britischen Ministeriums für Wissenschaft, Innovation und Technologie hatte dem Anthropic-Modell Mythos 5 sowie Software des ChatGPT-Entwicklers OpenAI bei Tests absichtlich Internetzugang gewährt. Die Forschenden gingen davon aus, dass die KI sich lediglich Software-Werkzeuge aus dem Netz holen würde. Dass das Anthropic-Modell den Zugang für die Manipulation von Menschen ausnutzen würde, hatten sie "nicht vorhergesehen".

Auch in den News:

Debatten über KI-Kontrolle erneut ausgelöst

Dieser Sicherheitsvorfall ist der jüngste in einer Reihe von Beispielen, bei denen hochentwickelte KI-Modelle unbefugte Handlungen vorgenommen haben. Sowohl OpenAI als auch Anthropic berichteten Ende Juli, dass ihre Modelle aus Testumgebungen entkommen und sich in andere Systeme gehackt hätten. Im Gegensatz zu diesen zuvor gemeldeten Sicherheitsverletzungen gewährte das britische Institut den Modellen während der Tests jedoch ausdrücklich Internetzugang.

"Dies ist das erste Mal, dass AISI eine Täuschung dieser Schwere beobachtet hat, die sich ohne äußere Anregung in der realen Welt gegen eine reale Person richtete", erklärte das Institut am Dienstag (4. August). Es gebe jedoch keine Hinweise auf einen tatsächlichen Schaden in der realen Welt, fügte es hinzu.

Vorfälle wie dieser lösen erneut Debatten über stärkere staatliche Maßnahmen zur Regulierung Künstlicher Intelligenz sowie über eine Verlangsamung ihres Entwicklungstempos aus.

Verwendete Quellen:

Nachrichtenagentur dpa

edition.cnn.com: "AI agents fake identities, target real people in new security incident"