Zunehmender Missbrauch von Sprachmodellen
KI-Modelle als Waffe der Cyberkriminellen




Quelle: Pressemitteilung
2 min Lesedauer

Die Nutzung von KI-Modelle durch Cyberkriminelle nimmt zu, insbesondere in Form von manipulativen und unbeaufsichtigten Modellen für Phishing und Malware. Cisco Talos warnt, dass selbst reguläre KI-Tools gezielt ausgetrickst und für kriminelle Aktivitäten missbraucht werden.

Die Rolle unzensierter Sprachmodelle

Unzensierte Large Language Models (LLMs) sind zu einem Werkzeug für Cyberangriffe geworden. Laut der Plattform Huggingface existieren über 1,8 Millionen verschiedene Sprachmodelle, viele davon mit Sicherheitsvorkehrungen zur Verhinderung ihres Missbrauchs. Dennoch identifizierte Talos mehrere unzensierte Modelle, die Cyberkriminellen helfen, realistische Phishing-Nachrichten zu erstellen, die meist grammatikalisch korrekt sind und keine verdächtigen Formulierungen enthalten. Beispiele hierfür sind Modelle wie „Ollama“ und „WhiteRabbitNeo“.

Zusätzlich zeigt die Forschung von Talos, dass Kriminelle sogar ihre eigenen LLMs entwickeln, die im Darkweb verkauft werden. Diese Modelle sind in der Lage, verschiedene Arten von schadhafter Software zu generieren, darunter Ransomware und Trojaner, die für den Fernzugriff verwendet werden. Sie dienen auch dazu, Phishing-Mails zu generieren und Konfigurationsdateien zu manipulieren. Ein weiteres Beispiel sind Modelle wie „GhostGPT“ und „WormGPT“, die spezifische Malware-Varianten herstellen können.

Der Missbrauch legitimer Sprachmodelle

Cyberkriminelle missbrauchen nicht nur unzensierte LLMs, sondern auch legitime Modelle, die mit Sicherheitskits ausgestattet sind. Um deren Schutzmaßnahmen zu umgehen, setzen Angreifer Techniken wie Prompt Injection ein. Diese ermöglichen es, unethische oder illegale Inhalte zu erzeugen. Thorsten Rosendahl, Technical Leader von Cisco Talos, hebt hervor, dass der Missbrauch von Sprachmodellen umfassend betrachtet werden muss. Dazu gehört die Überwachung von KI-bezogenem Datenverkehr und die Erkennung verdächtiger Eingaben, um das Abfließen von Daten oder Jailbreaks zu verhindern.

Ein angemessener Umgang mit diesen Technologien erfordert auch Schulungsmaßnahmen für Mitarbeiter, damit sie in der Lage sind, KI-generierte Phishing-Mails zu erkennen. Die Empfehlung von Talos ist, ausschließlich mit vertrauenswürdigen und gut gesicherten Modellen zu arbeiten.

Fazit: Herausforderung durch KI im Cyberraum

Die zunehmende Verwendung von KI durch Cyberkriminelle stellt eine ernsthafte Bedrohung für Unternehmensnetzwerke dar. Die Identifizierung und der Schutz vor diesen Bedrohungen erfordern ein proaktives Vorgehen sowie kontinuierliche Schulungs- und Sicherheitsmaßnahmen.