Effektive Zero-Click-Strategien für bekannte KI-Tools
Einführung in die Sicherheitsbedrohungen durch KI-Tools
Auf der bekannten Sicherheitskonferenz Black Hat USA hat die KI-Sicherheitsfirma Zenity potenziell gefährliche Schwachstellen in einer Reihe von Enterprise-AI-Tools festgestellt, die unter dem Namen „AgentFlayer“ zusammengefasst werden. Diese Sicherheitslücken betreffen bekannte Anwendungen wie ChatGPT, Salesforce Einstein, Google Gemini und Microsoft Copilot. Die Entdeckungen zeigen, dass diese Tools durch Zero-Click- und One-Click-Exploits anfällig sind, wobei sie in der Lage sind, Benutzerinteraktionen minimal oder gar nicht zu erfordern.
Das Konzept der Prompt Injection, das dabei eine zentrale Rolle spielt, ist keine neue Erkenntnis, sondern bereits länger bekannt. Trotz gewisser Bemühungen der Entwickler, diese Schwachstelle zu beheben, ist sie bis heute nicht umfassend neutralisiert worden. Der zunehmende Einsatz von agentischen KI-Systemen verschärft die Situation und bringt eine weitere Dimension der Bedrohung mit sich. Die Fragestellung konzentriert sich auf die Sicherheit und den verantwortungsvollen Einsatz solcher Technologien, insbesondere angesichts der vehementen Warnungen führender Experten in diesem Bereich.
Sicherheitslücke bei Salesforce Einstein: Kundeninteraktionen umgeleitet
Eine der eindrucksvollsten Demonstrationen der Schwachstellen kam von Michael Bargury, der zeigte, wie Angreifer Salesforce Einstein mit manipulierten CRM-Einträgen überlisten können. Diese Einträge können Aktionen wie das Aktualisieren von Kontaktdaten oder die Integration von Slack ermöglichen. Im Rahmen des Angriffs wurde eine Falle in Form von scheinbar harmlosen CRM-Fällen platziert. Wenn ein Vertriebsmitarbeiter eine Routineanfrage stellte, wurde die Falle aktiviert.
Der Sprachagent analysierte den Inhalt der CRM-Fälle und interpretierte versteckte Anweisungen als legitime Absichten der Benutzer. Dieses Verhalten führte dazu, dass das System eigenständig Maßnahmen ergriff und die E-Mail-Adressen sämtlicher Kundenkontakte auf eine vom Angreifer kontrollierte Domain umänderte. So konnten sämtliche zukünftige Interaktionen zwischen dem Unternehmen und seinen Kunden durch den Angreifer geleitet werden, ohne dass diese es bemerkten. Die Originaladressen verblieben verschlüsselt im System, was dem Angreifer die Möglichkeit gab, im Hintergrund die ursprünglichen Informationen zu erkennen. Laut Informationen von Bargury meldete Salesforce, dass die Schwachstelle am 11. Juli 2025 geschlossen wurde.
Weitere zero-click Angriffe: Bedrohungen bei Cursor und Google Docs
Ein weiteres Beispiel für diese Art von Angriff stellt das Entwickler-Tool Cursor in Verbindung mit Jira dar. In der von Zenity vorgestellten Demonstration „Ticket2Secret“ konnten Forscher zeigen, wie ein manipuliertes Jira-Ticket ohne jede Benutzerinteraktion die Ausführung von Code im Cursor-Client auslösen kann. Die Konsequenz dieses Angriffs ist die potenzielle Exfiltration sensibler Informationen wie API-Schlüssel direkt aus dem Dateisystem des Opfers.
Ein zusätzliches Beispiel betrifft ein präpariertes Google-Dokument, das dazu genutzt wird, ChatGPT über einen unsichtbaren Prompt zur Datenexfiltration zu bringen. Wenn dieses manipulierte Dokument im Google Drive des Opfers landet und der Benutzer eine harmlose Anfrage stellt, wird der versteckte Prompt aktiviert. Anstatt wie erwartet eine Zusammenfassung zu liefern, sucht das Modell nach API-Schlüsseln und sendet diese an einen externen Server. Diese Angriffe zeigen deutlich, wie kritisch es ist, Sicherheitslücken frühzeitig zu erkennen und zu schließen, um den Schutz sensibler Daten zu gewährleisten.
Die Herausforderungen der KI-Sicherheit: Weiche vs. harte Grenzen
Zenity hat im Rahmen einer begleitenden Analyse die gegenwärtigen Ansätze zur KI-Sicherheit hinterfragt. Der Einsatz sogenannter Soft Boundaries, die auf statistischen Filtern basieren, wird als unzureichend angesehen, um unerwünschtes Verhalten vollständig zu unterbinden. Diese Ansätze bieten zwar eine gewisse Schutzmaßnahme, verfügen jedoch nicht über die notwendige formale Sicherheit. Zenity unterscheidet zwischen diesen weichen Grenzen und Hard Boundaries, die durch technische Maßnahmen spezifische Aktionen strikt ausschließen. Während solche harten Grenzen als effektiver angesehen werden, gehen sie häufig mit einer Einschränkung der Funktionalität einher.
Zenity hat in mehreren Demonstrationen auf die zunehmenden Sicherheitsprobleme hingewiesen, die insbesondere im Kontext agentischer KI zunehmen. Studien haben aufgezeigt, dass zum Beispiel Googles Gemini-Assistenten durch versteckte Prompts manipuliert werden können, was sie anfällig für missbräuchliche Befehle macht. Dies verdeutlicht die Notwendigkeit für umfassendere Schutzmaßnahmen.
Fazit: Sicherheitsbewusstsein ist unerlässlich
Die dargestellten Sicherheitsbedrohungen in Verbindung mit modernen KI-Tools sind alarmierend und unterstreichen die Notwendigkeit, Sicherheitsmaßnahmen drastisch zu verbessern. Unternehmen, die auf solche Technologien setzen, müssen sich der Risiken bewusst sein und die entsprechenden Vorkehrungen treffen, um Datenverluste und Missbrauch zu verhindern. Der stetige Fortschritt in der Entwicklung von KI-Systemen erfordert ein dynamisches und angepasstes Sicherheitskonzept, um den ständig wechselnden Bedrohungen entgegenzuwirken.