Die Zahl der Kompromittierungsversuche auf öffentlich zugängliche KI-Modelle und eigenentwickelte LLMs nimmt zu. Laut den Ergebnissen des aktuellen Cost of a Data Breach Reports von IBM stieg die Zahl der KI-gestützten Angriffe im Vergleich zum Vorjahr um 56 %. Die finanziellen Folgen waren nicht unerheblich. KI-gestützte Angriffe verursachten pro Sicherheitsvorfall durchschnittlich 1 Million US-Dollar an Kosten.
Von Dr. Martin Krämer, CISO Advisor bei KnowBe4.
Zwei Angriffstechniken, die hierbei eine wichtigere Rolle spielen werden, sind Abliteration und Vektorisierung. Bei der Abliteration werden die Sicherheitsvorkehrungen eines KI-Modells entfernt. Dies geschieht jedoch nicht etwa durch Umbau der Architektur, sondern durch einen gezielten Eingriff in die Gewichte, also die Millionen Zahlenwerte, aus denen das Modell besteht.
Forscher haben bereits gezeigt, dass die Weigerung eines Modells, schädliche Anfragen zu beantworten, im Wesentlichen einer einzigen Richtung im Modell entspricht. Genau diese Verweigerungsrichtung wird herausgerechnet und in der Folge lehnt das Modell danach praktisch nichts mehr ab.
Die Vektorisierung hat es als Risiko für LLMs auch in die OWASP Top 10 für LLMs 2026 unter Nummer 09 geschafft. Über die Anbindung von Retrieval-Augmented Generation (RAG)-Systemen können Schwachstellen in der Vektorisierung ausgenutzt werden. Angreifer können Einfluss auf Generierung, Speicherung und den Abruf von Daten nehmen. Somit ist der Zugang frei für schädliche Inhalte, manipulierte Ausgaben und der Zugang zu sensitiven Daten.
Durch gezielte Manipulation lässt sich das Verhalten der KI-Modelle dann direkt beeinflussen. Ein Beispiel, dass bei OWASP beschrieben wird, ist folgendes: Ein Angreifer kann den Index mit speziell gestalteten Abfragen ausloten und anhand der Ergebnisanzahlen, der Score-Verteilungen und der Zeitabläufe auf die Existenz, das Thema und das ungefähre Volumen der Dokumente anderer Mandanten schließen, ohne die Dokumente jemals zu sehen.
Der Angriff ist selbst dann erfolgreich, wenn jedes Dokument korrekt gekennzeichnet und jeder API-Aufruf authentifiziert ist, da die Entscheidung über die Zugriffskontrolle erst nach der Suche im Einbettungsraum getroffen wird. Die Gefahren für Unternehmen sind weitreichend, denn einerseits droht gerade bei Chatbots der Verlust von vertraulichen Informationen durch Manipulation von LLMs oder KI Agenten, wie im Fall EchoLeak.
Ein Risiko geht aber auch von KI-gestützter Malware aus, die erste agentische Malware namens „Jade Puffer“ machte beispielsweise Schlagzeilen, nachdem die Malware 31 Sekunden gebraucht hatte, um nach einem fehlgeschlagenen Login den eigenen Ansatz zu korrigieren.
Abliterated Models, auch Small Language Models, sind klein und können mit Malware gebündelt werden. Daraus erwächst dann ein KI-Agent, der sich ohne Sicherheitslimits frei im Netzwerk bewegt. JadePuffer verwendete gestohlene API-Zugänge zu kommerziellen LLM Diensten, das wird in Zukunft nicht mehr notwendig sein.
Darüber hinaus tritt als weitere Herausforderung für Unternehmen hinzu, dass Prompt Injection kein reines Textproblem mehr ist. Forscher zeigten unlängst wie Steganografie, das Verstecken von Informationen für das menschliche Auge, beispielsweise in einer Bilddatei, zur Manipulation von KI-Agenten verwendet werden kann.
Fazit
Unternehmen stehen vor klassischen Governance Herausforderungen. Diese gehen über die üblichen IT-Sicherheit hinaus und hinterfragen grundsätzlich, wie im Unternehmen Entscheidungen zwischen KI Agenten und Menschen mit klarer Verantwortung und Handlungsbefugnis getroffen werden können. Das hängt eng mit den besonderen Herausforderungen der KI Governance zusammen.
Unternehmen müssen deshalb für sich selbst beantworten, welche Sicherheitsmaßnahmen für sie aufgrund ihres Risikoprofils angemessen sind und wer dafür die Verantwortung trägt. Sie müssen für sich definieren, wie die Interaktion von Menschen und KI aussieht. Darüber hinaus braucht es Einblick, welche KI-Systeme überhaupt zum Einsatz kommen.
Dann braucht es Kontrollmechanismen, um festzustellen, wann und wie Agenten manipuliert werden. Und besonders wichtig, wie können sie einschreiten und sicherstellen, dass Entscheidungen gemäß definierter Handlungsprozesse und Unternehmensziele getroffen werden. Im Wesentlichen brauchen Unternehmen also Sichtbarkeit und Kontrolle in und über alle KI-Prozesse, egal ob durch einen Agenten selbst oder durch einen Menschen ausgelöst.