Ein Sprachmodell erhält Zugriff auf vertrauliche Daten oder interne Systeme und muss einer Prüfung standhalten. Ich sorge dafür, dass es nur sieht, was es sehen darf, und nur tut, was es tun darf.

Wann KI-Security nötig ist

Ein Chatbot oder Assistent beantwortet Fragen aus internen Dokumenten (RAG).
Ein Agent darf Werkzeuge aufrufen: E-Mails senden, Tickets anlegen, Datenbanken abfragen, Code ausführen.
Modelle werden über MCP-Server an interne Systeme angebunden.
Die Anwendung muss vor dem Go-live eine Prüfung durch Revision, Datenschutz oder Aufsicht bestehen.
Kunden oder Partner fragen, wie die KI-Funktion abgesichert ist.

Die typischen Risiken

Prompt Injection

Ein Sprachmodell unterscheidet nicht zuverlässig zwischen Anweisung und Inhalt. Steht in einer E-Mail, einer Webseite oder einem Dokument eine versteckte Anweisung, kann sie das Modell steuern. Gefährlich wird das, sobald das Modell Werkzeuge bedienen oder Daten nach außen geben kann.

Data Poisoning

Wer Inhalte in die Wissensbasis einer RAG-Pipeline bringen kann, beeinflusst die Antworten. Ich prüfe, woher die Daten kommen, wer sie ändern darf und wie manipulierte Inhalte auffallen.

Fehlende Berechtigungen beim Retrieval

Der häufigste Fehler: Die Suche findet alle Dokumente, und das Modell zeigt sie jedem, der fragt. Berechtigungen müssen beim Abruf geprüft werden, mit den Rechten der fragenden Person, nicht mit denen des Systems.

Zu weit gefasste Werkzeugzugriffe

Ein Agent mit Schreibrechten auf alles ist ein privilegierter Account, den jeder per Texteingabe steuern kann. Ich begrenze Werkzeuge und MCP-Zugriffe auf das Nötige und baue Bestätigungen für folgenreiche Aktionen ein.

Vorgehen

Threat Model: Welche Daten, Werkzeuge und Nutzergruppen gibt es, und wo verlaufen die Vertrauensgrenzen?
Review: Architektur, Prompts, Retrieval, Rechte, Logging und Laufzeitumgebung.
Gezielte Tests: Prompt-Injection- und Datenabfluss-Szenarien gegen die vereinbarten Angriffsflächen.
Härtung: Priorisierte Maßnahmen, auf Wunsch gemeinsam mit Ihrem Team umgesetzt.
Bericht: Befunde, Nachweis der Wirksamkeit und eine Abschlussbesprechung.

Erfahrung

Ich arbeite seit über 20 Jahren in der Softwareentwicklung und habe KI-Anwendungen bis in die Hochsicherheitszone einer Bank abgesichert. Wer die Anwendung auch bauen oder erweitern will: KI-Enablement und Engineering finden Sie auf meiner Schwesterseite 0x68.de.

Verwandte Leistungen: IT-Security & IAM für Identitäten und Rechte unter der Anwendung, IT-Forensik, wenn bereits etwas passiert ist.

KI-Security für LLM- und Agenten-Anwendungen