Nur 11 % der Unternehmen mit KI-Nutzung oder konkreten Einsatzplänen haben spezielle Prozesse für KI-Sicherheitsvorfälle. Das zeigt die BSI/TÜV-KI-Sicherheitsstudie 2026. Besonders brisant: Autonome KI-Agenten beantworten nicht nur Fragen, sondern greifen eigenständig auf Systeme zu und führen Aktionen aus. Ohne klare Berechtigungen und menschliche Aufsicht drohen Datenabfluss, Fehlentscheidungen und Kontrollverlust.
Was ist ein KI-Agent?
Ein KI-Agent ist ein System auf Basis künstlicher Intelligenz, das eigenständig Aufgaben ausführt, Entscheidungen vorbereitet und digitale Werkzeuge nutzt. Anders als klassische Chatbots, die hauptsächlich auf Eingaben reagieren, verfolgen autonome KI-Agenten vorgegebene Ziele und planen dafür mehrere Arbeitsschritte. Diese Form der KI wird als Agentic AI bezeichnet.
Mithilfe großer Sprachmodelle (Large Language Models) analysieren die Agenten Informationen und wählen passende Aktionen aus. Über Schnittstellen greifen sie beispielsweise auf E-Mails, Datenbanken oder Unternehmenssoftware zu. So kann ein KI-Agent Kundenanfragen bearbeiten, Termine koordinieren oder Geschäftsprozesse unterstützen.
Warum geraten KI-Agenten außer Kontrolle?
KI-Agenten geraten außer Kontrolle, wenn sie eigenständig Aktionen ausführen, deren Folgen nicht ausreichend begrenzt oder überwacht werden. Das Risiko steigt, sobald Agenten Zugriff auf sensible Daten, Unternehmenssoftware oder externe Systeme erhalten.
Eine häufige Schwachstelle ist die Prompt Injection. Dabei platzieren Angreifer manipulierte Anweisungen in E-Mails, Dokumenten oder Webseiten, die ein KI-Agent verarbeitet. Verwechselt er diese Inhalte mit gültigen Befehlen, führt er möglicherweise unerwünschte Aktionen aus. Besonders gefährlich wird das bei zu weit gefassten Zugriffsrechten.
Auch die Verkettung mehrerer Arbeitsschritte birgt Risiken: Ein Agent interpretiert eine Aufgabe falsch, trifft eine Fehlentscheidung und löst daraufhin weitere Aktionen aus. Ohne menschliche Freigabe bleibt der Fehler zunächst unbemerkt.
Entscheidend ist deshalb nicht allein die Leistungsfähigkeit der künstlichen Intelligenz. Fehlende Berechtigungsgrenzen, unzureichende Überwachung und mangelnde menschliche Kontrolle schaffen die Voraussetzungen dafür, dass aus einzelnen Fehlern schwerwiegende Sicherheitsvorfälle entstehen.
Welche Risiken entstehen durch KI-Agenten im Unternehmen?
KI-Agenten im Unternehmen bergen Risiken für Datenschutz, IT-Sicherheit und Geschäftsprozesse. Besonders kritisch sind unberechtigte Datenzugriffe, fehlerhafte Entscheidungen und finanzielle Schäden durch eigenständig ausgeführte Aktionen.
Ein Beispiel: Ein KI-Agent soll Kundenanfragen bearbeiten. Eine manipulierte E-Mail veranlasst ihn, vertrauliche Kundendaten an eine externe Adresse weiterzuleiten. Verfügt der Agent über weitreichende Zugriffsrechte, kann daraus ein Datenschutzvorfall entstehen.
Auch ohne gezielten Angriff drohen Schäden. Ein Einkaufsagent könnte aufgrund fehlerhafter Informationen unautorisierte Bestellungen auslösen. Neben finanziellen Verlusten entstehen mögliche rechtliche Folgen, etwa bei Verstößen gegen die DSGVO.
Die Risiken durch KI-Agenten betreffen damit nicht nur die Technik. Unternehmen müssen auch Haftungsfragen, betriebliche Abläufe und den Schutz sensibler Informationen berücksichtigen.
Schulen auch Sie erfolgreich mit UNIVADO
Wie behalten Unternehmen die Kontrolle über KI-Agenten?
Die wirksame Kontrolle von KI-Agenten beginnt mit klaren Zugriffsrechten und verbindlichen Sicherheitsregeln. Unternehmen sollten jedem Agenten ausschließlich die Berechtigungen erteilen, die er für seine Aufgabe benötigt. Dieses Prinzip heißt Least Privilege und reduziert die Folgen von Fehlentscheidungen und Angriffen.
Zusätzlich sollten KI-Agenten möglichst in isolierten Ausführungsumgebungen arbeiten. Solche Sandboxen begrenzen den Zugriff auf Unternehmenssysteme. Netzwerkregeln und Beschränkungen für ausgehende Verbindungen verhindern, dass Agenten beliebige externe Dienste kontaktieren oder Daten übertragen.
Bei kritischen Aktionen greift das Human-in-the-Loop-Prinzip: Ein Mensch prüft und genehmigt beispielsweise Datenübertragungen, Zahlungen oder Änderungen an wichtigen Systemen. Technische Freigabemechanismen sollten solche Vorgänge bis zur menschlichen Genehmigung blockieren.
Kontinuierliches Monitoring hilft, ungewöhnliches Verhalten frühzeitig zu erkennen. Aussagekräftige Audit-Trails dokumentieren, welcher KI-Agent wann welche Aktion mit welchen Berechtigungen ausgeführt hat. Dazu gehören beispielsweise Zugriffe auf externe Dienste, verwendete Zugangsdaten und Änderungen an Programmcode. Unternehmen sollten zudem festlegen, wer die Protokolle kontrolliert und bei Sicherheitsvorfällen eingreift. Verantwortliche müssen Zugriffsrechte jederzeit widerrufen und laufende Prozesse stoppen können.
Vor dem produktiven Einsatz sollten Unternehmen KI-Agenten mit realistischen Testfällen prüfen. Dazu gehören manipulierte E-Mails, fehlerhafte Informationen oder unzulässige Bestellungen. Verantwortliche dokumentieren, ob der Agent die vorgesehenen Grenzen einhält, und beheben erkannte Schwachstellen vor der Freigabe.
Eine verbindliche KI-Governance legt Zuständigkeiten, Einsatzgrenzen und Kontrollverfahren fest. So entsteht eine belastbare Grundlage für den sicheren Einsatz von KI-Agenten, ohne die Vorteile automatisierter Arbeitsabläufe aufzugeben.
Warum KI-Kompetenz zur Sicherheitsmaßnahme gehört
Technische Schutzmaßnahmen allein reichen nicht aus. Beschäftigte müssen verstehen, welche Aufgaben KI-Agenten übernehmen dürfen, wie sie manipulierte Anweisungen erkennen und wann menschliches Eingreifen erforderlich ist.
KI-Kompetenz (Art. 4 KI-VO) ist deshalb auch eine Frage der Unternehmenssicherheit. Artikel 4 der EU-KI-Verordnung verpflichtet Anbieter und Betreiber von KI-Systemen, Maßnahmen zur Förderung der KI-Kompetenz ihrer Beschäftigten zu ergreifen. Gezielte Schulungen können dabei helfen, Risiken zu erkennen und Kontrollregeln im Arbeitsalltag anzuwenden.
KI-Kompetenz stärken mit UNIVADO
Mit der KI-Kompetenz-Schulung für Beschäftigte unterstützt UNIVADO Unternehmen dabei, ihre Mitarbeitenden für einen verantwortungsvollen KI-Einsatz zu sensibilisieren. Die digitale Weiterbildung vermittelt Grundlagen zum Umgang mit KI und hilft, typische Risiken besser einzuschätzen.
Erfahren Sie außerdem, warum KI-Kompetenz zur Pflicht wird und wie Sie die KI-Kompetenz gemäß Art. 4 KI-VO in Ihrem Unternehmen fördern können.
JAHRE ERFAHRUNG
500+
KUNDEN
USER
Häufige Fragen zu KI-Agenten
Können KI-Agenten eigenständig Entscheidungen treffen?
Ja. Innerhalb ihrer festgelegten Aufgaben und Berechtigungen können KI-Agenten Entscheidungen vorbereiten und Aktionen selbstständig ausführen.
Was ist das größte Sicherheitsrisiko bei KI-Agenten?
Besonders kritisch sind weitreichende Zugriffsrechte. Sie können dazu führen, dass Fehler oder manipulierte Anweisungen erhebliche Schäden verursachen.
Wie lässt sich Prompt Injection verhindern?
Vollständig ausschließen lässt sich Prompt Injection nicht. Begrenzte Berechtigungen, Eingabeprüfungen und menschliche Freigaben reduzieren das Risiko.
Müssen Unternehmen KI-Agenten ständig überwachen?
Nicht jede Aktion erfordert eine manuelle Prüfung. Kritische Vorgänge sollten jedoch kontrolliert und sämtliche relevanten Aktivitäten protokolliert werden.
Sind Schulungen zur KI-Kompetenz gesetzlich vorgeschrieben?
Artikel 4 der EU-KI-Verordnung verlangt Maßnahmen für angemessene KI-Kompetenz. Eine bestimmte Schulungsform schreibt er nicht vor.
Fazit: Autonome KI braucht klare Grenzen
Wenn KI-Agenten außer Kontrolle geraten, liegen die Ursachen häufig in zu weitreichenden Berechtigungen und fehlender Aufsicht. Unternehmen können vorbeugen, indem sie Zugriffe begrenzen, kritische Aktionen prüfen und klare Verantwortlichkeiten festlegen. Ebenso wichtig sind Beschäftigte, die Risiken erkennen und verantwortungsvoll mit KI umgehen. Prüfen Sie deshalb Ihre internen KI-Regeln und den Schulungsbedarf Ihrer Mitarbeitenden.
Über die Autorin: Kristin Benedikt
Kristin Benedikt ist Mitglied des Vorstands der Gesellschaft für Datenschutz und Datensicherheit (GDD) e. V. und Richterin am Verwaltungsgericht. Sie veröffentlicht regelmäßig zu Fragen des Datenschutzes, der Transparenz staatlichen Handelns und der verantwortungsvollen Digitalisierung. Als Autorin arbeitet sie mit UNIVADO zusammen, um rechtliche Themen praxisnah für HR und Führungskräfte aufzubereiten - mit besonderem Fokus auf Haftung, Datenschutz und KI.