KI-Security & Compliance:
Wie wir KI sicher und rechtskonform einsetzen

KI wirft Fragen auf, die klassische Software nicht kennt: Modelle sind nicht-deterministisch, Ergebnisse nicht immer „richtig oder falsch“, und Verantwortung lässt sich nicht an ein Modell delegieren. Wir betrachten diese Fragen entlang von drei Dimensionen – Recht, Technik und Moral. Erst im Zusammenspiel ergibt sich ein KI-Einsatz, der für regulierte Branchen wie Sozialversicherungen und Behörden tragfähig ist.

Der EU AI Act ist derzeit das einzige umfassende Gesetz speziell zu KI. Er klassifiziert Systeme nach Risiko – von begrenztem Risiko über Hochrisiko bis zu verbotenen Praktiken – und wird gestaffelt wirksam. Für unsere Kund:innen ist vor allem die Hochrisiko-Klasse relevant: etwa wenn Behörden über Anspruchsberechtigungen entscheiden oder Anwendungen Mitarbeitende bewerten. Sobald individuelle Personenrechte berührt werden, gelten erhöhte Anforderungen an Risikomanagement, Dokumentation, Logging und menschliche Aufsicht.

Daraus folgt: Menschliche Aufsicht ist bei Hochrisiko-Systemen nicht verhandelbar – KI bereitet vor, der Mensch entscheidet und trägt Verantwortung, und Ausgaben müssen nachvollziehbar, ignorierbar und rückgängig machbar sein. Dem Automatisierungsbias steuern wir aktiv in UI und Prozess gegen. Logging dient dabei als Compliance-Nachweis. Beim Datenschutz klären wir vor jedem Einsatz, welche personenbezogenen Daten verarbeitet werden, auf welcher Rechtsgrundlage und wohin sie fließen; sensible Daten werden vor dem LLM-Aufruf pseudonymisiert.

Sicherheit bedeutet für uns akzeptable Risikominimierung bei maximalem Mehrwert – bewusst abgewogen und dokumentiert. Die Risiken, die wir adressieren:

• Prompt Injection: Eingaben validieren, Ausgaben prüfen, kritische Aktionen zusätzlich bestätigen.
• Datenabfluss: Zugriffsrechte konsequent auf das Notwendige beschränken.
• Lethal Trifecta: Die Kombination aus sensiblen Daten, externer Kommunikation und nicht vertrauenswürdigem Kontext vermeiden wir konsequent.
• Unkontrollierte Agenten: nur klar definierte Berechtigungen; kritische Aktionen erfordern Freigabe.

Welche Maßnahme die richtige ist, hängt vom Kontext ab: Self-Hosting, wo Daten das Haus nicht verlassen dürfen; im Ökosystem bleiben, wo Daten ohnehin bei einem Anbieter liegen; Rollenbeschränkung mit minimalen Rechten, wo Agenten im Einsatz sind.

Was eine KI-Lösung enterprise-tauglich macht, ist nicht das Modell, sondern das Drumherum: auditfähiges Logging jeder Interaktion, Pseudonymisierung, Halluzinations-Fallbacks und ein deterministischer Validierungslayer um die nicht-deterministische Mitte. Denn LLMs sind selbst bei Temperatur 0 nicht voll reproduzierbar – Audit und Compliance verlangen aber Replay-Fähigkeit. Ein harter Grundsatz: Kein LLM darf beide Seiten einer Qualitätskontrolle übernehmen. Die zweite Seite ist immer ein Mensch oder ein deterministisches Regelwerk.

LLMs sind statistische Systeme – ein falsches Ergebnis ist nicht zwingend ein „Fehler“, es kann Schaden ohne Schuld entstehen. Unsere Antwort: Wir definieren und messen akzeptable Fehlerraten, statt eine trügerische Hundertprozent-Korrektheit zu behaupten. Pro Projekt klären wir früh, welche Entscheidungen das System autonom treffen darf, welche Freigabe brauchen und wer bei welchem Fehlertyp haftet. KI darf nie dazu dienen, Verantwortung von Menschen wegzunehmen – unser „Human in the Loop“ ist keine Floskel.

Verantwortung endet nicht beim einzelnen Projekt. Wir sind uns der Abhängigkeit von außereuropäischen Großanbietern bewusst und steuern dagegen: Wir unterstützen europäische Anbieter, bekennen uns zu Open Source und designen über eine Provider-Abstraktion so, dass ein Anbieterwechsel Konfiguration bleibt, kein Refactoring.