KI-Governance & Compliance: Strukturen, die mitwachsen
Wie mittelständische und große Unternehmen KI-Governance so aufbauen, dass sie EU-AI-Act-konform, praxistauglich und skalierbar bleibt.
Wie mittelständische und große Unternehmen KI-Governance so aufbauen, dass sie EU-AI-Act-konform, praxistauglich und skalierbar bleibt.
Vor zwei Jahren war KI-Governance ein Thema für IT-Sicherheit und vereinzelt für die Rechtsabteilung. Heute landet die Frage regelmäßig auf der Agenda von Vorstand und Geschäftsführung – nicht weil Regulierung plötzlich Angst macht, sondern weil KI in immer mehr geschäftskritischen Prozessen steckt: in der Kundenkommunikation, in der Vorauswahl von Bewerbungen, in der Kreditprüfung, in der Qualitätskontrolle. Wo KI Entscheidungen vorbereitet oder trifft, die Menschen betreffen, entsteht automatisch ein Haftungs-, Reputations- und Compliance-Thema, das nicht mehr allein bei der IT-Abteilung liegen kann.
Gleichzeitig hat sich in den meisten Unternehmen längst eine Realität etabliert, die parallel zu jeder offiziellen Strategie läuft: Mitarbeitende nutzen ChatGPT, Copilot, Notion AI oder branchenspezifische KI-Tools, oft mit Firmendaten, oft ohne dass IT oder Datenschutz davon wissen. Diese sogenannte Schatten-KI ist in der Praxis das mit Abstand häufigste Governance-Problem – nicht die Frage, ob ein Hochrisiko-System nach EU AI Act korrekt zertifiziert ist, sondern ob überhaupt jemand einen Überblick hat, welche KI-Werkzeuge im Unternehmen mit welchen Daten arbeiten.
Der Business Case für proaktive Governance ist dabei doppelt: Er reduziert Risiko, und er beschleunigt Adoption. Ein Unternehmen mit einem klaren, schnellen Freigabeprozess kann neue KI-Tools in Tagen statt Monaten ausrollen, weil Fachbereiche wissen, welche Kriterien gelten und wer entscheidet. Ein Unternehmen ohne diese Struktur erlebt früher oder später das Gegenteil: einen unternehmensweiten Einfrier-Moment, in dem nach einem Datenleck oder einer entdeckten Schatten-KI-Nutzung plötzlich alles gestoppt und mühsam nachträglich aufgearbeitet werden muss. Governance ist damit kein Bremsklotz, sondern die Voraussetzung für nachhaltiges Tempo.
Der EU AI Act ordnet KI-Systeme in vier Risikostufen ein, und diese Einordnung bestimmt, welche Pflichten greifen.
Unannehmbares Risiko betrifft Praktiken, die vollständig verboten sind – etwa Social Scoring durch Behörden oder bestimmte Formen biometrischer Kategorisierung und Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen. Dieses Verbot gilt bereits seit Februar 2025 und ist damit kein zukünftiges, sondern ein aktuell durchsetzbares Recht.
Hochrisiko-Systeme umfassen die in Anhang III gelisteten Anwendungsfälle: KI im Recruiting und in der Personalbeurteilung, in der Kreditwürdigkeitsprüfung, in kritischer Infrastruktur, in bestimmten Bereichen von Bildung und Strafverfolgung. Für diese Systeme gelten umfangreiche Pflichten zu Risikomanagement, technischer Dokumentation und menschlicher Aufsicht.
Begrenztes Risiko löst vor allem Transparenzpflichten aus: Chatbots müssen offenlegen, dass Nutzer mit einer KI sprechen, und synthetische Inhalte oder Deepfakes müssen als solche gekennzeichnet werden.
Minimales Risiko betrifft die meisten internen Produktivitätswerkzeuge – Schreibassistenten, interne Zusammenfassungstools, Codierhilfen – und unterliegt keinen spezifischen Pflichten über die allgemeinen hinaus.
Für die Einordnung der eigenen Praxis ist wichtig: Die meisten mittelständischen Unternehmen bewegen sich mit ihrer KI-Nutzung im minimalen bis begrenzten Risikobereich, nicht im Hochrisikobereich. Das nimmt der Diskussion unnötige Schärfe, ohne die Sorgfaltspflicht zu relativieren – es lohnt sich, das eigene Portfolio an KI-Anwendungen tatsächlich durchzugehen, statt pauschal von „hohem regulatorischem Risiko" auszugehen.
Der Zeitplan der Verordnung ist zudem in Bewegung, und das sollte man bei jeder Planung berücksichtigen, statt sich auf starre Daten zu verlassen. Mit dem sogenannten Digital-Omnibus-Vorschlag wurde im Mai 2026 eine vorläufige Einigung erzielt, die die Pflichten für Hochrisiko-Systeme nach Anhang III von August 2026 auf Dezember 2027 verschiebt, und die Pflichten für produktintegrierte KI nach Anhang I (etwa in Medizinprodukten oder Aufzügen) von August 2027 auf August 2028. Die Pflichten für Anbieter von General-Purpose-AI-Modellen bleiben dagegen weitgehend auf dem ursprünglichen Zeitplan von August 2027. Zum Zeitpunkt der Erstellung dieses Textes stand die formale Verabschiedung und Veröffentlichung dieser Verschiebung noch aus – planen Sie deshalb mit dem aktuell vorgesehenen Zeitplan, aber bauen Sie Ihre internen Prozesse so, dass eine erneute Verschiebung oder Verschärfung sie nicht ins Wanken bringt. Governance-Strukturen, die auf ein festes Datum optimiert sind, brechen bei der nächsten Gesetzesänderung; Strukturen, die auf Prinzipien wie Nachvollziehbarkeit und Verhältnismäßigkeit aufbauen, überstehen sie.
Eine der wirkungsvollsten Klärungen in jedem Governance-Projekt ist simpel, wird aber selten sauber gemacht: Sind Sie „Provider" oder „Deployer" im Sinne des AI Act?
Ein Provider entwickelt ein KI-System oder bringt es unter eigenem Namen in Verkehr. Für ihn gelten die schweren Pflichten – Konformitätsbewertung, technische Dokumentation nach Anhang-IV-Standard, Registrierung in EU-Datenbanken bei Hochrisiko-Systemen. Ein Deployer dagegen nutzt ein von einem Anbieter bereitgestelltes System unter eigener Verantwortung – etwa ein Unternehmen, das eine HR-Software mit KI-Modul von einem Softwareanbieter lizenziert. Für Deployer gelten deutlich leichtere, aber reale Pflichten: menschliche Aufsicht sicherstellen, das System auf Fehlfunktionen überwachen, in bestimmten Fällen betroffene Personen informieren, und in Deutschland gegebenenfalls den Betriebsrat einbinden.
Die meisten mittelständischen und auch viele große Unternehmen im DACH-Raum sind in der überwiegenden Mehrheit ihrer KI-Nutzung Deployer, nicht Provider. Das ist keine Formalie, sondern ein zentrales Ergebnis, das ein Governance-Projekt liefern sollte: Es verändert, wie viel Aufwand tatsächlich investiert werden muss, und wo die Verantwortung tatsächlich liegt – teilweise nämlich beim Softwareanbieter, nicht beim nutzenden Unternehmen. Diese Klarheit allein reduziert in vielen Fällen die gefühlte regulatorische Last erheblich, weil sie zeigt, dass ein großer Teil der schweren Pflichten vertraglich beim Anbieter verankert werden kann und sollte – etwa über Zusicherungen zu Konformitätsbewertung, Trainingsdaten und technischer Dokumentation im Lizenzvertrag.
Der wirksamste einzelne Baustein einer KI-Governance ist ein einfaches Intake-Gate: Jedes neue KI-Tool – SaaS-Abonnement, Browser-Erweiterung, individuell entwickeltes Modell oder in eine bestehende Software eingebettete KI-Funktion – wird vor dem Rollout in einem KI-Nutzungsregister erfasst. Erfasst werden: der Zweck der Nutzung, welche Datenarten verarbeitet werden, wer der Anbieter beziehungsweise Modellhersteller ist, und wer im Unternehmen fachlich verantwortlich ist.
Entscheidend ist, dass dieser Prozess bewusst schlank bleibt und nicht zur Bürokratiebremse wird. Bewährt hat sich eine dreistufige Abstufung, die die eigene Logik des AI Act spiegelt:
Für risikoarme interne Werkzeuge – etwa ein Schreibassistent für interne Notizen ohne sensible Daten – genügt eine Selbstregistrierung mit Protokollierung, ohne vorgelagerte Prüfung. Für Tools, die Kunden- oder Mitarbeiterdaten berühren oder kundenrelevante Entscheidungen beeinflussen, greift eine leichte, aber verpflichtende Prüfung durch Fachbereich und Datenschutz. Für alles, was einem Hochrisiko-Anwendungsfall nach Anhang III ähnelt oder automatisierte Entscheidungen über Personen trifft – etwa in Recruiting, Kreditvergabe oder Leistungsbeurteilung – ist eine vollständige, funktionsübergreifende Prüfung durch Recht, Informationssicherheit, Datenschutzbeauftragten, den fachlichen Owner und, in Deutschland, den Betriebsrat vorgesehen.
Diese Abstufung ist der eigentliche Kern eines guten Freigabeprozesses: Sie verhindert, dass jede kleine Tool-Anfrage im selben schweren Prüfverfahren landet wie eine echte Hochrisiko-Anwendung, und sie verhindert gleichzeitig, dass echte Risikofälle im Eiltempo durchrutschen. Das Register selbst wird damit zum wichtigsten Einzelartefakt gegen Schatten-KI: Es macht sichtbar, was im Unternehmen tatsächlich läuft, bevor ein Vorfall es sichtbar macht.
KI-Governance lässt sich nicht getrennt vom Datenschutzrecht denken – die beiden Regelwerke greifen ineinander, gerade dort, wo Unternehmen es am wenigsten erwarten.
Der erste Punkt ist Datenminimierung und Zweckbindung für alle Daten, die in Prompts, in Fine-Tuning oder in Retrieval-Augmented-Generation-Pipelines landen. Wer Kundendaten in einen Prompt kopiert, um eine Zusammenfassung zu erstellen, hat damit faktisch eine neue Verarbeitung im Sinne der DSGVO begonnen – unabhängig davon, ob dies als „nur ein Tool-Test" gedacht war.
Der zweite Punkt sind Datenschutz-Folgenabschätzungen (DPIA), die immer dann ausgelöst werden, wenn Profiling oder automatisierte Entscheidungen über Personen im Spiel sind. Eine KI-gestützte Vorauswahl von Bewerbungen oder ein Scoring-Modell für Kundenbonität sind klassische Auslöser, die häufig übersehen werden, weil das Tool selbst als „nur ein Hilfsmittel" wahrgenommen wird.
Der dritte Punkt ist Vendor Due Diligence: Wer sind die Subunternehmer des KI-Anbieters, wo werden Daten gehostet, gibt es eine EU-Residenz-Garantie, und – besonders wichtig – werden Ihre Prompts und Ausgaben vom Anbieter zum Training eigener Modelle verwendet? Diese letzte Frage wird in Lizenzverträgen erstaunlich oft nicht eindeutig geklärt und sollte in jedem Tool-Onboarding explizit abgefragt werden.
Der vierte, oft übersehene Punkt betrifft Aufbewahrung und Löschung von Chat- und Prompt-Protokollen. Diese Protokolle enthalten häufig personenbezogene oder vertrauliche Geschäftsdaten und werden in vielen Unternehmen unbegrenzt aufbewahrt, ohne dass es eine bewusste Löschfrist gibt. Genau diese Protokolle können sich selbst zu einem eigenständigen Compliance-Risiko entwickeln – sie sind im Zweifel das Erste, was bei einer Untersuchung angefordert wird, und ihre unkontrollierte Aufbewahrung widerspricht dem Grundsatz der Speicherbegrenzung.
Ein Audit-Trail ist kein abstraktes Compliance-Konzept, sondern eine konkrete, baubare Liste von Dingen, die dokumentiert werden müssen:
Wer hat welches Tool wann freigegeben, und mit welcher Begründung. Welches Modell beziehungsweise welche Modellversion in welchem Anwendungsfall verwendet wird – Modelle werden aktualisiert, und eine Entscheidung, die auf Modellversion 3 basierte, kann bei Version 4 anders ausfallen. Die technische Dokumentation und Datenherkunftsinformationen des Anbieters, aufbewahrt in einer Form, die sich an die Anhang-IV-Logik anlehnt, sobald ein Anwendungsfall in Richtung höheres Risiko geht. Entscheidungsprotokolle und menschliche Freigabevermerke überall dort, wo eine KI-Ausgabe eine Entscheidung über eine Person mitbestimmt – bei Einstellungen, Kreditvergaben, Leistungsbeurteilungen. Und schließlich ein Vorfall- und Beinahe-Vorfall-Protokoll für KI-bedingte Fehlfunktionen: Halluzinationen, die zu falscher Kundenkommunikation geführt haben, Bias-Beschwerden, Fälle von Datenabfluss.
Dieser letzte Punkt wird in der Praxis am meisten unterschätzt, ist aber genau das, wonach Aufsichtsbehörden, Wirtschaftsprüfer und interne Revision im Zweifel als Erstes fragen: nicht nach der theoretischen Risikobewertung, sondern nach der Frage „Was ist tatsächlich schiefgelaufen, und wie sind Sie damit umgegangen?" Ein Unternehmen, das ein sauberes, ehrliches Vorfall-Log vorweisen kann – inklusive der Fälle, die intern korrigiert wurden, bevor sie Schaden angerichtet haben – steht in jeder Prüfung besser da als eines, das behauptet, es habe nie ein Problem gegeben.
Der häufigste strukturelle Fehler in der KI-Governance ist nicht fehlendes Wissen über den AI Act, sondern ein falscher Zeitpunkt: Governance wird erst aufgebaut, nachdem etwas schiefgelaufen ist – ein Datenleck, eine entdeckte Schatten-KI-Nutzung, eine Beschwerde. Governance-Schulden verhalten sich wie technische Schulden: Sie wachsen unauffällig, bis die Zinsen in Form eines akuten Vorfalls fällig werden.
Sinnvoller ist ein dreistufiges Reifemodell, das Governance von Anfang an mitwachsen lässt:
Stufe 1 – Experimentieren und Pilotieren. In dieser Phase reichen eine unternehmensweite Nutzungsrichtlinie (Acceptable Use Policy) und ein einfaches Tool-Register. Es geht darum, überhaupt Sichtbarkeit herzustellen, nicht um schwere Prozesse.
Stufe 2 – Skalierung über Abteilungsgrenzen hinweg. Sobald mehrere Fachbereiche eigenständig KI-Tools einsetzen, braucht es ein formales, funktionsübergreifendes Governance-Gremium, einen standardisierten Intake-Prozess mit Risikoabstufung, und Vorlagen für Datenschutz-Folgenabschätzungen, die nicht jedes Mal neu erfunden werden müssen.
Stufe 3 – KI in Kernprozessen und Kundenkontakt. Wenn KI direkt in geschäftskritische oder kundenseitige Prozesse eingebettet ist, braucht es ein vollständiges Compliance-Programm mit einer Dokumentation, die sich an Konformitätsbewertungen orientiert, kontinuierlichem Monitoring und regelmäßiger Berichterstattung auf Vorstandsebene.
Das typische Scheitern besteht darin, direkt von der Informalität der Stufe 1 in die reaktive Hektik der Stufe 3 zu springen – ausgelöst durch genau den Vorfall, den ein rechtzeitiger Übergang über Stufe 2 verhindert hätte. Governance, die von Anfang an mitgedacht wird, kostet in Summe deutlich weniger als Governance, die im Krisenmodus nachgeholt wird.
Ein naheliegender erster Baustein auf jeder Stufe ist die KI-Kompetenzpflicht aus Artikel 4 des AI Act, die bereits seit Februar 2025 in Kraft ist: Unternehmen müssen sicherstellen, dass Mitarbeitende und alle, die KI-Systeme in ihrem Auftrag bedienen, über ausreichende KI-Kompetenz verfügen. Das ist eine niedrigschwellige, schnell umsetzbare Maßnahme – eine kombinierte Schulung mit Nutzungsrichtlinie – die sich klar von den deutlich weiter entfernten Hochrisiko-Pflichten unterscheidet und die jedes Unternehmen, unabhängig von seiner Reifestufe, sofort vorweisen kann.
Für Unternehmen mit Sitz in Deutschland gibt es eine Besonderheit, die im AI-Act-Diskurs oft untergeht, in der Praxis aber genauso wirkungsvoll ist: das Mitbestimmungsrecht des Betriebsrats nach § 87 BetrVG bei der Einführung technischer Einrichtungen, die geeignet sind, das Verhalten oder die Leistung von Mitarbeitenden zu überwachen.
Viele KI-Tools lösen dieses Mitbestimmungsrecht aus, unabhängig davon, welcher Risikostufe sie nach EU AI Act zugeordnet sind – Produktivitätstracker, KI-gestützte Tools zur Leistungsbeurteilung, Copiloten in Callcentern, die Gesprächsverläufe analysieren. Ein KI-Tool kann also im AI-Act-Sinne minimal riskant sein und trotzdem eine volle Mitbestimmungspflicht auslösen, weil es Verhaltens- oder Leistungsdaten erfasst.
Der praktische Schluss daraus: Der interne Freigabeprozess sollte einen eigenständigen Betriebsrats-Trigger enthalten, der unabhängig von und zusätzlich zur AI-Act-Risikoklassifizierung geprüft wird. Wer nur nach AI-Act-Kategorien filtert, übersieht systematisch die Fälle, in denen ein an sich harmloses Tool durch seine Überwachungsfunktion mitbestimmungspflichtig wird – und riskiert damit arbeitsrechtliche Konflikte, die mit der eigentlichen KI-Regulierung wenig zu tun haben, aber genauso teuer werden können.
Für Unternehmen mit internationaler Aufstellung kommt hinzu, dass der AI Act extraterritoriale Wirkung entfalten kann: Sobald die Ausgabe eines KI-Systems auf dem EU-Markt genutzt wird, können die Pflichten greifen, auch wenn das System selbst außerhalb der EU entwickelt oder betrieben wird. Globale Konzerne mit Hauptsitz außerhalb Europas stehen deshalb häufig vor der Aufgabe, EU-AI-Act-Governance mit anderen Rahmenwerken wie dem NIST AI Risk Management Framework in den USA in Einklang zu bringen – ein eigenes, aber lösbares Abstimmungsproblem, das eine unternehmensweite Governance-Struktur von Anfang an mitdenken sollte, statt zwei parallele, widersprüchliche Systeme zu pflegen.
Unabhängig davon, auf welcher Reifestufe ein Unternehmen steht, gibt es einen Einstieg, der sich sofort umsetzen lässt und der bei jeder späteren Prüfung als sichtbares Zeichen von Sorgfalt zählt: eine kurze Nutzungsrichtlinie für KI-Tools, kombiniert mit einem einfachen Register aller aktuell genutzten Tools und einer ersten, groben Risikoeinstufung.
Diese Maßnahme kostet wenig, ist innerhalb weniger Wochen umsetzbar und deckt gleich mehrere Pflichten gleichzeitig ab: die AI-Act-Kompetenzpflicht nach Artikel 4, den ersten Schritt gegen Schatten-KI, und die Grundlage für jede spätere, tiefere Governance-Struktur. Sie ersetzt keine vollständige Compliance-Architektur, aber sie ist der Unterschied zwischen einem Unternehmen, das im Ernstfall zeigen kann, dass es das Thema aktiv gesteuert hat, und einem, das erst nach einem Vorfall reagiert.
Die Höhe möglicher Bußgelder – bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes für verbotene Praktiken, bis zu 15 Millionen Euro oder 3 Prozent für andere Verstöße – ist dabei weniger ein Grund zur Sorge als ein nüchterner Hinweis darauf, dass die Investition in einen schlanken, gut durchdachten Governance-Prozess im Verhältnis zum Risiko gering ist. Der eigentliche Gewinn liegt ohnehin nicht in der Vermeidung eines Bußgelds, sondern darin, dass ein Unternehmen mit klaren Strukturen schneller, sicherer und mit weniger internem Reibungsverlust neue KI-Möglichkeiten nutzen kann als eines, das jede Entscheidung im Einzelfall neu verhandeln muss.