KI-Governance schafft klare Regeln für den sicheren, nachvollziehbaren und produktiven Einsatz von KI im Unternehmen. Sie reduziert Shadow AI, ordnet Tool-Freigaben, schützt sensible Daten und macht Verantwortlichkeiten überprüfbar. Für den Mittelstand ist sie keine Bürokratie, sondern die Voraussetzung dafür, dass KI im Alltag nutzbar bleibt.
Warum braucht der Mittelstand KI-Governance?
Viele Unternehmen haben KI längst im Haus, auch wenn sie noch kein offizielles KI-Projekt gestartet haben. Mitarbeiter nutzen ChatGPT, Copilot, Gemini, Claude, DeepL Write, Perplexity oder spezialisierte Tools, um Texte zu schreiben, E-Mails zu formulieren, Excel-Probleme zu lösen, Dokumente zusammenzufassen oder Ideen zu entwickeln. Das ist verständlich. Es spart Zeit. Es fühlt sich praktisch an. Und oft ist es schneller als der offizielle Weg.
Genau hier beginnt das Problem. Wenn niemand weiß, welche Tools genutzt werden, welche Daten eingegeben werden und welche Ergebnisse in Kundenkommunikation, Angeboten, Bewerbungen, Supportantworten oder internen Entscheidungen landen, entsteht Shadow AI. Nicht als böser Wille, sondern als ungesteuerte Realität.
KI-Governance bedeutet deshalb nicht: alles verbieten. Sie bedeutet: nutzbare Leitplanken schaffen. Welche KI-Tools sind erlaubt? Welche Daten dürfen verarbeitet werden? Welche Ergebnisse müssen geprüft werden? Wer entscheidet über neue Tools? Wann muss Datenschutz einbezogen werden? Wann hat der Betriebsrat mitzureden? Was muss dokumentiert werden?
Die EU-Kommission stellt klar, dass Artikel 4 des EU AI Act zur KI-Kompetenz seit dem 2. Februar 2025 gilt; Aufsicht und Durchsetzung greifen ab dem 3. August 2026. Unternehmen sollten daher nicht erst warten, bis KI-Projekte groß werden. Die Grundlagen müssen vorher stehen.
Was ist KI-Governance konkret?
KI-Governance ist der organisatorische Rahmen für KI-Nutzung. Sie verbindet Strategie, Datenschutz, IT-Sicherheit, Fachverantwortung, Mitarbeiterregeln, Tool-Freigaben, Dokumentation und Kontrolle.
Ein mittelständisches Unternehmen braucht dafür kein Konzernprogramm. Aber es braucht eine klare, einfache Struktur. Sonst entsteht ein Nebeneinander aus privaten Accounts, einzelnen SaaS-Tools, Pilotprojekten, Browser-Plugins, Chatbots, Prompt-Sammlungen und ungeprüften Automatisierungen.
KI-Governance beantwortet im Kern sieben Fragen: Was darf genutzt werden? Wer darf es nutzen? Welche Daten dürfen hinein? Welche Ergebnisse dürfen übernommen werden? Wer prüft Qualität? Wer dokumentiert den Einsatz? Wer stoppt ein System, wenn es riskant wird?
Ohne diese Antworten bleibt KI ein Werkzeug einzelner Mitarbeiter. Mit diesen Antworten wird KI ein beherrschbarer Teil des Unternehmensbetriebs.
Wie unterscheiden sich ungeregelte KI-Nutzung und gute KI-Governance?
| Bereich | Ungeregelte KI-Nutzung | Gute KI-Governance |
|---|---|---|
| Tool-Nutzung | Mitarbeiter wählen selbst Tools aus | freigegebener Tool-Katalog mit Prüfprozess |
| Daten | unklare Eingaben, oft auch vertrauliche Inhalte | Datenklassen, Verbote, Freigaben und Protokollierung |
| Verantwortung | niemand fühlt sich zuständig | fachliche, technische und rechtliche Owner |
| Betriebsrat | wird spät oder gar nicht einbezogen | frühzeitige Prüfung bei Mitarbeiterbezug |
| Qualität | KI-Ergebnisse werden nach Gefühl genutzt | Prüfregeln nach Risikostufe |
| Auditierbarkeit | keine Nachvollziehbarkeit | Use-Case-Register, Logs, Freigaben, Versionen |
| Mitarbeiterregeln | mündliche Hinweise oder Verbote | verständliche KI-Richtlinie mit Beispielen |
| Tool-Wildwuchs | viele Accounts und Dopplungen | wenige Kernwerkzeuge, kontrollierte Ausnahmen |
Warum ist Shadow AI so gefährlich?
Shadow AI ist die Nutzung von KI-Tools außerhalb der offiziellen IT-, Datenschutz- oder Governance-Struktur. Der Klassiker: Ein Mitarbeiter nutzt einen privaten ChatGPT-Account, um interne Dokumente zusammenzufassen. Eine Kollegin lädt eine Kunden-E-Mail in ein Tool, um eine bessere Antwort zu formulieren. Ein Team nutzt ein Browser-Plugin, ohne dass IT oder Datenschutz es kennen.
Das Risiko liegt nicht nur im Tool selbst. Es liegt in der fehlenden Kontrolle. Niemand prüft Vertragsbedingungen, Datenverarbeitung, Speicherorte, Löschfristen, Zugriffe, Trainingsnutzung, Protokolle oder Rechte. Niemand weiß, ob sensible Informationen in privaten Accounts landen.
Menlo Security berichtete 2025, dass 68 Prozent der Mitarbeiter freie KI-Tools wie ChatGPT über persönliche Accounts nutzen und 57 Prozent dabei sensible Daten eingeben. Das zeigt, wie schnell aus praktischer Hilfe ein Governance-Problem wird.
Der richtige Umgang mit Shadow AI ist nicht nur Verbot. Ein Verbot ohne Alternative führt meist dazu, dass Nutzung unsichtbarer wird. Besser ist: Nutzung verstehen, sichere Alternativen schaffen, Regeln erklären und riskante Tools gezielt sperren.
Welche Mitarbeiterregeln braucht ein Unternehmen?
Mitarbeiter brauchen keine juristische Abhandlung. Sie brauchen klare, kurze Regeln, die sie im Alltag verstehen.
Eine gute KI-Richtlinie sollte zum Beispiel erklären, welche Tools freigegeben sind, welche Daten niemals eingegeben werden dürfen, wie KI-Ergebnisse zu prüfen sind und wann ein Mensch entscheiden muss. Wichtig sind konkrete Beispiele: Kundendaten, Personaldaten, Vertragsentwürfe, Quellcode, interne Kalkulationen, Gesundheitsdaten, Bewerberdaten, technische Zeichnungen oder vertrauliche Projektdokumente.
Außerdem sollte geregelt sein, wie KI-Ergebnisse gekennzeichnet oder geprüft werden. Ein interner Textentwurf ist etwas anderes als eine Kundenantwort. Eine Zusammenfassung ist etwas anderes als eine Entscheidung. Ein Angebotstext ist etwas anderes als eine rechtliche Bewertung.
Gute Mitarbeiterregeln sind nicht misstrauisch formuliert. Sie helfen Mitarbeitern, KI sicher zu nutzen. Der Ton sollte lauten: „So dürfen Sie KI produktiv verwenden“ und nicht nur „Das ist verboten“.
Wie funktionieren Tool-Freigaben in der Praxis?
Tool-Freigaben verhindern Tool-Wildwuchs. Ohne Freigabeprozess kauft jede Abteilung ihr eigenes KI-Werkzeug. Marketing nutzt ein Schreibtool, Vertrieb ein Recherchetool, HR ein Bewerbertool, IT einen Coding-Assistenten, Support einen Chatbot. Nach einigen Monaten gibt es viele Accounts, unklare Kosten, offene Datenschutzfragen und doppelte Funktionen.
Ein pragmatischer Freigabeprozess beginnt mit einem kurzen Steckbrief: Zweck des Tools, Nutzergruppe, Datenarten, Anbieter, Hosting, Vertragslage, Schnittstellen, Kosten, Sicherheitsfunktionen, Protokollierung, Löschmöglichkeiten und Alternativen.
Danach wird eine Risikostufe vergeben. Niedriges Risiko: Textentwürfe ohne vertrauliche Daten. Mittleres Risiko: interne Dokumente, Wissenssuche, Kundenvorgänge. Hohes Risiko: personenbezogene Daten, Mitarbeiterdaten, automatisierte Entscheidungen, KI-Agenten mit Handlungsauslösung.
So wird nicht jedes Tool monatelang blockiert. Aber es wird nachvollziehbar entschieden.
Welche Rolle spielt der Betriebsrat bei KI?
Sobald KI-Systeme Arbeitsverhalten, Leistung, Einsatzplanung, Kommunikation, Bewerbungen, Personalentscheidungen oder Überwachung berühren, muss der Betriebsrat früh geprüft werden. In Deutschland gelten bestehende Mitbestimmungsrechte auch bei KI. Besonders relevant ist § 87 Abs. 1 Nr. 6 BetrVG, wenn technische Einrichtungen geeignet sind, Verhalten oder Leistung zu überwachen. Außerdem wurde durch das Betriebsrätemodernisierungsgesetz klargestellt, dass KI auch bei Auswahlrichtlinien relevant sein kann.
Das bedeutet nicht, dass jeder KI-Test automatisch blockiert ist. Aber Unternehmen sollten den Betriebsrat nicht erst am Ende informieren. Wenn ein Tool beispielsweise Supportleistung analysiert, Mitarbeiterkommunikation auswertet, Bewerbungen vorsortiert oder Außendienstleistung misst, ist frühe Einbindung sinnvoll.
Praktisch hilft eine Betriebsvereinbarung zu KI. Sie kann Zweck, erlaubte Systeme, ausgeschlossene Nutzungen, Datenarten, Transparenz, Kontrollrechte, Schulung, Auditierbarkeit und Eskalationswege regeln. Das schafft Vertrauen und verhindert spätere Konflikte.
Was gehört in eine KI-Richtlinie?
Eine KI-Richtlinie sollte kurz genug sein, dass sie gelesen wird, und konkret genug, dass sie im Alltag hilft.
Sie sollte mindestens diese Punkte enthalten: Ziel der KI-Nutzung, erlaubte Tools, verbotene Inhalte, Datenklassen, Umgang mit personenbezogenen Daten, Prüfpflichten, Kennzeichnungspflichten, Verantwortlichkeiten, Meldewege, Freigabeprozess für neue Tools, Schulungspflichten und Sanktionen bei bewusster Missachtung.
Besonders wichtig ist der Abschnitt zu Daten. Viele Mitarbeiter unterscheiden nicht automatisch zwischen öffentlich, intern, vertraulich, personenbezogen und besonders sensibel. Eine gute Richtlinie erklärt diese Klassen mit Beispielen. Nicht abstrakt, sondern direkt aus dem Unternehmensalltag.
Eine KI-Richtlinie sollte außerdem nicht allein im Intranet verschwinden. Sie muss erklärt, geschult und regelmäßig aktualisiert werden.
Wie wird KI-Governance auditierbar?
Auditierbarkeit bedeutet: Ein Unternehmen kann später nachvollziehen, welche KI-Systeme genutzt wurden, zu welchem Zweck, mit welchen Daten, von welchen Nutzergruppen, mit welcher Freigabe und unter welcher Verantwortung.
Dafür braucht es ein Use-Case-Register. Darin stehen alle aktiven KI-Anwendungen: Name, Zweck, Tool, Anbieter, Datenarten, Risiko, Owner, Freigabedatum, Prüfdatum, Dokumentation, Betriebsrat-Relevanz und Erfolgskriterien.
Zusätzlich braucht es Tool-Katalog, Schulungsnachweise, Freigabedokumentation, Datenschutzbewertung, Änderungsverlauf, Protokollierung und klare Zuständigkeiten. Für einfache Texttools reicht oft eine schlanke Dokumentation. Für KI-Agenten, personenbezogene Daten oder kritische Prozesse braucht es deutlich mehr Nachvollziehbarkeit.
Auditierbarkeit ist nicht nur für Prüfer wichtig. Sie hilft auch intern. Wenn etwas schiefgeht, muss das Unternehmen wissen, welches System betroffen ist, wer verantwortlich ist und wie der Prozess gestoppt oder korrigiert wird.
Welche Governance-Struktur ist für den Mittelstand realistisch?
Viele Mittelständler brauchen kein großes AI Board. Aber sie brauchen eine kleine, entscheidungsfähige KI-Steuerung.
Eine realistische Struktur besteht aus Geschäftsführung, IT, Datenschutz, Fachbereich und optional Betriebsrat, wenn Mitarbeiterbezug besteht. Dieses Team trifft sich regelmäßig, prüft neue Use Cases, bewertet Tools, entscheidet Freigaben und kontrolliert laufende Anwendungen.
Wichtig ist, dass Governance nicht nur Papier produziert. Sie muss Entscheidungen treffen: freigeben, ablehnen, anpassen, schulen, stoppen. Ein guter Rhythmus ist monatlich in der Einführungsphase und später quartalsweise. Kritische Use Cases brauchen zusätzliche Prüfungen.
Damit bleibt Governance handhabbar. Sie verhindert nicht jede Innovation, sondern sortiert sie.
Welche Kennzahlen zeigen die Relevanz von KI-Governance?
- 68 Prozent der Mitarbeiter nutzen laut Menlo Security freie KI-Tools über persönliche Accounts; 57 Prozent geben sensible Daten ein.
Quelle: Menlo Security – 2025 Report Uncovers 68% Surge in Shadow Generative AI Usage
https://www.menlosecurity.com/press-releases/menlo-securitys-2025-report-uncovers-68-surge-in-shadow-generative-ai-usage-in-the-modern-enterprise - Artikel 4 des EU AI Act zur KI-Kompetenz gilt seit dem 2. Februar 2025; Aufsicht und Durchsetzung greifen ab dem 3. August 2026.
Quelle: European Commission – AI Literacy Questions and Answers
https://digital-strategy.ec.europa.eu/en/faqs/ai-literacy-questions-answers - McKinsey berichtet 2026, dass 74 Prozent der Befragten Ungenauigkeit und 72 Prozent Cybersicherheit als hoch relevante KI-Risiken sehen.
Quelle: McKinsey – State of AI trust in 2026
https://www.mckinsey.com/capabilities/tech-and-ai/our-insights/tech-forward/state-of-ai-trust-in-2026-shifting-to-the-agentic-era - EY berichtet, dass 58 Prozent der Organisationen formale KI-Richtlinien haben, aber viele noch umfassende Risikokontrollen und Audit Readiness entwickeln müssen.
Quelle: EY – Tech Risk AI GRC Survey 2025
https://www.ey.com/content/dam/ey-unified-site/ey-com/pt-pt/services/technology-risk/document/ey_ew-tech-risk-ai-grc-survey-2025.pdf
Wie sollte ein Unternehmen starten?
Der beste Start ist eine ehrliche Bestandsaufnahme. Welche KI-Tools werden bereits genutzt? Welche Mitarbeiter nutzen private Accounts? Welche Datenarten sind betroffen? Welche Use Cases bringen echten Nutzen? Welche Risiken sind sofort kritisch?
Danach sollten drei Dinge schnell entstehen: eine kurze KI-Richtlinie, ein Tool-Freigabeprozess und ein Use-Case-Register. Parallel sollte ein freigegebenes KI-Werkzeug bereitgestellt werden, damit Mitarbeiter nicht auf private Alternativen ausweichen müssen.
Im nächsten Schritt werden Schulungen durchgeführt. Nicht allgemein, sondern rollenbasiert: Vertrieb, Support, HR, IT, Führungskräfte, Außendienst. Danach kann das Unternehmen gezielt Piloten freigeben und Shadow AI schrittweise abbauen.
KI-Governance ist kein einmaliges Dokument. Sie ist eine laufende Praxis.
Interessante Links
- NIST – Artificial Intelligence Risk Management Framework
https://www.nist.gov/itl/ai-risk-management-framework - ISO – ISO/IEC 42001:2023 Artificial intelligence management system
https://www.iso.org/standard/42001 - BSI – Künstliche Intelligenz
https://www.bsi.bund.de/DE/Themen/Unternehmen-und-Organisationen/Informationen-und-Empfehlungen/Kuenstliche-Intelligenz/kuenstliche-intelligenz_node.html
Was ist KI-Governance?
KI-Governance ist der organisatorische Rahmen für den Einsatz von KI im Unternehmen. Sie regelt Tools, Daten, Verantwortlichkeiten, Freigaben, Prüfung, Dokumentation und Schulung. Ziel ist nicht, KI zu verhindern, sondern sichere und nachvollziehbare Nutzung zu ermöglichen. Besonders wichtig ist Governance bei sensiblen Daten, Mitarbeiterbezug und automatisierten Prozessen.
Warum ist Shadow AI ein Problem?
Shadow AI ist problematisch, weil Mitarbeiter KI-Tools nutzen, ohne dass IT, Datenschutz oder Geschäftsführung davon wissen. Dadurch können vertrauliche Informationen, Kundendaten oder interne Dokumente in nicht geprüfte Systeme gelangen. Außerdem fehlen Verträge, Löschregeln, Protokolle und Verantwortlichkeiten. Das Risiko entsteht oft nicht aus böser Absicht, sondern aus ungesteuerter Produktivität.
Welche Regeln brauchen Mitarbeiter für KI?
Mitarbeiter brauchen klare Regeln zu erlaubten Tools, verbotenen Daten, Prüfpflichten und Verantwortlichkeiten. Eine gute KI-Richtlinie erklärt mit Beispielen, welche Inhalte nicht eingegeben werden dürfen und wann Ergebnisse fachlich geprüft werden müssen. Wichtig ist, dass die Regeln verständlich, kurz und praxisnah sind, damit sie im Alltag tatsächlich genutzt werden.
Wie funktionieren KI-Tool-Freigaben?
KI-Tool-Freigaben prüfen Zweck, Datenverarbeitung, Anbieter, Hosting, Verträge, Kosten, Sicherheit, Löschmöglichkeiten und Alternativen. Danach wird entschieden, ob das Tool erlaubt, eingeschränkt erlaubt oder abgelehnt wird. Ein risikobasierter Prozess verhindert Tool-Wildwuchs, ohne sinnvolle Innovation zu blockieren. Alle freigegebenen Tools sollten in einem Tool-Katalog stehen.
Wann muss der Betriebsrat bei KI einbezogen werden?
Der Betriebsrat sollte einbezogen werden, wenn KI-Systeme Verhalten, Leistung, Arbeitsorganisation, Personalauswahl, Einsatzplanung oder Mitarbeiterdaten betreffen können. Besonders relevant sind Systeme, die Überwachung ermöglichen oder Entscheidungen über Beschäftigte vorbereiten. Eine frühe Einbindung verhindert Konflikte und kann durch eine Betriebsvereinbarung klare Regeln schaffen.
Was gehört in eine KI-Richtlinie?
Eine KI-Richtlinie sollte erlaubte Tools, verbotene Daten, Datenklassen, Prüfpflichten, Freigabeprozesse, Verantwortlichkeiten, Schulung, Dokumentation und Meldewege regeln. Sie sollte konkrete Beispiele aus dem Arbeitsalltag enthalten. Wichtig ist außerdem, dass sie regelmäßig aktualisiert wird, weil Tools, Risiken und gesetzliche Anforderungen sich schnell verändern.
Wie macht man KI auditierbar?
KI wird auditierbar durch ein Use-Case-Register, Tool-Katalog, Freigabedokumentation, Datenschutzbewertung, Schulungsnachweise, Protokollierung und klare Verantwortlichkeiten. Unternehmen sollten nachvollziehen können, welches KI-System wofür genutzt wird, welche Daten verarbeitet werden und wer zuständig ist. Je höher das Risiko, desto genauer muss dokumentiert werden.
Ist KI-Governance auch für kleine Mittelständler nötig?
Ja, aber sie muss pragmatisch bleiben. Kleine und mittlere Unternehmen brauchen keine schwere Konzernstruktur, aber klare Mindestregeln. Dazu gehören freigegebene Tools, Datenregeln, eine kurze KI-Richtlinie, Verantwortliche und ein einfacher Freigabeprozess. Gerade kleinere Unternehmen sind anfällig für Shadow AI, weil informelle Nutzung schneller entsteht.
Alle Artikel zu den Themen KI-Governance und Compliance
Alle Artikel zum Thema Digitalisierung im Mittelstand
