Management-E-Book

KI-Governance für kleine und mittlere Unternehmen

Wie Unternehmen künstliche Intelligenz kontrolliert einsetzen, ohne eine neue Konzernbürokratie aufzubauen. Ein praktikables Betriebsmodell für sicheren, wirtschaftlichen und verantwortbaren KI-Einsatz.

Künstliche Intelligenz wird in Unternehmen nicht mehr nur getestet. Sie arbeitet mit. Damit entstehen neue Verantwortlichkeiten:

Welche KI-Anwendungen dürfen eingesetzt werden?
Welche Daten dürfen verarbeitet werden?
Wer prüft die Ergebnisse?
Wann muss ein Mensch entscheiden?
Wie werden Fehler und Vorfälle behandelt?
Welche Nachweise verlangt der EU AI Act?

KrambergAI GmbH
krambergai.com
Redaktionsstand: 14. Juli 2026

Für Geschäftsführung, IT-Leitung, Datenschutz, Informationssicherheit und Fachbereiche

01Vorwort

KI braucht keine hundertseitige Richtlinie. Aber sie braucht Führung.

Viele mittelständische Unternehmen befinden sich in einer widersprüchlichen Situation.

Einerseits sollen Mitarbeiter KI nutzen, um produktiver zu arbeiten, Fachkräfte zu entlasten und Prozesse zu beschleunigen. Andererseits fehlen häufig verbindliche Vorgaben, freigegebene Werkzeuge, dokumentierte Verantwortlichkeiten und überprüfbare Qualitätsstandards.

Das Ergebnis ist selten ein bewusster Verzicht auf KI. Meist entsteht das Gegenteil: eine unkontrollierte Nutzung, die niemand steuert und die im Zweifel niemandem zuzuordnen ist.

Mitarbeiter verwenden private KI-Zugänge für berufliche Aufgaben.
Geschäftsdaten gelangen in nicht freigegebene Systeme.
Ergebnisse werden übernommen, ohne sie fachlich zu prüfen.
Einzelne Fachbereiche beschaffen KI-Anwendungen im Alleingang.
Niemand führt eine vollständige Übersicht der eingesetzten Systeme.
Fehler werden zwar korrigiert, aber nicht systematisch ausgewertet.

KI-Governance bedeutet nicht, Innovation zu verhindern. Gut gemachte Governance schafft im Gegenteil die Voraussetzung dafür, dass ein Unternehmen KI breiter, schneller und mit vertretbarem Risiko einsetzen kann. Sie gibt den Beteiligten die Sicherheit, im richtigen Rahmen zu handeln.

Kernthese

Nicht die Nutzung von KI ist das größte Risiko. Das größere Risiko ist eine Nutzung ohne Verantwortlichkeiten, Regeln und Kontrollpunkte.

Dieses E-Book bietet eine betriebliche Orientierung. Es ersetzt keine Rechtsberatung und keine Prüfung des Einzelfalls.

02Management Summary

Sieben Kernaussagen

Worauf es beim KI-Einsatz im Mittelstand ankommt – kompakt zusammengefasst.

1 · KI ist im Mittelstand angekommen

2025 nutzten laut Statistischem Bundesamt 26 Prozent der Unternehmen ab zehn Beschäftigten KI-Technologien – 23 Prozent der kleinen (10 bis 49 Beschäftigte) und bereits 36 Prozent der mittleren Unternehmen (50 bis 249). Eine Bitkom-Erhebung vom Frühjahr 2026 kommt für Unternehmen ab 20 Beschäftigten auf 41 Prozent aktive Nutzung; weitere 48 Prozent planen oder diskutieren den Einsatz, und 77 Prozent der Nutzer berichten von einer verbesserten Wettbewerbsposition.

2 · Die Strukturen halten mit der Nutzung nicht Schritt

Nur rund ein Viertel der Unternehmen hatte 2025 feste Regeln für den Einsatz generativer KI. Gleichzeitig ging etwa jedes zweite Unternehmen davon aus, dass Mitarbeiter private KI-Werkzeuge für berufliche Aufgaben verwenden. Zwischen dem, was faktisch genutzt wird, und dem, was geregelt ist, klafft eine Lücke.

3 · Die Geschäftsführung bleibt verantwortlich

KI-Governance lässt sich an einen Verantwortlichen delegieren. Die grundsätzliche Entscheidung über Risikobereitschaft, zulässige Einsatzfelder und ausreichende Ressourcen bleibt jedoch Führungsaufgabe – sie gehört auf die Agenda der Geschäftsführung, nicht allein in die IT.

4 · Nicht jede Anwendung braucht denselben Prozess

Ein Übersetzungswerkzeug für interne Texte ist anders zu behandeln als ein System, das Bewerber bewertet, Kreditentscheidungen vorbereitet oder Beschäftigte überwacht. Der Aufwand muss sich am konkreten Risiko orientieren, nicht am Etikett „KI“.

02Management Summary

Sieben Kernaussagen (Fortsetzung)

5 · Ein KI-Verzeichnis ist der Ausgangspunkt

Ein Unternehmen kann nur steuern, was es kennt. Deshalb beginnt Governance nicht mit einer langen Richtlinie, sondern mit einer belastbaren Übersicht aller eingesetzten, geplanten und geduldeten KI-Anwendungen.

6 · Menschliche Kontrolle muss konkret beschrieben werden

„Ein Mensch prüft das Ergebnis“ genügt als Kontrollkonzept nicht. Festzulegen ist, wer prüft, was geprüft wird, anhand welcher Kriterien, bei welchen Abweichungen eingegriffen wird und wer die endgültige Entscheidung trifft.

7 · KMU brauchen ein schlankes Betriebsmodell

Für die meisten Unternehmen genügt ein Governance-Basissystem aus sieben aufeinander abgestimmten Bausteinen. Es lässt sich mit bestehenden Funktionen umsetzen und erfordert weder ein eigenes AI Office noch mehrere neue Vollzeitstellen.

Das Betriebsmodell in sieben Bausteinen

1	KI-Verzeichnis – Übersicht aller Anwendungen	5	Freigabe & Beschaffung – abgestufter Prozess
2	Risikoklassifizierung – einheitliche Bewertung	6	Schulung – rollenbezogene KI-Kompetenz
3	Rollenmodell – klare Verantwortung	7	Betrieb & Kontrolle – Monitoring, Vorfälle
4	KI-Richtlinie – verbindliche Regeln

Grundgedanke

Governance ist kein Dokument, das einmal geschrieben und abgelegt wird. Sie ist ein betrieblicher Ablauf, der KI-Anwendungen von der ersten Idee über die Freigabe bis zur geordneten Stilllegung begleitet.

03Warum KI-Governance jetzt relevant wird

Die Einführung von KI verlagert Verantwortung

Klassische Unternehmenssoftware arbeitet überwiegend deterministisch: Gleiche Eingaben führen unter gleichen Bedingungen zu gleichen Ergebnissen. Generative und lernende KI-Systeme verhalten sich anders.

Ihre Ausgaben können plausibel wirken und trotzdem falsch sein. Sie können bei ähnlichen Eingaben voneinander abweichen, unvollständige oder einseitige Ergebnisse erzeugen, vertrauliche Informationen offenlegen, unzulässige Inhalte produzieren, sich durch manipulierte Eingaben beeinflussen lassen und sich nach einer Modell- oder Anbieteränderung verändern – ohne dass im Unternehmen ein Projekt dazu stattgefunden hätte.

Damit verschiebt sich die Aufgabe der Unternehmenssteuerung. Es genügt nicht mehr, eine Software technisch bereitzustellen. Das Unternehmen muss zusätzlich festlegen, wie Ergebnisse verwendet, geprüft, dokumentiert und im Zweifel verworfen werden. Verantwortung wandert von der reinen Bereitstellung hin zur laufenden Nutzung.

Der Abstand zwischen Nutzung und Steuerung wächst

Drei Entwicklungen verstärken sich derzeit gegenseitig:

Entwicklung	Folge für Unternehmen
KI-Werkzeuge werden einfacher zugänglich	Fachbereiche führen Anwendungen ohne klassisches IT-Projekt ein.
Mitarbeiter sammeln private KI-Erfahrung	Der Erwartungsdruck auf die betriebliche Nutzung steigt.
Rechtliche und vertragliche Anforderungen nehmen zu	Unternehmen müssen ihre Entscheidungen nachvollziehbar begründen.

Je leichter KI verfügbar wird, desto weniger entscheidet die Frage „Können wir KI nutzen?“ – und desto stärker die Frage „Unter welchen Regeln nutzen wir sie?“.

03Warum KI-Governance jetzt relevant wird

Governance wird zum Skalierungsfaktor

Der Abstand zwischen kleinen und großen Unternehmen ist messbar. Nach Eurostat nutzten 2025 rund 20 Prozent aller EU-Unternehmen ab zehn Beschäftigten mindestens eine KI-Technologie. Bei großen Unternehmen ab 250 Beschäftigten waren es 55 Prozent, bei den kleinen Unternehmen dagegen nur etwa 17 Prozent. Der Unterschied zeigt nicht allein einen Investitionsabstand: Größere Unternehmen verfügen meist auch über ausgeprägtere Strukturen für Datenschutz, Informationssicherheit, Beschaffung und Risikomanagement.

Für den deutschen Mittelstand weist KfW Research eine KI-Nutzungsquote von rund 20 Prozent aus. Der Anteil hat sich binnen sechs Jahren etwa verfünffacht. Besonders häufig setzen Unternehmen KI ein, die bereits eine Digitalisierungsstrategie verfolgen, Forschung und Entwicklung betreiben oder international tätig sind – also dort, wo ohnehin schon strukturiert gearbeitet wird.

Daraus ergibt sich ein oft unterschätzter Zusammenhang: Ohne Governance bleibt KI häufig auf einzelne Tests beschränkt, weil Verantwortliche eine breitere Nutzung vermeiden, solange wesentliche Fragen ungeklärt sind. Mit einem funktionierenden Rahmen lässt sich KI dagegen kontrolliert in die Fläche bringen.

Was ein tragfähiger Rahmen ermöglicht

freigegebene Anwendungen schneller ausrollen
wiederkehrende Prüfungen standardisieren
Fachbereiche verlässlich einbinden
Risiken früh erkennen und begrenzen
Nachweise gegenüber Kunden und Behörden erbringen
Anbieter systematisch vergleichen
erfolgreiche Anwendungen leichter übertragen

Kernpunkt

Governance bremst KI nicht aus. Sie ist die Voraussetzung dafür, dass ein Unternehmen aus einzelnen Pilotversuchen einen belastbaren, wiederholbaren und verantwortbaren Regelbetrieb macht.

04Was KI-Governance bedeutet

Governance ist die Art, wie ein Unternehmen über KI entscheidet

KI-Governance umfasst die Regeln, Rollen und Verfahren, mit denen ein Unternehmen seinen KI-Einsatz steuert. Im Kern beantwortet sie fünf Fragen.

Wofür darf KI eingesetzt werden?

Das Unternehmen definiert zulässige und unzulässige Einsatzfelder – etwa zur Verarbeitung personenbezogener Daten, zu Personalentscheidungen, zur Kundenkommunikation oder zur Veröffentlichung von Inhalten.

Wer darf entscheiden?

Es wird festgelegt, wer Anwendungen beantragen, prüfen, freigeben, betreiben und wieder abschalten darf. Zuständigkeiten werden benannt, nicht vorausgesetzt.

Welche Kontrollen sind erforderlich?

Für jeden Anwendungsfall werden angemessene technische und organisatorische Kontrollen bestimmt – abhängig vom Risiko, nicht pauschal für alle Systeme gleich.

Wie wird die Qualität überwacht?

Das Unternehmen definiert Qualitätskriterien, Prüfintervalle und Eskalationswege, damit eine nachlassende Qualität rechtzeitig auffällt.

Welche Nachweise müssen vorhanden sein?

Freigaben, Risikoeinstufungen, Schulungen, Anbieterprüfungen und Vorfälle werden so dokumentiert, dass sie im Bedarfsfall belastbar vorgelegt werden können.

Diese fünf Fragen sind bewusst schlicht gehalten. Ihr Wert entsteht dadurch, dass sie für jede eingesetzte KI-Anwendung tatsächlich beantwortet werden.

04Was KI-Governance bedeutet

Governance ist mehr als Compliance

Compliance ist ein Teil der Governance, aber nicht ihr einziger Zweck. Ein ausschließlich rechtlich ausgerichtetes Modell greift zu kurz, denn auch eine formal zulässige Anwendung kann in der Praxis ungeeignet sein.

wirtschaftlich, weil der Nutzen den Aufwand nicht rechtfertigt
qualitativ, weil die Ergebnisse unzuverlässig sind
technisch, weil das System nicht sicher betrieben werden kann
organisatorisch, weil niemand die Ergebnisse beherrscht
im Verhältnis zu Kunden oder Mitarbeitern, weil die Nutzung nicht akzeptiert wird

Ein praxistaugliches Governance-Modell betrachtet eine KI-Anwendung deshalb aus fünf Perspektiven zugleich:

Geschäftlicher Nutzen

Trägt die Anwendung messbar zum Prozessziel bei?

Recht und Compliance

Ist der Einsatz rechtlich zulässig und nachweisbar?

Datenschutz & Sicherheit

Sind Daten und Zugänge angemessen geschützt?

Qualität & Prozesssicherheit

Sind die Ergebnisse verlässlich und überprüfbar?

Akzeptanz & Verantwortung

Ist klar, wer verantwortet, und tragen Kunden und Mitarbeiter den Einsatz mit? Erst wenn alle fünf Perspektiven zusammenpassen, ist eine Anwendung wirklich betriebsreif.

05Der rechtliche Rahmen

Der EU AI Act ist nur ein Teil des Gesamtbildes

Der EU AI Act verfolgt einen risikobasierten Ansatz. Er unterscheidet insbesondere zwischen verbotenen Praktiken, Hochrisiko-KI, transparenzpflichtigen Systemen und Anwendungen mit geringem Risiko. Daneben gelten für Unternehmen weiterhin zahlreiche andere Vorschriften, die durch den Einsatz von KI nicht außer Kraft gesetzt werden.

Rechtsgebiet	Typische Fragestellung
EU AI Act	Risikoklasse, Betreiberpflichten, Transparenz, KI-Kompetenz
DSGVO und BDSG	Rechtsgrundlage, Zweckbindung, Betroffenenrechte, Folgenabschätzung
Arbeits- und Betriebsverfassungsrecht	Überwachung, Leistungsbewertung, Mitbestimmung
AGG	Benachteiligung durch Auswahl- oder Bewertungssysteme
Urheberrecht	Nutzung geschützter Eingaben und erzeugter Inhalte
Geschäftsgeheimnisgesetz	Schutz vertraulicher Unternehmensinformationen
Vertragsrecht	Haftung, Leistungszusagen, Anbieterpflichten
Produktsicherheitsrecht	KI als Bestandteil regulierter Produkte
Informationssicherheitsrecht	Zugriffe, Protokollierung, Schwachstellen, Vorfälle
Branchenspezifische Regulierung	Medizin, Finanzwesen, kritische Infrastruktur, Verwaltung

Die Datenschutzkonferenz empfiehlt, bereits vor der Auswahl einer KI-Anwendung Zweck, Rechtsgrundlage, Datenkategorien, automatisierte Entscheidungen und technische Ausgestaltung zu prüfen. Das Bundesamt für Sicherheit in der Informationstechnik weist bei generativer KI unter anderem auf fehlerhafte Ausgaben, die Offenlegung vertraulicher Informationen, manipulierte Eingaben und Angriffe auf Modelle oder angeschlossene Systeme hin.

Wichtig für Unternehmen

Die Einstufung „kein Hochrisiko-System“ bedeutet nicht, dass eine Anwendung automatisch datenschutzkonform, sicher oder für den vorgesehenen Prozess geeignet ist. Sie entbindet nicht von den übrigen Prüfungen.

06Fristen und aktueller Stand des EU AI Act

Was bereits gilt – und was der Digital Omnibus verschiebt

Bereits geltende Stufen

1. August 2024	Inkrafttreten der KI-Verordnung (Verordnung (EU) 2024/1689).
2. Februar 2025	Verbote bestimmter KI-Praktiken sowie Pflicht zur Sicherstellung ausreichender KI-Kompetenz.
2. August 2025	Governance-Regelungen auf europäischer Ebene und Pflichten für Anbieter von General-Purpose-AI-Modellen.
2. August 2026	Grundsätzliche Anwendbarkeit großer Teile der Verordnung, darunter die Transparenzpflichten nach Artikel 50.

Neue Fristen für Hochrisiko-KI durch den Digital Omnibus

Die Europäische Kommission legte den Digital Omnibus zur KI am 19. November 2025 vor. Rat und Parlament einigten sich am 7. Mai 2026 politisch; das Europäische Parlament stimmte am 16. Juni 2026 zu, der Rat beschloss die Änderungen am 29. Juni 2026 endgültig. Die Verordnung wird im Amtsblatt der EU veröffentlicht und tritt am dritten Tag nach der Veröffentlichung in Kraft. Die Hochrisiko-Pflichten werden dadurch später anwendbar:

2. Dezember 2027	eigenständige Hochrisiko-Anwendungen nach Anhang III, u. a. in Beschäftigung, Bildung, kritischer Infrastruktur, Migration und Biometrie.
2. August 2028	Hochrisiko-KI als Bestandteil bestimmter regulierter Produkte und Maschinen (Anhang I).

Der Omnibus bringt weitere Änderungen: Für Kennzeichnungspflichten nach Artikel 50 Absatz 2 (Wasserzeichen bei KI-erzeugten Inhalten) gilt für bereits im Markt befindliche Systeme eine Übergangsfrist bis zum 2. Dezember 2026. In Artikel 5 wurde ein neues Verbot für KI-Systeme aufgenommen, die nicht einvernehmliche intime Darstellungen oder Darstellungen sexuellen Kindesmissbrauchs erzeugen. Zudem wurden für kleinere Unternehmen und sogenannte Small Mid-Caps zusätzliche Erleichterungen vorgesehen.

Der zeitliche Aufschub ist kein Grund, die Vorbereitung zu vertagen. Die aufwendigste Arbeit – jede KI-Anwendung zu finden, einzuordnen und aktuell zu halten – wird durch spätere Fristen nicht leichter.

06Fristen und aktueller Stand des EU AI Act

Nationale Aufsicht und Sanktionen

Nationale Umsetzung in Deutschland

Der Deutsche Bundestag verabschiedete das nationale Durchführungsgesetz – das KI-Marktüberwachungs- und Innovationsförderungsgesetz (KI-MIG) – am 11. Juni 2026. Der Bundesrat ließ es am 10. Juli 2026 passieren; ein Antrag auf Anrufung des Vermittlungsausschusses fand keine Mehrheit. Damit kann das Gesetz ausgefertigt und verkündet werden und tritt am Tag nach der Verkündung in Kraft. Zum Redaktionsstand dieses E-Books am 14. Juli 2026 stand die Verkündung unmittelbar bevor.

Zentrale Rolle in der deutschen Marktüberwachung übernimmt die Bundesnetzagentur, soweit keine sektorspezifische Behörde zuständig ist. Bei ihr entsteht ein Koordinierungs- und Kompetenzzentrum für die KI-Verordnung (KoKIVO) als Anlaufstelle für Unternehmen. Vorgesehen sind außerdem KI-Reallabore, in denen neue Anwendungen unter Aufsicht getestet werden können – ausdrücklich auch mit Blick auf kleine und mittlere Unternehmen.

Sanktionen bei Verstößen

Verbotene KI-Praktiken	bis zu 35 Mio. Euro oder 7 % des weltweiten Jahresumsatzes
Verstoß gegen sonstige Betreiber- oder Anbieterpflichten	bis zu 15 Mio. Euro oder 3 % des weltweiten Jahresumsatzes
Falsche Angaben gegenüber Behörden	bis zu 7,5 Mio. Euro oder 1 % des weltweiten Jahresumsatzes

Für kleine und mittlere Unternehmen sowie Start-ups gilt jeweils der niedrigere der beiden Beträge. Maßgeblich bleibt die konkrete gesetzliche Ausgestaltung.

Management-Empfehlung

Warten Sie nicht auf die letzte Auslegung jeder Detailvorschrift. Ein KI-Verzeichnis, ein Freigabeprozess, dokumentierte Schulungen und definierte Kontrollpunkte sind unabhängig von einzelnen Fristverschiebungen sinnvoll und sofort umsetzbar.

07Die Risikologik des EU AI Act

Vier Kategorien, ein Grundprinzip

Der EU AI Act ordnet KI-Systeme nach ihrem Risiko. Je größer die möglichen Auswirkungen auf Menschen, desto strenger die Anforderungen.

Verboten

Verbotene Praktiken

Bestimmte Anwendungen dürfen grundsätzlich nicht eingesetzt werden – etwa ausgewählte Formen manipulativer KI, Social Scoring sowie bestimmte biometrische und emotionsbezogene Anwendungen. Für Unternehmen besonders relevant ist das grundsätzliche Verbot der Emotionserkennung am Arbeitsplatz, soweit keine eng begrenzte Ausnahme greift. Diese Verbote gelten seit dem 2. Februar 2025; der Digital Omnibus hat sie um ein Verbot missbräuchlicher Bildgenerierung ergänzt.

Hochrisiko

Hochrisiko-KI

Hochrisiko-Anwendungen finden sich beispielsweise in der Personalauswahl und Bewerberbewertung, bei Entscheidungen über Beschäftigungsverhältnisse, in der Leistungs- und Verhaltensbewertung, beim Zugang zu wesentlichen Leistungen, in der Bonitäts- und Kreditwürdigkeitsprüfung, in kritischer Infrastruktur, in Bildung und beruflicher Qualifikation sowie in sicherheitsrelevanten Produktfunktionen.

Betreiber müssen unter anderem eine sachgerechte Nutzung, eine kompetente menschliche Aufsicht, Monitoring, Protokollierung und die Meldung bestimmter Risiken und Vorfälle sicherstellen.

07Die Risikologik des EU AI Act

Transparenzpflichten und geringes Risiko

Transparenz

KI mit Transparenzpflichten

Hierzu zählen Systeme, die unmittelbar mit Menschen interagieren, KI-generierte oder manipulierte Bild-, Audio- und Videoinhalte, Deepfakes sowie bestimmte KI-generierte Texte zu Angelegenheiten von öffentlichem Interesse.

Nicht jeder mit KI erstellte Geschäftstext muss pauschal als KI-generiert gekennzeichnet werden. Artikel 50 enthält spezifische Voraussetzungen; die Pflicht ist am konkreten Einsatzfall zu prüfen. Für Wasserzeichen bei bereits verfügbaren Systemen gilt eine Übergangsfrist bis zum 2. Dezember 2026.

Gering

Geringes oder minimales Risiko

Hierzu gehören viele interne Assistenzanwendungen: Übersetzung, Zusammenfassung interner Dokumente, Formulierungshilfen, Wissenssuche, Protokollentwürfe und Unterstützung bei Standardkorrespondenz.

Auch diese Anwendungen bleiben an Datenschutz, Vertraulichkeit, Urheberrecht, Informationssicherheit und vertragliche Pflichten gebunden. Die geringe regulatorische Einstufung betrifft die KI-Verordnung, nicht das übrige Recht.

Merksatz

Die Risikoklasse bestimmt den Pflichtenumfang nach dem AI Act – nicht aber, ob eine Anwendung im Übrigen zulässig, sicher und geeignet ist. Beides muss getrennt betrachtet werden.

08Das Governance-Zielbild für KMU

Sieben Bausteine statt eines neuen Verwaltungsapparats

Ein KMU benötigt in der Regel weder ein eigenes AI Office noch mehrere neue Vollzeitstellen. Erforderlich ist ein verbindliches Zusammenspiel bestehender Funktionen.

1 · KI-Verzeichnis

Übersicht aller eingesetzten, geplanten, getesteten oder geduldeten Anwendungen.

2 · Risikoklassifizierung

Einheitliche Bewertung nach Bedeutung, Betroffenenrisiko, Daten, Automatisierung und Recht.

3 · Rollenmodell

Klare Zuordnung von Fach-, IT-, Datenschutz-, Sicherheits- und Freigabeverantwortung.

4 · KI-Richtlinie

Verbindliche Regeln für Mitarbeiter, Führungskräfte, Administratoren und Dienstleister.

5 · Freigabeprozess

Abgestuft für Standardanwendungen, erhöhtes Risiko und potenzielle Hochrisiko-Systeme.

6 · Schulung

Rollenbezogene Vermittlung von Chancen, Grenzen, erlaubter Nutzung und Kontrollen.

7 · Betrieb und Kontrolle

Monitoring, Qualitätsprüfungen, Vorfallmanagement, regelmäßige Neubewertung und geordnete Stilllegung.

Das Minimalprinzip

Für jede KI-Anwendung müssen mindestens vier Dinge bekannt sein: Wofür wird sie eingesetzt? Wer ist verantwortlich? Welche Daten verarbeitet sie? Und wer kontrolliert ihre Ergebnisse?

09Rollen und Verantwortlichkeiten

Wer welche Verantwortung trägt

Die Geschäftsführung

Sie legt die grundsätzliche Risikobereitschaft fest, verabschiedet die KI-Richtlinie, benennt einen KI-Verantwortlichen, stellt angemessene Ressourcen bereit, entscheidet über besonders kritische Anwendungen und erhält regelmäßige Berichte zu Risiken, Vorfällen und Nutzen. Sie muss nicht jede Anwendung selbst prüfen, aber dafür sorgen, dass ein angemessenes System existiert.

Der KI-Verantwortliche oder KI-Koordinator

Diese Rolle kann je nach Unternehmensgröße bei IT, Digitalisierung, Organisation, Compliance oder einem fachlich geeigneten Projektleiter angesiedelt sein. Zu den Aufgaben gehören die Pflege des KI-Verzeichnisses, die Koordination von Risikobewertungen, die Vorbereitung von Freigaben, die Organisation von Schulungen, die Überwachung offener Maßnahmen, die Berichterstattung an die Geschäftsführung und die Koordination von Vorfällen.

Der Fachbereich

Der Fachbereich bleibt Eigentümer des Geschäftsprozesses. Er verantwortet Ziel und Nutzen des Einsatzes, die fachlichen Anforderungen, die Qualitätskriterien, die Eignung der verwendeten Daten, die Definition menschlicher Kontrollen und die Bewertung der Ergebnisse im laufenden Betrieb.

Die IT

Die IT prüft insbesondere Architektur und Integration, Identitäts- und Berechtigungsmanagement, Datenflüsse, Protokollierung, Schnittstellen, Mandantentrennung, Änderungsmanagement, die technische Betriebsfähigkeit sowie Exit- und Migrationsmöglichkeiten.

Eine Anwendung sollte nie ausschließlich vom Anbieter oder von der IT bewertet werden. Die fachliche Verantwortung bleibt bei dem Bereich, dessen Prozess durch die KI unterstützt oder verändert wird.

09Rollen und Verantwortlichkeiten

Datenschutz, Sicherheit und Mitbestimmung

Datenschutz

Der Datenschutzbeauftragte berät unter anderem zu personenbezogenen Daten, Rechtsgrundlagen, Informationspflichten, Auftragsverarbeitung, Drittlandtransfers, Lösch- und Aufbewahrungskonzepten, Betroffenenrechten und Datenschutz-Folgenabschätzungen.

Informationssicherheit

Die Informationssicherheit bewertet den Schutzbedarf, Anbieter- und Cloud-Risiken, den Zugriffsschutz, die Protokollierung, den möglichen Datenabfluss, Prompt Injection, die Manipulation von Wissensquellen, technische Notfallmaßnahmen und Sicherheitsvorfälle.

Betriebsrat

Soweit ein Betriebsrat besteht, sollte frühzeitig geprüft werden, ob Informations-, Beratungs- oder Mitbestimmungsrechte betroffen sind. Das gilt besonders bei Leistungs- oder Verhaltenskontrolle, bei Personalentscheidungen und bei Änderungen von Arbeitsabläufen. Das Betriebsrätemodernisierungsgesetz hat die Einbindung des Betriebsrats beim Einsatz von KI ausdrücklich gestärkt.

Zusammenspiel statt Silo

Kein Bereich entscheidet allein. Fachbereich, IT, Datenschutz und Informationssicherheit bewerten dieselbe Anwendung aus ihrer Perspektive – die Geschäftsführung sorgt dafür, dass ihre Beiträge zusammengeführt und Konflikte entschieden werden.

09Rollen und Verantwortlichkeiten

Eine schlanke RACI-Matrix

Die Matrix zeigt beispielhaft, wie sich Verantwortung verteilen lässt. Sie ist ein Vorschlag, den jedes Unternehmen an seine Struktur anpasst.

Aufgabe	Geschäftsführung	KI-Koord.	Fachbereich	IT	Datenschutz	Infosicherheit
KI-Grundsätze verabschieden	A	R	C	C	C	C
Anwendung beantragen	I	C	R	C	C	C
Nutzen bewerten	I	C	A/R	C	I	I
Risikoeinstufung koordinieren	I	A/R	C	C	C	C
Datenschutzprüfung	I	C	C	C	A/R	C
Sicherheitsprüfung	I	C	C	R	C	A
Fachliche Abnahme	I	C	A/R	C	I	I
Technische Freigabe	I	C	C	A/R	C	C
Kritische Anwendung freigeben	A/R	C	C	C	C	C
Betrieb überwachen	I	C	A/R	R	C	C
Vorfall koordinieren	I	A/R	C	R	C	C
Anwendung stilllegen	A	R	C	R	C	C

R – Responsible: führt die Aufgabe aus · A – Accountable: trägt die Ergebnisverantwortung · C – Consulted: wird einbezogen · I – Informed: wird informiert

Wichtige Regel

Für jede Aufgabe gibt es genau eine ergebnisverantwortliche Rolle (A). So bleibt auch bei geteilter Arbeit klar, wer am Ende entscheidet und geradesteht.

10Das KI-Verzeichnis

Ohne Inventar keine wirksame Governance

Viele Unternehmen beginnen mit einer KI-Richtlinie. In der Praxis ist ein KI-Verzeichnis meist der wichtigere erste Schritt: Man kann nur steuern, was man kennt.

Das Verzeichnis sollte nicht nur offiziell beschaffte Software enthalten. Gerade die weniger sichtbaren Anwendungen sind es, die im Alltag Risiken erzeugen.

Was erfasst werden sollte

integrierte KI-Funktionen bestehender Software
kostenlose Onlinedienste
browserbasierte KI-Anwendungen
KI-Funktionen in CRM-, ERP- oder Office-Systemen
selbst entwickelte Automatisierungen
Agenten und Workflows
lokale Sprachmodelle
Test- und Pilotanwendungen
durch Dienstleister betriebene KI

Der häufigste blinde Fleck

Nicht die groß eingeführte KI-Plattform ist das eigentliche Problem, sondern die vielen kleinen, still aktivierten KI-Funktionen in ohnehin genutzter Software – und private Zugänge, die niemand freigegeben hat.

10Das KI-Verzeichnis

Mindestfelder eines KI-Verzeichnisses

Diese Felder genügen, um eine Anwendung steuerbar zu machen. Sie lassen sich in einer Tabelle oder einem einfachen Tool führen.

Feld	Beispiel	Feld	Beispiel
Anwendung	KI-Assistent für Angebotsentwürfe	Automatisierungsgrad	Vorschlag, keine Versendung
Anbieter	Name des Softwareanbieters	Menschliche Kontrolle	Prüfung durch Sachbearbeiter
Fachbereich	Vertrieb	Externe Wirkung	Ja
Verantwortlicher	Vertriebsleiter	AI-Act-Einstufung	vorläufig geringes Risiko
Zweck	erster Angebotstext	Datenschutzprüfung	erforderlich
Nutzergruppe	Innendienst	Sicherheitsprüfung	abgeschlossen
Betroffene Personen	Kunden, Interessenten	Freigabestatus	freigegeben mit Auflagen
Datenarten	Kontakt, Leistungsbeschreibung	Freigabedatum	Datum
Personenbezug	ja	Nächste Überprüfung	Datum
Vertrauliche Daten	teilweise	Vertragsende	Datum
		Stilllegungsplan	Export und Löschung

Der Umfang je Feld darf schlank bleiben. Entscheidend ist, dass die Angaben aktuell gehalten werden – ein veraltetes Verzeichnis erzeugt trügerische Sicherheit.

10Das KI-Verzeichnis

Checkliste zur Bestandsaufnahme

Mit diesen Fragen findet ein Unternehmen die Anwendungen, die in keiner offiziellen Liste stehen.

Sind KI-Funktionen in vorhandenen Softwarelizenzen aktiviert?
Verwenden Mitarbeiter private KI-Konten für berufliche Aufgaben?
Gibt es selbst gebaute Automatisierungen mit Sprachmodellen?
Setzen Agenturen oder Dienstleister KI für das Unternehmen ein?
Werden Kundendaten an KI-Dienste übertragen?
Werden KI-Ergebnisse automatisch veröffentlicht oder versendet?
Greift KI auf interne Dokumente oder Wissensdatenbanken zu?
Werden Beschäftigte, Bewerber oder Kunden bewertet?
Gibt es lokale oder eingebettete Modelle?
Sind Testsysteme nach Abschluss eines Piloten wieder abgeschaltet worden?

Praxis-Tipp

Eine kurze, offen gestellte Abfrage in allen Fachbereichen bringt meist mehr zutage als eine reine IT-Auswertung. Wer ohne Schuldzuweisung fragt, erhält ehrlichere Antworten – und ein vollständigeres Bild.

11Die interne Risikobewertung

Regulatorische und betriebliche Bewertung trennen

Die rechtliche Einstufung nach dem EU AI Act ist notwendig, für eine betriebliche Entscheidung aber nicht ausreichend. Ein Unternehmen sollte zusätzlich mögliche finanzielle Schäden, Auswirkungen auf Kunden, Reputationsrisiken, die Prozessabhängigkeit, Datenrisiken, technische Angriffsflächen, die Erkennbarkeit von Fehlern und die Rückholbarkeit falscher Ergebnisse bewerten.

Stufe A

Standardanwendung

Interne Unterstützung, keine sensiblen Daten, keine Personenbewertung, keine automatische Entscheidung, leicht überprüfbare Ergebnisse, geringe Auswirkungen bei Fehlern.

Beispiele: Übersetzung eines internen Textes · Strukturierung von Besprechungsnotizen · erster E-Mail-Entwurf · Ideensammlung für eine Präsentation

Stufe B

Kontrollierte Anwendung

Verarbeitung interner oder personenbezogener Daten, externe Kommunikation, operative Prozessunterstützung, Anbindung an Unternehmenssysteme, begrenzte automatische Aktionen; Fehler können Kunden oder Prozesse beeinträchtigen.

Beispiele: KI-Anrufbeantworter · UnternehmensGPT mit internem Wissen · automatische Klassifizierung von Serviceanfragen · Angebotserstellung aus CRM-Daten · Zusammenfassung von Vertragsunterlagen

11Die interne Risikobewertung

Kritische Anwendungen erkennen

Stufe C

Kritische Anwendung

Entscheidung oder Empfehlung mit erheblicher Wirkung, Bewertung natürlicher Personen, sicherheitsrelevante Prozesse, sensible personenbezogene Daten, hohe Automatisierung, schwer erkennbare oder nicht reversible Fehler, potenzielle Hochrisiko-Einstufung.

Beispiele: Bewerbervorauswahl · Leistungsbewertung von Mitarbeitern · Kreditwürdigkeitsprüfung · medizinische Empfehlung · sicherheitskritische Maschinensteuerung · automatische Ablehnung von Leistungen

Die Zuordnung zu einer Stufe entscheidet über die Tiefe von Prüfung, Kontrolle und Dokumentation. Standardanwendungen dürfen schlank behandelt werden. Kontrollierte Anwendungen erfordern eine dokumentierte Prüfung. Kritische Anwendungen gehören in ein Verfahren mit rechtlicher Einzelfallbewertung und Geschäftsführungsfreigabe.

Zweck der Stufen

Die drei Stufen verhindern beide typischen Fehler: den überzogenen Prüfaufwand bei harmlosen Werkzeugen und die zu leichtfertige Einführung von Systemen mit erheblicher Wirkung auf Menschen.

Zur Unterstützung dient die Bewertungsmatrix auf der folgenden Seite. Sie ist ein internes Steuerungsinstrument und ersetzt keine rechtliche Klassifizierung nach dem EU AI Act.

12Bewertungsmatrix für KI-Anwendungsfälle

Schnell einschätzen, wo eine Anwendung steht

Bewerten Sie jede Frage mit 0 (kaum relevant), 1 (teilweise) oder 2 (deutlich relevant) und bilden Sie die Summe.

Prüffrage	0	1	2
Verarbeitet die Anwendung personenbezogene Daten?	nein	begrenzt	umfangreich
Beeinflusst sie Entscheidungen über Personen?	nein	unterstützend	maßgeblich
Erzeugt sie Inhalte für Kunden oder Öffentlichkeit?	nein	nach Prüfung	automatisch
Kann ein Fehler finanzielle Schäden auslösen?	gering	mittel	hoch
Kann ein Fehler Gesundheit oder Sicherheit betreffen?	nein	indirekt	direkt
Nutzt die Anwendung vertrauliche Informationen?	nein	begrenzt	regelmäßig
Führt sie selbstständig Aktionen aus?	nein	nach Freigabe	automatisch
Ist das Ergebnis fachlich schwer überprüfbar?	leicht	teilweise	schwer
Ist ein Fehler nachträglich korrigierbar?	problemlos	mit Aufwand	kaum
Ist ein externer Anbieter technisch stark eingebunden?	gering	mittel	kritisch
Werden Beschäftigte oder Bewerber betroffen?	nein	indirekt	direkt
Könnte die Anwendung als Hochrisiko-KI gelten?	nein	unklar	wahrscheinlich

0–7 Punkte

Standardprozess

8–15 Punkte

vertiefte Prüfung

16–24 Punkte

kritisch: Einzelfall & GF-Freigabe

13Der Freigabeprozess

Nicht jede Anwendung gehört in ein Gremium

Ein überladener Prozess führt dazu, dass Fachbereiche Governance umgehen. Deshalb ist das Verfahren risikobasiert abgestuft.

Stufe 1

Vereinfachte Freigabe · Standardanwendungen

Eintrag im KI-Verzeichnis · bestätigter Geschäftszweck · zugelassener Anbieter · keine sensiblen Eingaben · dokumentierte Nutzerregeln · einfache fachliche Kontrolle · Verantwortlicher im Fachbereich.

Stufe 2

Fachprüfung · kontrollierte Anwendungen

Zusätzlich: dokumentierte Risikobewertung · Datenschutzprüfung · Sicherheitsprüfung · Anbieter- und Vertragsprüfung · Testfälle und Abnahmekriterien · definiertes Kontrollkonzept · zeitlich begrenzter Pilot · Betriebs- und Supportkonzept.

Stufe 3

Kritische Freigabe · kritische oder Hochrisiko-Anwendungen

Zusätzlich: rechtliche Einzelfallbewertung · Prüfung der AI-Act-Klassifizierung · ggf. Datenschutz-Folgenabschätzung · Folgen- oder Auswirkungsanalyse · Beteiligung des Betriebsrats · formale Geschäftsführungsfreigabe · unabhängige Qualitätsprüfung · umfangreiche Protokollierung · Notfall- und Abschaltverfahren.

Die Stufe ergibt sich aus der Risikobewertung. Im Zweifel wird zunächst höher eingestuft und nach der Prüfung gegebenenfalls zurückgestuft.

13Der Freigabeprozess

Der empfohlene Ablauf

Zehn Schritte führen von der Idee zum überwachten Regelbetrieb – unabhängig von der späteren Stufe.

Anwendungsfall beschreiben
Nutzen und Prozessziel bestätigen
Anwendung im KI-Verzeichnis anlegen
Vorläufige Risikostufe bestimmen
Fachliche, technische und rechtliche Prüfungen durchführen
Pilot mit begrenztem Nutzerkreis starten
Ergebnisse anhand definierter Kriterien bewerten
Freigabe, Freigabe mit Auflagen oder Ablehnung dokumentieren
Regelbetrieb überwachen
Anwendung regelmäßig neu bewerten

Warum der Pilot zählt

Der begrenzte Pilot ist der wirksamste Kontrollpunkt: Er zeigt an echten Fällen, ob Qualität, Kontrolle und Nutzen zusammenpassen – bevor eine Anwendung breit ausgerollt wird und Fehler sich vervielfachen.

14Beschaffung und Anbieterprüfung

KI kommt oft über bestehende Software ins Haus

KI-Funktionen erscheinen zunehmend als Bestandteil vorhandener Lösungen. Ein klassisches Beschaffungsprojekt findet nicht immer statt. Die Anbieterprüfung sollte deshalb auch greifen, wenn eine neue KI-Funktion aktiviert, ein bestehender Vertrag erweitert, ein kostenloser Test begonnen, eine SaaS-Lösung genutzt oder KI von einem Dienstleister eingesetzt wird.

Daten und Vertraulichkeit

Werden Eingaben für das Training eigener oder fremder Modelle verwendet?
Kann die Trainingsnutzung vertraglich ausgeschlossen werden?
Wo werden Daten verarbeitet und gespeichert, welche Unterauftragnehmer sind beteiligt?
Welche Löschfristen gelten, und können Daten vollständig exportiert und gelöscht werden?
Wie wird die Trennung zwischen Kundenmandanten sichergestellt?

Sicherheit

Welche Zertifizierungen oder Prüfberichte liegen vor?
Unterstützt die Lösung Single Sign-on und Mehrfaktor-Authentisierung?
Können Rollen und Berechtigungen differenziert vergeben werden?
Welche Aktivitäten werden protokolliert?
Wie behandelt der Anbieter Prompt Injection und Datenmanipulation?
Wie werden Schwachstellen und Sicherheitsvorfälle gemeldet, gibt es ein Notfallverfahren?

14Beschaffung und Anbieterprüfung

Modell, Qualität, Recht

Modell und Qualität

Welches Modell wird verwendet, und kann es ohne Zustimmung ausgetauscht werden?
Wie werden Modelländerungen angekündigt?
Welche bekannten Grenzen bestehen?
Welche Qualitätskennzahlen stehen zur Verfügung?
Können Quellen oder Entscheidungsgrundlagen angezeigt werden?
Wie werden Fehler und Beschwerden bearbeitet?

Recht und Governance

Welche Rolle nimmt der Anbieter nach dem EU AI Act ein?
Welche Informationen stellt er für die Risikobewertung bereit?
Welche Pflichten übernimmt er vertraglich, unterstützt er Transparenz- und Dokumentationspflichten?
Gibt es Regelungen zu Haftung und Freistellung?
Wie kann der Vertrag bei regulatorischen Änderungen angepasst werden?

Entscheidungsregel

Ein technisch gutes System ist nicht automatisch ein geeigneter Anbieter. Fehlende Informationen über Datenverwendung, Modellwechsel, Protokollierung oder Unterauftragnehmer sind eigenständige Risiken – und ein legitimer Grund, eine Anwendung nicht freizugeben.

15Datenschutz und Informationssicherheit

Datenschutz beginnt vor dem Pilotbetrieb

Die zentrale Frage lautet nicht nur: „Enthält die Eingabe personenbezogene Daten?“ Zu prüfen sind auch die Daten in verbundenen Systemen, hochgeladene Dokumente, Chatverläufe, Protokolldaten, Nutzungsstatistiken, Wissensdatenbanken, die erzeugten Ausgaben, Daten über betroffene Personen sowie mögliche Rückschlüsse aus scheinbar anonymen Informationen.

Datenschutz-Check

Ist der Zweck konkret beschrieben?
Gibt es eine geeignete Rechtsgrundlage?
Werden nur erforderliche Daten verarbeitet?
Können Daten anonymisiert oder pseudonymisiert werden?
Ist ein Vertrag zur Auftragsverarbeitung erforderlich?
Gibt es Übermittlungen in Drittländer?
Sind Informationspflichten anzupassen?
Sind Auskunft, Berichtigung und Löschung umsetzbar?
Ist eine Datenschutz-Folgenabschätzung erforderlich?
Können unzulässige automatisierte Entscheidungen entstehen?
Sind Speicher- und Löschfristen definiert?

Die Datenschutzkonferenz hat für KI-Systeme und RAG-Architekturen eigene technische und organisatorische Orientierungshilfen veröffentlicht – unter anderem zu Datenherkunft, Zugriffsschutz und dem Schutz der Wissensbasis vor Manipulation.

15Datenschutz und Informationssicherheit

Informationssicherheits-Check

KI erweitert die Angriffsfläche eines Unternehmens. Diese Fragen decken die wichtigsten technischen Risiken ab.

Ist der Schutzbedarf der Daten bestimmt?
Werden vertrauliche Inhalte für Modelltraining genutzt?
Sind Benutzerkonten personenbezogen?
Ist Mehrfaktor-Authentisierung aktiviert?
Gilt das Prinzip der minimalen Berechtigung?
Werden administrative Änderungen protokolliert?
Sind Schnittstellen und API-Schlüssel geschützt?
Können Prompts oder Dokumente Schadbefehle enthalten?
Sind Wissensquellen gegen Manipulation geschützt?
Gibt es Ausgabefilter und Inhaltskontrollen?
Kann das System bei einem Vorfall sofort deaktiviert werden?
Existiert eine sichere Rückfalllösung?

Neue Angriffswege ernst nehmen

Prompt Injection und die Manipulation von Wissensbeständen sind keine theoretischen Risiken. Wo KI auf interne Dokumente zugreift oder selbstständig handelt, müssen Eingaben und Quellen genauso abgesichert werden wie klassische Systemschnittstellen.

16Menschliche Kontrolle und Qualitätsmanagement

„Human in the Loop“ ist noch kein Kontrollverfahren

In vielen Konzepten wird lediglich festgehalten, dass ein Mensch beteiligt bleibt. Das ist zu unbestimmt. Eine wirksame menschliche Kontrolle braucht ausreichend Fachwissen, Zeit für die Prüfung, Zugriff auf Ausgangsdaten und Quellen, Entscheidungsbefugnis, die Möglichkeit, Ergebnisse zu verwerfen, klare Eskalationsregeln und Schutz vor blindem Automatisierungsvertrauen.

Fünf Fragen für jeden Kontrollpunkt

Wer kontrolliert?

Welche Rolle und welche Qualifikation sind erforderlich?

Was wird kontrolliert?

Vollständigkeit, Plausibilität, Rechtskonformität, Zahlen, Quellen oder Tonalität?

Wann wird kontrolliert?

Jede Ausgabe, Stichprobe, Grenzfall oder nur bei Warnhinweisen?

Wie wird kontrolliert?

Vier-Augen-Prinzip, Abgleich mit Quelldokumenten, Testregeln oder Freigabemaske?

Was passiert bei Abweichungen?

Korrektur, Sperrung, Eskalation, Nachschulung oder Abschaltung?

16Menschliche Kontrolle und Qualitätsmanagement

Qualitätskennzahlen nach Anwendungsfall

Was gemessen wird, hängt vom Einsatz ab. Wenige, passende Kennzahlen sind wirksamer als eine lange, ungenutzte Liste.

Anwendungsfall	Kennzahlen (Auswahl)
Kundenkommunikation	fachlich falsche Antworten · nicht beantwortete Anliegen · Beschwerden · notwendige Korrekturen · Weiterleitungsquote · unzulässige Zusagen
Dokumentenverarbeitung	Extraktionsgenauigkeit · übersehene Pflichtangaben · falsche Zuordnung · Bearbeitungszeit · manueller Korrekturaufwand
Unternehmenswissen	Quellenabdeckung · Aktualität der Quellen · Antworten ohne Beleg · Zugriffsverletzungen · Nutzerfeedback · Antwortabbruch bei fehlender Evidenz
Prozessautomatisierung	fehlerhaft ausgeführte Aktionen · abgebrochene Workflows · manuelle Rücknahmen · nicht autorisierte Systemzugriffe · technische Ausfallzeiten

Freigaberegel

KI sollte keine Entscheidung endgültig treffen, wenn erhebliche Rechte betroffen sind, ein Fehler schwer rückholbar ist, die fachliche Qualität nicht zuverlässig messbar ist oder keine ausreichend qualifizierte Kontrollperson verfügbar ist.

17Transparenz und Dokumentation

Transparenz muss zum Einsatzfall passen

Ein Kunde muss nicht bei jedem intern verwendeten Textbaustein erfahren, dass KI beteiligt war. Besonders relevant wird Transparenz jedoch, wenn:

ein Kunde direkt mit einem KI-System kommuniziert
der Eindruck eines menschlichen Kontakts entstehen kann
Bilder, Audio- oder Videoinhalte manipuliert wurden oder Deepfakes entstehen
KI-Texte zu Themen von öffentlichem Interesse veröffentlicht werden
KI wesentliche Entscheidungen vorbereitet und Betroffene eine Erklärung benötigen

Artikel 50 des EU AI Act enthält spezifische Transparenzpflichten, die ab dem 2. August 2026 anwendbar sind. Der von der Europäischen Kommission koordinierte Verhaltenskodex soll Anbieter und Betreiber bei Kennzeichnung und technischer Markierung unterstützen.

Beispiel für einen KI-Hinweis im Kundenkontakt

„Sie kommunizieren zunächst mit einem KI-gestützten Assistenzsystem. Es nimmt Ihr Anliegen auf und unterstützt bei der Zuordnung. Bei komplexen, vertraulichen oder entscheidungsrelevanten Fragen übernimmt ein Mitarbeiter.“

17Transparenz und Dokumentation

Dokumentation nach Augenmaß

Für jede freigegebene Anwendung sollten mindestens die folgenden Angaben vorliegen.

Zweckbeschreibung
verantwortlicher Fachbereich
technischer Betreiber
verwendeter Anbieter
Datenkategorien
Risikoeinstufung
Freigabeentscheidung und Auflagen
Kontrollverfahren
Schulungsanforderungen
Qualitätskennzahlen
Prüfdatum
bekannte Einschränkungen
Vorfälle und Änderungen
Stilllegungsentscheidung

Für eine interne Formulierungshilfe reichen wenige Seiten. Für eine KI-Anwendung im Personalbereich können dagegen umfangreiche Unterlagen erforderlich sein. Der Umfang sollte sich nicht an der Bekanntheit des Anbieters orientieren, sondern am Risiko des konkreten Einsatzes.

Gute Dokumentation ist kein Selbstzweck. Sie ist die Grundlage dafür, im Ernstfall schnell zu verstehen, was ein System tut, wer verantwortlich ist und wie es sich anhalten lässt.

18KI-Kompetenz und Nutzungsrichtlinie

KI-Kompetenz ist seit Februar 2025 Pflicht

Artikel 4 des EU AI Act verlangt von Anbietern und Betreibern Maßnahmen, um bei Mitarbeitern und weiteren eingesetzten Personen ein ausreichendes Maß an KI-Kompetenz sicherzustellen. Zu berücksichtigen sind technische Kenntnisse, Erfahrung, Ausbildung, die konkrete Rolle, der Einsatzkontext und mögliche Auswirkungen auf betroffene Personen. Ein einheitlicher Test ist nicht vorgeschrieben – die bloße Weiterleitung einer Bedienungsanleitung genügt aber nicht.

Drei Schulungsstufen

Basis

Alle Nutzer

Funktionsweise und Grenzen generativer KI · typische Fehler und Halluzinationen · erlaubte und verbotene Eingaben · Schutz vertraulicher Informationen · personenbezogene Daten · fachliche Prüfung · Kennzeichnung und Transparenz · Meldung von Fehlern und Vorfällen.

Vertiefung

Fachverantwortliche

Zusätzlich: Risikoeinstufung · Definition von Qualitätskriterien · Kontrollverfahren · Auswahl geeigneter Anwendungsfälle · Umgang mit Beschwerden · Dokumentation von Freigaben.

Technik

IT und Administratoren

Zusätzlich: Berechtigungen · Protokollierung · Schnittstellen · RAG-Architekturen · Prompt Injection · Datenabfluss · Modell- und Anbieterwechsel · technisches Monitoring · Notabschaltung.

18KI-Kompetenz und Nutzungsrichtlinie

Mindestinhalte einer KI-Richtlinie

Die Richtlinie muss keine juristische Abhandlung sein. Sie sollte aber die folgenden Fragen eindeutig beantworten.

Welche KI-Werkzeuge sind freigegeben?
Welche Werkzeuge sind verboten?
Welche Daten dürfen eingegeben werden?
Welche Daten dürfen niemals eingegeben werden?
Wann müssen Ergebnisse geprüft werden?
Wer darf Ergebnisse veröffentlichen oder versenden?
Welche Entscheidungen dürfen nicht automatisiert werden?
Wie werden KI-generierte Inhalte gekennzeichnet?
Wie werden neue Anwendungen beantragt?
Wie werden Fehler und Vorfälle gemeldet?
Welche Folgen haben vorsätzliche Verstöße?

Empfehlenswerte Grundregel

Unternehmens-, Kunden- oder Personaldaten dürfen nur in ausdrücklich freigegebenen KI-Systemen verarbeitet werden. Dieser eine Satz verhindert einen großen Teil der typischen Schatten-KI-Risiken.

19Monitoring, Fehler und Vorfälle

KI-Systeme verändern sich auch ohne internes Projekt

Die Qualität einer Anwendung kann sich durch Modellupdates, neue Systemprompts, Änderungen der Wissensbasis, neue Datenquellen, veränderte Schnittstellen, einen Anbieterwechsel, angepasste Sicherheitsfilter, neue Nutzergruppen oder veränderte Geschäftsprozesse wandeln. Governance endet deshalb nicht mit der Freigabe.

Regelmäßiges Monitoring

Nutzungshäufigkeit
Fehlerquote
Beschwerden
manuelle Korrekturen
abgelehnte Ausgaben
Antwortzeiten
Kostenentwicklung
Datenzugriffe
Sicherheitswarnungen
Modelländerungen
offene Maßnahmen
tatsächlicher Geschäftsnutzen

Was ist ein KI-Vorfall?

Ein Vorfall kann vorliegen, wenn vertrauliche Daten offengelegt wurden, ein System diskriminierende Ergebnisse erzeugt, falsche Informationen an Kunden versendet wurden, unzulässige Entscheidungen automatisiert getroffen wurden, ein Agent nicht freigegebene Aktionen ausgeführt hat, die Wissensbasis manipuliert wurde, Berechtigungsgrenzen umgangen wurden, ein System wiederholt falsche Empfehlungen erzeugt oder Kennzeichnungspflichten nicht eingehalten wurden.

19Monitoring, Fehler und Vorfälle

Ein einfacher Vorfallprozess

Nutzung stoppen oder begrenzen
Verantwortlichen und IT informieren
Auswirkungen und betroffene Daten sichern
Protokolle und Eingaben aufbewahren
Datenschutz und Informationssicherheit einbinden
Meldepflichten prüfen
Ursache analysieren
Korrekturmaßnahmen umsetzen
Nutzer und Betroffene informieren, soweit erforderlich
Freigabe vor Wiederinbetriebnahme erneuern

Ein einfaches Vorfallformular

Datum und Uhrzeit · betroffene Anwendung · meldende Person · Beschreibung · betroffene Personen oder Prozesse · betroffene Daten · unmittelbare Maßnahmen · möglicher Schaden · Ursache · Korrekturmaßnahme · Entscheidung über Weiterbetrieb · verantwortlicher Entscheider · Abschlussdatum.

Der erste Schritt zählt

Der wirksamste Teil eines Vorfallprozesses ist die Fähigkeit, eine Anwendung schnell anzuhalten. Wer im Vorfeld festlegt, wer abschalten darf und wie, verliert im Ernstfall keine Zeit.

20Praxisbeispiele

Beispiel 1 · KI für Angebotsentwürfe im Handwerksbetrieb

Ausgangslage

Ein technischer Dienstleister möchte aus Kundenanfragen, Leistungsbeschreibungen und vorhandenen Textbausteinen schneller Angebotsentwürfe erstellen.

Risiko

Kunden- und Objektdaten werden verarbeitet.
Technische Leistungen könnten falsch beschrieben werden.
Preise oder Leistungszusagen könnten unkontrolliert verändert werden.
Vertrauliche Kalkulationsinformationen könnten an den Anbieter gelangen.

Governance-Lösung

Nutzung nur über einen freigegebenen Unternehmenszugang
keine automatische Versendung
Preise werden aus dem ERP übernommen, nicht vom Modell berechnet
fachliche Prüfung durch den zuständigen Kalkulator
verbindliche Angebotsvorlage und Protokollierung der verwendeten Dokumente
stichprobenartige Qualitätskontrolle und jährliche Anbieterprüfung

Ergebnis

Der Betrieb beschleunigt die Erstellung, ohne die Verantwortung für Kalkulation und Leistungszusage an das KI-System abzugeben.

20Praxisbeispiele

Beispiel 2 · UnternehmensGPT für interne Richtlinien

Ausgangslage

Ein mittelständisches Unternehmen möchte Mitarbeitern den Zugriff auf Prozessbeschreibungen, Arbeitsanweisungen und interne Regelwerke erleichtern.

Risiko

Veraltete Dokumente können zu falschen Antworten führen.
Mitarbeiter könnten Inhalte sehen, für die sie nicht berechtigt sind.
Das System könnte Antworten ohne ausreichende Quellenbasis erzeugen.
Vertrauliche Dokumente könnten an einen externen Modellanbieter übertragen werden.

Governance-Lösung

ausschließlich freigegebene Wissensquellen, je Quelle ein Dokumentverantwortlicher
Rollen- und Berechtigungskonzept, getrennte Wissensräume
Anzeige der verwendeten Quellen, Kennzeichnung des Dokumentstands
Antwortabbruch bei unzureichender Evidenz
regelmäßige Prüfung veralteter Inhalte
keine verbindliche Rechts- oder Personalentscheidung auf Basis der Antwort

Ergebnis

Das UnternehmensGPT wird nicht als allwissendes System positioniert, sondern als kontrollierter Zugang zu freigegebenem Unternehmenswissen.

20Praxisbeispiele

Beispiel 3 · KI in der Personalauswahl

Ausgangslage

Ein Unternehmen prüft eine Software, die Bewerbungen analysiert und Kandidaten priorisiert.

Risiko

unmittelbare Auswirkungen auf Bewerber und mögliche Benachteiligung
Verarbeitung umfangreicher personenbezogener Daten
schwer nachvollziehbare Bewertungslogik, mögliche Hochrisiko-Einstufung
Beteiligungsrechte des Betriebsrats

Governance-Entscheidung

Der Einsatz wird nicht als Standardsoftware behandelt. Erforderlich sind mindestens eine rechtliche Einzelfallprüfung, die AI-Act-Klassifizierung, eine Datenschutz-Folgenabschätzung, die Prüfung der Trainings- und Bewertungslogik, Bias- und Qualitätstests, die Einbindung des Betriebsrats, eine dokumentierte menschliche Entscheidung, Widerspruchs- und Korrekturmöglichkeiten, die regelmäßige Auswertung nach Bewerbergruppen sowie eine Geschäftsführungsfreigabe.

Ergebnis

Das Unternehmen entscheidet erst nach einer umfassenden Prüfung, ob der erwartete Nutzen den zusätzlichen Kontroll- und Dokumentationsaufwand rechtfertigt.

21Der 90-Tage-Umsetzungsplan

In drei Phasen zu einem tragfähigen Rahmen

Governance muss nicht in einem großen Wurf entstehen. Ein realistischer Einstieg gelingt in drei Phasen zu je 30 Tagen.

Tag 1–30

Transparenz schaffen

Maßnahmen: KI-Verantwortlichen benennen · Bestandsaufnahme in allen Fachbereichen · KI-Verzeichnis anlegen · vorläufige Risikostufen vergeben · offensichtliche Risiken sofort begrenzen · eine kurze vorläufige Grundregel kommunizieren.

Ergebnis: Das Unternehmen weiß erstmals belastbar, welche KI-Anwendungen tatsächlich im Einsatz sind.

Tag 31–60

Regeln und Prozesse festlegen

Maßnahmen: KI-Richtlinie verabschieden · Rollenmodell und RACI festlegen · abgestuften Freigabeprozess einführen · Risikobewertung standardisieren · Basisschulung starten · kritische Anwendungen vertieft prüfen.

Ergebnis: Neue Anwendungen durchlaufen ein nachvollziehbares Verfahren; Verantwortlichkeiten sind geklärt.

Tag 61–90

Betrieb absichern

Maßnahmen: Monitoring und Kennzahlen einführen · Vorfallprozess etablieren · Anbieter- und Vertragsprüfungen nachziehen · Dokumentation vervollständigen · erste Wirksamkeitsprüfung · Turnus für Neubewertungen festlegen.

Ergebnis: Governance ist vom Projekt zum laufenden Betrieb geworden und trägt sich selbst.

Die Reihenfolge ist bewusst gewählt: Erst Transparenz, dann Regeln, dann Betrieb. Wer mit der Richtlinie beginnt, bevor er den Bestand kennt, reguliert an der Wirklichkeit vorbei.

22Governance-Selbstcheck

Wo steht Ihr Unternehmen?

Bewerten Sie jede Aussage mit 0 (trifft nicht zu), 1 (teilweise umgesetzt) oder 2 (vollständig etabliert). Maximal erreichbar sind 30 Punkte.

Nr.	Aussage	0	1	2
1	Es existiert eine vollständige Übersicht aller eingesetzten KI-Anwendungen.
2	Ein KI-Verantwortlicher ist benannt.
3	Eine verbindliche KI-Richtlinie ist in Kraft.
4	Rollen und Verantwortlichkeiten sind dokumentiert.
5	Es gibt einen abgestuften Freigabeprozess.
6	Anwendungen werden nach Risiko klassifiziert.
7	Datenschutzprüfungen sind fester Bestandteil der Freigabe.
8	Informationssicherheit wird vor dem Einsatz geprüft.
9	Anbieter werden systematisch geprüft.
10	Menschliche Kontrollpunkte sind konkret beschrieben.
11	Mitarbeiter erhalten rollenbezogene KI-Schulungen.
12	Qualitätskennzahlen werden erfasst und ausgewertet.
13	Ein Vorfallprozess ist definiert und bekannt.
14	Die Nutzung wird laufend überwacht.
15	Die Dokumentation wird aktuell gehalten.

Der Selbstcheck ersetzt keine Prüfung im Einzelfall. Er zeigt aber schnell, wo die größten Lücken liegen und welche Bausteine zuerst gestärkt werden sollten.

22Governance-Selbstcheck

Auswertung

Zählen Sie Ihre Punkte zusammen und ordnen Sie das Ergebnis einer der vier Stufen zu.

0–10 Punkte

Einstieg erforderlich

Wesentliche Bausteine fehlen. Beginnen Sie mit Bestandsaufnahme, KI-Verzeichnis und einer vorläufigen Grundregel. Priorität hat, Transparenz über die tatsächliche Nutzung zu gewinnen.

11–20 Punkte

Grundstruktur vorhanden

Erste Elemente greifen, aber es bestehen Lücken bei Prozessen, Kontrolle oder Dokumentation. Schließen Sie gezielt die Bausteine, die noch mit 0 oder 1 bewertet sind.

21–26 Punkte

Gut aufgestellt

Die Governance trägt im Alltag. Konzentrieren Sie sich auf Wirksamkeit, regelmäßige Neubewertung und die konsequente Pflege von Verzeichnis und Kennzahlen.

27–30 Punkte

Ausgereift

Ihr Rahmen ist belastbar. Halten Sie ihn durch turnusmäßige Überprüfungen aktuell und passen Sie ihn an neue Anwendungen und regulatorische Änderungen an.

Hinweis zur Einordnung

Eine hohe Punktzahl ist kein Freibrief. Auch ein ausgereifter Rahmen muss gelebt und regelmäßig an neue KI-Anwendungen und Rechtsänderungen angepasst werden.

23Fazit

Governance verhindert nicht den Einsatz, sondern unkontrollierte Entscheidungen

Der Mittelstand steht nicht vor der Frage, ob KI genutzt wird – sie wird bereits genutzt. Die eigentliche Frage ist, ob dies bewusst und steuerbar geschieht oder unbemerkt und ungeordnet.

Gute KI-Governance ist kein Selbstzweck und keine Bürokratieübung. Sie ist die Voraussetzung dafür, KI wirtschaftlich, sicher und verantwortbar in die Breite zu bringen. Sie schützt das Unternehmen, seine Kunden und seine Mitarbeiter – und sie schafft die Sicherheit, die Innovation überhaupt erst dauerhaft trägt.

Ein tragfähiger Rahmen entsteht nicht aus einer hundertseitigen Richtlinie, sondern aus wenigen, konsequent gelebten Bausteinen. Wer die folgenden acht Fragen für jede KI-Anwendung beantworten kann, hat die Substanz von Governance bereits verstanden:

1

Wofür setzen wir diese KI ein?

2

Wer ist dafür verantwortlich?

3

Welche Daten darf sie verarbeiten?

4

Wer kontrolliert die Ergebnisse?

5

Wann muss ein Mensch entscheiden?

6

Wie erkennen wir Fehler rechtzeitig?

7

Wie reagieren wir auf Vorfälle?

8

Wie weisen wir all das nach?

Kernbotschaft

Nicht die KI trägt die Verantwortung, sondern das Unternehmen. Governance ist die Form, in der es diese Verantwortung sichtbar, überprüfbar und tragfähig macht.

24Ihr nächster Schritt mit KrambergAI

Das Governance-Basispaket

KrambergAI unterstützt kleine und mittlere Unternehmen dabei, einen praktikablen KI-Governance-Rahmen aufzubauen – schlank, verständlich und an die eigene Struktur angepasst. Datenschutz nach EU-DSGVO und Made in Germany sind dabei feste Grundlage, nicht Zusatz.

Sieben Ergebnisse, mit denen Sie sofort arbeiten können

KI-Bestandsaufnahme

strukturierte Erhebung der tatsächlich genutzten Anwendungen

KI-Verzeichnis

einsatzfertige Vorlage mit den passenden Mindestfeldern

Rollenmodell

klare Verantwortlichkeiten inklusive RACI-Zuordnung

KI-Richtlinie

verständliche, verbindliche Regeln für den Alltag

Freigabe- und Risikoverfahren

abgestufter Prozess mit Bewertungsmatrix

Schulungskonzept

rollenbezogene Vermittlung der nötigen KI-Kompetenz

Kontroll- und Vorfallverfahren

Monitoring, Qualitätskennzahlen und ein einfacher, sofort einsetzbarer Vorfallprozess

Nächster Schritt: Erstgespräch

In einem kurzen Erstgespräch ordnen wir gemeinsam ein, wo Ihr Unternehmen steht und welche Bausteine zuerst sinnvoll sind – ohne Verpflichtung und mit konkretem Ergebnis.

KrambergAI GmbH · krambergai.com

25Quellen und weiterführende Stellen

Europäischer Rahmen und Standards

Die folgenden Stellen bieten verlässliche, laufend aktualisierte Informationen. Verordnungs- und Fristenstände sollten vor rechtlich verbindlichen Entscheidungen an der jeweiligen Primärquelle geprüft werden.

Europäische Institutionen und Rechtsakte

Europäische Kommission – KI-Politik	https://digital-strategy.ec.europa.eu/
AI Act Service Desk	https://ai-act-service-desk.ec.europa.eu/
Verordnung (EU) 2024/1689 – EUR-Lex	https://eur-lex.europa.eu/
Eurostat – Statistik zur KI-Nutzung	https://ec.europa.eu/eurostat/

Normen und Standards

ISO/IEC 42001 – KI-Managementsystem	https://www.iso.org/
ISO/IEC 23894 – KI-Risikomanagement	https://www.iso.org/
NIST AI Risk Management Framework	https://www.nist.gov/

ISO/IEC 42001 und 23894 sowie das NIST AI RMF sind freiwillige Rahmenwerke. Sie ersetzen keine gesetzlichen Pflichten, helfen aber, Governance strukturiert und anschlussfähig aufzubauen.

25Quellen und weiterführende Stellen

Deutsche Institutionen und Behörden

Bundesregierung	https://www.bundesregierung.de/
Bundesministerium für Digitales und Staatsmodernisierung	https://bmds.bund.de/
Deutscher Bundestag	https://www.bundestag.de/
Bundesnetzagentur (Marktüberwachung, KoKIVO)	https://www.bundesnetzagentur.de/
Statistisches Bundesamt (Destatis)	https://www.destatis.de/
KfW Research	https://www.kfw.de/
Bitkom e. V.	https://www.bitkom.org/
Bundesamt für Sicherheit in der Informationstechnik (BSI)	https://www.bsi.bund.de/
Datenschutzkonferenz (DSK)	https://www.datenschutzkonferenz-online.de/

Hinweis zum Redaktionsstand

Dieses E-Book hat den Stand vom 14. Juli 2026. Der EU AI Act, der Digital Omnibus und die nationale Umsetzung (KI-MIG) entwickeln sich weiter. Einzelne Fristen, Zuständigkeiten und Detailregelungen können sich ändern. Für verbindliche Entscheidungen sind der jeweils aktuelle Rechtsstand und eine fachkundige Prüfung im Einzelfall maßgeblich.

Dieses Dokument dient der betrieblichen Orientierung und stellt keine Rechtsberatung dar. Es begründet keine anwaltliche oder steuerliche Beratung und ersetzt keine Prüfung des konkreten Einzelfalls.