Künstliche Intelligenz ist in kleinen und mittleren Unternehmen längst mehr als ein experimentelles Werkzeug. Mitarbeiter formulieren Texte, analysieren Dokumente, beantworten Kundenanfragen, durchsuchen Unternehmenswissen und automatisieren einzelne Arbeitsschritte.

Doch mit der Nutzung entstehen Fragen, die sich nicht allein durch die Auswahl einer guten Software beantworten lassen:

• Welche KI-Anwendungen dürfen im Unternehmen eingesetzt werden?
• Welche Daten dürfen Mitarbeiter eingeben?
• Wer entscheidet über neue Anwendungen?
• Wie müssen Ergebnisse geprüft werden?
• Wann ist eine menschliche Freigabe erforderlich?
• Welche Anforderungen ergeben sich aus dem EU AI Act?
• Wie werden Fehler, Beschwerden und Sicherheitsvorfälle behandelt?

Das kostenlose Whitepaper „KI-Governance für kleine und mittlere Unternehmen“ zeigt, wie Sie einen belastbaren Ordnungsrahmen schaffen, ohne eine neue Konzernbürokratie aufzubauen.

KI wird eingesetzt, bevor die internen Regeln stehen

Nach Angaben des Statistischen Bundesamts nutzten 2025 bereits 26 Prozent der deutschen Unternehmen ab zehn Beschäftigten KI-Technologien. Bei Unternehmen mit 10 bis 49 Beschäftigten lag der Anteil bei 23 Prozent, bei Unternehmen mit 50 bis 249 Beschäftigten bei 36 Prozent.

Die organisatorische Steuerung hält mit dieser Entwicklung häufig nicht Schritt. Eine Bitkom-Erhebung aus dem Jahr 2025 zeigt, dass nur 23 Prozent der befragten Unternehmen bereits feste Regeln für den Einsatz von KI-Werkzeugen aufgestellt hatten. Vier von zehn Unternehmen gingen zumindest davon aus, dass Mitarbeiter private KI-Werkzeuge beruflich verwenden.

Wenn verbindliche Vorgaben fehlen, entsteht selten ein KI-freier Betrieb. Stattdessen entwickeln sich parallele und nur schwer kontrollierbare Nutzungsformen:

• private Konten für geschäftliche Aufgaben,
• nicht freigegebene Onlinedienste,
• Übertragung vertraulicher Dokumente,
• selbst gebaute Automatisierungen,
• unkontrollierte KI-Funktionen bestehender Software,
• ungeprüfte Texte und Entscheidungen,
• fehlende Zuständigkeiten bei Fehlern.

Eine praktikable KI-Governance für KMU schafft deshalb keine Verbotskultur. Sie definiert einen verlässlichen Rahmen für den kontrollierten Einsatz.

Was KI-Governance im betrieblichen Alltag bedeutet

KI-Governance umfasst die Regeln, Rollen und Verfahren, mit denen ein Unternehmen den Einsatz künstlicher Intelligenz steuert.

Ein funktionierendes Governance-Modell beantwortet fünf grundlegende Fragen:

Wofür darf KI eingesetzt werden?

Das Unternehmen legt zulässige, eingeschränkt zulässige und unzulässige Einsatzfelder fest. Eine interne Formulierungshilfe benötigt andere Kontrollen als eine Anwendung, die Bewerber bewertet oder Kunden selbstständig verbindliche Auskünfte erteilt.

Wer trägt die Verantwortung?

Für jede Anwendung werden ein fachlicher Verantwortlicher, ein technischer Betreiber und die erforderlichen Prüffunktionen benannt. Die Verantwortung für den Geschäftsprozess verbleibt beim zuständigen Fachbereich.

Welche Daten dürfen verarbeitet werden?

Unternehmensdaten, personenbezogene Informationen, Kundendokumente und vertrauliches Wissen dürfen nur in dafür freigegebenen Systemen verarbeitet werden.

Wie werden Ergebnisse kontrolliert?

Das Unternehmen bestimmt, wer Ergebnisse prüft, welche Kriterien gelten und wann eine Ausgabe korrigiert, verworfen oder eskaliert werden muss.

Wie bleibt die Anwendung unter Kontrolle?

Qualität, Nutzung, Kosten, Berechtigungen, Modelländerungen und Vorfälle werden auch nach der Freigabe regelmäßig überwacht.

Der EU AI Act ist nur ein Teil der Governance

Der EU AI Act verfolgt einen risikobasierten Ansatz. Abhängig vom Einsatzfall unterscheidet er unter anderem verbotene Praktiken, Hochrisiko-Systeme und bestimmte transparenzpflichtige Anwendungen.

Die Anforderungen an KI-Kompetenz nach Artikel 4 gelten bereits seit dem 2. Februar 2025. Unternehmen müssen Maßnahmen treffen, damit Mitarbeiter und weitere eingesetzte Personen über ein für ihre Aufgabe ausreichendes Verständnis der verwendeten KI-Systeme verfügen.

Bestimmte Transparenzpflichten nach Artikel 50 gelten ab dem 2. August 2026. Sie betreffen unter anderem die direkte Interaktion mit KI-Systemen sowie bestimmte KI-generierte oder manipulierte Inhalte.

Daneben bleiben weitere Rechts- und Kontrollbereiche relevant:

• Datenschutz und DSGVO,
• Arbeitsrecht,
• Betriebsverfassungsrecht,
• Informationssicherheit,
• Urheberrecht,
• Geschäftsgeheimnisschutz,
• Vertragsrecht,
• Produktsicherheit,
• branchenspezifische Vorschriften.

Das Whitepaper betrachtet KI-Governance deshalb nicht als isoliertes Compliance-Thema, sondern als Verbindung von Geschäftsverantwortung, Datenschutz, Informationssicherheit und Qualitätsmanagement.

Sieben Bausteine einer praktikablen KI-Governance

Das Whitepaper beschreibt ein Betriebsmodell, das auch ohne eigenes AI Office und ohne zusätzliche Vollzeitstellen umgesetzt werden kann.

1. KI-Verzeichnis

Alle eingesetzten, getesteten und geplanten KI-Anwendungen werden zentral erfasst. Das schließt integrierte KI-Funktionen, lokale Modelle, externe Dienstleister und selbst entwickelte Agenten ein.

2. Risikoklassifizierung

Anwendungen werden anhand ihrer Daten, Auswirkungen, Automatisierung, Fehlerfolgen und fachlichen Prüfbarkeit bewertet. Ein einfaches Drei-Stufen-Modell unterscheidet Standardanwendungen, kontrollierte Anwendungen und kritische Einsatzfälle.

3. Rollenmodell

Geschäftsführung, KI-Koordination, Fachbereiche, IT, Datenschutz und Informationssicherheit erhalten eindeutig beschriebene Aufgaben und Entscheidungsbefugnisse.

4. KI-Richtlinie

Mitarbeiter erfahren, welche Werkzeuge zugelassen sind, welche Daten eingegeben werden dürfen und wann Ergebnisse kontrolliert oder gekennzeichnet werden müssen.

5. Freigabeprozess

Unkritische Anwendungen durchlaufen einen vereinfachten Prozess. Anwendungen mit personenbezogenen Daten, externer Wirkung oder erheblicher Entscheidungsrelevanz werden vertieft geprüft.

6. KI-Kompetenz

Schulungen orientieren sich an Rolle, Erfahrung und Einsatzkontext. Ein Nutzer benötigt andere Kenntnisse als ein Administrator oder ein Fachverantwortlicher für eine kritische Anwendung.

7. Betrieb und Kontrolle

Freigegebene Anwendungen werden anhand definierter Qualitätskennzahlen überwacht. Fehler, Beschwerden, Systemänderungen und Sicherheitsvorfälle fließen in die regelmäßige Neubewertung ein.

Was Sie im Whitepaper erhalten

Das Whitepaper liefert keine abstrakte Darstellung von Governance-Modellen. Es enthält direkt nutzbare Arbeitshilfen für die betriebliche Umsetzung.

Enthalten sind unter anderem:

• eine Management-Zusammenfassung,
• die wichtigsten Anforderungen des EU AI Act,
• ein schlankes Rollen- und Verantwortungsmodell,
• eine RACI-Matrix,
• die Struktur eines KI-Verzeichnisses,
• ein Drei-Stufen-Modell für KI-Risiken,
• eine Bewertungsmatrix mit zwölf Prüfkriterien,
• ein gestufter Freigabeprozess,
• eine Checkliste zur Anbieterprüfung,
• Datenschutz- und Sicherheitsprüfungen,
• Kriterien für menschliche Kontrolle,
• Vorschläge für Qualitätskennzahlen,
• ein Verfahren für KI-Vorfälle,
• drei konkrete Praxisbeispiele,
• ein 90-Tage-Umsetzungsplan,
• ein Governance-Selbstcheck mit 30 Punkten.

Für welche Unternehmen ist das Whitepaper geeignet?

Der Leitfaden richtet sich insbesondere an kleine und mittlere Unternehmen, die KI bereits einsetzen oder ihren Einsatz vorbereiten.

Besonders relevant ist er für:

• Geschäftsführer und kaufmännische Leiter,
• IT-Leiter und Digitalisierungsverantwortliche,
• Datenschutzbeauftragte,
• Informationssicherheitsbeauftragte,
• Personalverantwortliche,
• Qualitäts- und Compliance-Verantwortliche,
• Fachbereichsleiter,
• Projektleiter für KI- und Automatisierungsvorhaben.

Der Ansatz eignet sich für technische Dienstleister, Handwerksbetriebe, Bau- und Projektunternehmen, Industrie, Handel, Verkehrssicherung, Kundenservice und andere mittelständisch geprägte Branchen.

Drei Risikostufen statt eines einheitlichen Prüfaufwands

Ein praxistaugliches Governance-Modell behandelt nicht jede KI-Anwendung gleich.

Standardanwendungen

Dazu gehören beispielsweise interne Textentwürfe, Übersetzungen oder die Strukturierung von Besprechungsnotizen. Ergebnisse sind leicht überprüfbar, Fehler haben begrenzte Auswirkungen und es werden keine sensiblen Daten verarbeitet.

Kontrollierte Anwendungen

Hierzu können ein UnternehmensGPT, ein KI-Anrufbeantworter oder die KI-gestützte Erstellung von Angebotsentwürfen gehören. Diese Anwendungen verarbeiten interne oder personenbezogene Daten, kommunizieren nach außen oder greifen auf Geschäftssysteme zu.

Kritische Anwendungen

Dazu zählen insbesondere Anwendungen, die Menschen bewerten, erhebliche Entscheidungen beeinflussen oder sicherheitsrelevante Prozesse steuern. Solche Systeme erfordern eine vertiefte rechtliche, fachliche und technische Prüfung sowie eine dokumentierte Freigabe.

Durch die Abstufung bleiben einfache Anwendungen schnell nutzbar, während sensible Einsatzfälle angemessen kontrolliert werden.

Vom Richtliniendokument zum funktionierenden Betriebsmodell

Eine KI-Richtlinie allein schafft noch keine wirksame Governance. Mitarbeiter benötigen konkrete Abläufe für neue Werkzeuge, Datenfragen, Freigaben und Fehler.

Das Whitepaper zeigt deshalb, wie Governance in bestehende Unternehmensprozesse integriert werden kann:

• Beschaffung prüft Anbieter und Vertragsbedingungen.
• IT bewertet Architektur, Berechtigungen und Schnittstellen.
• Datenschutz prüft personenbezogene Daten und Rechtsgrundlagen.
• Informationssicherheit untersucht Datenabfluss und Angriffsflächen.
• Der Fachbereich definiert Nutzen und Qualitätskriterien.
• Die Geschäftsführung entscheidet über besonders kritische Anwendungen.
• Der KI-Koordinator führt Verzeichnis, Freigaben und offene Maßnahmen zusammen.

Das Ergebnis ist kein zusätzliches Parallelmanagement, sondern eine strukturierte Verbindung bereits vorhandener Verantwortlichkeiten.

KI-Governance in 90 Tagen aufbauen

Viele KMU können innerhalb von etwa drei Monaten eine belastbare Grundlage schaffen.

Tag 1 bis 30: Transparenz schaffen

• Verantwortlichen benennen,
• bestehende Anwendungen erfassen,
• Schatten-KI identifizieren,
• kritische Nutzung sofort begrenzen,
• vorläufige Regeln veröffentlichen.

Tag 31 bis 60: Regeln und Prozesse festlegen

• Risikomatrix einführen,
• Rollenmodell verabschieden,
• KI-Richtlinie erstellen,
• Freigabeprozess definieren,
• Anbieter- und Vorfallprüfung standardisieren.

Tag 61 bis 90: Betrieb absichern

• Mitarbeiter schulen,
• bestehende Anwendungen nachbewerten,
• Qualitätskennzahlen festlegen,
• Kontrollverfahren testen,
• ersten Governance-Review durchführen.

Das Whitepaper enthält zu jeder Phase konkrete Maßnahmen und erwartete Ergebnisse.

Whitepaper kostenlos lesen oder herunterladen

Nutzen Sie den Leitfaden als Grundlage für eine interne Bestandsaufnahme, einen Management-Workshop oder den Aufbau eines eigenen Governance-Basissystems.

KI-Governance strukturiert einführen

KrambergAI unterstützt kleine und mittlere Unternehmen beim Aufbau eines praktikablen Governance-Basissystems. Dazu können ein KI-Verzeichnis, ein Rollenmodell, eine KI-Richtlinie, ein Freigabeprozess, Schulungen und regelmäßige Kontrollverfahren gehören.

Nächster Schritt:
KI-Einsatz und erforderlichen Governance-Umfang strukturiert einordnen lassen.

Häufige Fragen zur KI-Governance

Was bedeutet KI-Governance im Unternehmen?

KI-Governance bezeichnet die Regeln, Rollen und Kontrollverfahren, mit denen ein Unternehmen den Einsatz künstlicher Intelligenz steuert. Sie legt fest, welche Anwendungen zulässig sind, wer Entscheidungen trifft, welche Daten verarbeitet werden dürfen, wie Ergebnisse geprüft werden und wie das Unternehmen mit Fehlern, Beschwerden oder Sicherheitsvorfällen umgeht.

Warum benötigen gerade kleine und mittlere Unternehmen KI-Governance?

KMU verfügen meist nicht über eigene Abteilungen für KI-Recht, Modellrisiken oder algorithmische Qualität. Gleichzeitig nutzen Fachbereiche leicht zugängliche KI-Dienste oft sehr schnell. Ein schlankes Governance-Modell verhindert Schatten-KI, unkontrollierte Datenübertragungen und ungeprüfte Ergebnisse, ohne einen aufwendigen Verwaltungsapparat wie in einem Großkonzern aufzubauen.

Welche Bedeutung hat der EU AI Act für KMU?

Der EU AI Act unterscheidet KI-Anwendungen nach ihrem Risiko und verpflichtet Unternehmen abhängig vom Einsatzfall zu unterschiedlichen Maßnahmen. Für KMU sind insbesondere verbotene Praktiken, KI-Kompetenz, Transparenzpflichten und mögliche Betreiberpflichten bei Hochrisiko-Systemen relevant. Zusätzlich gelten weiterhin Datenschutz, Arbeitsrecht, Informationssicherheit und branchenspezifische Anforderungen.

Wer sollte im Unternehmen für KI-Governance verantwortlich sein?

Die Geschäftsführung trägt die Gesamtverantwortung und legt Risikobereitschaft sowie Grundsätze fest. Die operative Koordination kann ein KI-Verantwortlicher übernehmen. Fachbereiche verantworten Zweck und Qualität ihrer Prozesse, während IT, Datenschutz und Informationssicherheit die technischen, rechtlichen und sicherheitsbezogenen Prüfungen durchführen. Kritische Entscheidungen sollten dokumentiert und angemessen eskaliert werden.

Was gehört in ein KI-Verzeichnis?

Ein KI-Verzeichnis erfasst alle eingesetzten, geplanten und getesteten KI-Anwendungen. Dazu gehören Anbieter, Zweck, verantwortlicher Fachbereich, Nutzergruppen, Datenarten, Automatisierungsgrad, Risikoeinstufung, Freigabestatus, Kontrollverfahren und nächster Prüftermin. Auch integrierte KI-Funktionen bestehender Software, externe Dienstleister, lokale Modelle und selbst entwickelte Agenten sollten berücksichtigt werden.

Wie werden KI-Anwendungen nach ihrem Risiko bewertet?

Die Bewertung sollte nicht nur die regulatorische Einstufung betrachten. Entscheidend sind auch Datenarten, Auswirkungen auf Personen, Automatisierungsgrad, Fehlerfolgen, fachliche Prüfbarkeit, externe Kommunikation und Rückholbarkeit falscher Ergebnisse. Ein einfaches Drei-Stufen-Modell unterscheidet Standardanwendungen, kontrollierte Anwendungen und kritische Anwendungsfälle mit vertiefter Prüfung und formaler Freigabe.

Braucht jedes Unternehmen eine eigene KI-Richtlinie?

Sobald Mitarbeiter KI für geschäftliche Aufgaben verwenden, ist eine verbindliche Richtlinie sinnvoll. Sie sollte zugelassene Werkzeuge, verbotene Eingaben, Regeln für vertrauliche und personenbezogene Daten, erforderliche Prüfungen, Veröffentlichungen, Transparenzhinweise und Vorfallmeldungen regeln. Die Richtlinie muss zum Unternehmen passen und darf nicht nur allgemeine Verbote enthalten.

Was bedeutet KI-Kompetenz nach dem EU AI Act?

KI-Kompetenz umfasst die Kenntnisse und Fähigkeiten, die Mitarbeiter für einen informierten und verantwortbaren Umgang mit KI benötigen. Die Schulung sollte sich nach Rolle, Erfahrung, Einsatzkontext und möglichen Auswirkungen richten. Nutzer benötigen andere Inhalte als Fachverantwortliche, Administratoren oder Personen, die entscheidungsrelevante KI-Systeme überwachen und freigeben.

Wie muss die menschliche Kontrolle organisiert werden?

Ein allgemeiner Hinweis auf einen Menschen im Prozess genügt nicht. Das Unternehmen muss festlegen, wer kontrolliert, welche Kriterien gelten, wann eine Prüfung erfolgt und welche Handlungsmöglichkeiten bestehen. Die kontrollierende Person benötigt Fachwissen, ausreichend Zeit, Zugriff auf Quellen und die Befugnis, Ergebnisse zu korrigieren, abzulehnen oder das System zu stoppen.

Wie schnell lässt sich eine grundlegende KI-Governance aufbauen?

Eine belastbare Basis kann in vielen KMU innerhalb von etwa 90 Tagen entstehen. Zuerst werden Anwendungen und Schatten-KI erfasst. Danach folgen Rollenmodell, Risikomatrix, Richtlinie und Freigabeprozess. Abschließend werden Mitarbeiter geschult, bestehende Anwendungen nachbewertet, Qualitätskontrollen eingerichtet und ein regelmäßiger Governance-Review mit der Geschäftsführung festgelegt.