KI im Personalwesen, Vertrieb oder Kundenservice: Wann wird eine Anwendung zum Hochrisiko-KI-System?

Eine KI-Anwendung wird zum Hochrisiko-System, wenn ihr vorgesehener Zweck unter Artikel 6 und Anhang I oder III des EU AI Act fällt und sie Gesundheit, Sicherheit oder Grundrechte erheblich beeinflussen kann. Nicht die Modellgröße und nicht der Begriff KI-Agent entscheiden. Maßgeblich sind Einsatzgebiet, Funktion, betroffene Personen und tatsächlicher Einfluss auf Entscheidungen.

Rechtsstand: 14. Juli 2026. Dieser Beitrag dient der betrieblichen Orientierung und ersetzt keine Rechtsberatung.

Warum ist nicht jede leistungsfähige KI automatisch ein Hochrisiko-KI-System?

Ein Sprachmodell kann umfangreiche Leistungsverzeichnisse auswerten, Bewerbungsunterlagen zusammenfassen, Kundenanfragen beantworten und technische Dokumentationen erstellen. Dennoch wird es nicht allein aufgrund seiner Leistungsfähigkeit zum Hochrisiko-KI-System.

Der EU AI Act betrachtet vor allem den vorgesehenen Verwendungszweck des konkreten Systems. Entscheidend ist also nicht nur, welches Modell im Hintergrund arbeitet, sondern wofür die vollständige Anwendung entwickelt, angeboten und eingesetzt wird.

Ein Assistent, der öffentlich verfügbare Produktinformationen für einen Vertriebsmitarbeiter zusammenfasst, befindet sich regelmäßig in einem anderen regulatorischen Umfeld als ein System, das Bewerber bewertet und eine Rangliste für die Personalauswahl erstellt. Technisch könnten beide Anwendungen dasselbe Sprachmodell verwenden. Der Zweck, die Daten, die betroffenen Personen und die Auswirkungen unterscheiden sich jedoch erheblich.

Dasselbe gilt für KI-Agenten. Ein Agent ist keine eigene Risikoklasse des EU AI Act. Ein Agent kann lediglich Texte vorbereiten, Dokumente ablegen oder Termine vorschlagen. Er kann aber auch Bewerber aussortieren, Kreditanträge bewerten, Zugriffsentscheidungen treffen oder sicherheitsrelevante Anlagen steuern.

Die Bezeichnung als Agent sagt deshalb wenig über die rechtliche Einordnung aus. Maßgeblich bleibt, welche Aufgabe das System übernimmt, welche Handlungsmöglichkeiten es besitzt und welche Folgen seine Ausgaben oder Aktionen für natürliche Personen haben.

Artikel 6 des EU AI Act nennt zwei Hauptwege in die Hochrisiko-Einstufung: den Einsatz als Produkt oder Sicherheitskomponente nach Anhang I sowie bestimmte eigenständige Anwendungsfälle in den sensiblen Bereichen des Anhangs III.

Welche Risikoklassen unterscheidet der EU AI Act?

Der häufig verwendete Begriff der vier Risikoklassen vermittelt einen nützlichen Überblick, bildet die Struktur der Verordnung aber nur vereinfacht ab.

Unzulässige KI-Praktiken stehen an der Spitze. Dazu gehören bestimmte manipulative Anwendungen, Formen des Social Scoring, das ungezielte Sammeln von Gesichtsbildern sowie einzelne biometrische oder emotionsbezogene Anwendungen. Solche Systeme dürfen nicht eingesetzt werden, sofern keine ausdrücklich geregelte Ausnahme greift.

Hochrisiko-KI-Systeme sind zulässig, unterliegen aber umfangreichen Anforderungen. Anbieter müssen unter anderem Risikomanagement, Datenqualität, technische Dokumentation, Protokollierung, menschliche Aufsicht, Genauigkeit, Robustheit und Cybersicherheit berücksichtigen. Betreiber erhalten eigene Pflichten für Nutzung, Überwachung, Personal, Protokolle und Vorfallbehandlung.

Systeme mit besonderen Transparenzpflichten sind nicht automatisch hochriskant. Ein Kundenchatbot oder ein KI-Telefonassistent kann beispielsweise außerhalb der Hochrisikokategorien liegen und dennoch nach Artikel 50 einen Hinweis auf die KI-Interaktion erfordern.

Sonstige KI-Systeme unterliegen keinen speziellen Hochrisikoanforderungen des AI Act. Das bedeutet nicht, dass sie vollständig ungeregelt wären. Datenschutz, Informationssicherheit, Arbeitsrecht, Urheberrecht, Geschäftsgeheimnisschutz, Produkthaftung und vertragliche Pflichten können weiterhin eingreifen.

Modelle mit allgemeinem Verwendungszweck, etwa große Sprachmodelle, bilden zusätzlich eine eigene regulatorische Kategorie. Sie sind nicht mit einer Risikoklasse für den konkreten betrieblichen Anwendungsfall gleichzusetzen.

Ein KMU sollte daher nicht lediglich die Frage stellen: „Welche Risikofarbe hat dieses Produkt?“ Sinnvoller ist die Prüfung, ob eine verbotene Praxis, ein Hochrisiko-Anwendungsfall, eine Transparenzpflicht oder eine gewöhnliche KI-Nutzung vorliegt.

Auf welchen zwei Wegen kann eine Anwendung als hochriskant eingestuft werden?

Der erste Weg betrifft KI in regulierten Produkten nach Artikel 6 Absatz 1.

Ein KI-System gilt auf diesem Weg als hochriskant, wenn es selbst ein Produkt oder eine Sicherheitskomponente eines Produkts ist, das unter eine der EU-Rechtsvorschriften in Anhang I fällt, und für dieses Produkt eine Konformitätsbewertung durch eine unabhängige Stelle erforderlich ist.

Das kann beispielsweise Medizinprodukte, bestimmte Maschinen, Aufzüge, Funkanlagen, persönliche Schutzausrüstung oder Gasgeräte betreffen. Nicht jede KI-Funktion in einer Maschine fällt automatisch darunter. Entscheidend ist insbesondere, ob die KI eine Sicherheitskomponente darstellt und ob das Produkt dem entsprechenden Drittprüfungsverfahren unterliegt.

Der zweite Weg betrifft eigenständige Systeme in den acht sensiblen Bereichen des Anhangs III:

Biometrie, kritische Infrastruktur, Bildung, Beschäftigung, grundlegende öffentliche und private Dienstleistungen, Strafverfolgung, Migration sowie Rechtspflege und demokratische Prozesse.

Auch hier wird nicht jede KI innerhalb eines dieser Bereiche automatisch hochriskant. Der konkrete Anwendungsfall muss einem der in Anhang III beschriebenen Zwecke entsprechen.

Ein Schreibassistent in einer Personalabteilung ist deshalb nicht allein wegen seines Einsatzortes hochriskant. Ein System zum Analysieren, Filtern oder Bewerten von Bewerbungen kann dagegen unmittelbar in die Beschäftigungskategorie fallen.

Welche Bedeutung hat der vorgesehene Verwendungszweck?

Der vorgesehene Verwendungszweck ist einer der wichtigsten Begriffe der Risikoeinstufung. Er beschreibt den Einsatz, für den der Anbieter das System vorgesehen hat, einschließlich des konkreten Nutzungskontexts und der Bedingungen, die in Produktinformationen, Betriebsanleitungen, Verträgen, technischen Unterlagen und Marketingmaterialien angegeben werden.

Der Produktname allein genügt nicht. Ein System mit der Bezeichnung „Recruiting Assistant“ kann lediglich Bewerbungstermine koordinieren oder Bewerbungen anhand ihrer Qualifikationen bewerten. Die erste Funktion kann eine enge organisatorische Aufgabe sein. Die zweite beeinflusst möglicherweise den Zugang zu Beschäftigung.

Für den Einkauf bedeutet dies, dass Anbieterunterlagen nicht nur Funktionen aufzählen sollten. Sie müssen erkennen lassen, welche Entscheidungen das System unterstützen soll, welche Nutzer vorgesehen sind und welche Anwendungen ausgeschlossen werden.

Auch die tatsächliche Nutzung im Unternehmen ist relevant. Verwendet ein Betrieb eine gewöhnliche KI-Anwendung außerhalb des vorgesehenen Zwecks, kann die ursprüngliche Einstufung des Anbieters ihre Aussagekraft verlieren. Wird der Zweck so verändert, dass ein bisher nicht hochriskantes System zu einem Hochrisiko-System wird, können nach Artikel 25 sogar Anbieterpflichten auf das verändernde Unternehmen übergehen.

Das betrifft beispielsweise eine allgemeine Textanalyse, die nachträglich zur automatisierten Bewerberbewertung umgebaut wird. Der ursprüngliche Anbieter hat das System möglicherweise nie für Personalentscheidungen vorgesehen. Das einsetzende Unternehmen kann sich dann nicht ohne Weiteres auf dessen ursprüngliche Risikoeinstufung berufen.

Die Kommission stellt den vorgesehenen Verwendungszweck deshalb an den Anfang ihres Prüfschemas zur Hochrisikoeinstufung.

Wann ist ein System im Personalwesen hochriskant?

Anhang III nennt mehrere Personalprozesse ausdrücklich.

Dazu gehören KI-Systeme für die Rekrutierung oder Auswahl natürlicher Personen, insbesondere für zielgerichtete Stellenanzeigen, das Analysieren und Filtern von Bewerbungen sowie die Bewertung von Kandidaten.

Ebenfalls erfasst sind Systeme, die Entscheidungen über Arbeitsverhältnisse, Beförderungen oder Beendigungen unterstützen, Aufgaben aufgrund individuellen Verhaltens oder persönlicher Eigenschaften zuweisen oder Leistung und Verhalten von Beschäftigten überwachen und bewerten.

Ein KI-System, das Lebensläufe bewertet, Bewerber mit Punktwerten versieht und daraus eine Rangliste erzeugt, ist regelmäßig hochriskant. Das gilt auch dann, wenn ein Personalreferent formal die letzte Entscheidung trifft. Wenn die Bewertung den Auswahlprozess wesentlich prägt, bleibt das System ein maßgeblicher Teil der Entscheidung.

Die Aussage „Ein Mensch entscheidet am Ende“ beseitigt die Hochrisikoeinstufung daher nicht automatisch.

Anders kann ein System behandelt werden, das lediglich Interviewtermine koordiniert, Eingangsbestätigungen versendet oder formale Angaben aus Bewerbungen in eine Datenbank überträgt. Solche eng begrenzten organisatorischen Aufgaben können unter die Ausnahme des Artikels 6 Absatz 3 fallen, sofern sie das Ergebnis nicht wesentlich beeinflussen. Die Entwurfsleitlinien nennen unter anderem das Prüfen eines beruflichen Nachweises in einem amtlichen Register sowie die reine Terminplanung als mögliche Beispiele außerhalb der Hochrisikokategorie.

Die Grenze verläuft nicht zwischen „vollautomatisch“ und „mit Mensch“. Sie verläuft häufig zwischen organisatorischer Verarbeitung und einer inhaltlichen Bewertung, die Auswahlchancen, Arbeitsbedingungen oder berufliche Entwicklung beeinflusst.

Ist eine KI-gestützte Stellenanzeige bereits hochriskant?

Nicht jede Formulierungshilfe für Stellenanzeigen ist hochriskant.

Ein allgemeiner Schreibassistent, der auf Anweisung des Personalbereichs eine Stellenbeschreibung sprachlich überarbeitet, nimmt normalerweise keine Auswahl natürlicher Personen vor. Die Personalabteilung bestimmt Anforderungen, Aufgaben, Vergütung und Veröffentlichung.

Anders kann es bei Systemen sein, die zielgerichtete Stellenanzeigen an bestimmte Personen ausspielen. Anhang III erwähnt ausdrücklich KI-Systeme zum Platzieren zielgerichteter Stellenanzeigen im Zusammenhang mit Rekrutierung und Auswahl.

Relevant wird dann, ob das System entscheidet, welche Personengruppen eine Stellenausschreibung sehen und welche nicht. Eine solche Auswahl kann den tatsächlichen Zugang zu beruflichen Möglichkeiten beeinflussen.

Auch hier genügt der allgemeine Begriff „Job Advertising“ nicht für die Einstufung. Unternehmen müssen dokumentieren, ob die KI lediglich Text erzeugt, Medienbudgets optimiert oder anhand personenbezogener Merkmale bestimmt, wer angesprochen beziehungsweise ausgeschlossen wird.

Besondere Vorsicht ist geboten, wenn das System Profiling natürlicher Personen durchführt. Fällt ein System in einen Anwendungsfall des Anhangs III und führt es Profiling durch, kann es die Ausnahmeregelung des Artikels 6 Absatz 3 nicht nutzen.

Wann ist Zugangskontrolle mit Gesichtserkennung hochriskant?

Biometrische Systeme müssen differenziert betrachtet werden.

Die biometrische Fernidentifizierung, bei der eine Person aus einer Gruppe ohne vorherige aktive Identitätsbehauptung erkannt werden soll, gehört grundsätzlich zu den Hochrisikobereichen, sofern die Nutzung nicht bereits verboten ist.

Davon unterscheidet der AI Act die biometrische Verifikation. Dabei bestätigt ein System lediglich, dass eine bestimmte Person tatsächlich die Person ist, für die sie sich ausgibt. Typische Beispiele sind das Entsperren eines Geräts oder der Zugang zu einem Gebäude nach einer aktiven Anmeldung.

Eine solche Verifikation ausschließlich zur Bestätigung einer behaupteten Identität ist von der Hochrisikokategorie der biometrischen Fernidentifizierung ausgenommen.

Das bedeutet jedoch nicht, dass Gesichtserkennung am Werkstor ohne weitere Prüfung eingeführt werden kann. Biometrische Daten sind besonders geschützt. Datenschutzrechtliche Zulässigkeit, Erforderlichkeit, Alternativen, Zugriffsrechte, Speicherdauer, Mitbestimmung und technische Sicherheit bleiben zu prüfen.

Erweitert das System seinen Zweck und analysiert zusätzlich Alter, ethnische Herkunft, Gesundheitsmerkmale, emotionale Zustände oder andere sensible Eigenschaften, verändert sich die Einordnung erheblich.

Emotionserkennung am Arbeitsplatz ist grundsätzlich eine verbotene Praxis, soweit keine eng begrenzte medizinische oder sicherheitsbezogene Ausnahme greift. Ein vermeintlich intelligentes Zutrittssystem, das zugleich Stimmung, Stress oder Aufmerksamkeit von Mitarbeitern bewertet, wäre daher nicht lediglich eine gewöhnliche Zugangskontrolle.

Wann wird KI in Ausbildung und Weiterbildung hochriskant?

Im Bildungsbereich nennt Anhang III vier zentrale Anwendungsgruppen.

Erfasst werden Systeme, die über Zulassung oder Zugang zu Bildungseinrichtungen entscheiden, Personen bestimmten Ausbildungswegen zuordnen, Lernergebnisse bewerten, das mögliche Bildungsniveau einer Person bestimmen oder unerlaubtes Verhalten während Prüfungen überwachen.

Für KMU ist dies nicht nur bei Schulen und Hochschulen relevant. Auch betriebliche Ausbildung, zertifizierte Weiterbildungsprogramme, Qualifikationsverfahren und Zugang zu beruflichen Bildungsangeboten können betroffen sein.

Ein System, das Auszubildende anhand ihrer bisherigen Leistungen automatisch bestimmten Ausbildungsmodulen zuordnet und damit ihren weiteren Qualifikationsweg bestimmt, kann hochriskant sein.

Dasselbe gilt für eine KI, die Prüfungsleistungen bewertet oder deren Ergebnis als wesentliche Grundlage für eine Abschlussnote, Zertifizierung oder Zulassung dient.

Ein Lernassistent, der freiwillig Übungsfragen beantwortet oder Sprachfehler korrigiert, ohne eine formale Bewertung, einen Abschluss oder den Zugang zu einer Ausbildung zu beeinflussen, liegt dagegen regelmäßig außerhalb dieser Hochrisikoanwendungsfälle.

Die Entwurfsleitlinien unterscheiden unter anderem zwischen KI-gestützter Benotung mit Einfluss auf die abschließende Bewertung und freiwilliger Lernsoftware für informelles Lernen. Auch eine reine Strukturierung von Bewerbungsunterlagen kann als eng begrenzte vorbereitende Aufgabe behandelt werden, wenn das System keine Zulassungsentscheidung beeinflusst.

Wann wird eine Kreditentscheidung zum Hochrisiko-Anwendungsfall?

KI-Systeme zur Beurteilung der Kreditwürdigkeit natürlicher Personen oder zur Erstellung ihres Kreditscores gehören nach Anhang III grundsätzlich zu den Hochrisiko-Systemen.

Der Grund liegt in der Bedeutung des Kreditzugangs. Eine solche Bewertung kann beeinflussen, ob eine Person eine Wohnung finanziert, ein Fahrzeug kauft, einen Überbrückungskredit erhält oder andere wesentliche Leistungen nutzen kann.

Die Einstufung erfasst nicht nur ein vollständig automatisches Kreditvotum. Auch ein Score oder eine Empfehlung kann hochriskant sein, wenn er die spätere Entscheidung eines Mitarbeiters wesentlich beeinflusst.

Die Ausnahme für Betrugserkennung ist ausdrücklich zu beachten. Ein System, das verdächtige Transaktionen oder mögliche Identitätsmanipulationen erkennt, wird nicht allein dadurch zu einem Hochrisiko-Kreditbewertungssystem.

Auch die Unterscheidung zwischen natürlichen und juristischen Personen ist wichtig. Eine Anwendung, die ausschließlich Jahresabschlüsse und Finanzdaten einer GmbH bewertet, fällt nicht automatisch unter die Kategorie zur Kreditwürdigkeit natürlicher Personen.

Bei Einzelunternehmern, Freiberuflern oder persönlich haftenden Geschäftsinhabern können private und betriebliche Verhältnisse jedoch ineinandergreifen. Dann sollte geprüft werden, ob tatsächlich die Kreditwürdigkeit einer natürlichen Person beurteilt wird. Die Entwurfsleitlinien behandeln diese Abgrenzung ausdrücklich.

Für gewöhnliche mittelständische Unternehmen wird diese Kategorie vor allem relevant, wenn sie Finanzierung, Ratenzahlung, Mietmodelle oder vergleichbare Leistungen für Privatkunden anbieten oder entsprechende Bewertungssysteme in ihren Plattformen integrieren.

Wann ist KI in kritischen Infrastrukturen hochriskant?

Nicht jede KI, die bei einem Energieversorger, Verkehrsunternehmen oder Wasserversorger eingesetzt wird, ist automatisch hochriskant.

Anhang III erfasst Systeme, die als Sicherheitskomponenten bei der Verwaltung und dem Betrieb kritischer digitaler Infrastruktur, des Straßenverkehrs sowie der Versorgung mit Wasser, Gas, Wärme oder Strom eingesetzt werden.

Der Begriff Sicherheitskomponente ist entscheidend. Die KI muss eine Funktion erfüllen, deren Ausfall oder Fehlfunktion Gesundheit, Leben oder die sichere Versorgung gefährden kann.

Ein System, das den Stromfluss steuert, eine Störung priorisiert, sicherheitsrelevante Netzentscheidungen auslöst oder Verkehrsströme in einem sicherheitskritischen Zusammenhang regelt, kann darunterfallen.

Eine Anwendung, die Rechnungen zusammenfasst, interne Texte überarbeitet oder Marketingprognosen erstellt, wird nicht allein aufgrund des Unternehmensbereichs zum Hochrisiko-System.

Auch ein Wartungsassistent muss genauer betrachtet werden. Erzeugt er lediglich einen unverbindlichen Vorschlag für die Planung, liegt möglicherweise keine Sicherheitskomponente vor. Steuert er jedoch unmittelbar den Betrieb einer Anlage oder seine Ausgabe wird ohne wirksame Prüfung für sicherheitsrelevante Schaltungen verwendet, verändert sich die Bewertung.

Die Leitlinien stellen darauf ab, ob die KI für die sichere Funktion der kritischen Infrastruktur wesentlich ist und ob eine Fehlfunktion Menschen oder die Versorgung in erheblichem Umfang gefährden könnte.

Ist ein KI-System schon hochriskant, wenn es eine Entscheidung nur unterstützt?

Nein, aber eine formale menschliche Endentscheidung reicht ebenfalls nicht aus, um die Hochrisikokategorie auszuschließen.

Artikel 6 Absatz 3 ermöglicht eine Ausnahme für bestimmte Systeme aus Anhang III, wenn sie kein erhebliches Risiko darstellen und das Ergebnis einer Entscheidung nicht wesentlich beeinflussen.

Als mögliche Ausnahmen nennt die Vorschrift:

eine eng begrenzte verfahrenstechnische Aufgabe, die Verbesserung des Ergebnisses einer bereits abgeschlossenen menschlichen Tätigkeit, das Erkennen von Entscheidungsmustern ohne Ersatz oder Beeinflussung der vorherigen menschlichen Bewertung sowie eine vorbereitende Aufgabe.

Diese Ausnahmen müssen inhaltlich erfüllt sein. Ein Mitarbeiter, der einen KI-Score sieht und ihm in der Praxis fast immer folgt, übt nicht allein deshalb eine wirksame menschliche Kontrolle aus, weil er theoretisch widersprechen könnte.

Ebenso kann eine Empfehlung hochriskant sein, wenn sie den Bearbeitungsweg maßgeblich bestimmt. Ein Bewerberranking beeinflusst, welche Unterlagen überhaupt gelesen werden. Eine Priorisierung von Leistungsanträgen kann Wartezeiten oder Prüfintensität verändern. Eine Kreditbewertung kann dazu führen, dass ein Antrag nur noch bei besonders guten Werten manuell betrachtet wird.

Die Entwurfsleitlinien nennen sogar einen personalisierten juristischen Assistenten für einen Sachbearbeiter als potenziell hochriskant, wenn dessen Antworten die Entscheidung über eine wesentliche öffentliche Leistung maßgeblich beeinflussen. Dagegen kann die reine Bereitstellung vorhandener Fakten oder eine überprüfbare Zusammenfassung als eng begrenzte Aufgabe behandelt werden.

Entscheidend ist daher nicht die formale Position des Menschen am Ende eines Workflows. Entscheidend ist, ob dieser Mensch die relevanten Grundlagen selbst prüfen kann, ausreichend Zeit und Kompetenz besitzt und die KI-Ausgabe tatsächlich verwerfen darf.

Welche Rolle spielt Profiling bei der Einstufung?

Profiling verdient besondere Aufmerksamkeit, weil Artikel 6 Absatz 3 hierfür eine strenge Regel enthält.

Fällt ein KI-System unter einen Anwendungsfall des Anhangs III und führt es Profiling natürlicher Personen durch, gilt es auch dann als hochriskant, wenn der Anbieter ansonsten eine der Ausnahmen für vorbereitende oder eng begrenzte Aufgaben anführen möchte.

Profiling bedeutet vereinfacht, dass personenbezogene Daten automatisiert verarbeitet werden, um persönliche Aspekte zu bewerten oder vorherzusagen. Dazu können Arbeitsleistung, wirtschaftliche Lage, Verhalten, Interessen, Zuverlässigkeit oder Aufenthaltsort gehören.

Nicht jedes Marketingsegment und nicht jede B2B-Kundenbewertung wird deshalb automatisch zum Hochrisiko-System. Zunächst muss weiterhin ein Anwendungsfall des Anhangs III vorliegen.

Ein vertriebliches Lead-Scoring für juristische Personen fällt regelmäßig nicht allein deshalb unter die Hochrisikokategorie. Wird dagegen die Kreditwürdigkeit natürlicher Personen bewertet oder werden Bewerber anhand persönlicher Eigenschaften sortiert, liegt ein in Anhang III genannter Bereich nahe.

Unternehmen sollten daher nicht nur prüfen, ob eine KI eine Entscheidung trifft. Sie sollten auch dokumentieren, ob das System personenbezogene Merkmale ableitet, Scores erzeugt, Verhalten prognostiziert oder Personen in Kategorien einordnet.

Sind Vertrieb und Kundenservice typische Hochrisikobereiche?

Gewöhnlicher Vertrieb und allgemeiner Kundenservice gehören nicht als eigene Bereiche zu Anhang III.

Ein Chatbot, der Öffnungszeiten nennt, eine Angebotsanfrage aufnimmt oder den Status eines Servicevorgangs erläutert, ist normalerweise kein Hochrisiko-KI-System. Ab August beziehungsweise Dezember 2026 können je nach aktuellem Rechtsstand und Systemgestaltung jedoch Transparenzpflichten für die Interaktion gelten.

Auch ein System, das einen Mitarbeiter bei der Formulierung eines Angebots unterstützt, ist regelmäßig nicht hochriskant. Es kann dennoch erhebliche fachliche, vertragliche oder datenschutzrechtliche Risiken verursachen, wenn Preise, Leistungsumfang oder technische Aussagen ungeprüft übernommen werden.

Die Bewertung ändert sich, wenn der Kundenservice Entscheidungen über wesentliche private Leistungen vorbereitet. Ein System, das die Kreditwürdigkeit eines Privatkunden beurteilt, den Zugang zu bestimmten Versicherungsleistungen beeinflusst oder Notrufe priorisiert, kann in einen Anwendungsfall des Anhangs III fallen.

Auch ein Vertriebssystem für Energie, Telekommunikation oder Wohnraum muss genauer geprüft werden, wenn es natürliche Personen anhand ihrer wirtschaftlichen Lage bewertet und dadurch über den Zugang zu einer wesentlichen Leistung entscheidet.

Ein gewöhnliches CRM-Lead-Scoring für Geschäftskunden ist davon zu unterscheiden. Trotzdem sollte dokumentiert werden, welche Daten verwendet werden und ob einzelne Kunden aufgrund automatischer Bewertungen nicht mehr bearbeitet werden.

Welche Rolle spielen KI-Agenten und autonome Aktionen?

KI-Agenten fallen nicht automatisch in eine besondere Risikoklasse. Ihre Handlungsmöglichkeiten erhöhen jedoch häufig den betrieblichen Prüfbedarf.

Ein Agent, der Dokumente durchsucht und einen Entwurf erstellt, hat einen begrenzteren Einfluss als ein Agent, der Bewerber ablehnt, Kreditlimits ändert oder den Betrieb einer technischen Anlage steuert.

Für die Einstufung bleibt der Zweck maßgeblich. Automatisierung und Autonomie sind jedoch wichtige Hinweise auf den möglichen Einfluss des Systems.

Unternehmen sollten deshalb nicht nur die erzeugte Antwort betrachten, sondern die gesamte Wirkungskette:

Welche Daten liest der Agent? Welche Bewertung nimmt er vor? Welche Entscheidung bereitet er vor? Welche Aktion kann er ohne zusätzliche Freigabe auslösen? Welche Person ist betroffen? Kann die Aktion rückgängig gemacht werden?

Ein Personalagent, der Bewerbungen lediglich in einem Ordner ablegt, ist anders einzuordnen als ein Agent, der Bewerber anhand eines Scores ablehnt und automatisch Absagen versendet.

Ein Serviceagent, der einen Rückrufvorgang anlegt, ist normalerweise kein Hochrisiko-System. Ein Agent, der Notfallmeldungen bewertet und eigenständig bestimmt, welche Fälle zuerst bearbeitet werden, kann je nach Anwendungsgebiet wesentlich höhere Anforderungen auslösen.

Die Agentenbezeichnung ersetzt deshalb keine Zweck- und Wirkungsanalyse.

Welche Transparenzpflichten können zusätzlich zur Risikoklasse gelten?

Hochrisikoanforderungen und Transparenzpflichten sind getrennte Ebenen.

Ein System kann nicht hochriskant sein und trotzdem einen Hinweis erfordern. Das betrifft insbesondere Systeme, die direkt mit Menschen interagieren, sowie bestimmte synthetische oder manipulierte Inhalte.

Ein KI-Telefonassistent im Handwerksbetrieb kann beispielsweise außerhalb der Hochrisikokategorien liegen. Der Kunde muss dennoch erkennen können, dass er mit einem KI-System spricht.

Umgekehrt kann ein Hochrisiko-System zusätzlich unter Transparenzpflichten fallen. Ein interaktives System zur Bewerberbewertung kann sowohl wegen seines Personalzwecks als hochriskant sein als auch zusätzliche Informationen gegenüber betroffenen Personen erforderlich machen.

Darüber hinaus bestehen für Betreiber bestimmter Hochrisiko-Systeme Informationspflichten gegenüber Beschäftigten oder Arbeitnehmervertretungen. Datenschutzrechtliche Informationen kommen separat hinzu.

Die Risikoklassifizierung beantwortet daher nicht sämtliche Kommunikationspflichten. Nach der Einstufung muss zusätzlich geprüft werden, ob Artikel 50, Datenschutzrecht, Arbeitsrecht oder branchenspezifische Vorschriften weitere Hinweise verlangen. Die Bundesnetzagentur weist darauf hin, dass die Transparenzanforderungen neben den Hochrisikovorgaben bestehen können.

Wie können neue KI-Anwendungsfälle in sieben Schritten geprüft werden?

1. Ist die Lösung überhaupt ein KI-System im Sinne des AI Act?
Nicht jede regelbasierte Automation ist ein KI-System. Das Unternehmen sollte technische Beschreibung, Anbieterunterlagen und Funktionsweise prüfen, statt allein auf die Produktwerbung abzustellen.

2. Was ist der vorgesehene Verwendungszweck?
Dokumentiert werden müssen Aufgabe, Nutzer, betroffene Personen, Kontext, Daten, Ausgaben und vorgesehene Entscheidungen. Eine Aussage wie „Unterstützung des Personalwesens“ ist zu weit. Benötigt wird beispielsweise: „Strukturierung eingehender Bewerbungen ohne Bewertung oder Rangfolge“.

3. Greift der Produktweg nach Anhang I?
Zu prüfen ist, ob die KI selbst ein reguliertes Produkt oder eine Sicherheitskomponente eines solchen Produkts ist und eine Drittprüfung erforderlich wird.

4. Fällt der Zweck in einen Anwendungsfall des Anhangs III?
Besondere Aufmerksamkeit verdienen Biometrie, Infrastruktur, Bildung, Personal, Kreditwürdigkeit, Versicherungen, Notfallsteuerung und sonstige wesentliche Leistungen.

5. Beeinflusst das System das Ergebnis wesentlich?
Hier sollte der tatsächliche Workflow untersucht werden. Ein System kann auch dann wesentlich sein, wenn ein Mitarbeiter formal bestätigt. Relevant sind Gewicht der Empfehlung, Reihenfolge, Sichtbarkeit, Bearbeitungszeit und praktische Abweichungsmöglichkeiten.

6. Kann die Ausnahme des Artikels 6 Absatz 3 greifen?
Das kommt insbesondere bei engen organisatorischen Aufgaben, überprüfbaren Vorarbeiten oder der Verbesserung bereits abgeschlossener menschlicher Arbeit in Betracht. Bei Profiling innerhalb eines Anhang-III-Anwendungsfalls greift die Ausnahme nicht.

7. Welche weiteren Rechtsgebiete und Maßnahmen sind betroffen?
Auch bei einer Einstufung außerhalb des Hochrisikobereichs können Datenschutz, Mitbestimmung, Informationssicherheit, Transparenz, Produktsicherheit und Fachrecht Maßnahmen erfordern.

Das Prüfergebnis sollte mit Begründung im KI-Verzeichnis hinterlegt werden. Ein bloßes Feld „geringes Risiko“ genügt bei sensiblen Anwendungen nicht.

Welche Beispiele zeigen die Grenze zwischen Unterstützung und Hochrisiko?

Die Tabelle dient als erste Orientierung. Anbieterunterlagen, tatsächliche Konfiguration und betrieblicher Workflow können zu einer anderen Bewertung führen.

Welche Maßnahmen folgen aus einer Hochrisikoeinstufung?

Für Anbieter eines Hochrisiko-KI-Systems entstehen umfangreiche Produkt- und Organisationspflichten.

Dazu gehören ein fortlaufendes Risikomanagementsystem, Anforderungen an Trainings-, Validierungs- und Testdaten, technische Dokumentation, automatische Protokollierung, Informationen für Betreiber, menschliche Aufsicht, Genauigkeit, Robustheit und Cybersicherheit.

Vor dem Inverkehrbringen oder der Inbetriebnahme sind außerdem die erforderliche Konformitätsbewertung, Registrierung und weitere formale Schritte zu prüfen.

Betreiber müssen das System entsprechend den Anweisungen verwenden, geeignete Personen für die menschliche Aufsicht einsetzen, den Betrieb überwachen, Eingabedaten in ihrem Einflussbereich angemessen behandeln und verfügbare Protokolle aufbewahren.

Je nach Organisation und Anwendungsfall kommen eine Grundrechte-Folgenabschätzung, Information von Arbeitnehmervertretungen, Datenschutz-Folgenabschätzung und Meldung schwerwiegender Vorfälle hinzu.

Die umfangreichen Pflichten für eigenständige Systeme des Anhangs III sollen nach der im Juni 2026 endgültig angenommenen Änderung ab dem 2. Dezember 2027 gelten. Für KI in bestimmten regulierten Produkten ist der 2. August 2028 vorgesehen.

Die spätere Anwendbarkeit sollte nicht als Aufschub für die Risikoeinstufung verstanden werden. Anbieterunterlagen, Verträge, technische Funktionen, Protokolle und Aufsichtsprozesse lassen sich bei bereits eingeführten Systemen häufig nicht kurzfristig nachrüsten.

Wann sollte eine rechtliche Spezialberatung eingeschaltet werden?

Eine vertiefte rechtliche Prüfung ist vor allem dann sinnvoll, wenn die Einstufung unmittelbare Folgen für Menschen, Produktsicherheit oder die eigene Anbieterrolle haben kann.

Das gilt insbesondere bei Bewerberauswahl, Beschäftigtenbewertung, Leistungsüberwachung, Beförderung, Kündigung oder verhaltensbezogener Aufgabenverteilung.

Ebenso prüfbedürftig sind biometrische Identifizierung, Kategorisierung, Emotionserkennung und Zugangssysteme mit zusätzlichen Analysefunktionen.

Bei Kreditwürdigkeitsprüfung, Scoring natürlicher Personen, Lebens- oder Krankenversicherung, Notrufpriorisierung und Zugang zu wesentlichen öffentlichen Leistungen sollte frühzeitig spezialisierte Beratung eingeholt werden.

Im Bildungsbereich betrifft dies Zulassungsentscheidungen, Prüfungsbewertung, Zertifizierung, Lernstandsentscheidungen und automatisierte Prüfungsüberwachung.

Bei Maschinen, Medizinprodukten, Gasgeräten, Aufzügen, Verkehrssystemen oder anderer regulierter Technik muss die AI-Act-Prüfung mit dem jeweiligen Produktrecht verbunden werden.

Weitere Auslöser sind eine Eigenentwicklung, eine White-Label-Lösung, eine wesentliche Veränderung, eine Nutzung außerhalb des Anbieterzwecks sowie die Behauptung des Anbieters, ein Anhang-III-System sei aufgrund von Artikel 6 Absatz 3 nicht hochriskant.

Rechtliche Spezialberatung ist außerdem angezeigt, wenn Profiling, eine automatisierte Einzelentscheidung nach Artikel 22 DSGVO, sensible personenbezogene Daten, Betriebsratsrechte oder ein Einsatz durch beziehungsweise für öffentliche Stellen betroffen sind.

Der beste Zeitpunkt liegt vor Beschaffung und technischer Umsetzung. Nach Vertragsabschluss sind Funktionen, Nachweise und Änderungsrechte häufig nur noch mit erheblichem Aufwand verhandelbar.

Welche vier Kennzahlen zeigen die praktische Bedeutung?

Nach einer Erhebung der Gemeinsamen Forschungsstelle der Europäischen Kommission nutzen bereits 30 Prozent der Arbeitnehmer in der Europäischen Union KI-Werkzeuge bei der Arbeit. Damit entstehen sensible Anwendungsfälle nicht nur in großen Technologieunternehmen, sondern zunehmend in gewöhnlichen Personal-, Service-, Vertriebs- und Verwaltungsprozessen.

In derselben Erhebung erklärten 37 Prozent der Beschäftigten, dass ihre Arbeitgeber digitale oder KI-gestützte Werkzeuge zur Überwachung der Arbeitszeit einsetzen. Solche Systeme sind nicht automatisch hochriskant, zeigen aber, wie schnell Technologie in den Bereich von Beschäftigtensteuerung und Verhaltensbeobachtung hineinreichen kann.

Der Eurobarometer-Erhebung zufolge meinen 84 Prozent der Europäer, dass KI sorgfältig gesteuert werden muss, um Privatsphäre und Transparenz am Arbeitsplatz zu schützen. Die gesellschaftliche Erwartung betrifft damit genau die Bereiche, die bei Personal- und Managementsystemen eine besondere Rolle spielen.

Im Finanzsektor beobachtete die Europäische Bankenaufsichtsbehörde, dass 92 Prozent der EU-Banken KI bereits einsetzen. Zu den genannten Anwendungsfällen zählen Kundenprofilierung, Kreditwürdigkeitsprüfung, Kredit-Scoring und Betrugserkennung – Funktionen, die regulatorisch sehr unterschiedlich einzuordnen sind.

Welche Quellen belegen die verwendeten Kennzahlen?

Gemeinsame Forschungsstelle der Europäischen Kommission: 30 Prozent der EU-Arbeitnehmer nutzen KI und 37 Prozent berichten über digitale Arbeitszeitüberwachung
https://joint-research-centre.ec.europa.eu/jrc-news-and-updates/impact-digitalisation-30-eu-workers-use-ai-2025-10-21_en

Europäische Kommission: Eurobarometer zu künstlicher Intelligenz am Arbeitsplatz
https://employment-social-affairs.ec.europa.eu/news/commission-survey-shows-most-europeans-support-use-artificial-intelligence-workplace-2025-02-13_en

Europäische Bankenaufsichtsbehörde: Einsatz von KI im europäischen Banken- und Zahlungssektor
https://www.eba.europa.eu/sites/default/files/2025-09/146b3558-d026-47bf-a872-f05e93ed30d2/Rising%20application%20of%20AI%20in%20EU%20banking%20and%20payments%20sector.pdf

Welche interessanten Links vertiefen die Einstufung?

Europäische Kommission: Entwurf der Leitlinien zur Einstufung von Hochrisiko-KI-Systemen
https://digital-strategy.ec.europa.eu/en/library/draft-commission-guidelines-classification-high-risk-ai-systems

AI Act Service Desk der Europäischen Union: Allgemeines Prüfschema für Hochrisiko-KI-Systeme
https://ai-act-service-desk.ec.europa.eu/en/general-principles-classification-high-risk-ai-systems

Bundesnetzagentur: Hochrisiko-KI-Systeme nach Anhang I und Anhang III
https://www.bundesnetzagentur.de/DE/Fachthemen/Digitales/KI/9_Hochrisiko/start.html

Ist ChatGPT im Personalwesen automatisch ein Hochrisiko-KI-System?

Nein. Wird ChatGPT lediglich zum Formulieren einer Stellenanzeige oder zum sprachlichen Überarbeiten eines internen Textes genutzt, liegt regelmäßig kein Hochrisiko-Anwendungsfall vor. Bewertet, filtert oder priorisiert die daraus entwickelte Anwendung jedoch Bewerber, kann sie unter Anhang III fallen. Zweck, Konfiguration, Daten und Einfluss auf die Auswahl sind gemeinsam zu prüfen.

Wird ein System durch eine menschliche Endentscheidung automatisch risikoärmer?

Nicht automatisch. Ein Mitarbeiter kann formal die letzte Entscheidung treffen, während ein KI-Score die Vorauswahl, Reihenfolge oder Beurteilung bereits wesentlich bestimmt. Entscheidend ist, ob der Mitarbeiter die Grundlagen selbst prüfen, die Empfehlung verwerfen und ohne unangemessenen Zeit- oder Leistungsdruck anders entscheiden kann. Eine bloße Bestätigungsschaltfläche genügt dafür nicht.

Ist jede KI-Anwendung in der Personalabteilung hochriskant?

Nein. Terminplanung, standardisierte Eingangsbestätigungen oder die rein organisatorische Ablage von Unterlagen können außerhalb der Hochrisikokategorie liegen. Anders ist es bei Bewerberfilterung, Kandidatenbewertung, Leistungsüberwachung, Beförderungsentscheidungen oder verhaltensbezogener Aufgabenverteilung. Nicht die Abteilung, sondern der konkrete Verwendungszweck und sein Einfluss auf Personen entscheiden.

Ist eine Gesichtserkennung am Werkstor immer hochriskant?

Eine biometrische Verifikation, die lediglich eine zuvor behauptete Identität für den Zugang bestätigt, ist von der Hochrisikokategorie der biometrischen Fernidentifizierung ausgenommen. Datenschutz, Erforderlichkeit, Mitbestimmung und technische Sicherheit bleiben dennoch relevant. Erkennt das System Personen ohne vorherige Anmeldung oder analysiert zusätzliche sensible Eigenschaften, kann eine andere oder sogar unzulässige Kategorie vorliegen.

Ist ein KI-gestütztes Lernprogramm für Auszubildende hochriskant?

Ein freiwilliger Lernassistent, der Übungsfragen beantwortet und keine formale Bewertung oder Zulassungsentscheidung beeinflusst, ist regelmäßig nicht hochriskant. Nutzt der Betrieb das System jedoch für Abschlussnoten, Prüfungsentscheidungen, Zertifizierungen oder die Zuordnung zu Ausbildungswegen, kann Anhang III greifen. Entscheidend ist die Wirkung auf den tatsächlichen Bildungszugang oder Lernerfolg.

Ist die Bewertung der Bonität eines Firmenkunden hochriskant?

Die Hochrisikokategorie des Anhangs III bezieht sich auf die Kreditwürdigkeit natürlicher Personen. Eine reine Bewertung einer GmbH anhand ihrer Unternehmensdaten fällt nicht automatisch darunter. Bei Einzelunternehmern, Freiberuflern oder persönlichen Bürgschaften kann jedoch zugleich die wirtschaftliche Situation einer natürlichen Person bewertet werden. Solche Mischfälle benötigen eine genauere rechtliche und fachliche Einordnung.

Sind KI-Agenten grundsätzlich Hochrisiko-Systeme?

Nein. Der EU AI Act enthält keine eigenständige Risikoklasse für KI-Agenten. Ein Agent kann eine risikoarme organisatorische Aufgabe übernehmen oder in einem sensiblen Bereich Entscheidungen und Aktionen ausführen. Maßgeblich sind Zweck, Daten, betroffene Personen, Entscheidungswirkung und Berechtigungen. Größere Autonomie erhöht den Kontrollbedarf, bestimmt aber nicht allein die Risikokategorie.

Kann ein Kundenservice-Chatbot hochriskant sein?

Ein gewöhnlicher Chatbot für Öffnungszeiten, Produktinformationen oder Serviceaufnahme ist regelmäßig nicht hochriskant, kann aber Transparenzpflichten auslösen. Anders kann es sein, wenn der Chatbot die Kreditwürdigkeit natürlicher Personen beurteilt, über den Zugang zu wesentlichen Leistungen mitentscheidet oder Notfallmeldungen priorisiert. Die konkrete Aufgabe ist wichtiger als die Bezeichnung als Kundenservice.

Muss ein Anbieter begründen, warum sein System nicht hochriskant ist?

Fällt das System in einen Anwendungsfall des Anhangs III und beruft sich der Anbieter auf die Ausnahme des Artikels 6 Absatz 3, muss er seine Bewertung vor dem Inverkehrbringen oder der Inbetriebnahme dokumentieren. Außerdem besteht eine Registrierungspflicht. Betreiber sollten diese Begründung anfordern und prüfen, ob ihr eigener Einsatz dem dokumentierten Verwendungszweck entspricht.

Wann gilt eine vorbereitende KI-Aufgabe nicht als hochriskant?

Eine vorbereitende Aufgabe kann ausgenommen sein, wenn sie das Ergebnis nicht wesentlich beeinflusst und kein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte erzeugt. Beispiele können reine Terminplanung, Datenformatierung oder überprüfbare Zusammenfassungen sein. Sobald eine Bewertung, Rangfolge, Vorauswahl oder Profilbildung entsteht, kann die Ausnahme entfallen oder von Anfang an ausgeschlossen sein.

Welche Folgen hat eine falsche Risikoeinstufung?

Eine zu niedrige Einstufung kann dazu führen, dass Dokumentation, Konformitätsverfahren, menschliche Aufsicht, Protokollierung, Registrierung und Betreiberpflichten fehlen. Eine unnötig hohe Einstufung kann dagegen Projekte verteuern und verzögern. Deshalb sollte die Entscheidung mit Zweckbeschreibung, Anbieterunterlagen, Workflow, Daten, Entscheidungseinfluss und begründeter Anwendung oder Nichtanwendung des Artikels 6 Absatz 3 dokumentiert werden.

Ab wann gelten die umfangreichen Hochrisikopflichten?

Nach der im Juni 2026 endgültig angenommenen Änderung sollen die Regeln für eigenständige Hochrisiko-Systeme des Anhangs III ab dem 2. Dezember 2027 gelten. Für Hochrisiko-KI in bestimmten regulierten Produkten ist der 2. August 2028 vorgesehen. Andere Vorschriften, etwa Verbote, KI-Kompetenz, Datenschutz und bestimmte Transparenzpflichten, gelten unabhängig von diesen späteren Terminen.