Risikoklassen

Einführung

🎯 Lernziele

Verstehen, wie der AI Act Risiken klassifiziert – und warum „geringes Risiko” und „minimales Risiko” keine echten Kategorien sind
Wissen, welche KI-Systeme verboten und welche hochriskant sind
Transparenzanforderungen und systemische Risiken bei GPAIs verstehen
Die Rolle des Verwendungszwecks und vernünftigerweise vorhersehbarer Fehlnutzung verstehen

Ein risikobasierter Ansatz zum Schutz von Grundrechten

Der EU AI Act verfolgt einen risikobasierten Ansatz – das ist ein wichtiger Unterschied zu vielen anderen Regulierungen.

Ziel des AI Acts ist nicht die Klassifizierung aller KI-Systeme – es wäre unmöglich, etwas über alle Textgenerierungs-Apps oder alle maschinellen Lernalgorithmen auszusagen. Vielmehr geht es darum, die Systeme zu regulieren, die am ehesten Risiken für Gesundheit, Sicherheit und andere Grundrechte darstellen.

Gesundheit und Sicherheit sind leicht verständlich. Weitere Grundrechte sind in der Europäischen Charta der Grundrechte festgelegt. Dazu gehören:

Das Recht auf gute öffentliche Verwaltung, etwa das Recht, in Angelegenheiten, die einen betreffen, gehört zu werden
Der Schutz personenbezogener Daten
Das Recht auf Bildung und Zugang zu beruflicher Aus- und Weiterbildung
Das Recht auf Arbeit und die freie Berufswahl
Das Recht auf Nichtdiskriminierung
Das Recht der Arbeitnehmerinnen und Arbeitnehmer auf Unterrichtung und Anhörung

Der Schutz dieser Rechte – nicht die Klassifizierung von KI-Systemen – ist das Ziel des Acts.

Der Act hat festgestellt, dass bestimmte KI-Systeme von Natur aus mehr Risiken für diese Rechte darstellen als andere und daher direkt reguliert werden. In anderen Fällen verweist der Act ausdrücklich auf bestehende Regulierungen, die zusätzlich einzuhalten sind, wie etwa die GDPR.

Es gibt nur zwei Kategorien inhärenter, also vorbestimmter Risikoklassen: solche mit inakzeptablem Risiko und solche mit inhärent hohem Risiko.

Inakzeptables Risiko – verbotene Systeme

Der erste Satz in Artikel 1 lautet: „Die Würde des Menschen ist unantastbar. Sie ist zu achten und zu schützen.” Ein Grundrecht ist die Achtung der körperlichen und geistigen Unversehrtheit. Es gibt nur eine Handvoll KI-Systeme, die als inakzeptabel riskant gelten und daher verboten sind – viele davon beziehen sich auf die Manipulation oder Überwachung von Menschen in einer Weise, die ihre Entscheidungsfreiheit beeinträchtigt oder ihren Zugang zu Möglichkeiten zur Entfaltung einschränkt.

Die meisten verbotenen KI-Systeme sind für die Art und Weise, wie unsere Kunden Intric nutzen, nicht relevant. Es lohnt sich aber, die Aktivitäten zu wiederholen, die ein KI-System verboten machen würden:

Menschen manipulieren oder täuschen, um ihre Entscheidungsfindung zu beeinträchtigen
Schwachstellen ausnutzen
Bewertung oder soziales Scoring, das zu einer benachteiligenden Behandlung bestimmter Gruppen führt
Das Risiko einer Person einschätzen, eine Straftat zu begehen
Gesichtserkennung-Datenbanken durch ungezielte Absuche erstellen oder erweitern
Die Emotionen von Menschen an Arbeitsplätzen oder in Bildungseinrichtungen ableiten
Biometrische Kategorisierung zur Ableitung von Merkmalen wie Rasse, politischen Meinungen, Gewerkschaftsmitgliedschaft, Geschlecht oder religiösen Überzeugungen
Bestimmte Formen der Echtzeit-Fernbiometrie durch Strafverfolgungsbehörden

Inhärent hochriskante KI-Systeme

Die Logik dieser Risikoklasse unterscheidet sich von der inakzeptablen Risikoklasse. Die oben genannten KI-Systeme sind aufgrund der Funktionen verboten, die sie ausführen. Hier werden KI-Systeme als hochriskant eingestuft, je nachdem, in welchem Bereich sie eingesetzt werden.

Die ersten drei sind für Intrics Kunden am relevantesten.

Zugang zu und Nutzung von wesentlichen privaten und öffentlichen Diensten und Leistungen (Hochrisiko-Bereich 1)

Nicht alle KI-Systeme, die in wichtigen privaten oder öffentlichen Diensten eingesetzt werden, sind hochriskant – entscheidend ist, ob das KI-System den Zugang zu diesen Diensten oder deren Nutzung beeinflusst.

Hochriskante Nutzungen sind:

Wenn KI-Systeme die Anspruchsberechtigung von Personen für diese Dienste bewerten oder diese Dienste gewähren, ändern oder entziehen. Gesundheitsversorgung ist explizit erwähnt.
Ermittlung der Kreditwürdigkeit oder des Kredit-Scores
Risikobewertung oder Preisfindung im Zusammenhang mit Lebens- oder Krankenversicherungen
Einsatz in Notrufdiensten oder Ersthelfer-Diensten, einschließlich Polizei, Feuerwehr, medizinischer Notversorgung und Triage

Beispiel: Ein KI-System, das Fallbearbeitenden eine Zusammenfassung von Anträgen auf Arbeitslosengeld erstellt, wäre hochriskant.

Beschäftigung, Arbeitnehmerführung und Zugang zur Selbstständigkeit (Hochrisiko-Bereich 2)

Nicht alle KI-Systeme in diesem Bereich sind hochriskant. Nur solche, die bei der Personalsuche oder -auswahl eingesetzt werden: für gezielte Stellenanzeigen, zur Analyse und Filterung von Bewerbungen oder zur Bewertung von Kandidatinnen und Kandidaten. Eine weitere Kategorie umfasst Systeme, die Entscheidungen über arbeitsbezogene Bedingungen treffen – etwa Beförderungen oder Kündigungen, Aufgabenverteilung nach Verhaltens- oder Persönlichkeitsmerkmalen oder zur Leistungsüberwachung und -bewertung am Arbeitsplatz.

Beispiel: Ein KI-System, das Stellenbewerberinnen und -bewerber anhand eines numerischen „Arbeitsplatz-Kompatibilitäts-Scores” einordnet, wäre hochriskant. Es gibt starke Belege dafür, wie leicht Recruiter durch Kandidaten-Rankings in digitalen Tools beeinflusst werden.

Bildung und Berufsausbildung (Hochrisiko-Bereich 3)

Nicht alle KI-Systeme in diesem Bereich sind hochriskant. Nur solche, die:

den Zugang oder die Zulassung bestimmen,
Lernergebnisse bewerten, auch wenn diese zur Steuerung des Lernprozesses genutzt werden,
das Bildungsniveau einer Person einschätzen, oder
unzulässiges Verhalten von Lernenden während Prüfungen überwachen oder erkennen.

Beispiel: Ein KI-System, das historische Testergebnisse verwendet, um vorherzusagen, ob einzelne Schülerinnen und Schüler bei neuen Prüfungen geschummelt haben, wäre hochriskant. Ebenso ein KI-System, das Laptop-Kameras nutzt, um bei Heimprüfungen die Körpersprache von Lernenden zu analysieren und zu beurteilen, ob sie schummeln.

Weitere Hochrisiko-Bereiche

Für Intric weniger relevant sind diese zusätzlichen Bereiche. Der AI Act legt fest, dass eine Voraussetzung ist, dass solche Systeme bereits nach EU-Recht zulässig sind:

Strafverfolgung
Sicherheitskomponenten kritischer Infrastruktur, des Straßenverkehrs oder der Versorgung mit Wasser, Gas, Heizung oder Strom
Biometrie
Migrations-, Asyl- und Grenzkontrollmanagement
Einsatz durch oder im Auftrag von Justizbehörden, Streitbeilegung
Beeinflussung von Wahl- oder Abstimmungsergebnissen

Bereits regulierte Produkte und Systeme

Die zweite Kategorie hochriskanter Systeme umfasst solche, die bereits durch verschiedene europäische Gesetze reguliert sind: Sicherheitskomponenten von Produkten, Spielzeug, Medizinprodukte, Aufzüge, persönliche Schutzausrüstung, Fahrzeuge, Eisenbahnsysteme und so weiter.

Beispiel: Ende 2025 wurde ein Teddybär, der GPT-4o und Spracherkennungstechnologie nutzte, um mit Kindern zu chatten, vom amerikanischen Markt genommen, nachdem eine Verbraucherschutzgruppe Sicherheitstests durchgeführt und den Teddybären erfolgreich dazu gebracht hatte, über sexuelle Themen und Gewalt zu sprechen. In der EU wäre dieses Spielzeug neben dem AI Act auch durch sektorspezifische Regulierung erfasst gewesen.

Ausnahme von der Hochrisiko-Klassifizierung geltend machen

Es gibt vier klare Ausnahmen: Wenn dein KI-System als inhärent hochriskant eingestuft wird, kannst du geltend machen, dass es in der Realität keine Gefahr für Gesundheit, Sicherheit oder Grundrechte darstellt.

Um diese Ausnahme in Anspruch nehmen zu können, muss dein System eines der folgenden Kriterien erfüllen – hier geben wir den genauen Wortlaut des Acts wieder:

zur Durchführung einer engen Verfahrensaufgabe bestimmt;
zur Verbesserung des Ergebnisses einer zuvor abgeschlossenen menschlichen Tätigkeit bestimmt;
zur Erkennung von Entscheidungsmustern oder Abweichungen von früheren Entscheidungsmustern bestimmt und nicht dazu gedacht, die zuvor abgeschlossene menschliche Bewertung ohne ordnungsgemäße menschliche Überprüfung zu ersetzen oder zu beeinflussen; oder
zur Durchführung einer vorbereitenden Aufgabe für eine Beurteilung bestimmt, die für ein Hochrisikosystem relevant ist, mit Ausnahme der bereits regulierten Systeme.

Viele maschinelle Lernalgorithmen zur Erkennung von Abweichungen in großen Datensätzen (aufgrund menschlicher Fehler oder Betrug) fallen in diese Kategorie. Tatsächlich gelten diese Ausnahmen in erster Linie für nicht-generative KI-Systeme.

Um eine Ausnahme geltend zu machen, musst du dies lediglich einer EU-Datenbank melden. Abgesehen davon hast du keine weiteren Anforderungen als Betreiber oder Anbieter eines Hochrisikosystems. Wenn du eine Ausnahme auf falscher Grundlage beanspruchst, beträgt die Geldstrafe 750.000 Euro.

Hinweis: Wenn dein KI-System Personen profiliert, kannst du keine Ausnahme geltend machen.

Beispiel: Dein KI-System analysiert abgeschlossene Fallbearbeitungszeiten anhand einer Auswahl von Themen- und Fallbearbeitungsmerkmalen. Keine Einzelpersonen sind dabei identifizierbar, das System ist also kein Instrument zur Personalverwaltung. Du nutzt es, um zu erkennen, ob bestimmte Bevölkerungsgruppen langsamere Entscheidungen erhalten oder ob bestimmte Themen für Fallbearbeitende schwieriger erscheinen, um zukünftige Schulungen zu priorisieren. Aber: Wenn du dieses System dazu nutzt, bestimmte Mitarbeitende als bessere oder schlechtere Leistende einzuordnen, fällt es in den Hochrisiko-Bereich.

Transparenzanforderungen

Unabhängig davon, ob dein KI-System hochriskant ist, gibt es Systeme mit spezifischen Transparenzanforderungen. Wenn die fehlende Transparenz für jemanden ein Risiko darstellen würde, ist Transparenz erforderlich. Das bedeutet im Wesentlichen, einer nutzenden Person klar zu machen, dass das, was sie sieht, hört oder womit sie interagiert, ein KI-System ist.

Wenn ein System eines der folgenden Merkmale aufweist, gelten Transparenzanforderungen:

Es interagiert mit einer Person
Es erzeugt Text, Audio, Bild oder Video
Es erzeugt oder manipuliert Bilder, Audio oder Video, sodass ein Deepfake entsteht (Text ist hier nicht eingeschlossen)
Es erkennt Emotionen oder führt biometrische Kategorisierungen durch
Es erzeugt Text, der veröffentlicht wird, um die Öffentlichkeit in Angelegenheiten von öffentlichem Interesse zu informieren

In der Praxis tragen die meisten GPAIs und Systeme, die auf ihnen aufbauen, automatisch Transparenzanforderungen.

Vertiefung – Chatbots: In frühen Schulungsmaterialien wurden „Chatbots” als Beispiel für KI-Systeme genannt, die nur Transparenz erfordern – das war noch vor der Verbreitung GPAI-gestützter Chatbots. Heute würde ein Chatbot nur dann Transparenz erfordern, wenn er auf einem einfacheren Sprachmodell basiert. Denk daran, wenn du versuchst, einen Kundendienst über ein Chat-Fenster zu kontaktieren: Du schreibst deine Frage und der Chatbot antwortet mit „Ist eines dieser sechs Themen das, wonach du fragst?”. Das ist ein Beispiel für einen Nicht-GPAI-Chatbot. Er kann nicht wie ein GPAI-Chatbot mit dir sprechen, hat aber eine begrenzte Fähigkeit, deine Fragen zu analysieren. Das Unternehmen muss dir gegenüber lediglich transparent sein, dass es sich um ein KI-System handelt.

Systemisches Risiko von GPAIs

Anstatt zu versuchen, GPAIs in die obige Risikoklassifizierung einzuordnen, hat der AI Act das Konzept „systemischer Risiken” eingeführt. Der Act hält fest, dass einige GPAIs systemische Risiken tragen könnten, wenn:

Das GPAI sehr leistungsfähig ist, was durch eine große Menge an Rechenleistung beim Training angezeigt wird,
Das GPAI weit verbreitet ist (wie viele es anstreben) und daher einen hohen Einfluss auf den Markt hat, oder
Die Kommission feststellt, dass es systemische Risiken birgt.

In der Praxis werden die meisten großen Sprachmodelle als systemisch riskant eingestuft.

Ein Modell wird nicht als „geringes” oder „kein” systemisches Risiko eingestuft; der Act bezieht sich nur auf GPAIs und GPAIs mit systemischem Risiko.

Entscheidungsfindung steht nicht in Zusammenhang mit der Risikoklasse

Viele Organisationen hoffen, dass menschliche Aufsichtsverfahren – also nur KI-gestützte Entscheidungsunterstützung und keine vollständige Entscheidungsfindung – die Risikoklasse reduzieren können. So funktioniert die Logik des Acts jedoch nicht. Die Hochrisiko-Einstufung hat tatsächlich nichts mit der Entscheidungsfindung oder der Beteiligung eines Menschen zu tun. Entscheidend ist vielmehr, ob dein KI-System in einem Bereich eingesetzt wird, der als inhärent hochriskant für Gesundheit, Sicherheit oder Grundrechte gilt.

Wenn du jedoch Anbieter eines Hochrisikosystems bist, musst du sicherstellen, dass Menschen die Ausgabe verstehen, in das System eingreifen oder es stoppen können – das ist gemeint mit „menschlicher Aufsicht”.

Wenn du außerdem als öffentliche Stelle ein Hochrisikosystem betreibst und dein KI-System an Entscheidungsunterstützung oder Entscheidungsfindung beteiligt ist, die Menschen betrifft, musst du diese Menschen informieren.

Welche Risiken musst du identifizieren?

Nein. Der AI Act erfordert kein endloses Brainstorming aller möglichen Risiken – es gäbe Hunderte davon, etwa ob die Nutzung eines Assistenten zur Abholzung des Amazonasregenwalds beiträgt. Der MIT Risk Atlas enthält derzeit fast 2.000 KI-Risiken: airisk.mit.edu

Tatsächlich hält der AI Act ausdrücklich fest, dass er kein Hindernis für den öffentlichen Sektor bei der Nutzung von KI zur Innovation darstellen soll!

Anbieter und Betreiber müssen vielmehr Risiken identifizieren im Zusammenhang mit:

Nutzung des KI-Systems gemäß seinem Verwendungszweck
Vernünftigerweise vorhersehbarer Fehlnutzung des KI-Systems
Minderjährigen oder anderen vulnerablen Gruppen

Sie müssen sowohl den Kontext der beabsichtigten Nutzung oder Fehlnutzung als auch die Nutzenden selbst berücksichtigen: ihr technisches Wissen, ihre Erfahrungen und Erwartungen, ihre Fähigkeit, Anleitungen zu lesen und zu verstehen.

Hochrisikosysteme haben spezifische Vorgaben für diesen Risikomanagementprozess. Auch hier liegt der Fokus auf Risiken für Gesundheit, Sicherheit und Grundrechte.

Verwendungszweck

Der Verwendungszweck ist ein wichtiges Konzept im AI Act. Anbieter sind dafür verantwortlich, den Verwendungszweck ihrer KI-Systeme für Betreiber klar zu machen. Je riskanter ein System ist, desto detaillierter müssen die Nutzungshinweise sein.

Wie wir gesehen haben, erschweren GPAIs dies, weil sie keinen einzigen Verwendungszweck haben. Es bleibt aber die Verantwortung des Anbieters, den Zweckumfang des KI-Systems oder GPAIs klar zu benennen – und was es nicht leisten soll.

Vernünftigerweise vorhersehbare Fehlnutzung

Dies bezieht sich auf die Nutzung eines KI-Systems entgegen dem Verwendungszweck, die jedoch aus vernünftigerweise vorhersehbarem menschlichem Verhalten oder vernünftigerweise vorhersehbarer Interaktion mit anderen Systemen resultieren kann. Die Interaktion mit anderen KI-Systemen oder agentischen Systemen ist ebenfalls eingeschlossen.

„Vorhersehbar” bedeutet, dass nicht nur bekannte Risiken behandelt werden müssen – du musst dir auch neue vorstellen. Und „vernünftigerweise” bedeutet, dass du nicht über jeden möglichen langfristigen Risikofaktor nachdenken musst.

Beispiel: Eine Gemeinde hat ihre Kommunikationsabteilung von vier auf eine Person reduziert. Sie erstellt einen Assistenten für die verbleibende Beraterin. Es wäre vernünftigerweise vorhersehbar, dass diese eine Person den Assistenten nutzt, um bürgerorientierte Texte zu erstellen, und die Ausgabe vor der Online-Veröffentlichung nicht mehr prüft – einfach weil sie versucht, die Arbeit von vier Personen zu erledigen.

Unsere Dokumentation zur Bewertung der Risikoklasse deines Assistenten findest du hier: help.intric.ai/en/docs/security-compliance/ai-act/risk-class/

KI-Systeme außerhalb des Geltungsbereichs

Wenn du nach dieser Einheit ein KI-System vor Augen hast, das keine der inhärenten Risikoklassifizierungen erfüllt, keine Transparenzanforderungen hat, kein GPAI ist und bei dem du dir keine Weise vorstellen kannst, wie eine beabsichtigte Nutzung oder Fehlnutzung Gesundheit, Sicherheit oder Grundrechte gefährden könnte – dann liegt dieses System möglicherweise außerhalb des Geltungsbereichs des AI Acts. Weder Anbieter noch Betreiber haben dann irgendwelche Anforderungen.

Denk daran, dass die Europäische Kommission nicht beabsichtigt, eine erschöpfende Liste aller KI-Systeme vorzulegen. Die Kommission erwartet, dass alle Akteure ihre eigene Urteilsfähigkeit einsetzen.

Viele Beispiele für Systeme außerhalb des Geltungsbereichs sind „traditionelle” maschinelle Lernalgorithmen:

Empfehlungsalgorithmen auf einer Streaming-Plattform. Die Ausgabe ist die Reihenfolge, in der Inhalte angezeigt werden.
Ein KI-System zur Steuerung einer Spielfigur in einem Spiel oder zur Erzeugung dynamischen Spielverhaltens.
Der Spam-Filter deines E-Mail-Anbieters ist ein klassisches Beispiel für einen maschinellen Lernalgorithmus mit natürlicher Sprachverarbeitung. Er fällt in keinen der inakzeptablen oder hochriskanten Bereiche. Er erzeugt auch keinen Text – nur eine Entscheidung, ob eine E-Mail in den Spam-Ordner oder den Posteingang kommt – und niemand interagiert mit ihm, daher gibt es keine Transparenzanforderungen.

Wichtigste Erkenntnisse

Es gibt nur zwei vorbestimmte Risikoklassen im Act: inakzeptables Risiko (verboten) und inhärent hohes Risiko. „Geringes Risiko” und „minimales Risiko” sind keine Kategorien im Act.
Die Hochrisiko-Klassifizierung basiert auf dem Einsatzbereich, nicht auf der ausgeführten Funktion oder der Frage, ob ein Mensch in die Entscheidung einbezogen ist.
Die meisten GPAIs und darauf aufbauende Systeme tragen automatisch Transparenzanforderungen.
Anbieter und Betreiber müssen Risiken im Zusammenhang mit dem Verwendungszweck, vernünftigerweise vorhersehbarer Fehlnutzung und vulnerablen Gruppen identifizieren – aber nicht jedes erdenkliche Risiko.
Liegt ein System außerhalb des Geltungsbereichs, haben weder Anbieter noch Betreiber irgendwelche Anforderungen.

Wissen testen

6 Fragen · 100 % richtig zum Bestehen · Antworten nach Abschluss prüfen