Zum Inhalt springen

AI Act

Mit der Intric-Plattform hast du viel Flexibilität und gute Möglichkeiten zur Zusammenarbeit. Kommunen können — entweder von Fall zu Fall oder ein für alle Mal — festlegen, wie viel Kontrolle sie darüber haben möchten, wie der Assistent genutzt und geteilt wird.

Um sicherzustellen, dass ihr die Anforderungen des EU AI Act einhält, sind für jeden Assistenten, den ihr erstellt, zwei grundlegende Bewertungen erforderlich:

  1. In welche Risikoklasse fällt der Assistent?
  2. Welche Rolle hat die Kommune?

Auf Grundlage dieser beiden Bewertungen erhält die Kommune eine klare Liste von Verpflichtungen. Die Verpflichtungen dienen dem Schutz von Gesundheit, Sicherheit und Grundrechten der Einwohner.

Schritt für Schritt: So bewertest du den Assistenten

Abschnitt betitelt „Schritt für Schritt: So bewertest du den Assistenten“

Schritt 1 — Beschreibe den Anwendungsfall deines Assistenten

Abschnitt betitelt „Schritt 1 — Beschreibe den Anwendungsfall deines Assistenten“

Erfasse zunächst genau, was der Assistent in der Praxis tun soll.

Fragen, die du dir stellen solltest:

  • Was ist der Zweck des Assistenten?
  • Wer sind die Endnutzer (Sachbearbeiter, Lehrkräfte, Einwohner)?
  • Welche Arten von Daten soll er verarbeiten?
1 / 4

1. Risikoklasse: Wofür wird der Assistent eingesetzt?

Abschnitt betitelt „1. Risikoklasse: Wofür wird der Assistent eingesetzt?“

Die Risikoklasse wird durch den Zweck des KI-Assistenten bestimmt. Der AI Act unterteilt die Nutzung in verschiedene Kategorien:

KategorieBeschreibung und typische kommunale BereicheWichtige Klarstellungen und Ausnahmen
HochrisikoNutzung in den Bereichen Bildung, Beschäftigung und Personalauswahl, Zugang zu wesentlichen Diensten (einschl. Sozialleistungen) und demokratische Prozesse.Ausnahme: Wenn der Assistent eine begrenzte, verfahrensmäßige Aufgabe ausführt, die kein Risiko für Gesundheit, Sicherheit oder Grundrechte darstellt, kann eine Ausnahme geltend gemacht werden.
Kein HochrisikoNutzung mit minimalem Risiko. Zum Beispiel Aufgaben, die rein verfahrensmäßige Abläufe ausführen oder die nicht dazu bestimmt sind, eine menschliche Beurteilung zu ersetzen oder wesentlich zu beeinflussen.
Verbotene NutzungSysteme mit inakzeptablem Risiko für Grundrechte (z.B. vorsätzliche Manipulation, soziales Scoring, Bewertung des Risikos einer Person, eine Straftat zu begehen).Für Kommunen weitgehend irrelevant.

Ausnahme: So bewertet ihr das Risiko in der Praxis

Abschnitt betitelt „Ausnahme: So bewertet ihr das Risiko in der Praxis“

Ausnahmen sind bei der kommunalen Nutzung von KI-Assistenten sehr häufig. Selbst wenn ein Assistent in einem Bereich eingesetzt wird, der ursprünglich als Hochrisiko eingestuft wurde (z.B. Bildung oder Soziales), kann die Nutzung von den strengsten Anforderungen ausgenommen werden. Das gilt insbesondere, wenn der Assistent:

  • Nicht dazu bestimmt ist, eine menschliche Beurteilung zu ersetzen oder zu beeinflussen.
  • Für eine begrenzte, verfahrensmäßige Aufgabe konzipiert ist.

Zwei typische Beispiele aus dem kommunalen Alltag zeigen, dass es viele sichere und sehr nützliche Anwendungsfälle gibt, die nicht als Hochrisiko eingestuft werden:

Beispiel 1: Qualitätssicherung von Fallunterlagen (Menschliche Beurteilung bleibt erhalten)

Ein Sachbearbeiter nutzt einen KI-Assistenten zur Qualitätssicherung von Unterlagen, bevor diese an den Stadtrat übermittelt werden. Der KI-Assistent verweist auf relevante Vorlagen und gibt Rückmeldungen zu den Dokumenten: Er prüft, ob frühere Fallnummern an der richtigen Stelle referenziert sind, ob der Inhalt die Mindestanforderungen erfüllt und ob der Schreibstil den Anforderungen an verständliche Sprache entspricht.

  • Warum ist das eine Ausnahme? Der KI-Assistent wird ausschließlich eingesetzt, um die Qualität der bereits geleisteten Arbeit zu verbessern. Der Sachbearbeiter liest die Rückmeldungen durch, trifft eigene Entscheidungen und bearbeitet die Unterlagen manuell vor dem Versand. Der Assistent ersetzt keine Entscheidungen und trifft keine eigenständigen Beschlüsse.

Beispiel 2: Regelabfragen für Schulen und Betreuungseinrichtungen (Begrenzt und verfahrensmäßig)

Eine Schulabteilungsleitung erstellt einen KI-Assistenten auf Grundlage der kommunalen Aufnahmeregelungen, Zulassungsregeln und Prioritätskriterien. Ziel ist es, dass Kolleginnen und Kollegen einfach Antworten auf Verfahrensfragen nachschlagen können: Welche Unterlagen werden bei der Anmeldung für einen Betreuungsplatz benötigt? Was sind die Fristen? Wie sind die Einzugsgebietsgrenzen definiert?

  • Warum ist das eine Ausnahme? Auch wenn es sich um „Bildung” handelt, führt der KI-Assistent nur eine begrenzte, verfahrensmäßige Aufgabe aus — nämlich Regeln zu erläutern, die bereits auf der Website der Kommune verfügbar sind. Er trifft keine Bewertung eines einzelnen Kindes oder eines konkreten Falls. Die Mitarbeiterin bzw. der Mitarbeiter nimmt die Informationen, bewertet sie und verfasst die Antwort an die Eltern.

Warum ist deine Rolle wichtig?

Der AI Act ist weitgehend als Produktsicherheitsregelung ausgestaltet. Das bedeutet, dass Verantwortung und Pflichten danach verteilt werden, wo die Organisation in der KI-Wertschöpfungskette steht. Diese bewusste Unterscheidung platziert die Verantwortung dort, wo sie am besten wahrgenommen werden kann:

  • Anbieter (Providers) tragen die größte Verantwortung und müssen nachweisen, dass das KI-System selbst sicher ist, bevor es verfügbar gemacht wird (Design, technische Dokumentation, Tests, CE-Kennzeichnung).
  • Betreiber (Deployers) haben eine Verantwortung, die auf den konkreten Einsatz des Systems im Alltag ausgerichtet ist (Sicherstellung menschlicher Aufsicht, Befolgen von Nutzungsanweisungen und Wahrung der Rechte der Einwohner).

Deine Rolle gemäß AI Act hängt in erster Linie davon ab, ob du den Assistenten außerhalb deiner Organisation teilst:

  • Betreiber (Deployer): Du bist ein Betreiber, wenn deine Kommune die Assistenten ausschließlich intern nutzt.
  • Nachgelagerter Anbieter (Downstream provider): Du wirst zum nachgelagerten Anbieter, wenn deine Kommune einen fertig erstellten Assistenten mit anderen Kommunen teilt. (Du übernimmst dann eine „Anbieter”-Verantwortung für das, was du teilst.)
    • Hinweis: Mit „Teilen” ist gemeint, dass ihr einer anderen Kommune Zugang zu einem von euch erstellten Assistenten gebt, den diese nicht selbst auf der Plattform erstellt hat. Wenn eine andere Kommune ihren eigenen Assistenten auf Grundlage eurer Anweisungen/Prompts erstellt (z.B. über die „Assistant Library”), gilt das nicht als Teilen des Systems, und ihr bleibt Betreiber.

Eure Verpflichtungen ergeben sich aus der Kombination von Risikoklasse (wie der Assistent genutzt wird) und Rolle (ob er geteilt wird).

Hier sind die drei häufigsten Szenarien für Kommunen. Die nachstehenden Listen beschreiben die konkreten Anforderungen, die ihr vor und während der Nutzung erfüllen müsst.

Dies gilt für Kommunen, die selbst entwickelte Assistenten ausschließlich intern für Aufgaben mit geringem Risiko nutzen.

Nutzungsbeispiel: Die Kommune hat einen Assistenten erstellt, der der Personalabteilung hilft, Stellenausschreibungen auf Basis bestehender Vorlagen zu entwerfen, oder einen Assistenten, der lange öffentliche Berichte für die Kommunalführung zusammenfasst.

Das sind eure Verpflichtungen (Checkliste):

  • KI-Kompetenzanforderung: Die Kommune muss sicherstellen, dass ausreichend KI-Wissen („AI literacy”) bei den Nutzern vorhanden ist. Die Mitarbeitenden müssen genug Kompetenz haben, um die Plattform sicher zu nutzen und fundierte Entscheidungen über die von Intric generierten Inhalte zu treffen.

Dies gilt für Kommunen, die Assistenten intern in als Hochrisiko eingestuften Bereichen einsetzen.

Nutzungsbeispiel: Die Kommune nutzt einen KI-Assistenten als Teil eines automatisierten Fallbearbeitungsprozesses zur Berechnung der Vergabe von Sozialhilfe oder zur Sortierung und Bewertung von Kandidaten in einem Einstellungsverfahren, bei dem er Entscheidungen über Einzelpersonen trifft oder wesentlich beeinflusst.

Das sind eure Verpflichtungen (Checkliste):

  • Menschliche Aufsicht: Stelle echte menschliche Aufsicht durch Personen mit der richtigen Befugnis und Kompetenz sicher. Ein Mensch muss immer das letzte Wort haben.
  • Unterrichtung von Beschäftigten und Gewerkschaften: Informiere Arbeitnehmervertreter und Beschäftigte, bevor das System am Arbeitsplatz eingesetzt wird.
  • Unterrichtung von Einwohnern: Betroffene Personen (z.B. Antragsteller) müssen darüber informiert werden, dass sie einer automatisierten Entscheidungsfindung unterliegen oder dass KI als Entscheidungsunterstützung eingesetzt wird.
  • Korrekte Eingabedaten: Stelle sicher, dass dem Assistenten nur relevante und angemessene Daten (Input) zugeführt werden.
  • Nutzung gemäß Anweisungen: Der Assistent darf ausschließlich gemäß den vom Anbieter (Intric) bereitgestellten Nutzungsanweisungen eingesetzt werden.
  • Überwachung und Protokollierung: Überwache die Systemnutzung und protokolliere Ereignisse systematisch.
  • Registrierung bei Behörden: Das System muss in einem öffentlichen Register bei der Norwegischen Kommunikationsbehörde (Nkom) registriert werden.
  • Datenschutz (DSFA): Führe eine Datenschutz-Folgenabschätzung (DSFA) durch, wenn die Lösung personenbezogene Daten verarbeitet.

Dies gilt für Kommunen, die einen Assistenten für einen Hochrisikobereich erstellt haben und sich entscheiden, den eigentlichen Systemzugang mit anderen Organisationen oder Kommunen zu teilen.

Nutzungsbeispiel: Die Kommune hat ein fortschrittliches KI-Tool zur Bewertung von Baugenehmigungen erstellt. Anstatt nur das Rezept (den Prompt) zu teilen, geben sie einer Nachbargemeinde im Rahmen einer interkommunalen Zusammenarbeit direkten Systemzugang zum Assistenten. Die Kommune „liefert” das System damit weiter.

Das sind eure Verpflichtungen (Checkliste):

  • Qualitätsmanagement: Richtet ein formelles Qualitätsmanagementsystem für den KI-Assistenten ein und pflegt es.
  • Risikobewertungen: Führt formelle Risikobewertungen vor und während der Weitergabe durch und dokumentiert diese.
  • Data Governance: Richtet strenge Routinen für Datenverwaltung und Datenqualität ein („Data Governance”).
  • Registrierung bei Behörden: Registriert den Assistenten als Hochrisikosystem bei Nkom.
  • Überwachung und Protokollierung: Implementiert systematische Überwachung und Protokollierung, wie das System von den anderen Kommunen genutzt wird und wie es sich verhält.