Risikoklasse: Wofür wird der Assistent eingesetzt?
Die Risikoklasse wird durch den Zweck des KI-Assistenten bestimmt. Der AI Act unterteilt die Nutzung in verschiedene Kategorien:
| Kategorie | Beschreibung und typische kommunale Bereiche | Wichtige Klarstellungen und Ausnahmen |
|---|---|---|
| Hochrisiko | Nutzung in den Bereichen Bildung, Beschäftigung und Personalauswahl, Zugang zu wesentlichen Diensten (einschl. Sozialleistungen) und demokratische Prozesse. | Ausnahme: Wenn der Assistent eine begrenzte, verfahrensmäßige Aufgabe ausführt, die kein Risiko für Gesundheit, Sicherheit oder Grundrechte darstellt, kann eine Ausnahme geltend gemacht werden. |
| Kein Hochrisiko | Nutzung mit minimalem Risiko. Zum Beispiel Aufgaben, die rein verfahrensmäßige Abläufe ausführen oder die nicht dazu bestimmt sind, eine menschliche Beurteilung zu ersetzen oder wesentlich zu beeinflussen. | |
| Verbotene Nutzung | Systeme mit inakzeptablem Risiko für Grundrechte (z.B. vorsätzliche Manipulation, soziales Scoring, Bewertung des Risikos einer Person, eine Straftat zu begehen). | Für Kommunen weitgehend irrelevant. |
Ausnahme: So bewertet ihr das Risiko in der Praxis
Abschnitt betitelt „Ausnahme: So bewertet ihr das Risiko in der Praxis“Ausnahmen sind bei der kommunalen Nutzung von KI-Assistenten sehr häufig. Selbst wenn ein Assistent in einem Bereich eingesetzt wird, der ursprünglich als Hochrisiko eingestuft wurde (z.B. Bildung oder Soziales), kann die Nutzung von den strengsten Anforderungen ausgenommen werden. Das gilt insbesondere, wenn der Assistent:
- Nicht dazu bestimmt ist, eine menschliche Beurteilung zu ersetzen oder zu beeinflussen.
- Für eine begrenzte, verfahrensmäßige Aufgabe konzipiert ist.
Zwei typische Beispiele aus dem kommunalen Alltag zeigen, dass es viele sichere und sehr nützliche Anwendungsfälle gibt, die nicht als Hochrisiko eingestuft werden:
Beispiel 1: Qualitätssicherung von Fallunterlagen (Menschliche Beurteilung bleibt erhalten)
Ein Sachbearbeiter nutzt einen KI-Assistenten zur Qualitätssicherung von Unterlagen, bevor diese an den Stadtrat übermittelt werden. Der KI-Assistent verweist auf relevante Vorlagen und gibt Rückmeldungen zu den Dokumenten: Er prüft, ob frühere Fallnummern an der richtigen Stelle referenziert sind, ob der Inhalt die Mindestanforderungen erfüllt und ob der Schreibstil den Anforderungen an verständliche Sprache entspricht.
- Warum ist das eine Ausnahme? Der KI-Assistent wird ausschließlich eingesetzt, um die Qualität der bereits geleisteten Arbeit zu verbessern. Der Sachbearbeiter liest die Rückmeldungen durch, trifft eigene Entscheidungen und bearbeitet die Unterlagen manuell vor dem Versand. Der Assistent ersetzt keine Entscheidungen und trifft keine eigenständigen Beschlüsse.
Beispiel 2: Regelabfragen für Schulen und Betreuungseinrichtungen (Begrenzt und verfahrensmäßig)
Eine Schulabteilungsleitung erstellt einen KI-Assistenten auf Grundlage der kommunalen Aufnahmeregelungen, Zulassungsregeln und Prioritätskriterien. Ziel ist es, dass Kolleginnen und Kollegen einfach Antworten auf Verfahrensfragen nachschlagen können: Welche Unterlagen werden bei der Anmeldung für einen Betreuungsplatz benötigt? Was sind die Fristen? Wie sind die Einzugsgebietsgrenzen definiert?
- Warum ist das eine Ausnahme? Auch wenn es sich um „Bildung” handelt, führt der KI-Assistent nur eine begrenzte, verfahrensmäßige Aufgabe aus — nämlich Regeln zu erläutern, die bereits auf der Website der Kommune verfügbar sind. Er trifft keine Bewertung eines einzelnen Kindes oder eines konkreten Falls. Die Mitarbeiterin bzw. der Mitarbeiter nimmt die Informationen, bewertet sie und verfasst die Antwort an die Eltern.