Classi di rischio

Introduzione

🎯 Obiettivi di apprendimento

Capire come l’AI Act classifica il rischio — e perché “basso rischio” e “rischio minimo” non sono categorie reali
Sapere quali sistemi AI sono vietati e quali sono ad alto rischio
Comprendere i requisiti di trasparenza e il rischio sistemico per i GPAI
Comprendere il ruolo dello scopo previsto e del ragionevole uso improprio prevedibile

Un approccio basato sul rischio per proteggere i diritti fondamentali

L’EU AI Act adotta un approccio basato sul rischio, che costituisce una distinzione importante rispetto a molte altre normative.

L’obiettivo dell’AI Act non è classificare tutti i sistemi AI — sarebbe impossibile dire qualcosa su tutte le app di generazione di testo o su tutti gli algoritmi di machine learning. Piuttosto, l’obiettivo è regolamentare i sistemi che più probabilmente pongono rischi per la salute, la sicurezza e gli altri diritti fondamentali delle persone.

La salute e la sicurezza sono facili da comprendere. I diritti fondamentali aggiuntivi sono definiti nella Carta europea dei diritti fondamentali. Includono:

Il diritto a una buona amministrazione pubblica, come il diritto di essere ascoltati nelle questioni che ti riguardano
La protezione dei tuoi dati personali
Il diritto all’istruzione e all’accesso alla formazione professionale e continua
Il diritto al lavoro e a esercitare una professione a tua scelta
Il diritto alla non discriminazione
Il diritto dei lavoratori all’informazione e alla consultazione

È la protezione di questi diritti, non la classificazione dei sistemi AI, l’intento della normativa.

La normativa ha stabilito che alcuni specifici sistemi AI pongono intrinsecamente maggiori rischi per questi diritti rispetto ad altri, e quindi sono direttamente regolamentati. In altri casi, la normativa indica specificamente le normative esistenti da rispettare in aggiunta, come il GDPR.

Esistono solo due categorie di classi di rischio intrinseche, o predeterminate: quelle con un livello di rischio inaccettabile e quelle intrinsecamente ad alto rischio.

Rischio inaccettabile — sistemi vietati

La prima frase dell’articolo 1 recita: “La dignità umana è inviolabile. Deve essere rispettata e protetta”. Un diritto fondamentale è il rispetto della tua integrità fisica e mentale. Esistono solo pochi sistemi AI considerati a un livello di rischio inaccettabilmente elevato, e quindi vietati — molti di essi riguardano la manipolazione o il monitoraggio delle persone in modo tale da impedire loro di prendere decisioni che altrimenti avrebbero preso, o da limitare il loro accesso a opportunità di sviluppo.

La maggior parte dei sistemi AI vietati non è rilevante per il modo in cui i nostri clienti utilizzano Intric. Ma vale la pena ricordare le attività che renderebbero un sistema AI vietato:

Manipolare o ingannare le persone per compromettere il loro processo decisionale
Sfruttare le vulnerabilità
Valutazione o classificazione sociale che comporta un trattamento pregiudizievole di determinati gruppi
Valutare il rischio che una persona commetta un reato
Creare/espandere database di riconoscimento facciale tramite raccolta indiscriminata di dati
Inferire le emozioni delle persone nei luoghi di lavoro o negli istituti di istruzione
Categorizzazione biometrica utilizzata per inferire informazioni come razza, opinioni politiche, appartenenza sindacale, genere, credenze religiose
Alcuni usi del monitoraggio biometrico remoto in tempo reale da parte delle forze dell’ordine

Sistemi AI intrinsecamente ad alto rischio

La logica di questa classe di rischio è diversa da quella della classe di rischio inaccettabile. I sistemi AI sopra indicati sono vietati in base alle funzioni che svolgono. Qui, i sistemi AI sono classificati come ad alto rischio in base al settore in cui operano.

I primi tre sono più rilevanti per i clienti di Intric.

Accesso ai servizi privati essenziali e ai servizi e benefici pubblici essenziali e relativo godimento (area ad alto rischio 1)

Non tutti i sistemi AI utilizzati in servizi pubblici o privati importanti sono ad alto rischio — l’enfasi è posta sul fatto che il sistema AI influenzi la capacità delle persone di accedere o utilizzare questi servizi.

L’uso ad alto rischio riguarda:

I sistemi AI coinvolti nella valutazione dell’idoneità delle persone a questi servizi o che concedono/modificano/revocano tali servizi. L’assistenza sanitaria è esplicitamente menzionata.
La determinazione del merito creditizio o del punteggio di credito
La valutazione del rischio o la determinazione dei prezzi relativi all’assicurazione sulla vita o alla salute
L’utilizzo nelle chiamate di emergenza o nei servizi di pronto intervento, inclusi polizia, vigili del fuoco, assistenza medica e triage di emergenza.

Esempio: Un sistema AI che fornisce ai responsabili dei casi un riassunto narrativo delle domande di indennità di disoccupazione sarebbe ad alto rischio.

Occupazione, gestione dei lavoratori e accesso al lavoro autonomo (area ad alto rischio 2)

Non tutti i sistemi AI utilizzati in questo settore sono ad alto rischio. Solo quelli utilizzati nel reclutamento o nella selezione del personale, per inserire annunci mirati, analizzare e filtrare le candidature, valutare i candidati. Un’altra categoria riguarda l’utilizzo per prendere decisioni che influenzano i termini dei rapporti di lavoro, come promozioni o licenziamenti, assegnazione di compiti basata su comportamenti o caratteristiche, o per monitorare e valutare le prestazioni sul luogo di lavoro.

Esempio: Un sistema AI che classifica i candidati a un posto di lavoro secondo un punteggio numerico di “compatibilità lavorativa” sarebbe ad alto rischio. Abbiamo una solida base di evidenze su come i selezionatori siano facilmente influenzati dalle classifiche dei candidati negli strumenti digitali.

Istruzione e formazione professionale (area ad alto rischio 3)

Non tutti i sistemi AI utilizzati in questo settore sono ad alto rischio. Solo quelli utilizzati per:

determinare l’accesso o l’ammissione,
valutare i risultati di apprendimento, anche quando i risultati vengono utilizzati per orientare il processo di apprendimento,
valutare il livello di istruzione che una persona riceverà, oppure
monitorare o rilevare comportamenti vietati degli studenti durante gli esami.

Esempio: Un sistema AI che utilizza dati storici degli esami per prevedere se singoli studenti hanno copiato in nuovi esami, sarebbe ad alto rischio. Lo sarebbe anche un sistema AI che utilizza telecamere del laptop per analizzare il linguaggio del corpo degli studenti durante i test a casa e valutare se stanno copiando.

Altre aree ad alto rischio

Di minore rilevanza per Intric sono queste ulteriori aree. L’AI Act specifica che un prerequisito è che tali sistemi siano già autorizzati dal diritto dell’UE:

Forze dell’ordine
Componenti di sicurezza di infrastrutture critiche, traffico stradale o fornitura di acqua, gas, riscaldamento o elettricità
Biometria
Gestione della migrazione, dell’asilo e del controllo delle frontiere
Utilizzato da autorità giudiziarie o per loro conto, risoluzione delle controversie
Utilizzato per influenzare i risultati delle votazioni o delle elezioni.

Prodotti e sistemi già regolamentati

La seconda categoria di sistemi ad alto rischio comprende quelli già regolamentati da varie leggi europee: componenti di sicurezza di prodotti, giocattoli, dispositivi medici, ascensori, dispositivi di protezione individuale, veicoli, sistemi ferroviari e così via.

Esempio: Alla fine del 2025, un orsacchiotto che utilizzava GPT-4o e tecnologia di riconoscimento vocale per chattare con i bambini è stato ritirato dal mercato americano dopo che un gruppo di consumatori ha condotto test di sicurezza e ha ottenuto dall’orsacchiotto di parlare di argomenti sessuali e violenza. Nell’UE, questo giocattolo sarebbe stato regolamentato dalla normativa settoriale in aggiunta all’AI Act.

Richiedere un’eccezione alla classificazione ad alto rischio

Esistono quattro eccezioni chiare, il che significa che se il tuo sistema AI è classificato come intrinsecamente ad alto rischio, puoi sostenere che in realtà non pone rischi per la salute, la sicurezza o i diritti umani fondamentali.

Per poter richiedere questa eccezione, il tuo sistema deve soddisfare uno dei seguenti criteri — qui riportiamo la formulazione esatta della normativa:

destinato a svolgere un compito procedurale ristretto;
destinato a migliorare il risultato di un’attività umana precedentemente completata;
destinato a rilevare schemi decisionali o deviazioni da schemi decisionali precedenti e non è inteso a sostituire o influenzare la valutazione umana precedentemente completata, senza un’adeguata revisione umana; oppure
destinato a svolgere un compito preparatorio per una valutazione rilevante per un sistema ad alto rischio, esclusi i sistemi già regolamentati.

Molti algoritmi di machine learning per rilevare deviazioni in enormi dataset (a causa di errori umani o frodi) saranno classificati qui. Di fatto, queste eccezioni si applicano principalmente a sistemi AI non generativi.

Per richiedere un’eccezione, è sufficiente segnalarlo a un database dell’UE. A parte questo, non hai altri requisiti relativi ai deployer o ai fornitori di sistemi ad alto rischio. Se richiedi un’eccezione su false premesse, la tua multa sarà di 750.000 EURO.

Tieni presente che se il tuo sistema AI profila le persone, non potrai richiedere un’eccezione.

Esempio: Il tuo sistema AI analizza i tempi di gestione dei casi completati in base a una selezione di caratteristiche degli argomenti e dei responsabili dei casi. In questo processo nessun individuo è identificabile, quindi il sistema non è un tipo di gestione dei dipendenti. Lo utilizzi per identificare se determinati gruppi di cittadini ricevono decisioni più lente, o se determinati argomenti sembrano più difficili per i responsabili dei casi, al fine di pianificare la formazione futura. Ma! Se inizi a usare questo sistema per raggruppare determinati dipendenti come più o meno performanti, ricade nell’area ad alto rischio.

Requisiti di trasparenza

Indipendentemente dal fatto che il tuo sistema AI sia ad alto rischio, è necessario verificare se il sistema ha specifici requisiti di trasparenza. Quando esiste un rischio per qualcuno in caso di mancanza di trasparenza, la trasparenza è obbligatoria. Questo si riferisce essenzialmente al rendere molto chiaro a un utente che ciò che sta vedendo, ascoltando o con cui sta interagendo è un sistema AI.

Se un sistema esegue una delle seguenti operazioni, esistono requisiti di trasparenza:

Interagisce con una persona
Genera testo, audio, immagini o video
Genera o manipola immagini, audio o video per costituire un deepfake (il testo non è incluso qui)
Riconosce le emozioni o effettua la categorizzazione biometrica
Genera testo pubblicato per informare il pubblico su questioni di interesse pubblico

In pratica, la maggior parte dei GPAI e dei sistemi che li utilizzano porterà automaticamente requisiti di trasparenza.

Approfondimento — chatbot: Nei primi materiali formativi, i “chatbot” erano elencati come esempio di sistema AI che richiedeva solo trasparenza — questo era prima che i chatbot basati su GPAI diventassero diffusi. Ora, un chatbot richiederebbe solo trasparenza se fosse alimentato da un modello linguistico più semplice. Pensa a quando cerchi di contattare il servizio clienti tramite una finestra di chat; scrivi la tua domanda e il chatbot risponde con: “è uno di questi sei argomenti quello che stai chiedendo?” Questo è un esempio di chatbot non-GPAI. Non può conversare con te come farebbe un chatbot avanzato, ma ha una capacità limitata di analizzare le tue domande. L’azienda deve solo essere trasparente con te sul fatto che si tratta di un sistema AI.

Rischio sistemico dei GPAI

Invece di cercare di inserire i GPAI nella classificazione del rischio di cui sopra, l’AI Act ha deciso di utilizzare il concetto di “rischi sistemici”. Viene indicato che alcuni GPAI potrebbero comportare rischi sistemici se:

Il GPAI è molto capace, come indicato da una grande quantità di calcolo utilizzato nell’addestramento,
Il GPAI è ampiamente utilizzato (come molti sperano di essere) e ha quindi un elevato impatto sul mercato, oppure
La Commissione determina che presenta un rischio sistemico.

In pratica, la maggior parte dei modelli linguistici di grandi dimensioni si qualifica come avente un rischio sistemico.

Un modello non è classificato come avente un rischio sistemico “basso” o “nullo”; la normativa fa riferimento solo ai GPAI e ai GPAI con rischio sistemico.

Il processo decisionale non è correlato alla classe di rischio

Molte organizzazioni sperano che le procedure con umano nel ciclo, ovvero solo il supporto decisionale AI e non la piena autonomia decisionale, possano ridurre la classe di rischio. Questa non è la logica della normativa. La designazione ad alto rischio non ha effettivamente nulla a che fare con il processo decisionale e con il fatto che sia coinvolto o meno un essere umano. Ciò che conta di più è se il tuo sistema AI opera in un’area considerata intrinsecamente ad alto rischio per la salute, la sicurezza o i diritti fondamentali.

Ma se sei il fornitore di un sistema ad alto rischio, devi garantire che gli esseri umani abbiano la capacità di comprendere l’output, di intervenire o di bloccare il sistema — questo è ciò che si intende per “supervisione umana”.

Inoltre, se sei un deployer del settore pubblico di un sistema ad alto rischio e il tuo sistema AI è coinvolto nel supporto decisionale o nel processo decisionale che riguarda le persone, devi informare le persone interessate.

Quali rischi devi identificare?

No. L’AI Act non richiede un brainstorming infinito di tutti i rischi possibili — ce ne sarebbero centinaia, come se il tuo utilizzo di un assistente contribuirà alla deforestazione amazzonica. Il Risk Atlas del MIT contiene attualmente quasi 2.000 rischi AI: airisk.mit.edu

Di fatto, l’AI Act afferma espressamente che non deve costituire un ostacolo al settore pubblico nell’utilizzo dell’AI per innovare!

Piuttosto, fornitori e deployer devono identificare i rischi relativi a:

L’uso del sistema AI secondo il suo scopo previsto
L’uso improprio ragionevolmente prevedibile del sistema AI
Minori o altri gruppi vulnerabili.

Devono tenere conto sia del contesto dell’uso o dell’uso improprio previsto, sia degli utenti stessi: le loro conoscenze tecniche, le loro esperienze e aspettative, la loro capacità di leggere e comprendere le istruzioni.

I sistemi ad alto rischio dispongono di una guida specifica per questo processo di gestione del rischio. Ancora una volta, il focus è sui rischi per la salute, la sicurezza e i diritti fondamentali.

Scopo previsto

Lo scopo previsto è un concetto importante nell’AI Act. I fornitori hanno la responsabilità di rendere chiaro ai deployer lo scopo previsto dei loro sistemi AI. Più un sistema è rischioso, più dettagliate devono essere le istruzioni per l’uso.

Come abbiamo visto, i GPAI complicano questo aspetto, perché non hanno un unico scopo previsto. Ma è comunque responsabilità del fornitore indicare chiaramente la gamma di scopi del sistema AI o del GPAI, e ciò per cui non è previsto.

Uso improprio ragionevolmente prevedibile

Questo si riferisce all’utilizzo di un sistema AI che non è come previsto, ma che può derivare da un comportamento umano ragionevolmente prevedibile, o da un’interazione ragionevolmente prevedibile con altri sistemi. È inclusa anche l’interazione con altri sistemi AI o sistemi agentici.

“Prevedibile” significa che non devono essere gestiti solo i rischi noti — devi immaginarne di nuovi. E “ragionevole” significa che non devi pensare a ogni possibile rischio a lungo termine.

Esempio: Un comune ha recentemente ridotto il proprio ufficio comunicazioni da quattro persone a una. Creano un assistente per il consulente rimasto. Sarebbe ragionevolmente prevedibile immaginare che questa persona utilizzi l’assistente per creare testi destinati ai cittadini e smetta di controllare l’output prima di pubblicarlo online, semplicemente perché sta cercando di fare il lavoro di quattro persone.

Consulta la nostra documentazione sulla valutazione della classe di rischio del tuo assistente: help.intric.ai/en/docs/security-compliance/ai-act/risk-class/

Sistemi AI fuori ambito

Dopo aver letto questa sezione, se riesci a pensare a un sistema AI che non rientra in nessuna delle classificazioni di rischio intrinseche, che non ha requisiti di trasparenza, che non è un GPAI e non riesci a immaginare alcun modo in cui l’uso previsto o l’uso improprio potrebbe minacciare la salute, la sicurezza o i diritti fondamentali — allora quel sistema potrebbe essere fuori ambito rispetto all’AI Act. Né il fornitore né il deployer hanno alcun requisito.

Ricorda che la Commissione europea non intende presentare un elenco esaustivo di tutti i sistemi AI. La Commissione si aspetta che tutti gli attori utilizzino il proprio ragionamento.

Molti esempi di sistemi fuori ambito sono algoritmi di machine learning “tradizionali”:

Algoritmi di raccomandazione su una piattaforma di streaming. L’output è l’ordine in cui il contenuto ti viene presentato.
Un sistema AI utilizzato per controllare un personaggio non giocante in un gioco, o per generare comportamenti dinamici nel gioco.
Il filtro antispam del tuo provider di posta elettronica è un classico esempio di algoritmo di machine learning che utilizza l’elaborazione del linguaggio naturale. Non rientra in nessuna delle aree di rischio inaccettabile o elevato. Inoltre non genera testo, ma solo una decisione su dove inviare un’e-mail — nella cartella spam o nella posta in arrivo — e nessuno interagisce con esso, quindi non ci sono requisiti di trasparenza.

Punti chiave

Nell’AI Act esistono solo due classi di rischio predeterminate: rischio inaccettabile (vietato) e rischio intrinsecamente elevato. “Basso rischio” e “rischio minimo” non sono categorie della normativa.
La classificazione ad alto rischio si basa sull’area di operazione, non sulla funzione svolta o sulla presenza di un essere umano nel ciclo.
La maggior parte dei GPAI e dei sistemi costruiti su di essi porta automaticamente requisiti di trasparenza.
Fornitori e deployer devono identificare i rischi relativi allo scopo previsto, all’uso improprio ragionevolmente prevedibile e ai gruppi vulnerabili — ma non ogni possibile rischio.
Se un sistema è fuori ambito, né il fornitore né il deployer hanno alcun requisito.

Metti alla prova le tue conoscenze

6 domande · 100% per superarlo · Rivedi le risposte al termine