Hoppa till innehåll

Riskklasser

🎯 Lärandemål

  • Förstå hur AI Act klassificerar risk — och varför “låg risk” och “minimal risk” inte är verkliga kategorier
  • Veta vilka AI-system som är förbjudna och vilka som är högrisk
  • Förstå transparenskrav och systemrisk för GPAIs
  • Förstå rollen av avsett syfte och rimligen förutsebar felanvändning

En riskbaserad ansats för att skydda grundläggande rättigheter

Section titled “En riskbaserad ansats för att skydda grundläggande rättigheter”

EU:s AI Act tillämpar en riskbaserad ansats, vilket är en viktig skillnad mot många andra förordningar.

Poängen med AI Act är inte att klassificera alla AI-system — det skulle vara omöjligt att säga något meningsfullt om alla textgenereringsappar eller alla maskininlärningsalgoritmer. Syftet är i stället att reglera de system som mest sannolikt utgör risker för människors hälsa, säkerhet och andra grundläggande rättigheter.

Hälsa och säkerhet är lätta att förstå. Ytterligare grundläggande rättigheter återfinns i EU-stadgan om de grundläggande rättigheterna. De innefattar:

  • Rätten till god förvaltning, till exempel rätten att bli hörd i ärenden som rör dig
  • Skyddet av dina personuppgifter
  • Rätten till utbildning och tillgång till yrkesutbildning och fortbildning
  • Rätten att arbeta och att utöva ett yrke du väljer
  • Rätten till icke-diskriminering
  • Arbetstagares rätt till information och samråd

Det är skyddet av dessa rättigheter, inte klassificeringen av AI-system, som är förordningens syfte.

Förordningen har beslutat att vissa AI-system i sig innebär större risk för dessa rättigheter än andra och därför regleras direkt. I andra fall pekar förordningen uttryckligen på befintlig reglering som måste följas vid sidan av, exempelvis GDPR.

Det finns bara två kategorier av inneboende, eller förutbestämd, risknivå: de med oacceptabelt hög risk och de med inneboende hög risk.

Den allra första meningen i artikel 1 är: “Människans värdighet är okränkbar. Den skall respekteras och skyddas”. En grundläggande rättighet är respekten för din fysiska och mentala integritet. Det finns bara ett fåtal AI-system som bedöms ha en oacceptabelt hög risknivå och därför är förbjudna — och många av dem handlar om att manipulera eller övervaka människor på ett sätt som hindrar dem från att fatta beslut de annars skulle fatta, eller som begränsar deras tillgång till möjligheter att blomstra.

De flesta förbjudna AI-system är inte relevanta för hur våra kunder använder Intric. Men det är värt att påminna sig om de aktiviteter som gör ett AI-system förbjudet:

  • Manipulera eller vilseleda människor i syfte att försämra deras beslutsförmåga
  • Utnyttja sårbarheter
  • Utvärdering eller social poängsättning som leder till diskriminerande behandling av vissa grupper
  • Bedöma personers risk för att begå brott
  • Skapa eller utvidga ansiktsigenkänningsdatabaser genom oselektiv insamling
  • Sluta sig till personers känslor på arbetsplatser eller i utbildningsinstanser
  • Biometrisk kategorisering som används för att sluta sig till saker som ras, politiska åsikter, fackligt medlemskap, kön eller religiös övertygelse
  • Viss användning av realtidsbiometrisk fjärrövervakning av brottsbekämpande myndigheter

Hävda ett undantag från högriskklassificeringen

Section titled “Hävda ett undantag från högriskklassificeringen”

Det finns fyra tydliga undantag, vilket innebär att om ditt AI-system klassificeras som inneboende högrisk kan du hävda att det i verkligheten inte utgör en risk för hälsa, säkerhet eller grundläggande mänskliga rättigheter.

För att kunna hävda detta undantag måste ditt system uppfylla ett av följande kriterier — och här återger vi den exakta ordalydelsen från förordningen:

  • avsett att utföra en snäv procedurell uppgift;
  • avsett att förbättra resultatet av en tidigare slutförd mänsklig aktivitet;
  • avsett att upptäcka beslutsfattandemönster eller avvikelser från tidigare beslutsfattandemönster och inte är avsett att ersätta eller påverka den tidigare slutförda mänskliga bedömningen, utan lämplig mänsklig granskning; eller
  • avsett att utföra en förberedande uppgift inför en bedömning relevant för ett högrisk-system, med undantag för de system som redan är reglerade.

Många maskininlärningsalgoritmer för att detektera avvikelser i enorma datamängder (på grund av mänskliga fel eller bedrägeri) kommer att klassificeras här. Dessa undantag gäller i första hand AI-system som inte är generativa.

För att hävda ett undantag behöver du bara rapportera detta till en EU-databas. Utöver det har du inga andra krav som driftsansvarig eller leverantör av ett högrisk-system. Om du hävdar ett undantag på falska grunder är böterna 750 000 euro.

Observera att om ditt AI-system profilerar personer kan du inte hävda ett undantag.

Exempel: Ditt AI-system analyserar avslutade ärendehanteringstider utifrån ett urval av ämnens- och handläggaregenskaper. Inga enskilda individer kan identifieras i den processen, vilket innebär att systemet inte är en form av personalhantering. Du använder det för att identifiera om vissa grupper av medborgare får långsammare beslut, eller om vissa ämnen verkar vara svårare för handläggarna, i syfte att prioritera framtida utbildning. Men! Om du börjar använda systemet för att gruppera anställda som bättre eller sämre presterande faller det inom högriskområdet.

Skilt från om ditt AI-system är högrisk är frågan om systemet har specifika transparenskrav. När det finns en risk att någon tar skada om transparens saknas, krävs transparens. Det handlar i praktiken om att tydligt klargöra för en användare att det de ser, hör eller interagerar med är ett AI-system.

Om ett system gör något av följande finns det transparenskrav:

  • Interagerar med en person
  • Genererar text, ljud, bild eller video
  • Genererar eller manipulerar bild, ljud eller video på ett sätt som utgör en deepfake (text ingår inte här)
  • Känner igen känslor eller utför biometrisk kategorisering
  • Genererar text som publiceras för att informera allmänheten i frågor av allmänt intresse

I praktiken kommer de flesta GPAIs och system som använder dem automatiskt att bära transparenskrav.

Fördjupning — chatbottar: I tidiga utbildningsmaterial angavs “chatbottar” som ett exempel på ett AI-system som bara krävde transparens — det var innan GPAI-drivna chatbottar blev vanliga. Nu skulle en chatbot bara kräva transparens om den drevs av en enklare språkmodell. Tänk på när du försöker kontakta kundtjänst via ett chattfönster; du skriver din fråga och chatbotten svarar med “är ett av dessa sex ämnen det du frågar om?” Det är ett exempel på en icke-GPAI-chatbot. Den kan inte föra ett samtal som en chatbot kan, men den har en begränsad förmåga att analysera dina frågor. Företaget behöver bara vara transparent om att det är ett AI-system.

I stället för att försöka passa in GPAIs i ovanstående riskklassificering valde AI Act att använda begreppet “systemrisker”. Förordningen anger att vissa GPAIs kan bära systemrisker om:

  • GPAI:en är mycket kapabel, vilket indikeras av en stor mängd beräkning som använts i träning,
  • GPAI:en används i stor utsträckning (vilket många hoppas) och därför har stor påverkan på marknaden, eller
  • Kommissionen bedömer att den har systemrisk.

I praktiken klassificeras de flesta stora språkmodeller som att de bär systemrisk.

En modell klassificeras inte som att ha “låg” eller “ingen” systemrisk; förordningen hänvisar bara till GPAIs och GPAIs med systemrisk.

Beslutsfattande är inte kopplat till riskklass

Section titled “Beslutsfattande är inte kopplat till riskklass”

Många organisationer hoppas att mänsklig kontroll i loopen — det vill säga att AI bara stöder beslut men inte fattar dem fullt ut — kan sänka riskklassen. Det är inte så förordningens logik fungerar. Högrisk-klassificering har egentligen ingenting att göra med beslutsfattandet eller om en människa är involverad. Det som spelar större roll är om ditt AI-system verkar inom ett område som anses vara inneboende högrisk för hälsa, säkerhet eller grundläggande rättigheter.

Men om du är leverantör av ett högrisk-system måste du se till att människor har möjlighet att förstå utdata, att ingripa eller stoppa systemet — det är vad som menas med “mänsklig tillsyn”.

Dessutom, om du är en offentlig driftsansvarig av ett högrisk-system och ditt AI-system är involverat i beslutsstöd eller beslutsfattande som påverkar människor, måste du informera de berörda personerna.

Efter att ha läst det här avsnittet — om du kan tänka dig ett AI-system som inte uppfyller någon av de inneboende riskklassificeringarna, som inte har några transparenskrav, inte är en GPAI, och du inte kan komma på något sätt som avsedd användning eller felanvändning skulle kunna hota hälsa, säkerhet eller grundläggande rättigheter — då kan det systemet vara utanför AI Acts scope. Varken leverantören eller den driftsansvariga har då några krav.

Kom ihåg att Europeiska kommissionen inte avser att presentera en uttömmande förteckning över alla AI-system. Kommissionen förväntar sig att alla aktörer använder sitt eget omdöme.

Många exempel på system utanför scope är “traditionella” maskininlärningsalgoritmer:

  • Rekommendationsalgoritmer på en streamingtjänst. Utdata är den ordning i vilken innehåll presenteras för dig.
  • Ett AI-system som används för att styra en icke-spelarstyrd karaktär i ett spel, eller för att generera dynamiskt spelbeteende.
  • Skräppostfiltret som din e-postleverantör använder är ett klassiskt exempel på en maskininlärningsalgoritm som använder naturlig språkbehandling. Det faller inte inom något av de oacceptabla eller högrisk-områdena. Det genererar inte heller text, bara ett beslut om huruvida ett e-postmeddelande hamnar i skräppostmappen eller inkorgen, och ingen interagerar med det, vilket innebär att det inte heller har transparenskrav.
  • Det finns bara två förutbestämda riskklasser i förordningen: oacceptabel risk (förbjuden) och inneboende hög risk. “Låg risk” och “minimal risk” är inte kategorier i förordningen.
  • Högrisk-klassificering baseras på verksamhetsområdet, inte den utförda funktionen eller huruvida en människa är i loopen.
  • De flesta GPAIs och system som bygger på dem bär transparenskrav automatiskt.
  • Leverantörer och driftsansvariga måste identifiera risker relaterade till avsett syfte, rimligen förutsebar felanvändning och sårbara grupper — men inte varje tänkbar risk.
  • Om ett system är utanför scope har varken leverantören eller den driftsansvariga några krav.

Testa dina kunskaper

6 frågor · 100 % rätt för att godkännas · Granska svar när du är klar