Ny AI-forordning på vej efter historisk aftale i EU

Der er tale om et omfattende regelsæt for omsætning, ibrugtagning og anvendelse af systemer med kunstig intelligens (AI) i EU. Reglerne skal skabe en ramme for ansvarlig anvendelse af AI i EU, som balancerer behovet for teknologisk fremskridt med beskyttelsen af grundlæggende rettigheder og samfundsmæssige værdier.

Hvornår finder AI-forordningen anvendelse?

AI-forordningen har et bredt anvendelsesområde og finder anvendelse på både offentlige myndigheder og private virksomheder både inden for og uden for EU, når AI-systemet omsættes på det indre marked i EU, eller hvis brugen af AI-systemet påvirker personer i EU.

De centrale aktører er udbydere og brugere af AI-systemer. Forordningen regulerer dog som udgangspunkt alle led i værdikæden for produktion og omsætning af AI-systemer.

Ved en udbyder forstås en fysisk eller juridisk person, en offentlig myndighed, et agentur eller et andet organ, der udvikler eller får udviklet et AI-system og bringer det i omsætning eller ibrugtager det under eget navn eller varemærke, enten mod betaling eller gratis, jf. forordningens artikel 3, nr. 2. Det kan f.eks. være en leverandør, der tilbyder et AI-system til screening af ansøgere.

En bruger er enhver fysisk eller juridisk person, offentlig myndighed eller ethvert agentur eller andet organ, der anvender et AI-system under sin myndighed, jf. artikel 3, nr. 4. Det kan f.eks. være en bank, der anvender dette screeningsværktøj.

Brugere m.v. vil blive anset for selv at være udbydere, hvis de markedsfører højrisiko-AI-systemet under eget navn eller tager det i brug, ændrer dets formål eller foretager en væsentlig ændring af systemet, jf. artikel 28.

AI-forordningen finder ikke anvendelse på AI-systemer, der er udviklet eller udelukkende anvendes til militære formål eller formål vedrørende national sikkerhed, jf. artikel 2, stk. 3.

AI-forordningen finder heller ikke anvendelse på AI-systemer, der udelukkende anvendes til forskning eller innovation. Tilsvarende gælder personer, der anvender AI til privat brug (ikke-erhvervsmæssige årsager).

Endelig definition af et ”AI-system”

Parterne har ikke været helt enige om, hvordan man skal definere et AI-system. Den endelige definition lægger sig efter det oplyste op ad OECD’s definition af et AI-system, hvor det sikres, at definitionen af et AI-system indeholder tilstrækkeligt klare kriterier for at sondre mellem AI og enklere softwaresystemer.

Risikobaseret tilgang

Med AI-forordningen indføres en risikobaseret tilgang til brugen af AI-systemer, hvor der indføres forskellige niveauer af forpligtelser, alt efter hvilken risiko anvendelsen af AI-systemet indebærer; jo større risiko, jo strengere regler.

AI-forordningen opdeler AI-systemer i nedenstående risikokategorier i figur 1, herunder 1) uacceptabel risiko, 2) høj risiko, 3) begrænset risiko, eller 4) lav eller minimal risiko.

De fleste AI-systemer falder ind under lav eller minimal risiko og omfatter f.eks. visse AI-baserede anbefalingssystemer eller spamfiltre m.v.

Listen over forbudte AI-systemer

AI-systemer med en uacceptabel risiko forbydes i EU, idet de anses for at udgøre en for høj risiko for bl.a. grundlæggende rettigheder.

Der har været uenighed mellem parterne om, hvilke AI-systemer der hører til på forbudslisten, hvor Europa-Parlamentet i sit kompromisforslag foretog væsentlige ændringer til den foreslåede forbudsliste. Efter at parterne er nået til enighed, omfatter forbudslisten følgende AI-systemer vedrørende:

• Kognitiv adfærdsmanipulation.
• Ikke-målrettet indsamling af ansigtsbilleder fra internettet (”untargeted scraping”) eller CCTV-optagelser.
• Følelsesgenkendelse på arbejdspladsen og i uddannelsesinstitutioner.
• Forbud mod offentlige myndigheders generelle brug af visse sociale pointsystemer (”social scoring”) baseret på AI, hvor disse fører til skadelig eller ugunstig behandling.
• Biometrisk kategorisering for at udlede følsomme data såsom seksuel orientering eller religiøs overbevisning.
• Visse tilfælde af forudsigende politiarbejde for enkeltpersoner.

Parterne opnåede også enighed om, at retshåndhævende myndigheder kan anvende biometriske fjernidentifikationssystemer i realtid på offentlige steder til retshåndhævende formål efter forudgående dommerkendelse og kun i tilfælde af kriminalitet, som er omfattet af en nærmere defineret kriminalitetsliste. 

For så vidt angår anvendelsen af biometriske identifikationssystemer er denne begrænset i tid og sted og til følgende formål: målrettede søgninger efter ofre for visse forbrydelser, forebyggelse af reelle, nuværende eller forudsigelige trusler såsom terrorangreb og eftersøgning efter personer, der mistænkes for de alvorligste forbrydelser.

Højrisiko-AI-systemer

AI-systemer med høj risiko vil skulle opfylde en lang række strenge krav, der navnlig gælder for udbydere. Det omfatter bl.a. risikostyringssystemer, datasæt af høj kvalitet (data governance), detaljeret dokumentation, klar brugerinformation i en brugsanvisning, menneskelig kontrol og transparens samt et højt niveau af robusthed, nøjagtighed og cybersikkerhed.

Ligesom med forbudslisten har parterne ikke været enige om, hvilke AI-systemer der skal kategoriseres som højrisiko-AI-systemer. Disse AI-systemer omfatter bl.a. visse kritiske infrastrukturer, bl.a. indenfor vand, gas og elektricitet, medicinsk udstyr, systemer til bestemmelse af adgang til uddannelsesinstitutioner eller til rekruttering af personer, kreditvurderinger af personer, risikovurderinger og prisfastsættelse i forhold til livs- og helbredsforsikringer samt visse systemer, der anvendes indenfor retshåndhævelse, grænsekontrol, retspleje og demokratiske processer.

AI-systemer med specifik gennemsigtighedsrisiko

Parterne er desuden blevet enige om at fastsætte regler i AI-forordningen om pligt til at skabe gennemsigtighed, når personer interagerer med visse AI-systemer, herunder når der anvendes AI-systemer såsom chatbots.

Personer skal også informeres, når der anvendes AI-systemer til biometrisk kategorisering eller følelsesgenkendelse, og deep fakes og andet AI-genereret indhold skal mærkes som sådan.

Udbyderne skal desuden udvikle deres systemer således, at syntetisk indhold såsom lyd, video, tekst og billeder mærkes i et maskinlæsbart format. På denne måde kan indholdet identificeres som værende kunstigt genereret eller manipuleret.

AI-systemer til generelle formål (general purpose) og grundmodeller

I aftalen er der desuden taget højde for at indføre særlige gennemsigtighedsforpligtigelser for såkaldte ”general purpose” AI (GPAI) systemer, som skal sikre transparens i hele værdikæden. Det omfatter bl.a. krav om udarbejdelse af teknisk dokumentation, sikring af at EU-lovgivning om ophavsret overholdes og krav om offentliggørelse af anvendelsen af træningsdata for systemet. Efter forslag fra Europa-Parlamentet vil der i øvrigt gælde mere strenge forpligtigelser for højrisiko-GPAI-systemer, der kan udgøre systemiske risici, herunder bl.a. krav vedrørende risikostyring og overvågning af alvorlige hændelser, foretagelse af modelevaluering og kontradiktionsafprøvning. Disse forpligtelser vil blive gjort operationelle gennem adfærdskodekser udviklet af industrien, det videnskabelige samfund, civilsamfundet og andre interessenter sammen med Kommissionen.

Der er ligeledes opnået enighed om særlige gennemsigtighedsforpligtigelser for såkaldte grundmodeller, før de bringes i omsætning. Forpligtigelserne skærpes, hvis der er tale om en model med stor påvirkning, herunder bl.a. hvis modellen er trænet med store mængder data og med avanceret kompleksitet og kapacitet og resultater, der ligger et godt stykke over gennemsnittet, og som kan sprede systemiske risici i hele værdikæden.

Pligt til at foretage en fundamental rights impact assessment (FRIA)

Aftalen viderefører forslaget fra Europa-Parlamentet om at indføre en pligt for brugere af højrisiko-AI-systemer til at udarbejde en såkaldt ”fundamental rights impact assessment” (FRIA) forud for brugen af et højrisiko-AI-system.

FRIA’en skal bl.a. indeholde en nærmere redegørelse for de risici og mulige konsekvenser højrisiko-AI-systemet har for grundlæggende rettigheder, marginaliserede grupper og miljøet mv. samt en detaljeret plan for at afbøde disse risici og mulige skadevirkninger.

Hvis en myndighed eller virksomhed allerede er forpligtet til at gennemføre en konsekvensanalyse vedrørende databeskyttelse, jf. artikel 35 i databeskyttelsesforordningen, skal FRIA’en udarbejdes i sammenhæng med konsekvensanalysen vedrørende databeskyttelse, som skal offentliggøres som et tillæg til FRIA’en.

Rettigheder til personer

I aftalen blev der også opnået enighed om rettigheder til fysiske personer til at kunne klage til de nationale tilsynsmyndigheder samt en ret til meningsfulde forklaringer på afgørelser.

Hvem skal håndhæve reglerne?

Som følge af det særlige fokus på GPAI-systemer har parterne fundet det nødvendigt at oprette et såkaldt AI-kontor under Kommissionen, som får til opgave at føre tilsyn med de mest avancerede AI-modeller, bidrage til at fremme standarder og testpraksis og håndhæve de fælles regler i alle medlemsstater. Kontoret vil blive understøttet af et videnskabeligt panel af uafhængige eksperter.

Derudover skal der udpeges en eller flere nationale tilsynsmyndigheder, som skal sikre AI-forordningens anvendelse og gennemførelse. Det er på nuværende tidspunkt uafklaret, hvilken eller hvilke myndigheder i Danmark, som kommer til at varetage denne opgave.

Foranstaltninger til støtte for innovation

Aftalen mellem parterne omfatter også en række foranstaltninger til støtte for innovation, der samtidig tager hensyn til at lette de administrative byrder for små og mellemstore virksomheder (SMV'er) og start-up-virksomheder. Det drejer sig bl.a. om etablering af reguleringsmæssige sandkasser, som har til formål at skabe et kontrolleret forsøgs- og prøvningsmiljø i udviklingsfasen forud for omsætning af innovative AI-systemer, herunder bl.a. prøvning under faktiske forhold.

Sanktioner/bøder

AI-forordningen fastsætter særdeles skrappe bøder for overtrædelse af reglerne. Manglende overholdelse af reglerne i AI-forordningen kan således føre til bøder, der spænder fra 35 millioner euro eller 7% af den globale omsætning til 7,5 millioner eller 1,5 % af omsætningen, afhængigt af overtrædelsen og virksomhedens størrelse.

Der er dog fastsat mere forholdsmæssige lofter for administrative bøder til SMV'er og nystartede virksomheder i tilfælde af overtrædelser af AI-forordningen.

Næste skridt mod ikrafttrædelse af forordningen

Næste skridt er, at den foreløbige aftale formelt skal godkendes i både Europa-Parlamentet og Rådet, og vil træde i kraft 20 dage efter offentliggørelsen i EU-Tidende. Først derefter vil AI forordningen være endeligt vedtaget.

Når AI-forordningen er endeligt vedtaget, vil den finde anvendelse 2 år efter forordningens ikrafttræden.

Dog vil forbuddene mod bestemte AI-systemer i forordningens artikel 5 allerede finde anvendelse efter 6 måneder, mens reglerne om kunstig intelligens til generelle formål finder anvendelse 12 måneder efter ikrafttrædelse.

Kommissionen vil i overgangsperioden lancere en AI-pagt, som har til formål at opmuntre virksomheder og organisationer mv. til på frivillig basis at implementere AI-forordningens krav forud for den lovbestemte frist på to år.

Forberedelserne starter nu

I den mellemliggende periode vil alle, der udbyder eller bruger AI-systemer, skulle forberede sig på at kunne leve op til AI-forordningens krav, herunder identificere, hvilken aktørrolle de har i henhold til forordningen, samt hvilken type AI-system der er tale om.

Aktiviteter, der kan hjælpe forberedelsesprocessen i gang, er bl.a. følgende: 

• Fokus på compliance med databeskyttelsesreglerne

Mange AI-systemer vil være omfattet af databeskyttelsesreglerne, som allerede gælder i dag. Hvis man som virksomhed eller myndighed lever op til disse regler i forbindelse med brugen af AI-systemer, er man godt på vej, da databeskyttelsesforordningen og AI-forordningen varetager mange af de samme hensyn og regulerer flere af de samme emner, såsom data governance, risikohåndtering og sikkerhed.

• Kortlæg den nuværende brug af AI-systemer

I det omfang man som virksomhed eller myndighed allerede har AI-systemer som en del af sit systemlandskab, bør man vurdere, om systemerne vil være forbundet med uacceptabel risiko, høj risiko, begrænset risiko, eller lav eller minimal risiko. Det vil sikre, at man kan forberede sig på omfanget af krav til de pågældende systemer, herunder om brugen af AI-løsningen er forbudt.

• Tænk AI-forordningen ind i nye AI-systemer

Hvis man påtænker at udvikle eller anskaffe nye AI-systemer, bør man fastlægge, hvilken aktørrolle man har for at kortlægge sine forpligtelser. Derudover bør AI-forordningens krav tænkes ind i udviklingsaktiviteter og i kontrakter med leverandører af AI-systemer.

• Påbegynd uddannelse af medarbejdere

Det er centralt, at medarbejdere i organisationen bliver opmærksomme på, hvornår de har at gøre med AI-systemer, samt kan identificere og håndtere reglerne og de risici, der er forbundet med løsningerne.

Vores bistand

Vores AI-taskforce har solid erfaring med at bistå både offentlige myndigheder og private virksomheder i AI-projekter. Vi kan bl.a. hjælpe jer med at:

• Identificere og håndtere de databeskyttelsesretlige krav og risici forbundet med jeres AI-løsning, herunder udarbejde en konsekvensanalyse for løsningen.
• Screening af AI-løsningen i forhold til reglerne i GDPR og AI-forordningen (Algorithmic screening).
• Bistand til at overholde de nye regler i AI-forordningen.
• Bistand til at lave et governance- og egenkontrolprogram til at sikre vedvarende compliance, herunder udarbejdelse af politikker.
• Træning og uddannelse af medarbejdere i de AI-retlige krav og risici (AI literacy).

Vi tilbyder også i samarbejde med DTU Compute AI-uddannelsen Responsible AI Governance & Compliance.

Uddannelsen klæder dig på til at kunne identificere og håndtere de centrale regler, problemstillinger og risici forbundet med udvikling og anvendelse af løsninger baseret på kunstig intelligens (AI).

Du kan læse mere om AI-uddannelsen og tilmelde dig her.

Du er velkommen til at kontakte os, hvis du vil høre mere om vores bistand.