← Danmark

lta/2025/467

LOV H#LOKDOK 01 A A20250046730 DK000113 249582 Lov om supplerende bestemmelser til forordningen om kunstig intelligens 2025 2025-05-14 2025-05-14 2026-06-04 Valid 467 Lovtidende A 2025-05-14 32024L168

9 Nej FREDERIK R. Caroline Stage Olsen Givet på Amalienborg Digitaliseringsmin.,\n Digitaliseringsstyrelsen, j.nr. 2024-6806 Forsknings-, Uddannelses- og Digitaliseringsministeriet Digitaliseringsstyrelsen Lov om supplerende bestemmelser til forordningen om kunstig intelligens 1) Som bilag 1 til loven er medtaget Europa-Parlamentets og Rådets forordning (EU) 2024/1689 af

  1. juni 2024 om harmoniserede regler for kunstig intelligens og om ændring af forordning (EF) nr. 300/2008, (EU) nr. 167/2013, (EU) nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 og (EU) 2019/2144 samt direktiv 2014/90/EU, (EU) 2016/797 og (EU) 2020/1828 (forordningen om kunstig intelligens), EU-Tidende, L af
  2. juni
  3. Ifølge artikel 288 i EUF-Traktaten gælder en forordning umiddelbart i hver medlemsstat. Gengivelsen af forordningen i lovens bilag er således udelukkende begrundet i praktiske hensyn og berører ikke forordningens umiddelbare gyldighed i Danmark. VI FREDERIK DEN TIENDE, af Guds Nåde Danmarks Konge, gør vitterligt: Folketinget har vedtaget og Vi ved Vort samtykke stadfæstet følgende lov: Kapitel 1 Anvendelsesområde §
  4. Loven supplerer Europa-Parlamentets og Rådets forordning (EU) 2024/1689 af
  5. juni 2024 om harmoniserede regler for kunstig intelligens og om ændring af forordning (EF) nr. 300/2008, (EU) nr. 167/2013, (EU) nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 og (EU) 2019/2144 samt direktiv 2014/90/EU, (EU) 2016/797 og (EU) 2020/1828 (forordningen om kunstig intelligens), jf. bilag
  6. Kapitel 2 Nationale kompetente myndigheder §
  7. Digitaliseringsstyrelsen, Datatilsynet og Domsstolsstyrelsen udpeges som nationale kompetente myndigheder, jf. artikel 70, stk. 1, i forordningen om kunstig intelligens. Stk.
  8. Digitaliseringsstyrelsen udpeges som bemyndigende myndighed, jf. artikel 28, stk. 1, og artikel 70, stk. 1, i forordningen om kunstig intelligens, centralt kontaktpunkt, jf. artikel 70, stk. 2,
  9. pkt., i forordningen om kunstig intelligens, og markedsovervågningsmyndighed for de dele af tilsynet med forbudte former for AI-praksis, som er omfattet af artikel 5, stk. 1, litra a-c, e og f, i forordningen om kunstig intelligens. Stk.
  10. Datatilsynet udpeges som markedsovervågningsmyndighed for de dele af tilsynet med forbudte former for AI-praksis, der er omfattet af artikel 5, stk. 1, litra d og g, i forordningen om kunstig intelligens. Stk.
  11. Domstolsstyrelsen udpeges som markedsovervågningsmyndighed for de dele af tilsynet med forbudte former for AI-praksis, som vedrører domstolenes anvendelse af AI-systemer, når domstolene ikke handler i deres egenskab af domstol. Stk.
  12. For tilsynet med domstolenes anvendelse af AI-systemer, som ikke omfattes af stk. 4, træffes afgørelser af vedkommende ret. Afgørelsen kan kæres til højere ret. For særlige domstole, hvis afgørelser ikke kan indbringes for højere ret, kan den afgørelse, der er nævnt i
  13. pkt., kæres til den landsret, i hvis kreds retten er beliggende. Kærefristen er 4 uger fra den dag, hvor afgørelsen er meddelt den pågældende. §
  14. De nationale kompetente myndigheders afgørelser efter forordningen om kunstig intelligens, denne lov og regler udstedt i medfør heraf kan ikke indbringes for anden administrativ myndighed. §
  15. De nationale kompetente myndigheder påser overholdelsen af forordningen om kunstig intelligens, denne lov og regler udstedt i medfør heraf. §
  16. Markedsovervågningsmyndighederne kan fra fysiske og juridiske personer omfattet af artikel 2, stk. 1, litra a-f, i forordningen om kunstig intelligens, afkræve alle oplysninger, som er nødvendige for myndighedernes tilsynsvirksomhed, herunder til fastlæggelse af, om et forhold hører under myndighedernes kompetence. §
  17. Markedsovervågningsmyndighederne har til enhver tid mod behørig legitimation og uden retskendelse adgang til alle erhvervsmæssige lokaliteter hos fysiske og juridiske personer omfattet af artikel 2, stk. 1, litra a-f, i forordningen om kunstig intelligens, når det er nødvendigt for at påse overholdelse af forordningen om kunstig intelligens, denne lov og regler udstedt i medfør heraf. Stk.
  18. Markedsovervågningsmyndighederne kan som led i kontrolbesøget foretage tekniske undersøgelser af et AI-system på stedet. Stk.
  19. Markedsovervågningsmyndighederne kan være bistået af en eller flere uafhængige sagkyndige i forbindelse med adgangen efter stk. 1 og tekniske undersøgelser efter stk.
  20. Stk.
  21. Politiet yder om nødvendigt bistand til kontrolbesøgets gennemførelse. §
  22. Markedsovervågningsmyndighederne kan offentliggøre deres afgørelser i sager om forbudte former for AI-praksis i henhold til artikel 5, stk. 1, litra a-g, i forordningen om kunstig intelligens. §
  23. Markedsovervågningsmyndighederne kan udstede påbud om overholdelse af artikel 5, stk. 1, litra a-g, i forordningen om kunstig intelligens, denne lov og regler fastsat i medfør af denne lov. Stk.
  24. Markedsovervågningsmyndighederne kan udstede et midlertidigt forbud mod levering, markedsføring, udstilling eller anden tilgængeliggørelse af et AI-system, hvis AI-systemet vurderes at kunne udgøre en risiko. Forbuddet kan rettes mod fysiske og juridiske personer omfattet af artikel 2, stk. 1, litra a-f, i forordningen om kunstig intelligens. Forbuddets varighed kan ikke strække sig ud over, hvad der er nødvendigt for at træffe kontrolforanstaltninger til brug for undersøgelser eller vurderinger af AI-systemets sikkerhed. §
  25. Den bemyndigende myndighed kan efter forhandling med ministeren for digitalisering fastsætte nærmere regler om indførelse og gennemførelse af nødvendige procedurer for vurdering, udpegelse og notifikation af overensstemmelsesvurderingsorganer og for tilsyn hermed i henhold til artikel 28, stk. 1, i forordningen om kunstig intelligens samt for suspension eller tilbagetrækning af udpegning i henhold til artikel 36, stk. 4, i forordningen om kunstig intelligens. Stk.
  26. Den bemyndigende myndighed kan delegere vurderingen af overensstemmelsesvurderingsorganer i et nærmere angivet omfang til andre offentlige myndigheder eller private institutioner i henhold til artikel 28, stk. 2, i forordningen om kunstig intelligens. Kapitel 3 Straffebestemmelser §
  27. Medmindre højere straf er forskyldt efter anden lovgivning, straffes med bøde den, der 1) overtræder artikel 5, stk. 1, litra a-g, i forordningen om kunstig intelligens, 2) afgiver ukorrekte, ufuldstændige eller vildledende oplysninger til bemyndigede organer eller nationale kompetente myndigheder som svar på en anmodning, jf. artikel 99, stk. 5, i forordningen om kunstig intelligens, 3) undlader at efterkomme markedsovervågningsmyndighedernes krav efter § 5 eller hindrer markedsovervågningsmyndighederne i at få adgang til lokaliteter efter § 6, stk. 1, 4) hindrer markedsovervågningsmyndighederne i at foretage tekniske undersøgelser af et AI-system efter § 6, stk. 2, eller 5) undlader at efterkomme påbud eller midlertidige forbud udstedt efter §
  28. Stk.
  29. I forskrifter, der udstedes i medfør af loven, kan der fastsættes straf af bøde for overtrædelse af bestemmelser i forskrifterne. Stk.
  30. Der kan pålægges selskaber m.v. (juridiske personer) strafansvar efter reglerne i straffelovens
  31. kapitel. Stk.
  32. Forældelsesfristen for overtrædelse af forordningen om kunstig intelligens, denne lov og regler udstedt i medfør heraf er 5 år. §
  33. Ministeren for digitalisering kan efter forhandling med justitsministeren fastsætte regler om, at markedsovervågningsmyndighederne i nærmere angivne sager om overtrædelse af forordningen om kunstig intelligens, denne lov og regler udstedt i medfør heraf i et bødeforelæg kan tilkendegive, at sagen kan afgøres uden retssag. Det er en betingelse, at den, der har begået overtrædelsen, erklærer sig skyldig i overtrædelsen og erklærer sig rede til inden en nærmere angivet frist at betale den bøde, der er fastsat i bødeforelægget. Stk.
  34. Retsplejelovens regler om krav til indholdet af et anklageskrift og om, at en sigtet ikke er forpligtet til at udtale sig, finder tilsvarende anvendelse på bødeforelæg. Stk.
  35. Betales bøden i rette tid, eller bliver den efter vedtagelsen inddrevet eller afsonet, bortfalder videre forfølgning. Vedtagelsen har samme gentagelsesvirkning som en dom. Kapitel 4 Ikrafttræden §
  36. Loven træder i kraft den
  37. august
  38. Kapitel 5 Territorialbestemmelse §
  39. Loven gælder ikke for Færøerne og Grønland. Under Vor Kongelige Hånd og Segl Bilag 1 Forordning (EU) 2024/1689 EUROPA-PARLAMENTETS OG RÅDETS FORORDNING (EU) 2024/1689 af
  40. juni 2024 om harmoniserede regler for kunstig intelligens og om ændring af forordning (EF) nr. 300/2008, (EU) nr. 167/2013, (EU) nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 og (EU) 2019/2144 samt direktiv 2014/90/EU, (EU) 2016/797 og (EU) 2020/1828 (forordningen om kunstig intelligens) (EØS-relevant tekst) EUROPA-PARLAMENTET OG RÅDET FOR DEN EUROPÆISKE UNION HAR — under henvisning til traktaten om Den Europæiske Unions funktionsmåde, særlig artikel 16 og 114, under henvisning til forslag fra Europa-Kommissionen, efter fremsendelse af udkast til lovgivningsmæssig retsakt til de nationale parlamenter, under henvisning til udtalelse fra Det Europæiske Økonomiske og Sociale Udvalg

(1), under henvisning til udtalelse fra Den Europæiske Centralbank
(2), under henvisning til udtalelse fra Regionsudvalget
(3), efter den almindelige lovgivningsprocedure
(4), og ud fra følgende betragtninger:
(1)Formålet med denne forordning er at forbedre det indre markeds funktion ved at fastlægge ensartede retlige rammer, navnlig for udvikling, omsætning, ibrugtagning og anvendelse af kunstig intelligens-systemer (»AI-systemer«) i Unionen i overensstemmelse med Unionens værdier, at fremme udbredelsen af menneskecentreret og troværdig kunstig intelligens (»AI«), samtidig med at der sikres et højt beskyttelsesniveau for sundhed, sikkerhed og grundlæggende rettigheder som nedfældet i Den Europæiske Unions charter om grundlæggende rettigheder (»chartret«), herunder demokrati, retsstatsprincippet og miljøbeskyttelse, at beskytte mod skadelige virkninger af AI-systemer i Unionen og at støtte innovation. Denne forordning sikrer fri bevægelighed for AI-baserede varer og tjenesteydelser og forhindrer således medlemsstaterne i at indføre restriktioner for udvikling, markedsføring og anvendelse af AI-systemer, medmindre det udtrykkeligt er tilladt i henhold til denne forordning.
(2)Denne forordning bør anvendes i overensstemmelse med Unionens værdier som nedfældet i chartret, der letter beskyttelsen af fysiske personer, virksomheder, demokrati, retsstatsprincippet og miljøbeskyttelse, samtidig med at innovation og beskæftigelse fremmes, og Unionen gøres førende inden for udbredelsen af troværdig AI.
(3)AI-systemer kan nemt idriftsættes i en lang række sektorer af økonomien og i mange dele af samfundet, herunder på tværs af grænserne, og kan nemt udspredes i hele Unionen. Visse medlemsstater har allerede undersøgt, om det er muligt at vedtage nationale regler til sikring af, at AI er troværdig og sikker, og at den udvikles og anvendes i overensstemmelse med forpligtelserne vedrørende grundlæggende rettigheder. Forskellige nationale regler kan føre til fragmenteringen af det indre marked og kan mindske retssikkerheden for operatører, der udvikler, importerer eller anvender AI-systemer. Der bør derfor sikres et ensartet og højt beskyttelsesniveau i hele Unionen med henblik på at opnå troværdig AI, samtidig med at forskelle, der hæmmer den frie bevægelighed for samt innovation, idriftsættelse og udbredelse af AI-systemer og relaterede produkter og tjenesteydelser på det indre marked, bør forhindres ved at fastsætte ensartede forpligtelser for operatører og sikre en ensartet beskyttelse af tvingende hensyn til samfundsinteresser og personers rettigheder i hele det indre marked på grundlag af artikel 114 i traktaten om Den Europæiske Unions funktionsmåde (TEUF). For så vidt som denne forordning indeholder specifikke regler om beskyttelse af fysiske personer i forbindelse med behandling af personoplysninger vedrørende begrænsninger i anvendelsen af AI-systemer til biometrisk fjernidentifikation med henblik på retshåndhævelse, i anvendelsen af AI-systemer til risikovurderinger af fysiske personer med henblik på retshåndhævelse og i anvendelsen af AI-systemer til biometrisk kategorisering med henblik på retshåndhævelse, er det desuden hensigtsmæssigt at basere denne forordning på artikel 16 i TEUF for så vidt angår disse specifikke regler. I lyset af disse specifikke regler og anvendelsen af artikel 16 i TEUF bør Det Europæiske Databeskyttelsesråd høres.
(4)AI er en vifte af teknologier i hurtig udvikling, som bidrager til brede økonomiske, miljømæssige og samfundsmæssige fordele på tværs af hele spektret af industrier og sociale aktiviteter. Ved at forbedre forudsigelser, optimere operationer og ressourceallokering og skræddersy de digitale løsninger, der er tilgængelige for enkeltpersoner og organisationer, kan anvendelsen af AI give virksomheder vigtige konkurrencemæssige fordele og fremme socialt og miljømæssigt gavnlige resultater, f.eks. inden for sundhedspleje, landbrug, fødevaresikkerhed, uddannelse, medier, sport, kultur, infrastrukturforvaltning, energi, transport og logistik, offentlige tjenester, sikkerhed, retsvæsen, ressource- og energieffektivitet, miljøovervågning, bevarelse og genopretning af biodiversitet og økosystemer samt modvirkning af og tilpasning til klimaændringer.
(5)Samtidig kan AI, afhængigt af omstændighederne med hensyn til dens specifikke anvendelse, brug og teknologiske udviklingsniveau, skabe risici og skade samfundsinteresser og grundlæggende rettigheder, der er beskyttet af EU-retten. En sådan skade kan være af materiel eller immateriel karakter, herunder fysisk, psykisk, samfundsmæssig eller økonomisk.
(6)I betragtning af den store indvirkning, som AI kan have på samfundet, og behovet for at opbygge tillid er det afgørende, at AI og de lovgivningsmæssige rammer herfor udvikles i overensstemmelse med Unionens værdier, der er nedfældet i artikel 2 i traktaten om Den Europæiske Union (TEU), og de grundlæggende rettigheder og friheder, der er nedfældet i traktaterne og, i henhold til artikel 6 i TEU, chartret. Det bør være en forudsætning, at AI er en menneskecentreret teknologi. Det bør tjene som et redskab for mennesker med det endelige mål at øge menneskers trivsel.
(7)For at sikre et ensartet højt beskyttelsesniveau for samfundsinteresser med hensyn til sundhed, sikkerhed og grundlæggende rettigheder bør der fastsættes fælles regler for højrisiko-AI-systemer. Disse regler bør være i overensstemmelse med chartret, være ikkeforskelsbehandlende og i overensstemmelse med Unionens internationale handelsforpligtelser. De bør også tage hensyn til den europæiske erklæring om digitale rettigheder og principper for det digitale årti og de etiske retningslinjer for troværdig AI fra Ekspertgruppen på Højt Niveau vedrørende Kunstig Intelligens (AI-ekspertgruppen).
(8)Der er derfor behov for en EU-retlig ramme, der fastsætter harmoniserede regler for AI, for at fremme udviklingen, brugen og udbredelsen af AI på det indre marked, som samtidig opfylder et højt beskyttelsesniveau for samfundsinteresser såsom sundhed og sikkerhed og beskyttelse af grundlæggende rettigheder, herunder demokrati, retsstatsprincippet og miljøbeskyttelse, som anerkendt og beskyttet i EU-retten. For at nå dette mål bør der fastsættes regler for omsætning, ibrugtagning og anvendelse af visse AI-systemer for at sikre et velfungerende indre marked og lade disse systemer drage fordel af princippet om fri bevægelighed for varer og tjenesteydelser. Disse regler bør være klare og robuste med hensyn til at beskytte de grundlæggende rettigheder, støtte nye innovative løsninger og muliggøre et europæisk økosystem af offentlige og private aktører, der skaber AI-systemer i overensstemmelse med Unionens værdier og frigør potentialet ved den digitale omstilling i alle regioner i Unionen. Med fastsættelsen af disse regler samt foranstaltninger til støtte for innovation med et særligt fokus på små og mellemstore virksomheder (SMV'er), herunder iværksættervirksomheder, støtter denne forordning målet om at fremme en europæisk menneskecentreret tilgang til AI og om at være førende på verdensplan inden for udvikling af sikker, troværdig og etisk AI som anført af Det Europæiske Råd
(5), og den sikrer beskyttelse af etiske principper, således som Europa-Parlamentet specifikt har anmodet om
(6).
(9)Der bør fastsættes harmoniserede regler for omsætning, ibrugtagning og anvendelse af højrisiko-AI-systemer i overensstemmelse med Europa-Parlamentets og Rådets forordning (EF) nr. 765/2008
(7), Europa-Parlamentets og Rådets afgørelse nr. 768/2008/EF
(8)og Europa-Parlamentets og Rådets forordning (EU) 2019/1020
(9)(den nye lovgivningsmæssige ramme for markedsføring af produkter). De harmoniserede regler, der er fastsat i nærværende forordning, bør finde anvendelse på tværs af sektorer og bør i overensstemmelse med den nye lovgivningsmæssige ramme ikke berøre gældende EU-ret, navnlig om databeskyttelse, forbrugerbeskyttelse, grundlæggende rettigheder, beskæftigelse og beskyttelse af arbejdstagere og produktsikkerhed, som nærværende forordning supplerer. Som følge heraf forbliver alle rettigheder og retsmidler, som er fastsat i en sådan EU-ret for forbrugere og andre personer, som AI-systemer kan have en negativ indvirkning på, herunder for så vidt angår erstatning for eventuelle skader i henhold til Rådets direktiv 85/374/EØF
(10), uberørte og finder fuldt ud anvendelse. Endvidere bør denne forordning i forbindelse med beskæftigelse og beskyttelse af arbejdstagere derfor ikke berøre EU-retten om socialpolitik og national arbejdsret, der overholder EU-retten, vedrørende ansættelsesvilkår og arbejdsforhold, herunder sundhed og sikkerhed på arbejdspladsen, og forholdet mellem arbejdsgivere og arbejdstagere. Denne forordning bør heller ikke påvirke udøvelsen af de grundlæggende rettigheder, der anerkendes i medlemsstaterne og på EU-plan, herunder retten eller friheden til at strejke eller til at foretage andre tiltag, der er omfattet af specifikke ordninger for arbejdsmarkedsrelationer i medlemsstaterne, samt retten til at forhandle, indgå og håndhæve kollektive overenskomster eller retten til at foretage kollektive tiltag i overensstemmelse med national ret. Denne forordning bør ikke berøre de bestemmelser, der tilstræber at forbedre arbejdsvilkårene for platformsarbejde, der er fastsat i et direktiv vedtaget af Europa-Parlamentets og Rådets direktiv om forbedring af arbejdsvilkårene for platformsarbejde. Derudover har denne forordning til formål at styrke effektiviteten af sådanne eksisterende rettigheder og retsmidler ved at fastsætte specifikke krav og forpligtelser, herunder med hensyn til AI-systemers gennemsigtighed, tekniske dokumentation og registrering. Desuden bør de forpligtelser, der pålægges forskellige operatører, der er involveret i AI-værdikæden i henhold til denne forordning, finde anvendelse, uden at det berører national ret, der overholder EU-retten, hvorved anvendelsen af visse AI-systemer begrænses, hvis sådan national ret falder uden for denne forordnings anvendelsesområde eller forfølger andre legitime mål af samfundsmæssig interesse end dem, der forfølges med denne forordning. For eksempel bør national arbejdsret og national ret om beskyttelse af mindreårige, dvs. personer under 18 år, under hensyntagen til generel bemærkning nr. 25
(2021)om børns rettigheder vedrørende det digitale miljø fra FN's Komité for Barnets Rettigheder, for så vidt de ikke er specifikke for AI-systemer og forfølger andre legitime mål af samfundsmæssig interesse, ikke berøres af denne forordning.
(10)Den grundlæggende ret til beskyttelse af personoplysninger er navnlig sikret ved Europa-Parlamentets og Rådets forordning (EU) 2016/679
(11)og (EU) 2018/1725
(12)samt Europa-Parlamentets og Rådets direktiv (EU) 2016/680
(13). Europa-Parlamentets og Rådets direktiv 2002/58/EF
(14)beskytter desuden privatlivets fred og kommunikationshemmeligheden, herunder med fastsættelse af betingelser for lagring af personoplysninger og andre oplysninger end personoplysninger i terminaludstyr og for adgang til terminaludstyr. Disse EU-retsakter danner grundlaget for bæredygtig og ansvarlig databehandling, herunder når datasæt omfatter en blanding af personoplysninger og andre data end personoplysninger. Nærværende forordning har ikke til formål at påvirke anvendelsen af gældende EU-ret om behandling af personoplysninger, herunder de opgaver og beføjelser, der påhviler de uafhængige tilsynsmyndigheder med kompetence til at overvåge, at disse instrumenter overholdes. Den berører heller ikke de forpligtelser for udbydere og idriftsættere af AI-systemer i deres rolle som dataansvarlige eller databehandlere, der følger af EU-retten eller national ret om beskyttelse af personoplysninger, for så vidt udformningen, udviklingen eller anvendelsen af AI-systemer omfatter behandling af personoplysninger. Det er også hensigtsmæssigt at præcisere, at registrerede bevarer alle de rettigheder og garantier, som de har i henhold til EU-retten, herunder rettigheder i forbindelse med helt automatiseret individuel beslutningstagning, herunder profilering. Harmoniserede regler for omsætning, ibrugtagning og anvendelse af AI-systemer, der er fastsat i henhold til nærværende forordning, bør lette en effektiv gennemførelse og muliggøre udøvelsen af de registreredes rettigheder og andre retsmidler, der er sikret i medfør af EU-retten om beskyttelse af personoplysninger og andre grundlæggende rettigheder.
(11)Denne forordning berører ikke bestemmelserne om ansvar for udbydere af formidlingstjenester som fastsat i Europa-Parlamentets og Rådets forordning (EU) 2022/2065
(15).
(12)Begrebet »AI-system« i denne forordning bør defineres klart og bør nøje afstemmes med det arbejde, der udføres af internationale organisationer, som arbejder med AI, for at sikre retssikkerhed, lette international konvergens og bred accept, og samtidig være fleksibelt nok til at tage højde for den hurtige teknologiske udvikling på dette område. Desuden bør definitionen baseres på centrale egenskaber ved AI-systemer, der adskiller det fra enklere traditionelle softwaresystemer eller programmeringstilgange, og bør ikke omfatte systemer, der er baseret på de regler, der udelukkende er defineret af fysiske personer til automatisk at udføre operationer. En central egenskab ved AI-systemer er deres evne til at udlede. Denne evne til at udlede henviser til processen med at opnå output såsom forudsigelser, indhold, anbefalinger eller beslutninger, der kan påvirke fysiske og virtuelle miljøer, og til AI-systemernes evne til at udlede modeller eller algoritmer, eller begge dele, fra input eller data. De teknikker, der muliggør udledning ved opbygningen af et AI-system, omfatter maskinlæringstilgange, der af data lærer, hvordan bestemte mål kan nås, og logik- og videnbaserede tilgange, der udleder indhold fra indkodet viden eller symbolsk repræsentation af den opgave, der skal løses. Et AI-systems evne til at udlede går videre end grundlæggende databehandling ved at muliggøre læring, ræsonnement eller modellering. Udtrykket »maskinbaseret« henviser til det forhold, at AI-systemer kører på maskiner. Henvisningen til eksplicitte eller implicitte mål understreger, at AI-systemer kan fungere i overensstemmelse med eksplicit definerede mål eller implicitte mål. AI-systemets mål kan adskille sig fra det tilsigtede formål med AI-systemet i en specifik sammenhæng. Med henblik på denne forordning bør miljøer forstås som de sammenhænge, hvori AI-systemerne fungerer, mens output genereret af AI-systemet afspejler forskellige funktioner, der udføres af AI-systemer og omfatter forudsigelser, indhold, anbefalinger eller beslutninger. AI-systemer er udformet til at fungere med varierende grader af autonomi, hvilket betyder, at de har en vis grad af uafhængighed fra menneskelig medvirken og har evnen til at fungere uden menneskelig indgriben. Den tilpasningsevne, som et AI-system kan udvise efter idriftsættelsen, henviser til selvlæringskapacitet, der gør det muligt for systemet at ændre sig, mens det er i brug. AI-systemer kan anvendes selvstændigt eller som en del af et produkt, uanset om systemet er fysisk integreret i produktet (indlejret), eller tjene produktets funktionalitet uden at være integreret deri (ikke indlejret).
(13)Begrebet »idriftsætter«, der er omhandlet i denne forordning, bør fortolkes som enhver fysisk eller juridisk person, herunder en offentlig myndighed, et agentur eller et andet organ, der anvender et AI-system under sin myndighed, medmindre AI-systemet anvendes som led i en personlig ikkeerhvervsmæssig aktivitet. Afhængigt af typen af AI-system kan anvendelsen af systemet påvirke andre personer end idriftsætteren.
(14)Begrebet »biometriske data«, der anvendes i denne forordning, bør fortolkes i lyset af begrebet biometriske data som defineret i artikel 4, nr. 14), i forordning (EU) 2016/679, artikel 3, nr. 18), i forordning (EU) 2018/1725 og artikel 3, nr. 13), i direktiv (EU) 2016/680. Biometriske data kan muliggøre autentifikation, identifikation eller kategorisering af fysiske personer og genkendelse af fysiske personers følelser.
(15)Begrebet »biometrisk identifikation«, der er omhandlet i denne forordning, bør defineres som automatiseret genkendelse af fysiske, fysiologiske og adfærdsmæssige menneskelige egenskaber som f.eks. ansigt, øjenbevægelser, kropsform, stemme, prosodi, gangart, kropsholdning, hjerterytme, blodtryk, lugt og tasteanslagskarakteristika med det formål at fastslå en persons identitet ved at sammenligne personens biometriske data med de biometriske data om personer, der er lagret i en referencedatabase, uanset om denne person har givet sit samtykke hertil eller ej. Dette udelukker AI-systemer, der tilsigtes anvendt til biometrisk verifikation, som omfatter autentifikation, hvis eneste formål er at bekræfte, at en bestemt fysisk person er den person, vedkommende hævder at være, og bekræfte en fysisk persons identitet udelukkende med det formål at få adgang til en tjeneste, låse udstyr op eller have sikker adgang til lokaler.
(16)Begrebet »biometrisk kategorisering«, der er omhandlet i denne forordning, bør defineres som placering af fysiske personer i bestemte kategorier på grundlag af deres biometriske data. Sådanne specifikke kategorier kan vedrøre aspekter som køn, alder, hårfarve, øjenfarve, tatoveringer, adfærdsmønstre eller personlighedstræk, sprog, religion, tilhørsforhold til et nationalt mindretal samt seksuel eller politisk orientering. Dette omfatter ikke systemer til biometrisk kategorisering, som er en rent accessorisk funktion, der er uløseligt forbundet med en anden kommerciel tjeneste, og som indebærer, at funktionen af objektive tekniske grunde ikke kan anvendes uden den primære tjeneste, og at integrationen af denne funktion eller funktionalitet ikke er et middel til at omgå anvendelsen af reglerne i denne forordning. Eksempelvis kan filtre, der kategoriserer ansigts- eller kropstræk, som anvendes på onlinemarkedspladser, udgøre en sådan accessorisk funktion, da de kun kan anvendes i forbindelse med den primære tjeneste, der består i at sælge et produkt ved at give forbrugeren mulighed for se visningen af produktet på sig selv og hjælpe forbrugeren med at træffe en købsbeslutning. Filtre, der anvendes på sociale onlinenetværkstjenester, og som kategoriserer ansigts- eller kropstræk for at give brugerne mulighed for at tilføje eller ændre billeder eller videoer, kan også betragtes som en accessorisk funktion, da et sådant filter ikke kan anvendes uden den primære tjeneste i de sociale netværkstjenester, der består i deling af indhold online.
(17)Begrebet »system til biometrisk fjernidentifikation«, der er omhandlet i denne forordning, bør defineres funktionelt som et AI-system, der er tilsigtet identifikation af fysiske personer uden deres aktive medvirken, typisk på afstand, ved at sammenligne en persons biometriske data med de biometriske data i en referencedatabase, uanset hvilken specifik teknologi, hvilke specifikke processer eller hvilke specifikke typer biometriske data der anvendes. Sådanne systemer til biometrisk fjernidentifikation anvendes typisk til at opfatte flere personer eller deres adfærd samtidigt for i væsentlig grad at lette identifikationen af fysiske personer uden deres aktive medvirken. Dette udelukker AI-systemer, der tilsigtes anvendt til biometrisk verifikation, som omfatter autentifikation, hvis eneste formål er at bekræfte, at en bestemt fysisk person er den person, vedkommende hævder at være, og bekræfte en fysisk persons identitet udelukkende med det formål at få adgang til en tjeneste, låse udstyr op eller have sikkerhedsadgang til lokaler. Denne udelukkelse begrundes med, at sådanne systemer sandsynligvis vil have en mindre indvirkning på fysiske personers grundlæggende rettigheder sammenlignet med systemerne til biometrisk fjernidentifikation, der kan anvendes til behandling af et stort antal personers biometriske data uden deres aktive medvirken. Hvis der er tale om realtidssystemer, sker optagelsen af de biometriske data, sammenligningen og identifikationen øjeblikkeligt, næsten øjeblikkeligt eller under alle omstændigheder uden væsentlig forsinkelse. I denne forbindelse bør der ikke være mulighed for at omgå denne forordnings bestemmelser om realtidsanvendelse af de pågældende AI-systemer ved at foranledige mindre forsinkelser. Realtidssystemer omfatter anvendelse af direkte eller lettere forskudt materiale såsom videooptagelser, der genereres af et kamera eller andet udstyr med tilsvarende funktioner. Er der derimod tale om systemer til efterfølgende biometrisk identifikation, er de biometriske data allerede blevet optaget, og sammenligningen og identifikationen finder først sted efter en væsentlig forsinkelse. Der er tale om materiale såsom billeder eller videooptagelser, der genereres af TV-overvågningskameraer eller privat udstyr, og som er genereret inden systemets anvendelse for så vidt angår de pågældende fysiske personer.
(18)Begrebet »system til følelsesgenkendelse«, der er omhandlet i denne forordning, bør defineres som et AI-system, der har til formål at identificere eller udlede fysiske personers følelser eller hensigter på grundlag af deres biometriske data. Begrebet henviser til følelser eller hensigter såsom lykke, sorgfuldhed, vrede, forbavselse, afsky, forlegenhed, begejstring, skam, foragt, tilfredshed og morskab. Det omfatter ikke fysiske tilstande såsom smerte eller træthed, herunder f.eks. systemer, der anvendes til at påvise træthedstilstanden hos professionelle piloter eller førere med henblik på at forebygge ulykker. Det omfatter heller ikke den blotte påvisning af umiddelbart synlige udtryk, fagter eller bevægelser, medmindre de anvendes til at identificere eller udlede følelser. Disse udtryk kan være simple ansigtsudtryk såsom en panderynken eller et smil eller fagter såsom bevægelse af hænder, arme eller hoved eller karakteristika ved en persons stemme såsom en hævet stemme eller hvisken.
(19)I denne forordning bør begrebet offentligt sted forstås som ethvert fysisk sted, der er tilgængeligt for et ubestemt antal fysiske personer, og uanset om det pågældende sted er privatejet eller offentligt ejet, og uanset den aktivitet, som stedet kan anvendes til, såsom til handel, f.eks. butikker, restauranter og caféer, til tjenesteydelser, f.eks. banker, erhvervsmæssige aktiviteter og hotel-, restaurations- og oplevelsesbranchen, til sport, f.eks. svømmebassiner, fitnesscentre og stadioner, til transport, f.eks. bus-, metro- og jernbanestationer, lufthavne og transportmidler, til underholdning, f.eks. biografer, teatre, museer og koncert- og konferencesale, eller til fritid eller andet, f.eks. offentlige veje og pladser, parker, skove og legepladser. Et sted bør også klassificeres som værende offentligt tilgængeligt, hvis adgangen, uanset eventuelle kapacitets- eller sikkerhedsrestriktioner, er underlagt visse forud fastsatte betingelser, som kan opfyldes af et ubestemt antal personer, såsom køb af en billet eller et rejsebevis, forudgående registrering eller det at have en bestemt alder. Derimod bør et sted ikke anses for at være offentligt tilgængeligt, hvis adgangen er begrænset til specifikke og definerede fysiske personer i henhold til enten EU-retten eller national ret, der er direkte knyttet til den offentlige sikkerhed, eller gennem en klar viljestilkendegivelse fra den person, der har den relevante myndighed over stedet. Den faktiske mulighed for adgang alene såsom en ulåst dør eller en åben låge i et hegn indebærer ikke, at stedet er et offentligt sted, hvis der er indikationer eller omstændigheder, der tyder på det modsatte, såsom skilte, der forbyder eller begrænser adgangen. Virksomheds- og fabrikslokaler samt kontorer og arbejdspladser, der kun tilsigtes at være tilgængelige for relevante medarbejdere og tjenesteydere, er ikke offentlige steder. Offentlige steder bør ikke omfatte fængsler eller grænsekontrol. Visse andre områder kan bestå af både offentlige steder og ikkeoffentlige steder såsom forhallen til en privat beboelsesejendom, som det er nødvendigt at gå igennem for at få adgang til en læges kontor, eller en lufthavn. Online steder er ikke omfattet, da der ikke er tale om fysiske steder. Om et givet sted betragtes som offentligt, bør imidlertid afgøres fra sag til sag under hensyntagen til de særlige forhold i den enkelte situation.
(20)For at opnå de største fordele ved AI-systemer, samtidig med at de grundlæggende rettigheder, sundheden og sikkerheden beskyttes, og for at muliggøre demokratisk kontrol bør AI-færdigheder udstyre udbydere, idriftsættere og berørte personer med de nødvendige begreber til at træffe informerede beslutninger vedrørende AI-systemer. Disse begreber kan variere med hensyn til den relevante kontekst og kan omfatte forståelse af den korrekte anvendelse af tekniske elementer i AI-systemets udviklingsfase, de foranstaltninger, der skal anvendes under dets anvendelse, passende måder at fortolke AI-systemets output på, og i tilfælde af berørte personer den viden, der er nødvendig for at forstå, hvordan beslutninger truffet med hjælp fra AI vil have indvirkning på dem. I forbindelse med anvendelsen af denne forordning bør AI-færdigheder give alle relevante aktører i AI-værdikæden den indsigt, der er nødvendig for at sikre passende overholdelse og korrekt håndhævelse heraf. Desuden kan den brede gennemførelse af foranstaltninger vedrørende AI-færdigheder og indførelsen af passende opfølgende tiltag bidrage til at forbedre arbejdsvilkårene og i sidste ende understøtte konsoliderings- og innovationsstien for troværdig AI i Unionen. Det Europæiske Udvalg for Kunstig Intelligens (»AI-udvalget«) bør støtte Kommissionen med henblik på at fremme AI-færdighedsværktøjer samt offentlighedens kendskab til og forståelse af fordele, risici, sikkerhedsforanstaltninger, rettigheder og forpligtelser i forbindelse med anvendelsen af AI-systemer. I samarbejde med de relevante interessenter bør Kommissionen og medlemsstaterne lette udarbejdelsen af frivillige adfærdskodekser for at fremme AI-færdigheder blandt personer, der beskæftiger sig med udvikling, drift og anvendelse af AI.
(21)For at sikre lige vilkår og en effektiv beskyttelse af fysiske personers rettigheder og friheder i hele Unionen bør de regler, der fastsættes ved denne forordning, finde anvendelse på udbydere af AI-systemer på en ikkeforskelsbehandlende måde, uanset om de er etableret i Unionen eller i et tredjeland, og på idriftsættere af AI-systemer, der er etableret i Unionen.
(22)I betragtning af deres digitale karakter bør visse AI-systemer være omfattet af denne forordnings anvendelsesområde, selv når de ikke bringes i omsætning, ibrugtages eller anvendes i Unionen. Dette er f.eks. tilfældet, når en operatør, der er etableret i Unionen, indgår kontrakter om visse tjenesteydelser med en operatør, der er etableret i et tredjeland, i forbindelse med en aktivitet, der skal udføres af et AI-system, der kan betegnes som højrisiko. Under disse omstændigheder ville det AI-system, der anvendes i tredjelandet af operatøren, kunne behandle data, der lovligt er indsamlet i og overført fra Unionen, og levere outputtet fra dette AI-systems behandling til den kontraherende operatør i Unionen, uden at dette AI-system bringes i omsætning, ibrugtages eller anvendes i Unionen. For at forhindre omgåelse af denne forordning og sikre en effektiv beskyttelse af fysiske personer i Unionen, bør denne forordning også finde anvendelse på udbydere og idriftsættere af AI-systemer, der er etableret i et tredjeland, i det omfang det output, der produceres af disse systemer, tilsigtes anvendt i Unionen. For at tage hensyn til eksisterende ordninger og særlige behov for fremtidigt samarbejde med udenlandske partnere, med hvem der udveksles oplysninger og bevismateriale, bør denne forordning ikke finde anvendelse på offentlige myndigheder i et tredjeland og internationale organisationer, når disse handler inden for rammerne af samarbejdsaftaler eller internationale aftaler indgået på EU-plan eller nationalt plan om retshåndhævelse og retligt samarbejde med Unionen eller medlemsstaterne, forudsat at det relevante tredjeland eller den relevante internationale organisation giver tilstrækkelige sikkerhedsforanstaltninger med hensyn til beskyttelsen af fysiske personers grundlæggende rettigheder og friheder. Dette kan, hvor relevant, omfatte aktiviteter udført af enheder, som af tredjelande har fået overdraget ansvaret for at udføre specifikke opgaver til støtte for en sådan retshåndhævelse og et sådant retligt samarbejde. Sådanne samarbejdsrammer eller aftaler er oprettet bilateralt mellem medlemsstaterne og tredjelande eller mellem Den Europæiske Union, Europol og andre EU-agenturer og tredjelande og internationale organisationer. De myndigheder, der har kompetence til at føre tilsyn med de retshåndhævende og retslige myndigheder i henhold til denne forordning, bør vurdere, om disse samarbejdsrammer eller internationale aftaler indeholder tilstrækkelige sikkerhedsforanstaltninger med hensyn til beskyttelse af fysiske personers grundlæggende rettigheder og friheder. De modtagende nationale myndigheder og EU-institutioner, -organer, -kontorer og -agenturer, der anvender sådanne output i Unionen, forbliver ansvarlige for at sikre, at deres anvendelse overholder EU-retten. Når disse internationale aftaler revideres, eller der indgås nye i fremtiden, bør de kontraherende parter gøre deres yderste for at tilpasse disse aftaler til kravene i denne forordning.
(23)Denne forordning bør også finde anvendelse på EU-institutioner, -organer, -kontorer og -agenturer, når de fungerer som udbyder eller idriftsætter af et AI-system.
(24)Hvis og i det omfang AI-systemer bringes i omsætning, ibrugtages eller anvendes med eller uden ændringer af sådanne systemer til militære formål, forsvarsformål eller formål vedrørende national sikkerhed, bør disse udelukkes fra denne forordnings anvendelsesområde, uanset hvilken type enhed der udfører disse aktiviteter, f.eks. om det er en offentlig eller privat enhed. For så vidt angår militære og forsvarsmæssige formål begrundes en sådan udelukkelse både i medfør af artikel 4, stk. 2, i TEU, og i de særlige forhold, der gør sig gældende for medlemsstaternes forsvarspolitik og den fælles EU-forsvarspolitik, der er omfattet af afsnit V, kapitel 2, i TEU, og som er underlagt folkeretten, og som derfor er den mest hensigtsmæssige retlige ramme for regulering af AI-systemer i forbindelse med anvendelsen af dødbringende magtanvendelse og andre AI-systemer i forbindelse med militære og forsvarsmæssige aktiviteter. For så vidt angår formål vedrørende den nationale sikkerhed begrundes udelukkelsen både i den omstændighed, at den nationale sikkerhed forbliver medlemsstaternes eneansvar i overensstemmelse med artikel 4, stk. 2, i TEU, og i den særlige karakter af og de operationelle behov i forbindelse med aktiviteter vedrørende den nationale sikkerhed og specifikke nationale regler, der finder anvendelse på disse aktiviteter. Hvis et AI-system, der er udviklet, bragt i omsætning, ibrugtaget eller anvendt til militære formål, forsvarsformål eller formål vedrørende den nationale sikkerhed, anvendes uden for disse midlertidigt eller permanent til andre formål, f.eks. civile eller humanitære formål, retshåndhævelsesformål eller hensynet til den offentlige sikkerhed, vil et sådant system ikke desto mindre være omfattet af denne forordnings anvendelsesområde. I så fald bør den enhed, der anvender AI-systemet til andre formål end militære formål, forsvarsformål eller formål vedrørende den nationale sikkerhed, sikre, at AI-systemet overholder denne forordning, medmindre systemet allerede overholder denne forordning. AI-systemer, der bringes i omsætning eller ibrugtages til et udelukket formål, dvs. militært formål, forsvarsformål eller formål vedrørende den nationale sikkerhed, og et eller flere ikkeudelukkede formål, f.eks. civile formål eller retshåndhævelse, falder ind under denne forordnings anvendelsesområde, og udbydere af disse systemer bør sikre overholdelse af denne forordning. I disse tilfælde bør det forhold, at et AI-system kan være omfattet af denne forordnings anvendelsesområde, ikke berøre muligheden for, at enheder, der udfører aktiviteter vedrørende den nationale sikkerhed, forsvarsaktiviteter og militæraktiviteter, uanset hvilken type enhed der udfører disse aktiviteter, anvender AI-systemer til formål vedrørende den nationale sikkerhed, militære formål og forsvarsformål, idet en sådan anvendelse er udelukket fra denne forordnings anvendelsesområde. Et AI-system, der bringes i omsætning til civile formål eller retshåndhævelsesformål, og som anvendes med eller uden ændringer til militære formål, forsvarsformål eller formål vedrørende den nationale sikkerhed, bør ikke være omfattet af denne forordnings anvendelsesområde, uanset hvilken type enhed der udfører disse aktiviteter.
(25)Denne forordning bør støtte innovation, bør respektere forskningsfriheden og bør ikke undergrave forsknings- og udviklingsaktivitet. Det er derfor nødvendigt at udelukke AI-systemer og -modeller, der specifikt er udviklet og ibrugtaget udelukkende med henblik på videnskabelig forskning og udvikling. Det er desuden nødvendigt at sikre, at denne forordning ikke på anden måde påvirker videnskabelig forsknings- og udviklingsaktivitet med AI-systemer eller -modeller, inden de bringes i omsætning eller ibrugtages. Med hensyn til produktorienteret forsknings-, afprøvnings- og udviklingsaktivitet vedrørende AI-systemer eller -modeller bør bestemmelserne i denne forordning heller ikke finde anvendelse, inden disse systemer og modeller ibrugtages eller bringes i omsætning. Denne udelukkelse berører ikke forpligtelsen til at overholde denne forordning, når et AI-system, der falder ind under denne forordnings anvendelsesområde, bringes i omsætning eller ibrugtages som følge af en sådan forsknings- og udviklingsaktivitet, eller anvendelsen af bestemmelser om reguleringsmæssige AI-sandkasser og afprøvning under faktiske forhold. Uden at det berører udelukkelsen af AI-systemer, der specifikt er udviklet og ibrugtaget udelukkende med henblik på videnskabelig forskning og udvikling, bør ethvert andet AI-system, der kan anvendes til udførelse af enhver forsknings- og udviklingsaktivitet, desuden fortsat være omfattet af bestemmelserne i denne forordning. Under alle omstændigheder bør enhver forsknings- og udviklingsaktivitet udføres i overensstemmelse med anerkendte etiske og professionelle standarder for videnskabelig forskning og bør gennemføres i overensstemmelse med gældende EU-ret.
(26)For at indføre et forholdsmæssigt og effektivt sæt bindende regler for AI-systemer bør der anvendes en klart defineret risikobaseret tilgang. Denne tilgang bør tilpasse typen og indholdet af sådanne regler til graden og omfanget af de risici, som AI-systemer kan generere. Det er derfor nødvendigt at forbyde visse former for uacceptabel AI-praksis, at fastsætte krav til højrisiko-AI-systemer og forpligtelser for de relevante operatører og at fastsætte gennemsigtighedsforpligtelser for visse AI-systemer.
(27)Selv om den risikobaserede tilgang danner grundlag for et forholdsmæssigt og effektivt sæt bindende regler, er det vigtigt at minde om de etiske retningslinjer for troværdig kunstig intelligens fra 2019, der er udarbejdet af den uafhængige AI-ekspertgruppe, som Kommissionen har udpeget. I disse retningslinjer udviklede AI-ekspertgruppen syv ikkebindende etiske principper for AI, som tilsigter at bidrage til at sikre, at AI er troværdig og etisk forsvarlig. De syv principper omfatter: menneskelig handlemulighed og menneskeligt tilsyn, teknologisk robusthed og sikkerhed, privatlivets fred og datastyring, gennemsigtighed, mangfoldighed, ikkeforskelsbehandling og retfærdighed, social og miljømæssig velfærd samt ansvarlighed. Uden at det berører de retligt bindende krav i denne forordning og anden gældende EU-ret, bidrager disse retningslinjer til udformningen af sammenhængende, troværdig og menneskecentreret AI i overensstemmelse med chartret og med de værdier, som Unionen bygger på. Ifølge AI-ekspertgruppens retningslinjer forstås der ved menneskelig handlemulighed og menneskeligt tilsyn, at AI-systemer udvikles og anvendes som et redskab, der betjener mennesker, respekterer menneskers værdighed og personlige uafhængighed, og som fungerer på en måde, der kan styres og tilses af mennesker på passende vis. Ved teknisk robusthed og sikkerhed forstås, at AI-systemer udvikles og anvendes på en måde, der giver mulighed for robusthed i tilfælde af problemer og modstandsdygtighed over for forsøg på at ændre AI-systemets anvendelse eller ydeevne, således at tredjeparters ulovlige anvendelse tillades, og minimerer utilsigtet skade. Ved privatlivets fred og datastyring forstås, at AI-systemer udvikles og anvendes i overensstemmelse med reglerne for beskyttelse af privatlivets fred og databeskyttelse, samtidig med at behandlingen af data lever op til høje standarder for kvalitet og integritet. Ved gennemsigtighed forstås, at AI-systemer udvikles og anvendes på en måde, der giver mulighed for passende sporbarhed og forklarlighed, samtidig med at personer gøres opmærksom på, at de kommunikerer eller interagerer med et AI-system, og at idriftsætterne informeres behørigt om det pågældende AI-systems kapacitet og begrænsninger og berørte personer om deres rettigheder. Ved mangfoldighed, ikkeforskelsbehandling og retfærdighed forstås, at AI-systemer udvikles og anvendes på en måde, der inkluderer forskellige aktører og fremmer lige adgang, ligestilling mellem kønnene og kulturel mangfoldighed, samtidig med at forskelsbehandlende virkninger og urimelige bias, der er forbudt i henhold til EU-retten eller national ret, undgås. Ved social og miljømæssig velfærd forstås, at AI-systemer udvikles og anvendes på en bæredygtig og miljøvenlig måde og på en måde, der gavner alle mennesker, samtidig med at de langsigtede virkninger for den enkelte, samfundet og demokratiet overvåges og vurderes. Anvendelsen af disse principper bør så vidt muligt omsættes i udformningen og anvendelsen af AI-modeller. De bør under alle omstændigheder tjene som grundlag for udarbejdelsen af adfærdskodekser i henhold til denne forordning. Alle interessenter, herunder industrien, den akademiske verden, civilsamfundet og standardiseringsorganisationer, opfordres til i relevant omfang at tage hensyn til de etiske principper ved udviklingen af frivillig bedste praksis og standarder.
(28)Ud over de mange nyttige anvendelser af AI kan den også misbruges og resultere i nye og effektive værktøjer til manipulerende, udnyttende og socialt kontrollerende former for praksis. Sådanne former for praksis er særlig skadelige og krænkende og bør forbydes, fordi de er i modstrid med Unionens værdier om respekt for menneskelig værdighed, frihed, ligestilling, demokrati og retsstatsprincippet og de grundlæggende rettigheder, der er nedfældet i chartret, herunder retten til beskyttelse mod forskelsbehandling, retten til databeskyttelse og retten til privatlivets fred og børns rettigheder.
(29)AI-baserede manipulerende teknikker kan anvendes til at overtale personer til at udvise uønsket adfærd eller til at vildlede dem ved at nudge dem til at træffe beslutninger på en måde, der undergraver og hæmmer deres autonomi, beslutningstagning og frie valg. Omsætning, ibrugtagning eller anvendelse af visse AI-systemer med det formål eller den virkning i væsentlig grad at fordreje menneskers adfærd, hvorved der sandsynligvis vil opstå betydelige skader, der navnlig kan have tilstrækkeligt vigtige negative indvirkninger på fysisk eller psykisk sundhed eller finansielle interesser, er særligt farlige og bør derfor forbydes. Sådanne AI-systemer anvender subliminale komponenter såsom lyd-, billed- eller videostimuli, som mennesker ikke kan opfatte, eftersom disse stimuli ligger uden for den menneskelige opfattelsesevne, eller andre manipulerende eller vildledende teknikker, der undergraver eller svækker menneskers autonomi, beslutningstagning eller frie valg på måder, hvor mennesker ikke er bevidste om disse teknikker, eller, hvis de er bevidste om dem, stadig kan blive vildledt eller ikke er i stand til at kontrollere eller modstå dem. Dette kan lettes f.eks. ved hjælp af maskine-hjerne-grænseflader eller virtuel virkelighed, da de giver mulighed for en højere grad af kontrol over, hvilke stimuli der præsenteres for personer, for så vidt som de i væsentlig grad kan fordreje deres adfærd på betydelig skadelig vis. Desuden kan AI-systemer også på anden måde udnytte sårbarheder hos en person eller en specifik gruppe af mennesker på grund af deres alder, handicap som omhandlet i Europa-Parlamentets og Rådets direktiv (EU) 2019/882
(16)eller en specifik social eller økonomisk situation, der sandsynligvis vil gøre disse personer mere sårbare over for udnyttelse, såsom personer, der lever i ekstrem fattigdom, og etniske eller religiøse mindretal. Sådanne AI-systemer kan bringes i omsætning, ibrugtages eller anvendes med den hensigt eller det resultat i væsentlig grad at fordreje en persons adfærd og på en måde, der forvolder eller med rimelig sandsynlighed kan forventes at ville forvolde den pågældende eller en anden person eller persongrupper betydelig skade, herunder skade, der kan akkumuleres over tid, og bør derfor forbydes. Det er ikke nødvendigvis muligt at antage, at der er en hensigt om at fordreje adfærd, hvis fordrejningen skyldes faktorer uden for AI-systemet, som er uden for udbyderens eller idriftsætterens kontrol, dvs. faktorer, der ikke med rimelighed kan forudses, og som udbyderen eller idriftsætteren af AI-systemet derfor ikke kan afbøde. Under alle omstændigheder er det ikke nødvendigt, at udbyderen eller idriftsætteren har til hensigt at forvolde betydelig skade, forudsat at en sådan skade er resultatet af AI-baserede manipulerende eller udnyttende former for praksis. Forbuddene mod sådanne former for AI-praksis supplerer bestemmelserne i Europa-Parlamentets og Rådets direktiv 2005/29/EF
(17), navnlig at urimelig handelspraksis, der forårsager økonomisk eller finansiel skade for forbrugerne, er forbudt under alle omstændigheder, uanset om den indføres ved hjælp af AI-systemer eller på anden måde. Forbuddene mod manipulerende og udnyttende former for praksis i denne forordning bør ikke berøre lovlig praksis i forbindelse med lægebehandling såsom psykologbehandling af psykisk sygdom eller fysisk rehabilitering, når disse former for praksis udføres i overensstemmelse med gældende ret og medicinske standarder, for eksempel enkeltpersoners eller deres retlige repræsentanters udtrykkelige samtykke. Desuden bør almindelig og legitim handelspraksis, for eksempel på reklameområdet, der overholder gældende ret, ikke i sig selv anses for at udgøre skadelige AI-baserede manipulerende former for praksis.
(30)Systemer til biometrisk kategorisering, der er baseret på fysiske personers biometriske data, såsom en persons ansigt eller fingeraftryk, med henblik på at udlede en persons politiske anskuelser, fagforeningsmedlemskab, religiøse eller filosofiske overbevisning, race, seksuelle forhold eller seksuelle orientering, bør forbydes. Dette forbud bør ikke omfatte lovlig mærkning, filtrering eller kategorisering af biometriske datasæt, der er indhentet i overensstemmelse med EU-retten eller national ret i henhold til biometriske data, såsom sortering af billeder efter hårfarve eller øjenfarve, som f.eks. kan anvendes inden for retshåndhævelse.
(31)AI-systemer, hvor offentlige eller private aktører gør brug af social bedømmelse af fysiske personer, kan føre til forskelsbehandlende resultater og udelukkelse af visse grupper. De kan dermed krænke retten til værdighed og ikkeforskelsbehandling og værdierne lighed og retfærdighed. Sådanne AI-systemer evaluerer eller klassificerer fysiske personer eller grupper heraf på grundlag af en lang række datapunkter i tilknytning til deres sociale adfærd i flere sammenhænge eller kendte, udledte eller forudsagte personlige egenskaber eller personlighedstræk over en vis periode. Den sociale bedømmelse, der leveres af sådanne AI-systemer, kan føre til skadelig eller ugunstig behandling af fysiske personer eller hele grupper heraf i sociale sammenhænge, som ikke har noget at gøre med den sammenhæng, i hvilken dataene oprindeligt blev genereret eller indsamlet, eller til skadelig behandling, der er uforholdsmæssig eller uberettiget i forhold til betydningen af deres sociale adfærd. AI-systemer, der indebærer sådanne uacceptable former for bedømmelsespraksis, og som fører til et sådant skadeligt eller ugunstigt udfald, bør derfor forbydes. Dette forbud bør ikke berøre lovlige former for praksis med evaluering af fysiske personer, der udføres med et specifikt formål i overensstemmelse med EU-retten og national ret.
(32)Anvendelsen af AI-systemer til biometrisk fjernidentifikation i realtid af fysiske personer på offentlige steder med henblik på retshåndhævelse er særligt indgribende i de berørte personers rettigheder og friheder, for så vidt som det kan påvirke privatlivets fred for en stor del af befolkningen, skabe en følelse af konstant overvågning og indirekte afskrække fra udøvelsen af forsamlingsfriheden og andre grundlæggende rettigheder. Tekniske unøjagtigheder i AI-systemer, der er tilsigtet biometrisk fjernidentifikation af fysiske personer, kan føre til resultater behæftet med bias og have forskelsbehandlende virkning. Sådanne mulige resultater behæftet med bias og forskelsbehandlende virkninger er særligt relevante med hensyn til alder, etnicitet, race, køn og handicap. Desuden indebærer den øjeblikkelige virkning og de begrænsede muligheder for yderligere kontrol eller justeringer i forbindelse med anvendelsen af sådanne systemer, der fungerer i realtid, øgede risici for rettigheder og friheder for de berørte personer i forbindelse med eller påvirket af retshåndhævelsesaktiviteter.
(33)Anvendelsen af disse systemer med henblik på retshåndhævelse bør derfor forbydes, undtagen i udtømmende opregnede og snævert definerede situationer, hvor anvendelsen er strengt nødvendig for at opfylde en væsentlig samfundsinteresse, hvis betydning vejer tungere end risiciene. Disse situationer omfatter eftersøgning af visse ofre for kriminalitet, herunder forsvundne personer, visse trusler mod fysiske personers liv eller fysiske sikkerhed eller om et terrorangreb, samt lokalisering eller identifikation af gerningsmænd, der har begået, eller af personer, der mistænkes for at have begået, de strafbare handlinger, der er opført i et bilag til denne forordning, hvis disse strafbare handlinger i den berørte medlemsstat kan straffes med frihedsstraf eller en anden frihedsberøvende foranstaltning af en maksimal varighed på mindst fire år, og som de er defineret i denne medlemsstats ret. En sådan tærskel for frihedsstraf eller anden frihedsberøvende foranstaltning i overensstemmelse med national ret bidrager til at sikre, at lovovertrædelsen er af tilstrækkelig alvorlig karakter til potentielt at berettige anvendelsen af systemer til biometrisk fjernidentifikation i realtid. Desuden er listen over strafbare handlinger fastlagt i et bilag til denne forordning baseret på de 32 strafbare handlinger, der er opregnet i Rådets rammeafgørelse 2002/584/RIA
(18), og tager hensyn til, at nogle af disse strafbare handlinger i praksis er mere relevante end andre, idet anvendelsen af biometrisk fjernidentifikation i realtid sandsynligvis i meget varierende grad kan være nødvendig og forholdsmæssig med henblik på lokalisering eller identifikation af en gerningsmand, der har begået, eller af en person, der mistænkes for at have begået, strafbare handlinger, der er opført på listen, og under hensyntagen til de sandsynlige forskelle i alvorligheden, sandsynligheden og omfanget af skaden eller mulige negative konsekvenser. En overhængende fare for fysiske personers liv eller fysiske sikkerhed kan også hidrøre fra en alvorlig afbrydelse af kritisk infrastruktur som defineret i artikel 2, nr. 4), i Europa-Parlamentets og Rådets direktiv (EU) 2022/2557
(19), hvor afbrydelse eller ødelæggelse af en sådan kritisk infrastruktur ville medføre overhængende fare for en persons liv eller fysiske sikkerhed, herunder gennem alvorlig skade på forsyningen af befolkningen med grundlæggende fornødenheder eller på udøvelsen af statens centrale funktion. Desuden bør denne forordning bevare de retshåndhævende myndigheders, grænsekontrolmyndighedernes, indvandringsmyndighedernes eller asylmyndighedernes mulighed for at foretage identitetskontrol under tilstedeværelse af den pågældende person i overensstemmelse med de betingelser, der er fastsat i EU-retten og national ret for en sådan kontrol. Navnlig bør retshåndhævende myndigheder, grænsekontrolmyndigheder, indvandringsmyndigheder eller asylmyndigheder kunne anvende informationssystemer i overensstemmelse med EU-retten eller national ret til at identificere personer, der under en identitetskontrol enten nægter at blive identificeret eller ikke er i stand til at oplyse eller bevise deres identitet, uden at det i henhold til denne forordning kræves, at der indhentes forhåndstilladelse. Dette kan f.eks. være en person, der er involveret i en forbrydelse, og som er uvillig eller ude af stand til på grund af en ulykke eller en helbredstilstand at afsløre sin identitet over for de retshåndhævende myndigheder.
(34)For at sikre at disse systemer anvendes på en ansvarlig og forholdsmæssig måde, er det også vigtigt at fastslå, at der i hver af disse udtømmende opregnede og snævert definerede situationer bør tages hensyn til visse elementer, navnlig med hensyn til situationens karakter, som ligger til grund for anmodningen, og konsekvenserne af anvendelsen for alle berørte personers rettigheder og friheder samt de sikkerhedsforanstaltninger og betingelser, der er fastsat for brugen. Anvendelsen af systemer til biometrisk fjernidentifikation i realtid på offentlige steder med henblik på retshåndhævelse bør kun idriftsættes til at bekræfte den specifikt målrettede persons identitet og bør begrænses til, hvad der er strengt nødvendigt for så vidt angår tidsperioden samt det geografiske og personmæssige anvendelsesområde, navnlig med hensyn til beviserne eller indikationerne vedrørende truslerne, ofrene eller gerningsmanden. Anvendelsen af systemet til biometrisk fjernidentifikation i realtid på offentlige steder bør kun tillades, hvis den relevante retshåndhævende myndighed har gennemført en konsekvensanalyse vedrørende grundlæggende rettigheder og, medmindre andet er fastsat i denne forordning, har registreret systemet i databasen som fastsat i denne forordning. Referencedatabasen over personer bør være passende for hvert enkelt anvendelsestilfælde i hver af de ovennævnte situationer.
(35)Enhver anvendelse af et system til biometrisk fjernidentifikation i realtid på offentlige steder med henblik på retshåndhævelse bør være betinget af en udtrykkelig og specifik tilladelse fra en medlemsstats judicielle myndighed eller uafhængige administrative myndighed, hvis afgørelse er bindende. En sådan tilladelse bør i princippet indhentes forud for anvendelsen af AI-systemet med henblik på at identificere en eller flere personer. Undtagelser fra denne regel bør tillades i behørigt begrundede hastende tilfælde, dvs. i situationer, hvor behovet for at anvende de pågældende systemer er af en sådan art, at det er praktisk og objektivt umuligt at indhente en tilladelse, inden anvendelsen af AI-systemet påbegyndes. I sådanne hastende situationer bør anvendelsen af AI-systemet begrænses til det absolut nødvendige minimum og bør være underlagt passende sikkerhedsforanstaltninger og betingelser som fastsat i national ret og præciseret i forbindelse med hver enkelt hastesag af den retshåndhævende myndighed selv. Desuden bør den retshåndhævende myndighed i sådanne situationer anmode om en sådan tilladelse og samtidig begrunde, hvorfor den ikke har været i stand til at anmode om den tidligere, uden unødigt ophold og senest inden for 24 timer. Hvis en sådan tilladelse afvises, bør anvendelsen af systemer til biometrisk identifikation i realtid, der er knyttet til den pågældende tilladelse, indstilles med øjeblikkelig virkning, og alle data vedrørende en sådan anvendelse bør kasseres og slettes. Sådanne data omfatter inputdata, der er erhvervet direkte af et AI-system ved anvendelsen af et sådant system, samt resultater og output af den anvendelse, der er knyttet til den pågældende tilladelse. Det bør ikke omfatte input, der er erhvervet lovligt i overensstemmelse med anden EU-ret eller national ret. Under alle omstændigheder bør der ikke træffes nogen afgørelse, der har negative retsvirkninger for en person, udelukkende baseret på outputtet af systemet til biometrisk fjernidentifikation.
(36)Den relevante markedsovervågningsmyndighed og den nationale databeskyttelsesmyndighed bør for at kunne udføre deres opgaver i overensstemmelse med kravene fastsat i denne forordning og i de nationale regler underrettes om hver anvendelse af »systemet til biometrisk identifikation i realtid«. Markedsovervågningsmyndighederne og de nationale databeskyttelsesmyndigheder, der er blevet underrettet, bør forelægge Kommissionen en årlig rapport om anvendelsen af systemer til biometrisk identifikation i realtid.
(37)Endvidere bør det inden for denne forordnings udtømmende rammer fastsættes, at en sådan anvendelse på en medlemsstats område i overensstemmelse med denne forordning kun bør være mulig, hvis og i det omfang den pågældende medlemsstat har besluttet udtrykkeligt at give mulighed for at tillade en sådan anvendelse i sine detaljerede bestemmelser i national ret. Det står derfor medlemsstaterne frit for i henhold til denne forordning slet ikke at fastsætte en sådan mulighed eller kun at fastsætte en sådan mulighed med hensyn til nogle af de mål, der i henhold til denne forordning kan begrunde en godkendt anvendelse. Sådanne nationale regler bør meddeles Kommissionen inden for 30 dage efter deres vedtagelse.
(38)Anvendelsen af AI-systemer til biometrisk fjernidentifikation i realtid af fysiske personer på offentlige steder med henblik på retshåndhævelse indebærer nødvendigvis behandling af biometriske data. De bestemmelser i denne forordning, der med forbehold af visse undtagelser forbyder en sådan anvendelse, og som har grundlag i artikel 16 i TEUF, bør finde anvendelse som lex specialis, for så vidt angår reglerne om behandling af biometriske data i artikel 10 i direktiv (EU) 2016/680 og således regulere anvendelsen og behandlingen af biometriske data på en udtømmende måde. En sådan anvendelse og behandling bør derfor kun være mulig, i det omfang det er foreneligt med den ramme, der er fastsat i denne forordning, uden at der uden for denne ramme er mulighed for, at de kompetente myndigheder, når de handler med henblik på retshåndhævelse, kan anvende sådanne systemer og i forbindelse hermed behandle sådanne data af de grunde, der er anført i artikel 10 i direktiv (EU) 2016/
  1. I denne sammenhæng har denne forordning ikke til formål at tilvejebringe retsgrundlaget for behandling af personoplysninger i henhold til artikel 8 i direktiv (EU) 2016/
  2. Anvendelsen af systemer til biometrisk fjernidentifikation i realtid på offentlige steder til andre formål end retshåndhævelse, herunder af kompetente myndigheder, bør imidlertid ikke være omfattet af den specifikke ramme for en sådan anvendelse med henblik på retshåndhævelse som fastsat i denne forordning. En sådan anvendelse til andre formål end retshåndhævelse bør derfor ikke være underlagt kravet om en tilladelse i henhold til denne forordning og de gældende detaljerede bestemmelser i national ret, der kan give denne tilladelse virkning.
(39)Enhver behandling af biometriske data og andre personoplysninger i forbindelse med anvendelsen af AI-systemer til biometrisk identifikation, undtagen i forbindelse med anvendelsen af systemer til biometrisk fjernidentifikation i realtid på offentlige steder med henblik på retshåndhævelse som reguleret ved denne forordning, bør fortsat overholde alle de krav, der følger af artikel 10 i direktiv (EU) 2016/680. Med henblik på andre formål end retshåndhævelse forbyder artikel 9, stk. 1, i forordning (EU) 2016/679 og artikel 10, stk. 1, i forordning (EU) 2018/1725 behandling af biometriske data med begrænsede undtagelser som fastsat i disse artikler. I henhold til artikel 9, stk. 1, i forordning (EU) 2016/679 har anvendelsen af biometrisk fjernidentifikation til andre formål end retshåndhævelse allerede været genstand for forbudsafgørelser fra nationale databeskyttelsesmyndigheder.
(40)I medfør af artikel 6a i protokol nr. 21 om Det Forenede Kongeriges og Irlands stilling, for så vidt angår området med frihed, sikkerhed og retfærdighed, der er knyttet som bilag til TEU og TEUF, er Irland ikke bundet af regler fastsat i denne forordnings artikel 5, stk. 1, første afsnit, litra g), i det omfang den finder anvendelse på brugen af systemer til biometrisk kategorisering til aktiviteter inden for politisamarbejde og retligt samarbejde i straffesager, artikel 5, stk. 1, første afsnit, litra d), i det omfang den finder anvendelse på brugen af AI-systemer, der er omfattet af nævnte bestemmelse, artikel 5, stk. 1, første afsnit, litra h), og stk. 2-6, og artikel 26, stk. 10, der er vedtaget på grundlag af artikel 16 i TEUF vedrørende medlemsstaternes behandling af personoplysninger under udøvelsen af aktiviteter, der er omfattet af tredje del, afsnit V, kapitel 4 eller 5, i TEUF, når Irland ikke er bundet af regler vedrørende former for strafferetligt samarbejde eller politisamarbejde, der kræver overholdelse af de bestemmelser, der er fastsat på grundlag af artikel 16 i TEUF.
(41)I medfør af artikel 2 og 2a i protokol nr. 22 om Danmarks stilling, der er knyttet som bilag til TEU og TEUF, er de regler, der er fastsat i denne forordnings artikel 5, stk. 1, første afsnit, litra g), i det omfang den finder anvendelse på brugen af systemer til biometrisk kategorisering til aktiviteter inden for politisamarbejde og retligt samarbejde i straffesager, artikel5, stk. 1, første afsnit, litra d), i det omfang den finder anvendelse på brugen af AI-systemer, der er omfattet af nævnte bestemmelse, artikel 5, stk. 1, første afsnit, litra h), og stk. 2-6, og artikel 26, stk. 10, der er vedtaget på grundlag af artikel 16 i TEUF vedrørende medlemsstaternes behandling af personoplysninger under udøvelsen af aktiviteter, der er omfattet af tredje del, afsnit V, kapitel 4 eller 5, i TEUF, ikke bindende for og finder ikke anvendelse i Danmark.
(42)I overensstemmelse med uskyldsformodningen bør fysiske personer i Unionen altid dømmes på grundlag af deres faktiske adfærd. Fysiske personer bør aldrig dømmes på grundlag af AI-forudsagt adfærd, der alene er baseret på deres profilering, personlighedstræk eller personlige egenskaber såsom nationalitet, fødested, bopæl, antal børn, gældsbyrde eller biltype, uden at der er begrundet mistanke om, at den pågældende person er involveret i kriminel aktivitet baseret på objektive verificerbare kendsgerninger, og uden menneskelig vurdering heraf. Risikovurderinger, der udføres med hensyn til fysiske personer med det formål at vurdere risikoen for, at de begår lovovertrædelser, eller forudsige forekomsten af en faktisk eller potentiel strafbar handling alene baseret på profilering af dem eller vurdering af deres personlighedstræk og personlige egenskaber, bør derfor forbydes. Under alle omstændigheder henviser dette forbud ikke til eller berører ikke risikoanalyser, der ikke er baseret på profilering af enkeltpersoner eller på enkeltpersoners personlighedstræk og personlige egenskaber, såsom AI-systemer, der anvender risikoanalyser til at vurdere sandsynligheden for virksomheders økonomiske svig på grundlag af mistænkelige transaktioner eller risikoanalyseværktøjer til at forudsige sandsynligheden for toldmyndighedernes lokalisering af narkotika eller ulovlige varer, f.eks. på grundlag af kendte narkotikaruter.
(43)Omsætning, ibrugtagning til dette specifikke formål eller anvendelse af AI-systemer, der opretter eller udvider ansigtsgenkendelsesdatabaser gennem ikkemålrettet indsamling af ansigtsbilleder fra internettet eller kameraovervågning, bør forbydes, da denne praksis øger følelsen af masseovervågning og kan føre til grove krænkelser af de grundlæggende rettigheder, herunder retten til privatlivets fred.
(44)Der er alvorlig bekymring over det videnskabelige grundlag for AI-systemer, der har til formål at identificere eller udlede følelser, navnlig da følelser varierer betydeligt på tværs af kulturer og situationer og endda hos en enkelt person. Blandt de vigtigste mangler ved sådanne systemer er den begrænsede pålidelighed, manglen på specificitet og den begrænsede generaliserbarhed. AI-systemer, der identificerer eller udleder fysiske personers følelser eller hensigter på grundlag af deres biometriske data, kan derfor føre til forskelsbehandlende resultater og kan være indgribende i de berørte personers rettigheder og friheder. Sådanne systemer kan i betragtning af den ulige magtfordeling på arbejdspladsen eller uddannelsesstedet, kombineret med disse systemers indgribende karakter, føre til skadelig eller ugunstig behandling af visse fysiske personer eller hele grupper heraf. Omsætningen, ibrugtagningen eller anvendelsen af AI-systemer, der er tilsigtet at påvise enkeltpersoners følelsesmæssige tilstand i situationer, der vedrører arbejdspladsen og uddannelsesstedet, bør derfor forbydes. Dette forbud bør ikke omfatte AI-systemer, der bringes i omsætning udelukkende af medicinske eller sikkerhedsmæssige årsager, såsom systemer tilsigtet terapeutisk brug.
(45)Former for praksis, der er forbudt i henhold til EU-retten, herunder databeskyttelsesretten, retten om ikkeforskelsbehandling, forbrugerbeskyttelsesretten og konkurrenceretten, bør ikke berøres af denne forordning.
(46)Højrisiko-AI-systemer bør kun bringes i omsætning på EU-markedet, ibrugtages eller anvendes, hvis de overholder visse obligatoriske krav. Disse krav bør sikre, at højrisiko-AI-systemer, der er tilgængelige i Unionen, eller hvis output på anden måde anvendes i Unionen, ikke udgør uacceptable risici for vigtige samfundsinteresser i Unionen som anerkendt og beskyttet i EU-retten. På grundlag af den nye lovgivningsmæssige ramme, som præciseret i Kommissionens meddelelse om den blå vejledning om gennemførelsen af EU's produktregler 2022
(20), er den generelle regel, at mere end én EU-harmoniseringslovgivningsretsakt såsom Europa-Parlamentets og Rådets forordning (EU) 2017/745
(21)og (EU) 2017/746
(22)eller Europa-Parlamentets og Rådets direktiv 2006/42/EF
(23)kan finde anvendelse på ét produkt, da tilgængeliggørelsen eller ibrugtagningen kun kan finde sted, når produktet overholder al gældende EU-harmoniseringslovgivning. For at sikre konsekvens og undgå unødvendige administrative byrder eller omkostninger bør udbydere af et produkt, der indeholder et eller flere højrisiko-AI-systemer, som kravene i nærværende forordning og kravene i EU-harmoniseringslovgivningen opført i et bilag til nærværende forordning, finder anvendelse på, have fleksibilitet med hensyn til at træffe operationelle beslutninger om, hvordan det sikres, at et produkt, der indeholder et eller flere AI-systemer, overholder alle gældende krav i EU-harmoniseringslovgivningen på en optimal måde. AI-systemer, der identificeres som højrisiko, bør begrænses til systemer, der har en betydelig skadelig indvirkning på personers sundhed, sikkerhed og grundlæggende rettigheder i Unionen, og en sådan begrænsning bør minimere enhver potentiel restriktion for international handel.
(47)AI-systemer kan have negative virkninger for personers sundhed og sikkerhed, navnlig når sådanne systemer anvendes som produkters sikkerhedskomponenter. I overensstemmelse med målene for EU-harmoniseringslovgivningen om at lette den frie bevægelighed for produkter i det indre marked og sørge for, at kun sikre produkter, der desuden overholder alle de stillede krav, kommer ind på markedet, er det vigtigt, at de sikkerhedsrisici, som et produkt som helhed kan udgøre på grund af dets digitale komponenter, herunder AI-systemer, behørigt forebygges og afbødes. F.eks. bør stadig mere autonome robotter, hvad enten det er i forbindelse med fremstilling eller personlig bistand og pleje, være i stand til at fungere sikkert og udføre deres funktioner i komplekse miljøer. Også i sundhedssektoren, hvor det drejer sig direkte om liv og sundhed, bør stadig mere avancerede diagnosesystemer og systemer, der understøtter menneskers beslutninger, være pålidelige og nøjagtige.
(48)Omfanget af et AI-systems negative indvirkning på de grundlæggende rettigheder, der er beskyttet af chartret, er særlig relevant, når et AI-system klassificeres som højrisiko. Disse rettigheder omfatter retten til menneskelig værdighed, respekt for privatliv og familieliv, beskyttelse af personoplysninger, ytrings- og informationsfrihed, forsamlings- og foreningsfrihed, retten til ikkeforskelsbehandling, retten til uddannelse, forbrugerbeskyttelse, arbejdstagerrettigheder, rettigheder for personer med handicap, ligestilling mellem kønnene, intellektuelle ejendomsrettigheder, retten til effektive retsmidler og til en retfærdig rettergang, retten til et forsvar og uskyldsformodningen samt retten til god forvaltning. Ud over disse rettigheder er det vigtigt at fremhæve det forhold, at børn har specifikke rettigheder som fastsat i artikel 24 i chartret og i De Forenede Nationers konvention om barnets rettigheder, yderligere udviklet i generel bemærkning nr. 25 vedrørende det digitale miljø fra FN's Komité for Barnets Rettigheder, som begge kræver, at der tages hensyn til børns sårbarhed, og at der ydes den beskyttelse og omsorg, der er nødvendig for deres trivsel. Den grundlæggende ret til et højt miljøbeskyttelsesniveau, der er nedfældet i chartret og gennemført i Unionens politikker, bør også tages i betragtning ved vurderingen af alvorligheden af den skade, som et AI-system kan forvolde, herunder i forbindelse med personers sundhed og sikkerhed.
(49)For så vidt angår højrisiko-AI-systemer, der er sikkerhedskomponenter i produkter eller systemer, eller som selv er produkter eller systemer, der er omfattet af anvendelsesområdet for Europa-Parlamentets og Rådets forordning (EF) nr. 300/2008
(24), Europa-Parlamentets og Rådets forordning (EU) nr. 167/2013
(25), Europa-Parlamentets og Rådets forordning (EU) nr. 168/2013
(26), Europa-Parlamentets og Rådets direktiv 2014/90/EU
(27), Europa- Parlamentets og Rådets direktiv (EU) 2016/797
(28), Europa-Parlamentets og Rådets forordning (EU) 2018/858
(29), Europa-Parlamentets og Rådets forordning (EU) 2018/1139
(30)og Europa-Parlamentets og Rådets forordning (EU) 2019/2144
(31), bør disse retsakter ændres for at sikre, at Kommissionen, på grundlag af de særlige tekniske og reguleringsmæssige forhold i hver enkelt sektor og uden at gribe ind i de eksisterende forvaltnings-, overensstemmelsesvurderings- og håndhævelsesmekanismer og myndigheder, der er fastsat heri, tager hensyn til de obligatoriske krav til højrisiko-AI-systemer, der er fastsat i nærværende forordning, når den vedtager relevante delegerede retsakter eller gennemførelsesretsakter på grundlag af disse retsakter.
(50)For så vidt angår AI-systemer, der er sikkerhedskomponenter i produkter, eller som selv er produkter, der er omfattet af anvendelsesområdet for en vis EU-harmoniseringslovgivning, der er opført i et bilag til denne forordning, er det hensigtsmæssigt at klassificere dem som højrisiko i henhold til denne forordning, hvis det pågældende produkt overensstemmelsesvurderes af en tredjeparts overensstemmelsesvurderingsorgan i henhold til den relevante EU-harmoniseringslovgivning. Sådanne produkter er navnlig maskiner, legetøj, elevatorer, udstyr og sikringssystemer tilsigtet anvendelse i eksplosionsfarlig atmosfære, radioudstyr, trykudstyr, udstyr til fritidsfartøjer, tovbaneanlæg, gasapparater, medicinsk udstyr, in vitro-diagnostisk medicinsk udstyr, bilindustrien og luftfart.
(51)Klassificeringen af et AI-system som højrisiko i henhold til denne forordning bør ikke nødvendigvis betyde, at det produkt, hvori AI-systemet indgår som sikkerhedskomponent, eller selve AI-systemet som produkt betragtes som højrisiko i henhold til de kriterier, der er fastsat i den relevante EU-harmoniseringslovgivning, der finder anvendelse på produktet. Dette er navnlig tilfældet med forordning (EU) 2017/745 og (EU) 2017/746, hvor en tredjepart foretager overensstemmelsesvurderinger af mellemrisiko- og højrisikoprodukter.
(52)For så vidt angår selvstændige AI-systemer, dvs. andre højrisiko-AI-systemer end dem, der er produkters sikkerhedskomponenter, eller selv er produkter, bør de klassificeres som højrisiko, hvis de set i lyset af deres tilsigtede formål udgør en høj risiko for skade på sundhed og sikkerhed eller personers grundlæggende rettigheder, idet der tages hensyn til både sandsynligheden for den mulige skade og dens alvorlighed, og hvis de anvendes på en række specifikt foruddefinerede områder, der er angivet i denne forordning. Disse systemer udpeges ved hjælp af den samme metode og ud fra de samme kriterier som i forbindelse med eventuelle fremtidige ændringer af listen over højrisiko-AI-systemer, som Kommissionen bør tillægges beføjelser til at vedtage ved hjælp af delegerede retsakter for at tage hensyn til den hurtige teknologiske udvikling samt de potentielle ændringer i anvendelsen af AI-systemer.
(53)Det er også vigtigt at præcisere, at der kan være særlige tilfælde, hvor AI-systemer, der henvises til i foruddefinerede områder som angivet i denne forordning, ikke medfører en væsentlig risiko for at skade de retlige interesser, der beskyttes på disse områder, fordi de ikke i væsentlig grad påvirker beslutningstagningen eller ikke skader disse interesser væsentligt. Med henblik på denne forordning bør et AI-system, der ikke i væsentlig grad påvirker resultatet af beslutningstagning, forstås som et AI-system, der ikke har indvirkning på substansen og dermed resultatet af beslutningstagning, uanset om den er menneskelig eller automatiseret. Et AI-system, der ikke i væsentlig grad påvirker resultatet af beslutningstagning, kan omfatte situationer, hvor en eller flere af følgende betingelser er opfyldt. Den første sådanne betingelse bør være, at AI-systemet er tilsigtet at udføre en snæver proceduremæssig opgave, f.eks. et AI-system, der omdanner ustrukturerede data til strukturerede data, et AI-system, der klassificerer indgående dokumenter i kategorier, eller et AI-system, der anvendes til at påvise duplikater blandt et stort antal ansøgninger. Disse opgaver er så snævre og begrænsede, at de kun udgør begrænsede risici, som ikke øges som følge af anvendelsen af et AI-system i en af de sammenhænge, der er opført som en højrisikoanvendelse i et bilag til denne forordning. Den anden betingelse bør være, at den opgave, AI-systemet udfører, er tilsigtet at forbedre resultatet af en tidligere afsluttet menneskelig aktivitet, der kan være relevant med henblik på de højrisikoanvendelser, der er opført i et bilag til denne forordning. I betragtning af disse karakteristika tilføjer AI-systemet kun et ekstra lag til en menneskelig aktivitet og udgør dermed en lavere risiko. Denne betingelse ville f.eks. gælde AI-systemer, der er tilsigtet at forbedre det sprog, der er anvendt i tidligere udarbejdede dokumenter, f.eks. hvad angår professionel tone og akademisk sprogbrug eller ved at tilpasse teksten til et bestemt produktbudskab. Den tredje betingelse bør være, at AI-systemet er tilsigtet at påvise beslutningsmønstre eller afvigelser fra tidligere beslutningsmønstre. Risikoen vil være lavere, fordi anvendelsen af AI-systemet følger efter en tidligere afsluttet menneskelig vurdering, som det ikke er tiltænkt at skulle erstatte eller påvirke uden en ordentlig menneskelig gennemgang. Sådanne AI-systemer omfatter f. eks. systemer, der ud fra en lærers bestemte bedømmelsesmønster kan anvendes til efterfølgende at kontrollere, om læreren kan have afveget fra bedømmelsesmønstret, således at potentielle uoverensstemmelser eller uregelmæssigheder identificeres. Den fjerde betingelse bør være, at AI-systemet er tilsigtet kun at udføre en forberedende opgave inden en vurdering, der er relevant med henblik på de AI-systemer, der er opført i et bilag til denne forordning, hvilket gør den mulige virkning af systemets output meget lav med hensyn til at udgøre en risiko for den efterfølgende vurdering. Denne betingelse omfatter bl.a. intelligente løsninger til filhåndtering, som indeholder forskellige funktioner såsom indeksering, søgning, tekst- og talebehandling eller sammenkobling af data til andre datakilder, eller AI-systemer, der anvendes til oversættelse af oprindelige dokumenter. Under alle omstændigheder bør AI-systemer, som anvendes i tilfælde af højrisikoanvendelser, der er opført i et bilag til denne forordning, betragtes som at udgøre en betydelig risiko for skade på fysiske personers sundhed, sikkerhed eller grundlæggende rettigheder, hvis AI-systemet indebærer profilering som omhandlet i artikel 4, nr. 4), i forordning (EU) 2016/679, eller artikel 3, nr. 4), i direktiv (EU) 2016/680 eller artikel 3, nr. 5), i forordning (EU) 2018/1725. For at sikre sporbarhed og gennemsigtighed bør en udbyder, der skønner, at et AI-system ikke udgør en høj risiko på grundlag af de ovenfor omhandlede betingelser, udarbejde dokumentation for vurderingen, inden systemet bringes i omsætning eller ibrugtages, og bør efter anmodning forelægge denne dokumentation for de nationale kompetente myndigheder. En sådan udbyder bør være forpligtet til at registrere AI-systemet i den EU-database, der oprettes i henhold til nærværende forordning. Med henblik på at give yderligere vejledning om den praktiske gennemførelse af de betingelser, i henhold til hvilke de AI-systemer, der er opført i et bilag til nærværende forordning, undtagelsesvis er ikkehøjrisiko, bør Kommissionen efter høring af AI-udvalget udarbejde retningslinjer, der præciserer denne praktiske gennemførelse, suppleret med en omfattende liste over praktiske eksempler på anvendelsestilfælde af AI-systemer, der er højrisiko, og anvendelsestilfælde, der ikke er.
(54)Da biometriske data udgør en særlig kategori af personoplysninger, er det hensigtsmæssigt at klassificere flere kritiske anvendelsestilfælde af biometriske systemer som højrisiko, for så vidt som deres anvendelse er tilladt i henhold til relevant EU-ret og national ret. Tekniske unøjagtigheder i AI-systemer, der er tilsigtet biometrisk fjernidentifikation af fysiske personer, kan føre til resultater behæftet med bias og have forskelsbehandlende virkning. Risikoen for sådanne mulige resultater behæftet med bias og forskelsbehandlende virkninger er særligt relevante med hensyn til alder, etnicitet, race, køn og handicap. Systemer til biometrisk fjernidentifikation bør derfor klassificeres som højrisiko i betragtning af de risici, systemerne udgør. En sådan klassificering udelukker AI-systemer, der tilsigtes anvendt til biometrisk verifikation, herunder autentifikation, hvis eneste formål er at bekræfte, at en bestemt fysisk person er den person, vedkommende hævder at være, og bekræfte en fysisk persons identitet udelukkende med det formål at få adgang til en tjeneste, låse udstyr op eller have sikker adgang til lokaler. Desuden bør AI-systemer, der tilsigtes anvendt til biometrisk kategorisering ifølge følsomme egenskaber eller karakteristika, som er beskyttet i henhold til artikel 9, stk. 1, i forordning (EU) 2016/679, på grundlag af biometriske data, for så vidt som disse ikke er forbudt i henhold til nærværende forordning, og systemer til følelsesgenkendelse, der ikke er forbudt i henhold til nærværende forordning, klassificeres som højrisiko. Biometriske systemer, der udelukkende er tilsigtet anvendt til at muliggøre cybersikkerhedsforanstaltninger og foranstaltninger til beskyttelse af personoplysninger, bør ikke betragtes som højrisiko-AI-systemer.
(55)For så vidt angår forvaltning og drift af kritisk infrastruktur bør AI-systemer, der tilsigtes anvendt som sikkerhedskomponenter i forvaltningen og driften af kritisk digital infrastruktur som opført i bilaget, punkt 8, til direktiv (EU) 2022/2557, vejtrafik og forsyning af vand, gas, varme og elektricitet, klassificeres som højrisiko, da svigt eller funktionsfejl i disse systemer kan bringe menneskers liv og sundhed i fare i stor målestok og føre til betydelige forstyrrelser i de sociale og økonomiske aktiviteter. Sikkerhedskomponenter i kritisk infrastruktur, herunder kritisk digital infrastruktur, er systemer, der anvendes til direkte at beskytte den kritiske infrastrukturs fysiske integritet eller personers sundhed og sikkerhed og ejendom, men som ikke er nødvendige for, at systemet kan fungere. Svigt eller funktionsfejl i sådanne komponenter kan direkte medføre risici for den kritiske infrastrukturs fysiske integritet og dermed risici for personers sundhed og sikkerhed og ejendom. Komponenter, der udelukkende tilsigtes anvendt til cybersikkerhedsformål, bør ikke betragtes som sikkerhedskomponenter. Eksempler på sikkerhedskomponenter i en sådan kritisk infrastruktur kan omfatte systemer til overvågning af vandtryk eller brandalarmkontrolsystemer i cloudcomputingcentre.
(56)Det er vigtigt at idriftsætte AI-systemer inden for uddannelse for at fremme digital uddannelse og træning af høj kvalitet og for at give alle lærende og lærere mulighed for at tilegne sig og dele de nødvendige digitale færdigheder og kompetencer, herunder mediekendskab, og kritisk tænkning, til at deltage aktivt i økonomien, samfundet og de demokratiske processer. AI-systemer, der anvendes inden for uddannelse eller erhvervsuddannelse, navnlig til at bestemme adgang eller optagelse, til at fordele personer på uddannelsesinstitutioner eller uddannelser på alle niveauer, til at evaluere personers læringsudbytte, til at bedømme en persons nødvendige uddannelsesniveau og væsentligt påvirke den uddannelse, som den pågældende person vil modtage eller vil kunne få adgang til, eller til at overvåge og opdage forbudt adfærd blandt studerende under prøver, bør dog klassificeres som højrisiko-AI-systemer, da de kan afgøre en persons uddannelsesmæssige og arbejdsmæssige livsforløb og dermed kan påvirke denne persons mulighed for at sikre sig et livsgrundlag. Hvis sådanne systemer udformes og anvendes forkert, kan de være særligt indgribende og krænke retten til uddannelse samt retten til ikke at blive forskelsbehandlet og gøre historiske forskelsbehandlingsmønstre permanente, f.eks. mod kvinder, bestemte aldersgrupper, personer med handicap eller personer af bestemt racemæssig eller etnisk oprindelse eller med en bestemt seksuel orientering.
(57)AI-systemer, der anvendes inden for beskæftigelse, forvaltning af arbejdskraft og adgang til selvstændig erhvervsvirksomhed, navnlig til rekruttering og udvælgelse af personer, til at træffe beslutninger, der påvirker vilkårene for det arbejdsrelaterede forhold, forfremmelse og ophør af arbejdsmæssige kontraktforhold, til fordeling af opgaver på grundlag af individuel adfærd, personlighedstræk eller personlige egenskaber og til overvågning og evaluering af personer i arbejdsmæssige kontraktforhold, bør også klassificeres som højrisiko, da de kan have en betydelig indvirkning på disse personers fremtidige karrieremuligheder, livsgrundlag og arbejdstagerrettigheder. De relevante arbejdsmæssige kontraktforhold bør på en meningsfuld måde omfatte ansatte og personer, der leverer tjenesteydelser via platforme som omhandlet i Kommissionens arbejdsprogram for 2021. Gennem hele rekrutteringsprocessen og i forbindelse med evaluering, forfremmelse eller fastholdelse af personer i arbejdsrelaterede kontraktforhold kan sådanne systemer gøre historiske forskelsbehandlingsmønstre permanente, f.eks. mod kvinder, bestemte aldersgrupper, personer med handicap eller personer af bestemt racemæssig eller etnisk oprindelse eller med en bestemt seksuel orientering. AI-systemer, der anvendes til at overvåge disse personers præstationer og adfærd, kan også underminere deres grundlæggende ret til databeskyttelse og ret til privatlivets fred.
(58)Et andet område, hvor anvendelsen af AI-systemer kræver særlig opmærksomhed, er adgangen til og benyttelsen af visse væsentlige private og offentlige tjenester og de ydelser, der er nødvendige for, at mennesker kan deltage fuldt ud i samfundet eller forbedre deres levestandard. Navnlig er fysiske personer, der ansøger om eller modtager væsentlige offentlige bistandsydelser og -tjenester fra offentlige myndigheder, dvs. sundhedstjenester, socialsikringsydelser, sociale tjenester, der yder beskyttelse i tilfælde af barsel, sygdom, arbejdsulykker, afhængighed eller alderdom og tab af beskæftigelse samt social bistand og boligstøtte, typisk afhængige af sådanne ydelser og tjenester og befinder sig i en sårbar situation i forhold til de ansvarlige myndigheder. Hvis der anvendes AI-systemer til at afgøre, om der skal gives afslag på sådanne ydelser og tjenester, eller om de skal tildeles, nedsættes, tilbagekaldes eller kræves tilbagebetalt af myndighederne, herunder om modtagerne reelt er berettigede til disse ydelser eller tjenester, kan disse systemer have en betydelig indvirkning på menneskers livsgrundlag og kan krænke deres grundlæggende rettigheder såsom retten til social beskyttelse, ikkeforskelsbehandling, menneskelig værdighed eller adgang til effektive retsmidler, og de bør derfor klassificeres som højrisiko. Ikke desto mindre bør denne forordning ikke hindre udviklingen eller anvendelsen af innovative tilgange i den offentlige forvaltning, som står til at kunne drage fordel af en bredere anvendelse af AI-systemer, der er i overensstemmelse med reglerne og er sikre, forudsat at de ikke indebærer en høj risiko for juridiske og fysiske personer. Desuden bør AI-systemer, der anvendes til at evaluere fysiske personers kreditvurdering eller kreditværdighed, klassificeres som højrisiko-AI-systemer, da de afgør menneskers adgang til finansielle ressourcer eller væsentlige tjenester såsom bolig, elektricitet og telekommunikationstjenester. AI-systemer, der anvendes til disse formål, kan føre til forskelsbehandling mellem personer eller grupper og kan gøre historiske forskelsbehandlingsmønstre permanente, f.eks. på grundlag af racemæssig eller etnisk oprindelse, køn, handicap, alder eller seksuel orientering, eller være med til at skabe nye former for forskelsbehandlende virkning. AI-systemer, der er fastsat i EU-retten med henblik på at afsløre svig i forbindelse med tilbud af finansielle tjenesteydelser og for i tilsynsøjemed at beregne kreditinstitutters og forsikringsselskabers kapitalkrav, bør dog ikke betragtes som højrisiko i henhold til denne forordning. Desuden kan AI-systemer, der tilsigtes anvendt til risikovurdering og prisfastsættelse i forbindelse med fysiske personer for så vidt angår syge- og livsforsikring, også have en betydelig indvirkning på menneskers livsgrundlag og kan, hvis de ikke udformes, udvikles og anvendes behørigt, krænke deres grundlæggende rettigheder og have alvorlige konsekvenser for menneskers liv og sundhed, herunder økonomisk udstødelse og forskelsbehandling. Endelig bør AI-systemer, der anvendes til at vurdere og klassificere fysiske personers nødopkald eller til at udsende beredskabstjenester i nødsituationer eller til at tildele prioriteter i forbindelse hermed, herunder fra politi, brandmænd og lægehjælp, samt patientsorteringssystemer for førstehjælp, også klassificeres som højrisiko, da de træffer beslutninger i situationer, der er meget kritiske for menneskers liv og sundhed og for deres ejendom.
(59)I betragtning af deres rolle og ansvar, er retshåndhævende myndigheders tiltag, der omfatter visse anvendelser af AI-systemer, kendetegnet ved en betydelig magtubalance og kan føre til overvågning, anholdelse eller frihedsberøvelse af fysiske personer samt have andre negative indvirkninger på de grundlæggende rettigheder, der er sikret i chartret. Navnlig kan AI-systemer udvælge personer på forskelsbehandlende eller anden ukorrekt eller uretfærdig måde, hvis de ikke er trænet med data af høj kvalitet, ikke opfylder passende krav med hensyn til deres ydeevne, nøjagtighed og robusthed eller ikke er korrekt udformet og afprøvet, før de bringes i omsætning eller på anden måde ibrugtages. Desuden kan udøvelsen af vigtige processuelle grundlæggende rettigheder såsom retten til adgang til effektive retsmidler, retten til en retfærdig rettergang og retten til et forsvar samt uskyldsformodningen hindres, navnlig hvis sådanne AI-systemer ikke er tilstrækkeligt gennemsigtige, forklarlige og dokumenterede. Derfor bør en række AI-systemer, der tilsigtes anvendt i retshåndhævelsesmæssig sammenhæng, hvor det er særlig vigtigt med nøjagtighed, pålidelighed og gennemsigtighed for at undgå negative virkninger, bevare offentlighedens tillid og sikre ansvarlighed og effektive retsmidler, klassificeres som højrisiko, for så vidt som deres anvendelse er tilladt i henhold til relevant EU-ret og national ret. I betragtning af aktiviteternes karakter og de risici, der er forbundet hermed, bør disse højrisiko-AI-systemer navnlig omfatte AI-systemer, der er tilsigtet anvendt af eller på vegne af retshåndhævende myndigheder eller af EU-institutioner, -organer, -kontorer eller -agenturer til støtte for retshåndhævende myndigheder til vurdering af risikoen for, at en fysisk person bliver offer for strafbare handlinger, som polygrafer og lignende værktøjer, til vurdering af pålideligheden af bevismateriale i forbindelse med efterforskning eller retsforfølgning af strafbare handlinger og, for så vidt som det ikke er forbudt i henhold til denne forordning, til vurdering af risikoen for, at en fysisk person begår eller på ny begår lovovertrædelser, der ikke udelukkende er baseret på profilering af fysiske personer eller vurdering af fysiske personers eller gruppers personlighedstræk og personlige egenskaber eller tidligere kriminelle adfærd, samt til profilering i forbindelse med afsløring, efterforskning eller retsforfølgelse af strafbare handlinger. AI-systemer, der specifikt er tilsigtet anvendt til skatte- og toldmyndigheders administrative procedurer og til finansielle efterretningstjenesters udførelse af administrative opgaver, der omfatter analyse af oplysninger i henhold til EU-retten om bekæmpelse af hvidvask af penge, bør ikke klassificeres som højrisiko-AI-systemer, der anvendes af retshåndhævende myndigheder med henblik på forebyggelse, afsløring, efterforskning og retsforfølgning af strafbare handlinger. Retshåndhævende og andre relevante myndigheders anvendelse af AI-værktøjer bør ikke blive en faktor, der bidrager til ulighed eller eksklusion. Den indvirkning, som anvendelsen af AI-værktøjer har på mistænktes ret til forsvar, bør ikke ignoreres, navnlig vanskelighederne ved at skaffe meningsfulde oplysninger om, hvordan disse systemer fungerer, og de deraf følgende vanskeligheder ved at anfægte resultaterne heraf i retten, navnlig for fysiske personer, der efterforskes.
(60)AI-systemer, der anvendes inden for migrationsstyring, asylforvaltning og grænsekontrol, berører personer, der ofte befinder sig i en særlig sårbar situation, og som er afhængige af resultatet af de kompetente offentlige myndigheders tiltag. Nøjagtigheden, den ikkeforskelsbehandlende karakter og gennemsigtigheden af de AI-systemer, der anvendes i disse sammenhænge, har derfor særlig betydning med hensyn til at sikre, at de berørte personers grundlæggende rettigheder respekteres, navnlig deres ret til fri bevægelighed, ikkeforskelsbehandling, beskyttelse af privatlivets fred og personoplysninger, international beskyttelse og god forvaltning. Derfor bør der, for så vidt som deres anvendelse er tilladt i henhold til relevant EU-ret og national ret, foretages en højrisikoklassificering af AI-systemer, der er tilsigtet anvendt af eller på vegne af de kompetente offentlige myndigheder eller af EU-institutioner, -organer, -kontorer eller -agenturer, der er ansvarlige for opgaver inden for migrationsstyring, asylforvaltning og grænsekontrol, som polygrafer og lignende værktøjer, til at vurdere visse risici, som fysiske personer, der indrejser til en medlemsstats område eller ansøger om visum eller asyl, udgør, til at bistå de kompetente offentlige myndigheder i behandlingen, herunder tilhørende vurdering af pålideligheden af bevismateriale, af ansøgninger om asyl, visum og opholdstilladelse og hertil relaterede klager med henblik på at fastslå, om de fysiske personer, der ansøger, er berettigede, med henblik på at opdage, genkende eller identificere fysiske personer i forbindelse med migrationsstyring, asylforvaltning og grænsekontrolforvaltning, bortset fra verificering af rejselegitimation. AI-systemer, der anvendes inden for migrationsstyring, asylforvaltning og grænsekontrol, og som er omfattet af denne forordning, bør overholde de relevante proceduremæssige krav i Europa-Parlamentets og Rådets forordning (EF) nr. 810/2009
(32), Europa-Parlamentets og Rådets direktiv 2013/32/EU
(33)og anden relevant EU-ret. Anvendelsen af AI-systemer inden for migrationsstyring, asylforvaltning og grænsekontrol bør under ingen omstændigheder benyttes af medlemsstater eller EU-institutioner, -organer, -kontorer eller -agenturer som en måde at omgå deres internationale forpligtelser i henhold til FN's konvention om flygtninges retsstilling indgået i Genève den
  1. juli 1951, som ændret ved protokollen af
  2. januar 1967, og de bør heller ikke anvendes på en måde, der krænker princippet om non-refoulement eller nægter sikre og effektive lovlige adgangsveje til Unionens område, herunder retten til international beskyttelse.
(61)Visse AI-systemer, der er tilsigtet anvendelse inden for retspleje og i demokratiske processer, bør klassificeres som højrisiko i betragtning af deres potentielt betydelige indvirkning på demokratiet, retsstatsprincippet, individets frihedsrettigheder samt retten til adgang til effektive retsmidler og retten til en retfærdig rettergang. Navnlig for at imødegå risikoen for bias, fejl og uigennemsigtighed bør de AI-systemer, der tilsigtes anvendt af judicielle myndigheder eller på deres vegne for at bistå judicielle myndigheder med at fortolke fakta og lovgivningen og anvende lovgivningen på konkrete sagsforhold, klassificeres som højrisiko. AI-systemer, der tilsigtes anvendt af alternative tvistbilæggelsesorganer til disse formål, bør også betragtes som højrisiko, når resultaterne af den alternative tvistbilæggelsesprocedure har retsvirkninger for parterne. Anvendelsen af AI-værktøjer kan understøtte, men bør ikke erstatte dommernes beslutningskompetence eller retsvæsenets uafhængighed, da den endelige beslutningstagning fortsat skal være en menneskedrevet aktivitet. Klassificeringen af AI-systemer som højrisiko bør dog ikke omfatte AI-systemer, der kun tilsigtes supplerende administrative aktiviteter, som ikke har indflydelse på den egentlige retspleje i de enkelte sager, som f.eks. anonymisering eller pseudonymisering af retsafgørelser, dokumenter eller data, kommunikation mellem personale eller administrative opgaver.
(62)Uden at det berører de regler, der er fastsat i Europa-Parlamentets og Rådets forordning (EU) 2024/900
(34), og for at imødegå risikoen for unødig ekstern indblanding i retten til at stemme, der er nedfældet i chartrets artikel 39, og for negative indvirkninger på demokratiet og retsstatsprincippet bør AI-systemer, der tilsigtes anvendt til at påvirke resultatet af et valg eller en folkeafstemning eller fysiske personers stemmeadfærd i forbindelse med udøvelsen af deres stemme ved valg eller folkeafstemninger, klassificeres som højrisiko-AI-systemer med undtagelse af AI-systemer, hvis output fysiske personer ikke er direkte eksponeret for, såsom værktøjer, der anvendes til at organisere, optimere og strukturere politiske kampagner ud fra et administrativt og logistisk synspunkt.
(63)Klassificeringen af et AI-system som et højrisiko-AI-system i henhold til denne forordning bør ikke fortolkes således, at anvendelsen af systemet er lovlig i medfør af andre EU-retsakter eller i medfør af national ret, der er forenelig med EU-retten, som f.eks. om beskyttelsen af personoplysninger, brug af polygrafer og lignende værktøjer eller andre systemer til at påvise fysiske personers følelsesmæssige tilstand. Enhver sådan anvendelse bør fortsat udelukkende ske i overensstemmelse med de gældende krav, der følger af chartret og gældende afledt EU-ret og national ret. Denne forordning bør ikke forstås som et retsgrundlag for behandling af personoplysninger, herunder særlige kategorier af personoplysninger, hvis det er relevant, medmindre andet specifikt er fastsat i denne forordning.
(64)For at begrænse risiciene fra højrisiko-AI-systemer, der bringes i omsætning eller ibrugtages og for at sikre en høj grad af troværdighed, bør der gælde visse obligatoriske krav for højrisiko-AI-systemer, under hensyntagen til det tilsigtede formål og i forbindelse med anvendelsen af AI-systemet og i overensstemmelse med det risikostyringssystem, som udbyderen skal indføre. De foranstaltninger, som udbyderne vedtager for at overholde de obligatoriske krav i denne forordning, bør tage højde for det generelt anerkendte aktuelle teknologiske niveau inden for AI og være forholdsmæssige og effektive med hensyn til at nå denne forordnings mål. På grundlag af den nye lovgivningsmæssige ramme, som præciseret i Kommissionens meddelelse om den blå vejledning om gennemførelsen af EU's produktregler 2022, er den generelle regel, at mere end én EU-harmoniseringslovgivningsretsakt kan finde anvendelse på ét produkt, da tilgængeliggørelsen eller ibrugtagningen kun kan finde sted, når produktet overholder al gældende EU-harmoniseringslovgivning. Farerne ved de AI-systemer, der er omfattet af kravene i denne forordning, vedrører andre aspekter end den gældende EU-harmoniseringslovgivning, og kravene i denne forordning vil derfor supplere den gældende EU-harmoniseringslovgivning. Maskiner eller medicinsk udstyr, der indeholder et AI-system, kan f.eks. udgøre risici, der ikke er omfattet af de væsentlige sikkerheds- og sundhedskrav i den relevante EU-harmoniseringslovgivning, da denne sektorspecifikke ret ikke omhandler risici, der er specifikke for AI-systemer. Dette kræver, at de forskellige retsakter anvendes samtidigt og på supplerende vis. For at sikre konsekvens og undgå en unødvendig administrativ byrde eller unødvendige omkostninger bør udbydere af et produkt, der indeholder et eller flere højrisiko-AI-systemer, som kravene i denne forordning samt kravene i EU-harmoniseringslovgivningen baseret på den nye lovgivningsmæssige ramme og opført i et bilag til denne forordning finder anvendelse på, have fleksibilitet med hensyn til at træffe operationelle beslutninger om, hvordan det sikres, at et produkt, der indeholder et eller flere AI-systemer, overholder alle gældende krav i denne EU-harmoniseringslovgivning på en optimal måde. Denne fleksibilitet kan f.eks. betyde, at udbyderen beslutter at integrere en del af de nødvendige afprøvnings- og rapporteringsprocesser, oplysninger og dokumentation, der kræves i henhold til denne forordning, i allerede eksisterende dokumentation og procedurer, som kræves i henhold til den gældende EU-harmoniseringslovgivning, der er baseret på den nye lovgivningsmæssige ramme, og som er opført i et bilag til denne forordning. Dette bør på ingen måde underminere udbyderens forpligtelse til at overholde alle gældende krav.
(65)Risikostyringssystemet bør bestå af en kontinuerlig iterativ proces, der er planlagt og løber i hele højrisiko-AI-systemets livscyklus. Denne proces bør sigte mod at identificere og afbøde de relevante risici ved AI-systemer for sundheden, sikkerheden og de grundlæggende rettigheder. Risikostyringssystemet bør regelmæssigt revideres og ajourføres for at sikre dets fortsatte effektivitet samt begrundelse og dokumentation for eventuelle væsentlige beslutninger og tiltag, der træffes eller foretages i henhold til denne forordning. Denne proces bør sikre, at udbyderen identificerer risici eller negative indvirkninger og gennemfører afbødende foranstaltninger for kendte og rimeligt forudsigelige risici ved AI-systemer for sundheden, sikkerheden og de grundlæggende rettigheder i lyset af deres tilsigtede formål og fejlanvendelse, der med rimelighed kan forudses, herunder de mulige risici som følge af interaktionen mellem AI-systemet og det miljø, som systemet fungerer i. Risikostyringssystemet bør indføre de mest hensigtsmæssige risikostyringsforanstaltninger i lyset af det aktuelle teknologiske niveau inden for AI. Udbyderen bør ved identifikation af de mest hensigtsmæssige risikostyringsforanstaltninger dokumentere og forklare de valg, der er truffet, og, hvis det er relevant, inddrage eksperter og eksterne interessenter. I forbindelse med identifikation af fejlanvendelse, der med rimelighed kan forudses, af højrisiko-AI-systemer bør udbyderen medtage anvendelser af AI-systemer, som, selv om de ikke er direkte omfattet af det tilsigtede formål og fastsat i brugsanvisningen, ikke desto mindre med rimelighed kan forventes at skyldes let forudsigelig menneskelig adfærd i forbindelse med et bestemt AI-systems specifikke karakteristika og anvendelse. Alle kendte eller forudsigelige omstændigheder, som i forbindelse med anvendelse af højrisiko-AI-systemet i overensstemmelse med dets tilsigtede formål eller ved fejlanvendelse, der med rimelighed kan forudses, kan medføre risici for menneskers sundhed og sikkerhed eller grundlæggende rettigheder, bør medtages i den brugsanvisning, som leveres af udbyderen. Dette skal sikre, at idriftsætteren er bekendt med og tager hensyn hertil, når vedkommende anvender højrisiko-AI-systemet. Identifikation og gennemførelse af risikobegrænsende foranstaltninger for forudsigelig fejlanvendelse i henhold til denne forordning bør ikke kræve specifikke yderligere træning for højrisiko-AI-systemet fra udbyderens side for at afhjælpe forudsigelig fejlanvendelse. Udbyderne opfordres imidlertid til at overveje sådanne yderligere træningsforanstaltninger for at afbøde fejlanvendelser, der med rimelighed kan forudses, når det er nødvendigt og hensigtsmæssigt.
(66)Der bør gælde krav for højrisiko-AI-systemer med hensyn til risikostyring, kvaliteten og relevansen af anvendte datasæt, teknisk dokumentation og registrering, gennemsigtighed og formidling af oplysninger til idriftsætterne, menneskeligt tilsyn og robusthed, nøjagtighed og cybersikkerhed. Disse krav er nødvendige for effektivt at mindske risiciene for sundhed, sikkerhed og grundlæggende rettigheder. Da ingen foranstaltninger, der er mindre begrænsende for handelen, er tilgængelige på rimelig vis, er disse krav ikke uberettigede handelsrestriktioner.
(67)Data af høj kvalitet og adgang til data af høj kvalitet spiller en afgørende rolle med hensyn til at skabe struktur og sikre mange AI-systemers ydeevne, navnlig når der anvendes teknikker, der omfatter træning af modeller, så det sikres, at højrisiko-AI-systemet yder som tilsigtet og på sikker vis og ikke bliver en kilde til forskelsbehandling, som er forbudt i henhold til EU-retten. Datasæt af høj kvalitet til træning, validering og afprøvning kræver, at der indføres passende former for datastyrings- og dataforvaltningspraksis. Datasæt til træning, validering og afprøvning, herunder mærkninger, bør være relevante, tilstrækkeligt repræsentative og i videst muligt omfang fejlfrie og fuldstændige i lyset af AI-systemets tilsigtede formål. For at lette overholdelsen af EU-databeskyttelsesretten såsom forordning (EU) 2016/679 bør datastyrings- og -forvaltningspraksis i tilfælde af personoplysninger omfatte gennemsigtighed med hensyn til det oprindelige formål med dataindsamlingen. Datasættene bør også have de tilstrækkelige statistiske egenskaber, herunder med hensyn til de personer eller grupper af personer, som højrisiko-AI-systemet er tilsigtet at blive anvendt på, med særlig vægt på afbødning af mulige bias i datasættene, som sandsynligvis vil påvirke menneskers sundhed og sikkerhed, have en negativ indvirkning på grundlæggende rettigheder eller føre til forskelsbehandling, der er forbudt i henhold til EU-retten, navnlig hvis dataoutput påvirker input til fremtidige operationer (»feedbacksløjfer«). Bias kan f.eks. være en iboende del af de underliggende datasæt, navnlig når der anvendes historiske data, eller kan genereres, når systemerne implementeres under virkelige forhold. De resultater, der leveres af AI-systemer, kan påvirkes af sådanne iboende bias, som er tilbøjelige til gradvist at øges og derved videreføre og forstærke eksisterende forskelsbehandling, navnlig for personer, der tilhører bestemte sårbare grupper, herunder racemæssige eller etniske grupper. Kravet om, at datasættene så vidt muligt skal være fuldstændige og fejlfrie, bør ikke påvirke anvendelsen af teknikker til beskyttelse af privatlivets fred i forbindelse med udvikling og afprøvning af AI-systemer. Navnlig bør datasæt, i det omfang det er nødvendigt af hensyn til deres tilsigtede formål, tage hensyn til de karakteristiske træk, egenskaber eller elementer, der er særlige for den specifikke geografiske, kontekstuelle, adfærdsmæssige eller funktionelle ramme, inden for hvilken AI-systemet tiltænkes anvendt. Kravene vedrørende datastyring kan overholdes ved at gøre brug af tredjeparter, der tilbyder certificerede overholdelsestjenester, herunder verifikation af datastyring og datasætintegritet samt datatrænings-, validerings- og afprøvningspraksis, for så vidt som det sikres, at datakravene i denne forordning overholdes.
(68)Med henblik på udvikling og vurdering af højrisiko-AI-systemer bør visse aktører, som for eksempel udbydere, bemyndigede organer og andre relevante enheder såsom europæiske digitale innovationsknudepunkter, afprøvnings- og forsøgsfaciliteter og forskere, have adgang til og kunne anvende datasæt af høj kvalitet inden for aktivitetsområderne for de aktører, som er relateret til denne forordning. Fælles europæiske dataområder, som Kommissionen har oprettet, og lette af datadeling mellem virksomheder og med myndigheder i samfundets interesse vil være afgørende for at sikre pålidelig, ansvarlig og ikkeforskelsbehandlende adgang til data af høj kvalitet til træning, validering og afprøvning af AI-systemer. På sundhedsområdet vil det europæiske sundhedsdataområde for eksempel lette ikkeforskelsbehandlende adgang til sundhedsdata og træning af AI-algoritmer på disse datasæt på en måde, der beskytter privatlivets fred, er sikker, rettidig, gennemsigtig og troværdig og underlagt en passende institutionel styring. Relevante kompetente myndigheder, herunder sektorspecifikke myndigheder, der giver eller understøtter adgang til data, kan også understøtte tilvejebringelsen af data af høj kvalitet til træning, validering og afprøvning af AI-systemer.
(69)Retten til privatlivets fred og til beskyttelse af personoplysninger skal sikres i hele AI-systemets livscyklus. I den forbindelse finder principperne om dataminimering og databeskyttelse gennem design og databeskyttelse gennem standardindstillinger som fastsat i EU-databeskyttelsesretten anvendelse, når personoplysninger behandles. Foranstaltninger, der træffes af udbydere for at sikre overholdelse af disse principper, kan ikke blot omfatte anonymisering og kryptering, men også anvendelse af teknologi, der gør det muligt at overføre algoritmer til data og opnå oplæring af AI-systemer uden overførsel mellem parterne eller kopiering af de rå eller strukturerede data, uden at dette berører kravene til datastyring i denne forordning.
(70)For at beskytte andres ret mod den forskelsbehandling, der kan opstå som følge af bias i AI-systemer, bør udbyderne undtagelsesvis, i det omfang det er strengt nødvendigt for at sikre påvisning og korrektion af bias i forbindelse med højrisiko-AI-systemer, med forbehold af passende sikkerhedsforanstaltninger for fysiske personers grundlæggende rettigheder og friheder og efter anvendelse af alle gældende betingelser, der er fastsat i denne forordning, ud over betingelserne i forordning (EU) 2016/679 og (EU) 2018/1725 samt direktiv (EU) 2016/680, også kunne behandle særlige kategorier af personoplysninger som et spørgsmål af væsentlig samfundsinteresse som omhandlet i artikel 9, stk. 2, litra g), i forordning (EU) 2016/679 og artikel 10, stk. 2, litra g), i forordning (EU) 2018/1725.
(71)Det er afgørende, at der foreligger forståelige oplysninger om, hvordan højrisiko-AI-systemer er blevet udviklet, og hvordan de yder i hele deres levetid for at gøre det muligt at spore disse systemer, kontrollere overholdelsen af kravene i denne forordning samt sikre overvågning af deres operationer og overvågning efter omsætningen. Det kræver, at der føres fortegnelser og stilles en teknisk dokumentation til rådighed, som indeholder de oplysninger, der er nødvendige for at vurdere AI-systemets overholdelse af de relevante krav og letter overvågning efter omsætningen. Sådanne oplysninger bør omfatte systemets generelle egenskaber, kapacitet og begrænsninger, algoritmer, data, trænings-, afprøvnings- og valideringsprocesser samt dokumentation for det relevante risikostyringssystem og være udarbejdet på en klar og forståelig måde. Den tekniske dokumentation skal holdes tilstrækkeligt ajour i hele AI-systemets levetid. Højrisiko-AI-systemer bør teknisk muliggøre automatisk registrering af hændelser ved hjælp af logfiler under systemets levetid.
(72)For at imødegå bekymringer vedrørende visse AI-systemers uigennemsigtighed og kompleksitet og hjælpe idriftsættere med at opfylde deres forpligtelser i henhold til denne forordning bør der kræves gennemsigtighed for højrisiko-AI-systemer, inden de bringes i omsætning eller ibrugtages. Højrisiko-AI-systemer bør udformes på en måde, der gør det muligt for idriftsættere at forstå, hvordan AI-systemet fungerer, evaluere dets funktionalitet og forstå dets styrker og begrænsninger. Højrisiko-AI-systemer bør ledsages af passende oplysninger i form af brugsanvisninger. Sådanne oplysninger bør omfatte AI-systemets egenskaber, kapacitet og begrænsninger for dets ydeevne. Disse kan omfatte oplysninger om mulige kendte og forudsigelige omstændigheder i forbindelse med anvendelse af højrisiko-AI-systemet, herunder udbredelsestiltag, der kan påvirke systemets adfærd og ydeevne, under hvilke AI-systemet kan medføre risici for sundhed, sikkerhed og grundlæggende rettigheder, om de ændringer, som udbyderen på forhånd har fastlagt og vurderet med henblik på overensstemmelse, og om de relevante foranstaltninger til menneskeligt tilsyn, herunder foranstaltninger til at lette idriftsætteres fortolkning af AI-systemets output. Gennemsigtighed, herunder den ledsagende brugsanvisning, bør hjælpe idriftsættere med at anvende systemet og støtte deres informerede beslutningstagning. Idriftsættere bør bl.a. være bedre i stand til at træffe det korrekte valg af det system, de har til hensigt at anvende, i lyset af de forpligtelser, der gælder for dem, være informeret om de tilsigtede og udelukkede anvendelser og anvende AI-systemet korrekt og som det er hensigtsmæssigt. For at gøre oplysningerne i brugsanvisningen mere læsbare og tilgængelige, bør der, hvis det er relevant, medtages illustrative eksempler, f.eks. om begrænsninger og om AI-systemets tilsigtede og udelukkede anvendelser. Udbyderne bør sikre, at al dokumentation, herunder brugsanvisningen, indeholder meningsfulde, omfattende, tilgængelige og forståelige oplysninger, der tager hensyn til behov for målgruppen af idriftsættere og deres forventede viden. Brugsanvisningen bør stilles til rådighed på et for målgruppen af idriftsættere letforståeligt sprog, som fastsat af den pågældende medlemsstat.
(73)Højrisiko-AI-systemer bør udformes og udvikles på en sådan måde, at fysiske personer kan overvåge deres funktion og sikre, at de anvendes som tilsigtet, og at deres virkninger håndteres i hele systemets livscyklus. Med henblik herpå bør udbyderen af systemet fastlægge passende foranstaltninger til menneskeligt tilsyn, inden systemet bringes i omsætning eller ibrugtages. Hvis det er relevant, bør sådanne foranstaltninger navnlig sikre, at systemet er underlagt indbyggede driftsmæssige begrænsninger, som ikke kan tilsidesættes af systemet selv, og reagerer på den menneskelige operatør, og at de fysiske personer, som har fået til opgave at varetage det menneskelige tilsyn, har den nødvendige kompetence, uddannelse og myndighed til at varetage rollen. Det er også afgørende i relevant omfang at sikre, at højrisiko-AI-systemer indeholder mekanismer, der kan vejlede og informere en fysisk person, som har fået til opgave at varetage det menneskelige tilsyn, til at træffe informerede beslutninger om, hvorvidt, hvornår og hvordan der skal gribes ind for at undgå negative konsekvenser eller risici, eller standse systemet, hvis det ikke fungerer som tilsigtet. I betragtning af de betydelige konsekvenser for personer i tilfælde af et ukorrekt match fra visse systemer til biometrisk identifikation er det hensigtsmæssigt at fastsætte et skærpet krav om menneskeligt tilsyn for disse systemer, således at idriftsætteren ikke foretager tiltag eller træffer beslutninger på grundlag af den identifikation, der er frembragt af systemet, medmindre den er blevet verificeret og bekræftet separat af mindst to fysiske personer. Disse personer kan være fra en eller flere enheder og omfatte den person, der driver eller anvender systemet. Dette krav bør ikke medføre unødvendige byrder eller forsin

🔗 Til officiel kilde

AI-forklaring ud fra den officielle lovtekst. Vejledende, erstatter ikke juridisk rådgivning.