Ansvar for algoritmisk bias i henhold til hollandsk og EU-ret

Ansvar for algoritmisk bias er det juridiske ansvar, en organisation bærer, når et automatiseret system producerer diskriminerende resultater. I Holland hviler dette ansvar på tre fundamenter, der allerede gælder i dag: den generelle erstatningsbestemmelse i artikel 6:162 i den hollandske borgerlige lovbog, lovgivningen om ligebehandling, der overvåges af det nederlandske institut for menneskerettigheder, og GDPR-reglerne om retfærdighed og automatiseret beslutningstagning. EU's AI-lov tilføjer et yderligere lag, hvoraf en del allerede er trådt i kraft, og en del træder i kraft senere i dette årti.

Den praktiske konsekvens er ligetil. En virksomhed, der anvender et rekrutteringsfilter, en kreditmodel eller en svindelopdagelsesscore, er ansvarlig for, hvad systemet gør, uanset om den selv har bygget modellen, og om nogen har tilsigtet resultatet. I hollandsk diskriminationslovgivning er det effekten af ​​en beslutning, der tæller, ikke motivet bag den.

Hvad algoritmisk biasansvar egentlig dækker

Algoritmisk bias opstår, når et automatiseret system behandler sammenlignelige mennesker forskelligt på grunde, som loven beskytter, eller på grunde, der fungerer som en erstatning for dem. Det viser sig sjældent. En model, der er trænet på et årti af virksomhedens egne beslutninger, vil reproducere det mønster, som disse beslutninger indeholdt, og den vil gøre det konsekvent, hurtigt, på tværs af alle filer, den berører. Denne konsistens er det, der forvandler en teknisk defekt til en juridisk eksponering: en enkelt forudindtaget menneskelig beslutning er en hændelse, mens en forudindtaget model er en politik.

Ansvar følger af tre separate kilder, og de kan udløses samtidig af den samme afgørelse. Det civilretlige ansvar kompenserer den person, der har lidt tab. Ligebehandlingsloven giver denne person en vej til det hollandske institut for menneskerettigheder (College voor de Rechten van de Mens) eller til den civile domstol, hvor bevisbyrden skifter til organisationen, når der er fastslået en formodning om forskelsbehandling. Databeskyttelsesloven giver den hollandske databeskyttelsesmyndighed (Autoriteit Persoonsgegevens) håndhævelsesbeføjelser, der ikke afhænger af, at nogen enkeltperson fremsætter et krav overhovedet.

Intet af dette kræver en skræddersyet lov om kunstig intelligens. Reglerne, der afgør disse sager, blev skrevet, før teknologien eksisterede, og gælder for den uden ændringer.

Hvor bias kommer ind i et automatiseret system

Bias er ikke en enkeltstående fejl, der kan afprøves én gang. Den opstår på identificerbare punkter i livscyklussen, og hvert punkt relaterer sig til en forskellig påstand om uagtsomhed.

• Træningsdataene. Historiske beslutninger bærer historiske mønstre. En model, der er trænet på dem, lærer disse mønstre at kende som standarden snarere end som et problem, der skal rettes.
• Valget af variabler. En funktion, der ser neutral ud, kan korrelere tæt med en beskyttet egenskab. Postnummer, der erstatter etnicitet, er et skoleeksempel, og det skaber indirekte forskelsbehandling, selv hvor den beskyttede egenskab i sig selv aldrig er blevet registreret.
• Måden outputtet bruges på. En model, der præsterer ujævnt på tværs af grupper, kan være forsvarlig som et forskningsværktøj og uforsvarlig som det eneste grundlag for at afvise en ansøgning. Den samme score, brugt forskelligt, giver et andet juridisk resultat.
• Fraværet af overvågning. Et system, der var afbalanceret ved lanceringen, ændrer sig i takt med at dataene omkring det ændrer sig. At undlade at kigge er i sig selv den uagtsomme handling i mange påstande.

Den juridisk set vigtige sondring er mellem direkte diskrimination, hvor en beskyttet grund anvendes åbent, og indirekte diskrimination, hvor et neutralt kriterium stiller en beskyttet gruppe dårligere. Indirekte diskrimination kan berettiges, hvis målet er legitimt, og midlerne er passende og nødvendige, men denne begrundelse skal dokumenteres, og en organisation, der ikke kan forklare, hvorfor dens model bruger en given variabel, vil ikke nå dertil.

Den hollandske fond: erstatningsret og ligebehandlingsret

To hollandske love udfører det meste af arbejdet i en skadevoldende sag, og de besvarer forskellige spørgsmål. Erstatningsretten spørger, om organisationen handlede uagtsomt, og hvad tabet er værd. Ligebehandlingsretten spørger, om resultatet var diskriminerende, og den gør det med en bevisbyrde, der bevidst er sagsøgervenlig.

Uagtsom indsættelse som en ulovlig handling

Artikel 6:162 i den hollandske borgerlige lovbog gør en person ansvarlig for en ulovlig handling (onrechtmatige daad), der kan tilskrives dem, og som forårsager skade. Implementering af et automatiseret system, som organisationen ikke har testet, valideret eller overvåget, kan i sig selv være ulovlig adfærd, helt bortset fra det diskriminerende resultat. Sagsøgeren skal påvise handlingen, tilskrivningen, skaden og årsagssammenhængen mellem dem; den anvendte standard er, hvad en omhyggelig organisation i samme situation burde have gjort.

Hvis systemet kom fra en leverandør, er den implementeringsorganisation ikke fritaget for denne pligt. Den kan have et kontraktligt krav mod leverandøren i henhold til artikel 6:74 i den civile lovbog for mangelfuld udførelse, men det er en separat sag mellem to kommercielle parter. Det besvarer ikke kravet fra ansøgeren, der blev afvist.

Ligebehandlingslovgivning og den forskudte bevisbyrde

Den generelle wet gelijk behandeling og de tilhørende sektorlove, herunder loven om aldersdiskrimination (WGBL) og loven om handicap og kronisk sygdom (WGBH/CZ), forbyder direkte og indirekte forskelsbehandling på grund af beskyttede årsager. Inden for beskæftigelse tilføjer artikel 7:646 i den borgerlige lovbog bestemmelserne om køn.

Den proceduremæssige regel er den, der afgør de fleste sager. Når sagsøgeren fremlægger fakta, der giver anledning til en formodning om forskelsbehandling, skifter byrden: organisationen skal derefter bevise, at den ikke har overtrådt forbuddet. En organisation, der ikke kan vise, hvad dens model vægtede, på hvilke data og med hvilke test, har ingen måde at løfte denne byrde på. Det er på dette punkt, at dårlig dokumentation ophører med at være et internt ordenproblem og bliver årsagen til, at et krav tabes.

Klager kan også indgives til Det Nederlandske Institut for Menneskerettigheder, hvis udtalelser ikke er bindende, men som følges i vid udstrækning og ofte bruges som bevis i efterfølgende civile sager.

Hvad GDPR kræver af automatiserede beslutninger

GDPR regulerer de samme systemer på databeskyttelsessiden. Artikel 22 giver en person ret til ikke at være genstand for en afgørelse, der udelukkende er baseret på automatiseret behandling, herunder profilering, hvis denne afgørelse har retsvirkninger eller på lignende vis påvirker vedkommende væsentligt. Afgørelser om rekruttering, kreditering og ydelser falder normalt ind under denne beskrivelse.

Det vægtige ord er udelukkende . Menneskelig involvering træffer kun en beslutning uden for artikel 22, hvis den er meningsfuld: en person med autoriteten og informationen til at nå frem til en anden konklusion, ikke en operatør, der bekræfter det, skærmen viser. Gummistempling behandles som automatiseret beslutningstagning.

To yderligere forpligtelser gælder uanset artikel 22. Princippet om rimelighed i artikel 5(1)(a) er et selvstændigt krav, som en diskriminerende model per definition overtræder, og artikel 35 kræver en konsekvensanalyse af databeskyttelse før behandling, der sandsynligvis vil resultere i en høj risiko for enkeltpersoner, hvilket systematisk profilering af ansøgere eller kunder generelt er. Den maksimale bøde for overtrædelse af disse bestemmelser er fastsat i artikel 83(5) i GDPR til det højeste beløb af tyve millioner euro eller fire procent af den globale årlige omsætning.

Vores oversigt over databeskyttelse, GDPR, AI og big data beskriver mere detaljeret, hvordan disse pligter interagerer med storstilet databrug.

Hvad AI-loven allerede kræver, og hvad der starter senere

Forordning (EU) 2024/1689, AI-loven, er ikke længere et forslag. Den trådte i kraft den 1. august 2024 og finder anvendelse i etaper. Siden den 2. februar 2025 gælder forbuddene i artikel 5 sammen med pligten i artikel 4 til at sikre, at personale, der arbejder med AI-systemer, har et tilstrækkeligt niveau af AI-færdigheder. Forpligtelserne til generelle AI-modeller har været gældende siden den 2. august 2025, ligesom bestemmelserne om forvaltning og sanktioner.

Højrisikoordningen er den del, der mest direkte vedrører bias, og det er også den del, der er blevet udskudt. AI-systemer, der er anført i bilag III, som omfatter systemer, der anvendes til rekruttering og udvælgelse, til beslutninger om forfremmelse og opsigelse, til evaluering af kreditværdighed og til risikovurdering i forsikring, bliver nu underlagt højrisikoforpligtelserne fra den 2. december 2027. Højrisikosystemer, der er sikkerhedskomponenter i regulerede produkter i henhold til bilag I, følger fra den 2. august 2028.

Når disse forpligtelser rammer, kodificerer de meget af det, som omhyggelig praksis allerede indebærer: datastyring rettet mod repræsentative og fejlkontrollerede datasæt, teknisk dokumentation, automatisk logføring, gennemsigtighed over for de berørte personer, menneskeligt tilsyn indbygget i systemet i stedet for påsat, og en overensstemmelsesvurdering, før systemet bringes i omsætning eller tages i brug. Implementeringsvirksomheder, ikke kun leverandører, har deres egne pligter, herunder at føre logfiler og tildele tilsyn til kompetente personer.

To punkter er regelmæssigt forkert formuleret. Bødelofterne er trindelte snarere end ensartede: op til 35 millioner euro eller syv procent af den globale omsætning gælder for overtrædelse af de forbudte praksisser i artikel 5, mens manglende overholdelse af højrisikoforpligtelserne har et lavere loft på femten millioner euro eller tre procent. Og det foreslåede direktiv om ansvar for AI, som ville have lettet bevisbyrden for personer, der er skadet af AI-systemer i hele EU, er blevet trukket tilbage. Der er ingen harmoniseret europæisk ansvarsordning for AI-skader; et krav i Holland er et krav i henhold til hollandsk lov.

National håndhævelse er stadig under opbygning. Holland har endnu ikke færdiggjort den gennemførelsesretsakt, der udpeger landets markedsovervågningsmyndigheder i henhold til forordningen, selvom den hollandske databeskyttelsesmyndighed og den hollandske myndighed for digital infrastruktur har påtaget sig koordinerende roller i det forberedende arbejde. Vi drøfter rammerne mere dybdegående i vores vejledning til den juridiske side af kunstig intelligens og EU's AI-lov.

Hvordan de tre rammer sammenlignes

Rammerne overlapper snarere end konkurrerer. Én afvist ansøgning kan resultere i et civilt søgsmål, en klage til instituttet, en myndighedsundersøgelse og med tiden en manglende overholdelse af AI-loven, baseret på de samme fakta.

Hvad de hollandske sager har fastslået

To episoder former, hvordan hollandske domstole og tilsynsmyndigheder griber an automatiserede beslutninger, og begge handler om den samme fiasko: et uigennemsigtigt system, der blev anvendt på folk, der ikke kunne se, hvordan det fungerede.

I februar 2020 stoppede byretten i Haag SyRI, risikoindikatorsystemet, hvormed offentlige organer kombinerede data fra en række kilder for at opdage ydelses- og skattesvig. Retten fastslog, at lovgivningen bag systemet ikke opfyldte balancetesten i henhold til artikel 8 i Den Europæiske Menneskerettighedskonvention. Det fatale var ikke brugen af ​​dataanalyse som sådan, men manglen på gennemsigtighed og verificerbarhed: Hverken risikomodellen eller indikatorerne blev offentliggjort, så hverken den berørte borger eller retten kunne kontrollere for diskriminerende virkninger. Lærdommen for private organisationer er, at et system, som ingen kan forklare, ikke kan forsvares, fordi den part, der driver det, bærer byrden af ​​at retfærdiggøre det.

Skandalen om børnepasningsydelser (toeslagenaffaire) understregede det samme gennem sine konsekvenser. Skatteforvaltningen brugte automatiseret risikoudvælgelse, der behandlede indikatorer som dobbelt statsborgerskab som et tegn på bedrageri, og titusindvis af forældre blev fejlagtigt mærket og forfulgt med henblik på tilbagebetaling. Den hollandske databeskyttelsesmyndighed fandt den underliggende behandling ulovlig og diskriminerende og indførte håndhævelsesforanstaltninger. Den bekræftede også det princip, der betyder mest her: forsvaret om, at systemet producerede resultatet, har ingen vægt, fordi valget om at køre systemet i sig selv er den handling, der bedømmes.

Hvor ansvar opstår ved almindelig forretningsmæssig brug

Det meste af eksponeringen når aldrig en skelsættende afgørelse. Den opstår i velkendte operationelle beslutninger.

Et rekrutteringsfilter, der er trænet i organisationens egen ansættelseshistorik, vil lære enhver præference, som historikken indeholdt, at kende og anvende den på alle efterfølgende ansøgere. Fordi rekrutteringsværktøjer er placeret direkte i bilag III til AI-loven og samtidig berører artikel 22 i GDPR, tiltrækker de alle tre rammer på én gang. En kredit- eller forsikringsmodel, der bruger postnummer, et hul i ansættelseshistorikken eller en lignende reference, kan føre til indirekte forskelsbehandling, selv hvor datasættet slet ikke indeholder nogen beskyttet egenskab. Et arbejdsstyrkestyringssystem, der tildeler vagter, overvåger præstationer eller indgår i opsigelsesbeslutninger, falder ind under samme kategori med den ekstra komplikation, at samarbejdsudvalget kan have ret til samtykke i henhold til samarbejdsudvalgsloven, før et sådant system indføres.

I begge tilfælde er spørgsmålet, som en hollandsk domstol stiller, det samme. Hvad vidste organisationen om, hvordan systemet opførte sig, hvad gjorde den for at finde ud af det, og hvad gjorde den, da mønsteret blev synligt?

Leverandør og distributør: hvem står til ansvar for hvad

Køb af et system overfører ikke risikoen med det. I henhold til AI-loven har udbyderen og distributøren separate pligter, og i henhold til hollandsk civilret sagsøger den person, der lider skade, den person, der traf den beslutning, der påvirkede dem, hvilket næsten altid er den distribuerende organisation.

Det, som kontrakter kan gøre, er at fordele de økonomiske konsekvenser og sikre de oplysninger, der er nødvendige for at forsvare et krav. En indkøbsaftale, der er værd at have, specificerer de ydeevne- og retfærdighedsmålinger, som systemet er garanteret at opfylde, garanterer adgang til dokumentation, testresultater og logfiler, giver en revisionsret, kræver, at leverandøren anmelder væsentlige ændringer i modellen, og fastsætter, hvordan ansvars- og forsvarsomkostninger fordeles, hvis et krav opstår. Det, som kontrakter ikke kan gøre, er at fjerne en bøde eller en lovpligtig pligt. Vores artikel om, hvem der er ansvarlig for fejl begået af kunstig intelligens, gennemgår fordelingen mere detaljeret.

Risikostyring før et krav ankommer

Den defensive position i en påstand om bias opbygges længe før påstanden fremsættes, og den består næsten udelukkende af dokumenter. Fordi bevisbyrden skifter, når en formodning om forskelsbehandling er etableret, er den organisation, der kan vise, hvad den testede, hvornår og hvad den gjorde med resultatet, i en fundamentalt anderledes position end den, der ikke kan.

Et brugbart program har fire elementer. Test før implementering, sammenligning af resultatrater på tværs af de grupper, som loven beskytter, og undersøgelse af træningsdata og de valgte variabler for proxyer. Fortsæt testning efter implementering, da en model, der var afbalanceret ved lanceringen, ikke vil forblive sådan. Giv én navngiven person eller et udvalg bemyndigelse til at gennemgå resultater og suspendere et system, så beslutningen om at fortsætte med at køre det er en beslutning, nogen har truffet, snarere end en standard, som ingen ejer. Og registrer alt, inklusive datakilder, validering, revisionsresultater og korrigerende trin, i en form, der kan afleveres til en regulator eller fremlægges i en retssag.

Samtidig skal den menneskelige beslutning holdes ægte menneskelig, hvor artikel 22 finder anvendelse, udfyld konsekvensanalysen vedrørende databeskyttelse, før systemet går i drift, snarere end bagefter, tjek, om samarbejdsudvalget har en rolle, og vær i stand til at fortælle en berørt person i et klart sprog, hvorfor beslutningen gik, som den gik. Ingen af ​​disse trin er eksotiske, og AI-lovens højrisikoordning vil under alle omstændigheder gøre de fleste af dem obligatoriske for rekrutterings-, kredit- og forsikringssystemer fra december 2027. Organisationer, der bygger dem nu, kommer simpelthen tidligt.

Hvad skal man gøre, hvis en afgørelse anfægtes

Når en ansøger, en kunde eller en medarbejder sætter spørgsmålstegn ved en automatiseret afgørelse, er den første opgave faktuel: fastslå, hvad systemet rent faktisk gjorde i den pågældende sag, hvilke input det brugte, om en person udviste reel dømmekraft, og om resultatet passer ind i et bredere mønster. Gør det, før du svarer, da et unøjagtigt første svar er vanskeligt at korrigere senere og vil blive aflæst imod organisationen.

Behold de involverede logfiler og modelversioner. Vurder kravet i forhold til alle tre rammer i stedet for det, som klageren tilfældigvis påberåbte sig, da en klage over databeskyttelse og et diskriminationskrav kan følge af den samme fil. Hvis mønsteret er reelt, begrænser det skaden langt mere effektivt at rette det og afhjælpe de berørte afgørelser end at forsvare det.

Law & More rådgiver virksomheder om den juridiske side af automatiseret beslutningstagning: vurdering af eksponering i henhold til hollandsk erstatnings- og ligebehandlingslovgivning, gennemgang af GDPR-overholdelse for profilering og automatiserede beslutninger, forberedelse til AI-lovens forpligtelser, der gælder for rekruttering, kredit- og forsikringssystemer, forhandling af leverandørkontrakter og forsvar i krav og lovgivningsmæssige undersøgelser. IT-advokater drøfter gerne, hvordan reglerne gælder for de systemer, du bruger.

Ofte stillede spørgsmål om ansvar for algoritmisk bias

I takt med at virksomheder dykker dybere ned i AI, stiller mange ledere sig selv meget specifikke spørgsmål om ansvar. Nedenfor behandler vi nogle af de mest almindelige og udfordrende spørgsmål og tilbyder klare svar, der hjælper dig med at navigere i dette komplekse juridiske område.