Hvem er ansvarlig, når et AI-system forårsager skade?

Ansvaret for AI-systemer i Holland ligger altid hos en person eller en virksomhed, aldrig hos softwaren. I praksis er der to positioner, der betyder noget: brugeren, hvilket betyder den person eller organisation, der implementerer systemet og træffer beslutninger med det, og producenten, hvilket betyder den part, der udviklede systemet, bragte det på markedet eller leverede det. Hvilken af ​​de to, der bærer tabet, afhænger af, hvor fejlen lå, hvad hver af dem vidste, og hvad kontrakten mellem dem siger. Denne artikel gennemgår begge positioner; selve den strafferetlige ramme, fra funktionel handling til virksomhedsansvar i henhold til artikel 51 i straffeloven, er beskrevet i vores ledsagende artikel om, hvorvidt en algoritme kan være delvist ansvarlig.

Hvorfor systemet aldrig er sagsøgt

Hollandsk lov anerkender to typer personer: fysiske personer og juridiske personer. Et AI-system er ingen af ​​delene. Det kan ikke have rettigheder, kan ikke indkaldes, kan ikke pålægges bøder og kan ikke pålægges at betale erstatning, fordi det ikke ejer noget og ikke har nogen juridisk eksistens adskilt fra den virksomhed, der driver det. Forslag om at oprette en tredje kategori, undertiden kaldet elektronisk personlighed, er blevet diskuteret på europæisk plan og er ikke ført nogen vegne af en grund, der er mere praktisk end filosofisk: et ansvarsforsikringsselskab uden aktiver og uden evne til at ændre sin adfærd ville flytte risikoen væk fra de parter, der rent faktisk kan forhindre skade.

Så spørgsmålet er aldrig, om maskinen er ansvarlig. Det handler om, hvilken menneskelig eller virksomhedsmæssig aktør i kæden der har undladt at opfylde en pligt, og den kæde har en forudsigelig form: den part, der byggede modellen, den part, der omdannede den til et produkt, den part, der leverede eller integrerede den, den organisation, der implementerede den, og den person, der trykkede på knappen. Ansvar for AI-systemer er opgaven med at lokalisere fejlen i den kæde og matche den med et juridisk grundlag.

To af disse retsgrundlag dominerer. For brugeren er der almindelig erstatningsret og den omsorgspligt, der følger med at bruge et magtfuldt redskab i en andens retning. For producenten er der produktansvar, som slet ikke kræver skyld. Alt andet, inklusive kriminel eksponering, lægges oveni disse.

Brugerens position

Brugere undervurderer deres eksponering, fordi de tænker på systemet som en sort boks, som en anden har bygget. I loven gør den person, der vælger at implementere et værktøj, konfigurerer det, forsyner det med data og handler på dets output, noget, og denne handling vurderes ud fra sine egne meritter.

Når systemet blot er et instrument til en lovovertrædelse

De nemmeste tilfælde er dem, hvor et AI-system bevidst bruges. At generere en overbevisende faktura for at bedrage en virksomhed er bedrageri i henhold til artikel 326 i straffeloven, uanset om brevet er udarbejdet af en person eller af en model, og forfalskning af et dokument forbliver forfalskning i henhold til artikel 225 uanset værktøjet. Brug af en model til at skrive kode, der bryder ind i et system, er stadig computerindtrængen i henhold til artikel 138ab. Generering og distribution af manipulerede billeder af en virkelig person kan udgøre ærekrænkelse, og hvor materialet er af seksuel karakter, falder det ind under lovovertrædelserne i loven om seksualforbrydelser, der har været gældende siden 1. juli 2024. Vedvarende AI-assisteret chikane af en person kan udgøre stalking i henhold til artikel 285b, som kun retsforfølges efter klage fra offeret.

Intet af dette er ny lovgivning. Teknologien ændrer omfanget og sandsynligheden af ​​bedraget, ikke elementerne i lovovertrædelsen. Det, den ændrer, er beviserne: prompter, kontologfiler, modeloutput og tidspunktet for filoprettelse er det materiale, der knytter lovovertrædelsen til en person, og brugere, der antager, at AI-genereret indhold ikke kan spores, tager normalt fejl.

Uagtsom brug: den mere almindelige risiko

Langt flere organisationer kommer i problemer på grund af uagtsomhed end på grund af forsæt. Mønsteret er velkendt. Et system købes til ét formål og bruges til et andet. Dets output behandles som en beslutning snarere end som et signal. Ingen tjekker de tilfælde, hvor det er forkert, fordi de personer, der betjener det, aldrig fik at vide, hvordan dets fejlrate ser ud, eller hvor det fejler. Når skaden materialiserer sig, opdager organisationen, at den ikke har nogen registrering af, hvordan beslutningen blev nået.

Civilt set er dette en simpel erstatningsretlig forseelse: Artikel 6:162 i den civile lovbog gør en person ansvarlig for en ulovlig handling, der kan tilskrives dem, og som forårsager skade. Brud på en omsorgspligt i samfundet er en af ​​kategorierne for ulovlighed, og indholdet af denne pligt bestemmes af, hvad en omhyggelig operatør i den pågældende position ville have gjort. En arbejdsgiver er desuden ansvarlig for sine ansattes fejl i henhold til artikel 6:170, og en part, der bruger en medhjælper til at opfylde en kontraktlig forpligtelse, svarer for denne medhjælper i henhold til artikel 6:76, som er den bestemmelse, der fanger en organisation ved at bruge en leverandørs model til at levere sin egen tjeneste.

Omsorgspligten er ikke længere udelukkende overladt til domstolene at udtænke. EU's AI-lov giver implementeringsmyndighederne for højrisikosystemer konkrete forpligtelser: at bruge systemet i overensstemmelse med instruktionerne, tildele menneskeligt tilsyn til personer med kompetence og autoritet til at udøve det, sikre, at de inputdata, de kontrollerer, er relevante, overvåge driften og suspendere brugen, hvis der opstår en risiko, føre logfiler og informere arbejdstagere og deres repræsentanter, før de implementerer et sådant system på arbejdspladsen. Disse forpligtelser er lovgivningsmæssige, men en domstol, der vurderer uagtsomhed, vil læse dem som en beskrivelse af, hvordan omhyggelig adfærd ser ud. En organisation, der ignorerede brugsanvisningen, overholder ikke blot ikke reglerne; den har overdraget sagsøgeren sin sag.

Automatiseringsbias fortjener en særlig omtale, fordi det er her, tilsynet stille og roligt fejler. En anmelder, der godkender næsten alt, hvad systemet foreslår, udøver ikke tilsyn, og en organisation, der måler sine medarbejderes gennemløbshastighed, har effektivt designet dette resultat. Det juridiske spørgsmål er, om en menneskelig beslutning reelt blev truffet, og et gummistempel er ikke tilstrækkeligt.

Hvor brugeren ikke kan overføre risikoen til

Tre punkter overrasker regelmæssigt organisationer, der antog, at leverandøren bar risikoen.

For det første er brugeren den synlige part i forhold til den skadelidte tredjepart. En kunde, der nægtes kredit, en medarbejder, der afvises af et screeningsværktøj, en patient, der får den forkerte triage: de indgår kontrakt med, eller bliver behandlet af, udbyderen, og de vil sagsøge udbyderen. Om udbyderen kan få erstatning fra sin leverandør, er et separat spørgsmål, der afhænger af kontrakten og ikke forsinker kravet mod den.

For det andet gælder de generelle databeskyttelsesregler uafhængigt af alt andet. Hvis systemet behandler personoplysninger, er den, der anvender dem, normalt den dataansvarlige og ansvarlig for retsgrundlaget, gennemsigtigheden, konsekvensanalysen og sikkerheden. En afgørelse, der udelukkende træffes automatisk, og som har retsvirkninger eller på lignende måde påvirker en person betydeligt, er særskilt reguleret og giver den pågældende person ret til menneskelig indgriben og til at anfægte resultatet. Vores oversigt over den generelle databeskyttelsesforordning beskriver denne ordning.

For det tredje ændrer ændringen din rolle. En distributør, der sætter sit eget navn på et system, ændrer dets tilsigtede formål eller væsentligt modificerer det, bliver en udbyder i henhold til AI-loven og arver udbyderens forpligtelser. Finjustering af en generel model til et screeningsværktøj til en reguleret beslutning er præcis den slags skridt, der krydser den grænse. Organisationer, der bygger på en andens model, bør fastslå, hvilken side af den de er på, før de lancerer, ikke efter en hændelse.

Producentens position

Producentens ansvar følger et andet spor, og det er strengere. Produktansvar i henhold til artikel 6:185 ff. i den civile lovbog gør producenten ansvarlig for skade forårsaget af en defekt i produktet, uden at den skadelidte behøver at bevise skyld. Et produkt er defekt, når det ikke tilbyder den sikkerhed, en person har ret til at forvente, under hensyntagen til dets præsentation, den anvendelse, der med rimelighed kan forventes af det, og tidspunktet for dets bragte i omløb. Sagsøgeren skal bevise skaden, defekten og årsagssammenhængen mellem dem, hvilket i en AI-sag er der, hvor den virkelige kamp ligger.

Ordningen har faste grænser. Krav skal anlægges inden for tre år fra den dag, hvor den skadelidte blev eller burde have været opmærksom på skaden, defekten og producentens identitet, og retten udløber ti år efter, at det specifikke produkt blev bragt i omsætning. Ansvar i henhold til denne ordning kan ikke udelukkes eller begrænses ved kontrakt, og den dækker død, personskade og skade på anden ejendom, der anvendes privat, med forbehold af en lavere tærskel. Producenten har et begrænset sæt af forsvar, herunder udviklingsrisikoforsvaret, som gælder, hvor den videnskabelige og tekniske viden på omsætningstidspunktet ikke kunne have afsløret defekten.

Reformen, der ændrer softwarens position

Under den nuværende hollandske ordning er et produkt en løsøregenstand, og hvorvidt selvstændig software er berettiget hertil, har været omdiskuteret i årevis. Dette argument er nu ved at være afsluttet. Det reviderede produktansvarsdirektiv, direktiv (EU) 2024/2853, trådte i kraft den 8. december 2024 og skal være gennemført i national ret senest den 9. december 2026; det gælder for produkter, der bringes i omsætning eller tages i brug efter denne dato, så de nuværende bestemmelser i den borgerlige lovbog fortsat gælder for produkter, der cirkuleres før den. Fire ændringer har betydning for ansvaret for AI-systemer.

Software, herunder AI-systemer og digitale produktionsfiler, er udtrykkeligt et produkt. Kredsen af ​​ansvarlige parter udvides ud over producenten til at omfatte den part, der væsentligt ændrer et produkt uden for producentens kontrol, den autoriserede repræsentant, importøren og, under definerede omstændigheder, leverandøren af ​​ordreopfyldelsestjenester og onlineplatformen. Erstatningsberettiget skade omfatter ødelæggelse eller beskadigelse af data, der ikke anvendes professionelt, hvilket er en reel kategori af tab i softwarefejl. Og et produkt kan være defekt på grund af, hvad der sker, efter det er bragt på markedet: en defekt i en påkrævet softwareopdatering, manglende levering af sikkerhedsopdateringer eller virkningerne af fortsat læring, hvor producenten bevarede kontrollen over det.

Reformen angriber også bevisproblemet direkte. En domstol kan pålægge sagsøgte at fremlægge relevante beviser på sagsøgers anmodning, og hvis sagsøgte ikke efterkommer anmodningen, formodes der at være bestået mangelfuldhed. Afkræftelige formodninger om mangelfuldhed og årsagssammenhæng finder anvendelse, når sagsøgeren har uforholdsmæssigt store vanskeligheder med at bevise dem på grund af teknisk eller videnskabelig kompleksitet, forudsat at sagsøgeren gør sandsynligheden plausibel. For en sagsøger, der står over for en model, som ingen fuldt ud kan forklare, er det forskellen mellem en argumenterbar sag og en umulig sag.

Kontrakt, overensstemmelse og begrænsninger i udelukkelsesklausuler

Mellem virksomheder er den første kampplads normalt kontrakten snarere end lovgivningen. En leverandør af et AI-system skylder, hvad den har aftalt at skylde: det leverede system skal svare til kontrakten og have de kvaliteter, som køberen havde ret til at forvente. Hvor en leverandør har lovet et nøjagtighedsniveau, et tilgængelighedsniveau eller overholdelse af AI-loven, er manglende levering en misligholdelse af kontrakten, og de almindelige retsmidler i form af opfyldelse, erstatning og ophævelse følger efter en behørig misligholdelsesmeddelelse.

Leverandører reagerer med begrænsnings- og udelukkelsesklausuler, og disse klausuler er normalt effektive mellem kommercielle parter. De er ikke ubegrænsede. En klausul kan tilsidesættes, hvor det ville være uacceptabelt at påberåbe sig den i henhold til standarder for rimelighed og retfærdighed, hvilket er den vej domstolene tager i tilfælde af bevidst hensynsløshed eller alvorlig fejl fra leverandørens side, og hvor klausulen generelt er formuleret, kan den bortfalde, hvis den anden part aldrig har fået en reel mulighed for at være opmærksom på den. Ansvar i henhold til produktansvarsordningen kan slet ikke fraviges over for den skadelidte part. I praksis handler forhandlingerne om lofter, undtagelser for databrud og krænkelse af IP-rettigheder, erstatning for bøder og leverandørens forpligtelse til at levere den dokumentation og de logfiler, som kunden har brug for til at forsvare sig. Vores side om erstatningskrav beskriver, hvordan disse krav er opbygget.

Hvad AI-loven gør og ikke gør

AI-loven er et reguleringsinstrument. Den fortæller udbydere og distributører, hvad de skal gøre, og giver tilsynsmyndigheder beføjelser til at håndhæve den; den skaber ikke en ret til erstatning for en person, der er blevet skadet af et AI-system. Det foreslåede direktiv om ansvar for AI, som ville have harmoniseret civilretlige krav og indført offentliggørelse og formodninger på tværs af alle områder, er blevet trukket tilbage. Det, der er tilbage, er den ovenfor beskrevne kombination: national erstatnings- og kontraktret plus den reformerede produktansvarsordning.

Det gør ikke AI-loven irrelevant for ansvar. Den har betydning på tre måder. Den fastsætter standarden for omhu, således at manglende overholdelse er bevis på uagtsomhed. Den genererer dokumenter, fordi den tekniske dokumentation, brugsanvisningen, logfilerne og filen med overvågning efter markedsføringen alle eksisterer ved lov og kan kræves fremsat i sager. Og den fordeler roller, således at spørgsmålet om, hvem der er udbyder, og hvem der er udbreder, som tidligere var et diskussionsemne, nu har et juridisk svar. Vores IT-retspraksis beskæftiger sig med disse klassificeringsspørgsmål, før de bliver til tvister.

Hvor bruger og producent mødes

De fleste virkelige hændelser skyldes ikke en enkelt fejl i den ene ende af kæden. De skyldes en model, der er trænet på data, som ikke repræsenterede den population, den blev anvendt på, integreret af en leverandør, der ikke testede den i den kontekst, implementeret af en organisation, der brugte den til et formål, som instruktionerne ikke dækkede, og drevet af personale, der aldrig fik at vide, hvad dens begrænsninger var. Hollandsk lov har ingen problemer med det: flere parter kan være ansvarlige for den samme skade, hver især er ansvarlig for hele skaden over for den skadelidte, og de afregner den interne fordeling mellem sig bagefter i henhold til deres respektive bidrag.

Tabellen nedenfor viser, hvor ansvaret typisk ligger, og på hvilket grundlag.

Den hollandske børnepasningssag er det referencepunkt, enhver hollandsk diskussion vender tilbage til, og den illustrerer mønsteret snarere end en retsstatsprincip: et uigennemsigtigt risikoklassificeringssystem, beslutninger truffet om dets output uden en reel individuel vurdering, og konsekvenser, der udelukkende faldt på de mennesker, der var berørt. Dens juridiske eftervirkninger var administrative og politiske snarere end kriminelle, og vi diskuterer, hvad den viser og ikke viser om strafferetligt ansvar, i vores artikel om AI og strafferet.

Bevisproblemet, og hvordan det ændrer sig

Den, der fremsætter kravet, skal bevise det, og i AI-tilfælde er bevisførelsen den svære del. Sagsøgeren skal vise, hvad systemet gjorde, hvorfor det var forkert, og at fejlen forårsagede tabet. De oplysninger, der er nødvendige for at gøre det, ligger hos sagsøgte, og i en kompleks model kan det være virkelig vanskeligt at rekonstruere, selv internt.

Tre udviklinger ændrer denne balance. Logføring er nu et lovkrav for højrisikosystemer, så den registrering, der tidligere var valgfri, skal eksistere. Fremlæggelse af bevismateriale i produktansvarskrav bliver tilgængelig under den reformerede ordning, understøttet af en formodning om mangelfuldhed, hvor sagsøgte ikke overholder kravene. Og den hollandske civilretspleje tillader allerede en part at kræve fremlæggelse af specifikke identificerede dokumenter, som den har en legitim interesse i, hvilket regelmæssigt bruges til at indhente testrapporter, hændelseslogfiler og interne risikovurderinger.

For en tiltalt er den praktiske konklusion ubehagelig, men klar: Den dokumentation, du opbevarer, er den dokumentation, der vil blive læst op imod dig, og den dokumentation, du ikke opbevarede, vil også blive holdt imod dig. Fuldstændige, daterede og ærlige optegnelser over test, kendte begrænsninger, hændelser og deres håndtering er det stærkeste tilgængelige forsvar, fordi de viser, at organisationen udviste dømmekraft i stedet for at håbe på det bedste. Hvor hændelsen også har en kriminel dimension, for eksempel uautoriseret adgang til systemer eller manipulation af data, gælder den strafferetlige ramme for computerkriminalitet og cyberkriminalitet i Holland sideløbende med det civile krav, og en strafferetlig efterforskning vil beslaglægge præcis det samme materiale.

Autonome systemer i den fysiske verden

Hvor et AI-system styrer et køretøj, flyver en drone eller bevæger en robotarm, gælder et yderligere ansvarslag, og det er generelt strengere end noget, der hidtil er omtalt. Fysisk skade medfører risikoansvar, som ikke spørger, om nogen var uforsigtig.

For motorkøretøjer gør artikel 185 i færdselsloven fra 1994 ejeren eller indehaveren af ​​et motorkøretøj ansvarlig for skader forårsaget på fodgængere og cyklister, medmindre der forelå force majeure, en standard, der er meget vanskelig at opfylde. Denne regel er ligegyldig, om et menneske eller et førerassistentsystem styrede: indehaveren reagerer først, og eventuelle klager mod softwareproducenten følger derefter. Test af ægte selvkørende køretøjer på offentlige veje kræver en tilladelse i henhold til den særlige hollandske forsøgslovgivning, og de betingelser, der er knyttet til denne tilladelse, herunder tilstedeværelsen og rollen af ​​en vejleder, bliver en del af standarden for omhu.

Ubemandede luftfartøjer er underlagt de europæiske droneregler, hvor operatørregistrering og kategoriafhængige krav administreres i Holland af Rijksinspectie Digitale Infrastructuur. En operatør, der flyver uden for sin kategori eller uden den nødvendige kompetence, overtræder ikke blot luftfartsreglerne; vedkommende har også bevæget sig ud over den adfærd, som en domstol ville kalde forsigtig, hvilket afgør spørgsmålet om uagtsomhed, før den tekniske debat om autopiloten overhovedet starter.

Ved siden af ​​disse ordninger står den generelle regel om defekte genstande. Besidderen af ​​en løsøregenstand, der ikke opfylder de standarder, der måtte være fastsat for den, og som derved skaber en særlig fare, er ansvarlig for den skade, som faren forårsager. Denne regel når den fysiske maskine, selv hvor den underliggende fejl ligger i dens software, hvilket er en af ​​grundene til, at ejeren af ​​en industrirobot eller et automatiseret lagersystem ikke blot kan pege på sælgeren. Hvor produktansvarsordningen finder anvendelse, interagerer de to systemer, og den skadelidte vil normalt forfølge den vej, der er lettest at bevise.

Den praktiske konsekvens for organisationer, der bruger maskiner med autonome funktioner, er, at forsikring og kontrakt skal arrangeres omkring det objektive ansvar, ikke omkring den fejlbaserede analyse. Det er værd at have regres mod en leverandør, men det forhindrer ikke, at kravet kommer til din dør først.

Reducerer eksponering på begge sider

De foranstaltninger, der reducerer ansvaret for AI-systemer, er de samme foranstaltninger, der får systemerne til at fungere korrekt, og derfor er de værd at gennemføre uanset den regulatoriske kalender.

For en implementeringsorganisation skal du starte med opgørelsen: hvilke systemer er i brug, hvem har leveret dem, hvad de bestemmer eller påvirker, og hvem driver dem. Fastlæg din rolle for hver enkelt, da leverandørens og implementeringspersonalets pligter er forskellige. Skriv derefter det tilsigtede formål ned, og hold dig inden for det; den mest almindelige årsag til undgåeligt ansvar er at bruge et værktøj til noget, det ikke er valideret til. Giv de personer, der betjener systemet, reel autoritet til at tilsidesætte det, og mål dem på vurdering snarere end volumen. Gem loggene, og gem dem længe nok til at være nyttige i en tvist. Registrer hændelserne, inklusive næsten-uheld, og registrer, hvad der blev gjort ved dem.

For en producent eller leverandør løber den tilsvarende liste gennem hele livscyklussen: dokumenteret risikostyring, datastyring, der kan forklares til en regulator, testning mod den population, systemet rent faktisk skal bruges på, brugsanvisninger, der er ærlige om begrænsninger og fejlrater snarere end beroligende, en kanal, hvor kunder kan rapportere problemer, og en opdateringspolitik, der angiver, hvem der er ansvarlig for sikkerhedsrettelser, og hvor længe. Den reformerede produktansvarsordning gør det sidste punkt skarpere, end det plejede at være: manglende levering af opdateringer, som man har forpligtet sig til at levere, kan i sig selv gøre produktet defekt.

Begge sider bør behandle kontrakten som en risikofordeling snarere end en formalitet. De klausuler, der er vigtige, er beskrivelsen af ​​det tilsigtede formål, garantierne for overholdelse og ydeevne, forpligtelsen til at udlevere dokumentation og logfiler, pligten til at indberette hændelser i begge retninger, ansvarsloftet og dets undtagelser, erstatning for tredjepartskrav og bøder fra myndighederne samt de udtrædelsesordninger, der bestemmer, hvad der sker med modellen og dataene, hvis forholdet ophører. Et loft, der forhandles abstrakt, uden henvisning til, hvad systemet rent faktisk beslutter, beskytter ingen.

Endelig skal du holde den kriminelle eksponering i tankerne, selv hvor den umiddelbare risiko er civilretlig. Retsforfølgelse af en virksomhed for en AI-fejl er stadig usædvanligt, men elementerne er almindelige: en pligt, et brud på loven, en forudsigelig skade og en organisation, der kan påvises at have accepteret risikoen. Hvor et system bruges til noget åbenlyst ulovligt, eller hvor en virksomhed fortsætter med at drive et system, som den ved forårsager skade, er den kriminelle rute åben, og analysen er beskrevet i sin helhed i vores artikel om hollandsk strafferet og den ledsagende artikel om algoritmer og strafferetligt ansvar.

Ofte stillede spørgsmål

Law & More rådgiver organisationer, der bygger AI-systemer, og organisationer, der bruger dem, om risikofordeling i kontrakter, om klassificering og pligter i henhold til AI-loven og om at forsvare eller fremsætte krav, når et system har forårsaget tab. Fortæl os om din situation. Vi giver dig besked om dine muligheder inden for en arbejdsdag.