Ny europeisk standard for kunstig intelligens på høring

Hva skal til for at et menneske faktisk kan forstå, overvåke og gripe inn når et KI-system er i bruk?  

EN 18229-3 om menneskelig tilsyn beskriver terminologi, prinsipper, krav og veiledning for menneskelig tilsyn med systemer for kunstig intelligens (KI).  

Standarden er rettet mot organisasjoner som bringer KI-systemer på markedet eller setter dem i drift, og er laget for å kunne brukes på tvers av sektorer. 

Den skal støtte etterlevelse av artikkel 14 i EUs KI-forordning (AI Act), som stiller krav om menneskelig kontroll med høyrisiko-KI-systemer. Vedlegg ZA kobler forslaget til artikkel 14 nr. 1-5.  

Menneskelige faktorer er en del av sikkerheten 

Et hovedgrep i standarden som nå er på høring er tiltak for menneskelig kontroll. Slike tiltak kan blant annet bestå av etterkontroll av systemets resultater, varsler som utløser menneskelig inngripen, eller kontinuerlig overvåking. Systemet skal også gi en utpekt person mulighet til å avvise, overstyre eller reversere et resultat, eller stanse systemet og bringe det i en sikker tilstand.

For hvert risikoscenario skal leverandøren fastsette hvor lang tid som er tilgjengelig før et mulig avvik må være avverget eller begrenset. Deretter skal leverandøren velge tiltak som gjør det mulig for den utpekte personen å gripe inn innenfor dette tidsrommet. Dersom menneskelig inngripen ikke kan gjennomføres raskt nok, må risikoen håndteres med automatiske beskyttelsestiltak og etterfølgende kontroll.

Standarden tar også opp automatiseringsbias, det vil si menneskers tendens til å foretrekke forslag fra automatiserte beslutningssystemer, og samtidig overse motstridende informasjon selv når denne er riktig.

Leverandøren skal iverksette designtiltak som reduserer automatiseringsbias og holder utpekte personer aktivt involvert i vurderingen av KI-systemets resultater, framfor at de passivt godtar dem.  

Fem deler som skal virke sammen 

EN 18229-serien er bygget opp slik at de fem delene utfyller hverandre. Til sammen skal de gi leverandører og brukere av KI-systemer et mer praktisk rammeverk for logging, transparens, menneskelig kontroll, nøyaktighet og robusthet. Det er del 3 som nå er på høring. 

• Del 1 – Logging, beskriver hvordan relevante hendelser skal registreres og beskyttes gjennom KI-systemets livsløp. Høringen av denne delen er avsluttet. Del 1 skal støtte kravene i artikkel 12 i KI-forordningen. 
• Del 2 – Transparens, skal beskrive transparens og informasjon som leverandøren må gi brukere av KI-systemet. Denne delen skal støtte artikkel 13 og vil komme på høring. 
• Del 3 – Menneskelig tilsyn, beskriver hvordan mennesker skal kunne overvåke, forstå og gripe inn i KI-systemets funksjon. Denne delen skal støtte artikkel 14 og er nå på høring. 
• Del 4 – Nøyaktighet, skal omhandle krav knyttet til nøyaktighet. Sammen med del 5 skal den støtte artikkel 15, men den vil ikke ta for seg cybersikkerhet. Standardforslaget vil komme på høring. 
• Del 5 – Robusthet, skal omhandle krav knyttet til robusthet. Standardforslaget vil komme på høring. 

Les mer om standarder for kunstig intelligens

Hvem bør gi innspill, og på hva? 

Standardforslaget kan få betydning for hvordan KI-systemer utformes, anskaffes, innføres, driftes og dokumenteres. Vi ønsker særlig innspill fra: 

• leverandører og utviklere av KI-systemer, inkludert produktansvarlige, sikkerhetsmiljøer og designere av brukergrensesnitt 
• virksomheter som anskaffer eller bruker KI, både i næringslivet, offentlig sektor og kritisk infrastruktur 
• fagpersoner innen risikostyring, kvalitet, juss, personvern og arbeidsmiljø, samt arbeidstaker- og interesseorganisasjoner 
• forskningsmiljøer, tilsyn, sivilsamfunn og biometrimiljøer som kan vurdere konsekvenser for helse, sikkerhet og grunnleggende rettigheter. 

Det er særlig nyttig med kommentarer til om reaksjonstider, varsler, kontrollfunksjoner og testmetoder er praktisk gjennomførbare; om ansvarsdelingen mellom leverandør og bruker er tydelig; og om kravene fungerer på tvers av sektorer og arbeidssituasjoner.

Hvorfor bør du gi innspill? 

Standarden kan bli et viktig praktisk verktøy for å vise hvordan krav til menneskelig kontroll kan oppfylles. Norske erfaringer fra blant annet offentlig tjenesteyting, arbeidsliv, industri og kritisk infrastruktur er derfor viktige for at kravene skal bli forståelige, teknologinøytrale og mulige å bruke i praksis. 

Alle nasjonale kommentarer blir behandlet i det ansvarlige standardiseringsarbeidet. Høringen er muligheten til å påvirke før innholdet låses og standarden ferdigstilles.

Gi dine innspill 

Du kan lese og kommentere på utkastet gjennom Standard Norges høringsportal. 

Du må være logget inn for å lese og kommentere, og du oppretter brukerprofil første gang du bruker høringssystemet. Det gjør du nederst på denne siden: 
kommentere.standard.no 

Om du allerede har bruker i høringssystemet, kan du gå direkte til høringsforslaget:
prEN 18229-3 - Rammeverk for pålitelig KI - Del 3: Menneskelig tilsyn

Høringsfrist: 8. oktober 

Kontakt oss 

Alle kommentarer må sendes inn gjennom høringsportalen innen høringsfristen. 

Har du spørsmål eller trenger du mer informasjon om arbeidet? Ta kontakt med prosjektleder Lars Erik Jenssen i Standard Norge.