Faren for diskriminering er blant de største risikoene når kunstig intelligens brukes til å ta avgjørelser om enkeltpersoner - for eksempel hvem som skal få trygdeytelser, helsehjelp eller kredittlån.
Samtidig som bruken av KI øker, viser undersøkelser at det er lav bevissthet og lite kompetanse om diskriminering i både offentlig og privat sektor. Likestillings- og diskrimineringsombudet lanserer derfor en veileder om hvordan utviklerteam kan vurdere risiko for diskriminering i KI-systemer.
Bakgrunn for veilederen
Gjennom det siste tiåret har mediene omtalt skandaler der algoritmer og maskinlæringsmodeller har medført diskriminering, ofte fordi teknologien ikke er grundig nok vurdert. To eksempler på dette er ansiktsgjenkjenning som ikke fungerer tilstrekkelig på personer med mørkere hudtoner, og algoritmer brukt til å avdekke svindel som feilaktig utpeker personer med innvandrerbakgrunn.
Eksemplene viser at det ikke er tilstrekkelig å ha diskrimineringsrisiko i bakhodet ved utvikling og bruk av denne teknologien. Diskriminering må forebygges og måles systematisk. Tiltak for å forebygge diskriminering og fremme likestilling må bygges inn i alle utviklingsfasene i et maskinlæringssystem (ML-system), fra planlegging til bruk av teknologien. Dette kaller vi for innebygget diskrimineringsvern.
Formålet med veilederen
Formålet med veilederen er at de ansvarlige for utvikling, anskaffelse og bruk av ML-systemer skal gjøres kjent med diskrimineringsregelverket, og at de skal kunne forebygge diskriminering ved å vurdere diskrimineringsrisikoen teknologien kan medføre.
Behovet for denne kunnskapen er prekært, ettersom forskning tilsier at det i offentlig sektor er lav bevissthet og begrenset kompetanse om diskrimineringsregelverket i forbindelse med utvikling og bruk av denne teknologien.