Principen om korrekthet och diskriminerande algoritmer
En vanlig orsak till partiskhet, även kallat bias, är att AI-modellen har tränats på snedvridna data. Det händer när en AI-modell lär sig de mönster av partiskhet som kan ha funnits i de data som användes för att träna modellen. När AI-modellen sedan använder dessa inlärda mönster för att producera sina resultat kan det leda till diskriminering av individer eller grupper.
AI-baserat rekryteringssystem
ExempelOm ett AI-baserat rekryteringssystem används för att identifiera lämpliga kandidater och AI-modellen i systemet har tränats på data om tidigare rekryteringar där män har varit överrepresenterade, kan systemet komma att favorisera manliga sökande. Rekryteringssystemet kan då börja föreslå manliga sökande framför kvinnliga, vilket kan leda till diskriminering av kvinnor.
Principen om korrekthet
En av de grundläggande principerna i GDPR är principen om korrekthet. Den innebär att behandlingen av personuppgifter ska vara rättvis, skälig, rimlig och proportionerlig i förhållande till de registrerade.
Att behandlingen ska vara rättvis innebär att personuppgifter ska behandlas på ett sätt som den registrerade kan förvänta sig, och att den inte får vara diskriminerande. Förbudet mot diskriminering gäller både ifråga om hur personuppgiftsbehandlingen går till och resultatet av behandlingen. Behandlingen av personuppgifter ska alltså vara rättvis och icke-diskriminerande, och behandlingen får inte heller leda till ett resultat som är diskriminerande.
Vad behöver den personuppgiftsansvariga tänka på?
Den personuppgiftsansvariga måste vidta tekniska och organisatoriska åtgärder för att säkerställa att AI-modellen tränas på ett sådant sätt att den inte bryter mot principen om korrekthet. För att göra det måste den personuppgiftsansvariga göra noggranna bedömningar av vilka data som är relevanta och korrekta, och hur data ska viktas. Den personuppgiftsansvariga bör även genomföra noggranna tester av AI-modellen innan den börjar användas för att säkerställa att den inte diskriminerar individer eller grupper av individer.