Partia Razem opisała mechanizm dziedziczenia uprzedzeń w stanowisku Rady Krajowej z 2 listopada 2021 roku i wyprowadziła z niego żądanie jawności kryteriów, uzgodnień ze związkami zawodowymi i kontroli instytucji (stanowisko ws. zarządzania algorytmicznego, 2021). Algorytm oceniający kandydatów do awansu uczy się bowiem na zapisie decyzji, które w danej firmie zapadały wcześniej. Jeżeli przez lata awansowali w niej głównie mężczyźni z dużych miast, model potraktuje tę prawidłowość jako kryterium sukcesu i zastosuje je wobec kolejnych roczników — konsekwentnie, na dużą skalę i bez świadomości, że cokolwiek powiela.
Statystyczna pamięć nierówności
Stanowisko z 2021 roku wymienia dyskryminację jako pierwsze z ryzyk zarządzania algorytmicznego: „Uprzedzenia rasowe, płciowe czy wobec orientacji seksualnych są często »wbudowane« w dane używane do trenowania algorytmów AI i wobec tego często automatycznie powielają wzorce dyskryminacyjne istniejące w społeczeństwie”. Dokument podaje też, gdzie ta mechanika uderza w konkretne osoby: niektóre grupy pracujących „mogą być dyskryminowane (np. brakiem przyjęcia do pracy, awansu) ze względu na swoje cechy”.
Usunięcie z danych rubryki „płeć” czy „pochodzenie” niewiele przy tym daje, bo model odnajduje te cechy okrężną drogą — przez zmienne zastępcze. Kod pocztowy, typ ukończonej szkoły, przerwy w historii zatrudnienia czy godziny aktywności potrafią łącznie zdradzić to samo, co usunięta rubryka, tyle że w formie, której nikt już nie rozpozna jako kryterium dyskryminującego. W efekcie system może obniżać oceny kobietom wracającym z urlopów rodzicielskich, formalnie nie wiedząc, że ocenia kobiety.
Problem pogłębia nieprzejrzystość samych systemów. Jak czytamy w stanowisku, „zautomatyzowane decyzje np. co do obciążenia pracą, oceny pracy, wynagrodzenia, awansu, są podejmowane według kryteriów, które są niejasne dla osób pracujących” — a decyzji algorytmu, traktowanego przez zarządzających jako obiektywny i nieomylny, w praktyce nie negocjuje się z załogą. Osoba pominięta przy awansie przez model nie ma więc nawet tego, co miała wobec uprzedzonego przełożonego: możliwości zapytania o powód i zakwestionowania go.
Testy Agencji Praw Podstawowych
Empirycznych dowodów, że uprzedzenia w modelach są zjawiskiem mierzalnym, dostarcza Agencja Praw Podstawowych Unii Europejskiej. Raport „Bias in algorithms — Artificial intelligence and discrimination” z grudnia 2022 roku pokazał w symulacjach dwie rzeczy (FRA, 2022). Po pierwsze, w systemach predykcyjnych uprzedzenie potrafi się samo wzmacniać przez pętlę sprzężenia zwrotnego: przewidywania modelu kierują działaniami, wyniki tych działań stają się danymi treningowymi kolejnej wersji, a wyjściowy przechył rośnie z każdą iteracją. Po drugie, testowane modele wykrywania obraźliwych wypowiedzi flagowały treści z systematycznym przechyłem związanym z pochodzeniem etnicznym, płcią, religią i orientacją seksualną autorów. Badania FRA dotyczyły policji predykcyjnej i moderacji treści, więc opisują szersze pole niż zatrudnienie — dla sporu o algorytmy w pracy pokazują, że mechanizm opisany w dokumencie Razem daje się zmierzyć i wynika z samej natury statystycznego uczenia na danych z nierównego świata. Agencja rekomenduje oceny algorytmów pod kątem uprzedzeń przed wdrożeniem i po nim.
Co proponuje Razem
Wspólnym mianownikiem postulatów Razem jest przywrócenie możliwości sporu. Dyskryminacji nie da się ani udowodnić, ani naprawić, dopóki kryteria decyzji pozostają tajemnicą handlową dostawcy oprogramowania — jawność jest więc warunkiem wstępnym każdego kolejnego kroku, od indywidualnej reklamacji po zbiorowy zatarg. Odpowiedź partii mieści się w ramach jej postulatów dla środowiska pracy:
- Jawność kryteriów decyzji — koniec sytuacji, w której o obciążeniu pracą, ocenie, wynagrodzeniu czy awansie rozstrzygają reguły niejawne dla zainteresowanych (stanowisko 2021).
- Uzgodnienia z przedstawicielami osób pracujących, w tym związkami zawodowymi, zanim aplikacje zarządzania algorytmicznego wejdą do użycia (stanowisko 2021).
- Kontrola odpowiednich instytucji nad obszarem zarządzania algorytmicznego, a docelowo ciągły audyt aplikacji AI pod kątem zgodności z europejskimi standardami pracy (stanowisko 2021).
Warstwę prawną tego sporu — czym w ogóle jest zakaz dyskryminacji w zatrudnieniu i jak go egzekwować, niezależnie od tego, czy dyskryminuje człowiek, czy model — rozwija tekst o zakazie dyskryminacji w zatrudnieniu w serwisie Razem dla pracy. Jak wyglądałaby instytucjonalna kontrola nad modelami, opisujemy w tekście o stałym audycie algorytmów, a całą linię partii wobec AI porządkuje hub AI i prawa.