„Tyle wiemy o sobie, ile nas sprawdzono” [1]. Podobnie jak wiele innych potocznych prawd, tak i ta domaga się redefinicji w czasach, gdy technologia umożliwia masowe eksperymenty w zarządzaniu społecznym ładem. Obecnie testowane są systemy, które przewidują, kto z nas ma większą szansę na stanie się sprawcą czy też ofiarą przestępstwa. Skoro zaczęliśmy wykorzystywać algorytmy do przewidzenia naszych przyszłych życiowych wyborów – czy science-fiction się skończyło?

Rzeczywistość na miarę fikcji

Tak naprawdę pytanie o przyszłość science-fiction nie jest interesujące w porównaniu ze złożonością realnych problemów, jakie towarzyszą masowej algorytmizacji ładu społecznego. Jednak zanim spróbujemy rozplątać ten kłębek, spójrzmy, do czego stosowane są algorytmy w systemie sprawiedliwości.

W Durham w Wielkiej Brytanii algorytmy wykorzystuje się do przewidywania, kto z zatrzymanych przez policję może zostać wypuszczony za kaucją, a kto prawdopodobnie znowu popełni przestępstwo. Na podstawie danych takich jak: historia notowań i skazań, kod pocztowy miejsca pobytu oraz płeć osoby aresztowanej, zastosowany na danych z 2013 r. algorytm zidentyfikował z 98-proc. poprawnością osoby o niskim ryzyku (te, które w ciągu następnych lat nie popełniły kolejnego przestępstwa). W stosunku do zatrzymanych o potencjalnym wysokim ryzyku ponownego popełnienia przestępstwa algorytm „miał rację” w 88 proc. przypadków.

Podobne mechanizmy stosowane są w innych miastach Wielkiej Brytanii, w Niemczech oraz w Stanach Zjednoczonych. Nie wiadomo jeszcze, jak algorytmiczne „trafienia” różnią się poprawnością od tych dokonywanych przez ludzi. Jednak nie tylko ewentualna skuteczność algorytmu jest dyskusyjna. W końcu algorytm, który ma rację w 88 przypadkach na 100, pomylił się w stosunku do 12 osób i to nie na ich korzyść. Wszyscy wytypowani jako potencjalni recydywiści (w tym dwunastu błędnie wytypowanych) mogą być poddani inwigilacji w sytuacji, w której policja posiłkuje się tego rodzaju prognozami w codziennej pracy.

Potencjalny przestępco/ofiaro – niepotrzebne skreślić

Czy to źle, że policja ma oko na potencjalnych przestępców? Nędzę i beznadzieję położenia wytypowanej w ten sposób osoby bardzo dobrze pokazuje film dokumentalny „Pre-crime” pokazywany w ramach tegorocznego festiwalu Millenium Docs Against Gravity. W Chicago algorytm funkcjonujący w oparciu o dane w rodzaju kodu pocztowego oraz tego, kto z kim był wcześniej aresztowany, typuje młodego chłopaka aresztowanego uprzednio za posiadanie marihuany. Chłopak zostaje objęty nadzorem policji, która wysyła do niego list informujący, że prawdopodobnie popełni przestępstwo lub stanie się jego ofiarą, i wzywający go do zejścia ze złej drogi.

Tymczasem chłopak, jak sam tłumaczy, mieszka w złej dzielnicy, bo nie stać go na wyprowadzkę. Pomogłyby mu nie listy od policji, a realne wsparcie w skończeniu szkoły średniej i znalezieniu lepszej pracy. Śmierć jego przyjaciela została – jego zdaniem – zamieciona pod dywan, ponieważ policja koncentruje się na predictive policing, jak nazywa się metody zaprowadzania porządku w oparciu o prognozy, a nie o dowody z już popełnionych zbrodni.

Czy jest na sali socjolog?

Kłopot z systemami przewidującymi nasze przyszłe zachowania polega po części na tym, że nie do końca wiadomo, w jaki sposób one działają. Są to komercyjne produkty chronione tajemnicą technologiczną. Kupuje je państwo zasłaniające się względami bezpieczeństwa przed ujawnianiem szczegółów ich funkcjonowania – których być może samo nie rozumie. To, co o nich wiemy, pokazuje, że dane, którymi karmi się algorytmy predyktywne, to głównie informacje o lokalizacji i przeszłych zachowaniach. Algorytm uwzględnia zatem jedynie skutki rozwijającej się latami konkretnej społecznej dynamiki – na przykład pogarszania się warunków bytowych i bezpieczeństwa w dzielnicach, których mieszkańcy masowo tracą pracę wskutek upadku przemysłu.

Innym kluczowym wątkiem jest mityczne przekonanie o wyższości bezstronnej maszyny nad uprzedzonym ludzkim umysłem. Tymczasem, coraz wyraźniej widać, że algorytmy projektowane przez ludzi powielają nasze stereotypy i uprzedzenia. Dla lepszego zrozumienia tego zjawiska wystarczy obudować przykład z filmu dodatkową informacją: dozorowany przez policję chłopak jest czarny.

Algorytm nie jest „ślepy” na kwestię koloru skóry, po prostu dlatego że dane na podstawie których dokonuje symulacji obrazują trudną rzeczywistość czarnych amerykańskich mężczyzn jako fakt statystyczny: niebezpieczeństwo, że nieuzbrojony Afroamerykanin zostanie zastrzelony przez policjanta, jest dwa razy większe, niż to, że przytrafi się to białemu mężczyźnie. Algorytm nie traktuje tego zjawiska jako złożonego problemu rasizmu w amerykańskiej policji, tylko jako korelację – czarny kolor skóry odnotowuje jako większe ryzyko zachowań przestępczych.

Algorytm nie rozumie też prostej zależności, zgodnie z którą policja częściej patroluje te rejony, w których statystyki wskazują na większą przestępczość. W związku z tym rośnie szansa, że w tym rejonie patrol wylegitymuje kogoś, kto ma niezapłacony mandat, jest poszukiwany przez policję czy ma przy sobie skręta. Te dane trafiają znowu do algorytmu, który – nie dość, że „zaczyna mieć rację” – to jeszcze podwyższa indeks ryzyka dla danej dzielnicy.

Nie trzeba chyba dodawać, że błędne koło targetowania stref podwyższonego ryzyka i zwalczanie jedynie skutków rozlicznych problemów – bez zwracania uwagi na ich źródła, np. fatalną jakość szkół czy bezrobocie – zwiększa napięcie w zagrożonych przestępczością społecznościach. Jak pokazuje „Pre-crime”, predyktywne metody odbierane są jako prowokacja mająca na celu nie pomoc młodym mężczyznom w zmianie swojego życia na lepsze, ale doprowadzenie ich do stanu, w którym frustracja i agresja znajdą swoje ujście zgodnie z tym, co przewidział algorytm.

W głąb króliczej nory

Proliferacja technologii powoduje, że znajdujemy się w decydującym momencie dla naszej cywilizacji. Szybkość obliczeniowa maszyn w globalnej sieci powoduje, że wszystkie procesy społeczne przyspieszają w sposób, na który trudno równie szybko zareagować. Wypracowanie rozwiązań uwzględniających złożone przyczyny przestępczości odbywa się znacznie wolniej niż algorytmiczne przeliczenie tego, kto ma większe szanse zrobić w przyszłości coś głupiego.

Dlatego też, by rzetelnie rozmawiać o roli technologii w społeczeństwie, nie możemy poprzestawać na dyskusji o jej skuteczności w podawaniu starannie przeliczonych odpowiedzi. Zawsze musimy zejść w głąb króliczej nory i sprawdzić, jakiego wycinka społecznej rzeczywistości dana technologiczna interwencja dotyka.

W przypadku pre-crime mamy do czynienia przynajmniej z kilkoma obszarami, których przeobrażenie przyspieszane jest przez użycie przewidujących przyszłość algorytmów. Po pierwsze, zwiększamy znaczenie „kultury impulsu” w rozwiązywaniu rozmaitych problemów społecznych. Ktoś coś ukradł? Zatrzymajmy go, zanim ukradnie znowu – nieważne, czy robi to z nudów, czy z braku możliwości przeżycia bez kradzieży. Kontekst przestaje mieć znaczenie – statystyki zmieniają się szybciej, gdy powstrzymujemy wiele pojedynczych aktów społecznie niepożądanych zachowań, niż gdy zapewniamy ludziom lepsze szkoły i perspektywy pracy.

Algorytm w służbie sprawiedliwości przyspiesza także erozję fundamentalnego dla człowieka prawa wyboru. Psychologiczny mechanizm podejmowania decyzji jest pełen zagadek. Nie można przewidzieć, na co ostatecznie zdecyduje się człowiek. Co ważniejsze, wartości, na których zbudowany jest system sprawiedliwości, zakładają, że człowiek jest niewinny, dopóki nie udowodni mu się, że jest inaczej. Można to jednak zrobić jedynie na podstawie dowodów ze zdarzeń przeszłych. Stosowanie metod predyktywnych odwraca tę logikę.

Predyktywne metody w systemie sprawiedliwości komunikują objętym nimi ludziom, że ich prawo do dokonywania osobistych wyborów jest podrzędne w stosunku do tego, co wyliczy maszyna. Że nasz „pierwszy świat” ma im do zaoferowania jedynie karę za niepopełnione jeszcze przestępstwa. Czy naprawdę w takim świecie chcemy żyć?

Nowy, bylejaki świat

Warto podkreślić, że cały czas nie mówimy o sztucznej inteligencji z prawdziwego zdarzenia – algorytmy te uczą się w prosty sposób, poprzez pracę na coraz większej ilości danych generują dokładniejsze statystycznie wyniki. A od tego jeszcze długa droga do kognitywnego przetwarzania informacji.

Nie grozi nam zatem – przynajmniej chwilowo – że zawładnie nami inteligencja zdolna do wyciągnięcia lepszych wniosków na przyszłość niż ta nasza, ludzka. Zagrożenie jest znacznie poważniejsze. Przez opieranie się na zarządzaniu indywidualnymi impulsami czy ignorowanie nauk społecznych w procesach, w których to socjologowie i psychologowie powinni mieć więcej do powiedzenia niż programiści, możemy utknąć z naprawdę prymitywną wersją oprogramowania sterującego różnymi dziedzinami życia społecznego.

Nietrudno też sobie wyobrazić, że przetestowany na przestępcach algorytm może zostać wykorzystany w przyszłości do zapobiegania demonstracjom czy innym sposobom wyrażania sprzeciwu. Wystarczy, że znam kogoś, kto jest aktywny politycznie i społecznie, by algorytm zdecydował o wysłaniu do mnie pisma: „na podstawie listy osób, które znasz, wiemy, że w przyszłości będziesz chciała pojawić się na demonstracji. Z naszych wyliczeń wynika, że ryzyko odniesienia ran na demonstracji lub zrobienia komuś krzywdy wynosi tyle i tyle procent. Namawiamy cię do podjęcia właściwej decyzji i pozostania w domu. W przeciwnym razie możesz zostać aresztowana”. Niby nic, ale tzw. efekt chłodzący działa – wystarczy wiedzieć, że policja będzie cię mieć na oku, by stracić tak ważne w protestach publicznych poczucie anonimowości w tłumie.

W naszym zindywidualizowanym i zgentryfikowanym świecie, algorytmy mogą stać się narzędziem dalszego rozwarstwienia – potencjalnie katastrofalnego w skutkach. Kto będzie chciał pracować z uchodźcami czy mniejszościami, skoro sam fakt przebywania w określonym miejscu czy z określonymi ludźmi podwyższa ryzyko uznania nas za osobę niebezpieczną? Tak sprofilowane społeczeństwo utraci nie tylko mobilność społeczną, ale i kontakt między tymi, którzy cieszą się społecznym uznaniem i mają głos w debacie publicznej, a tymi którzy tego głosu nie mają. O ileż łatwiej jest zamknąć w getcie, przenieść, czy eksmitować sprawiającą problemy grupę społeczną, gdy nikt się o nią nie upomni.

Jeśli zaakceptujemy bez żadnych pytań i wątpliwości, że syndykat policyjno-technologiczny ma prawo przewidywać przyszłość i przedefiniować egzekwowanie prawa w oparciu o tajemniczy algorytm, to już teraz możemy pożegnać się z własną przyszłością. Przestała ona bowiem do nas należeć w chwili, gdy pierwszy potencjalny przestępca dowiedział się z policyjnego listu, jaką decyzję podejmie w przyszłości.

Przypis:

[1] Cytat „tyle wiemy o sobie, ile nas sprawdzono” pochodzi z wiersza Wisławy Szymborskiej „Minuta ciszy po Ludwice Wawrzyńskiej”.

* Fot. wykorzystana jako ikona wpisu: Blogtrepeneur; źródło: Flickr.com (CC BY 2.0)