Mieliśmy prawo zachować milczenie. Być może będziemy musieli o nim zapomnieć, bowiem już dzisiaj w wielu państwach policja przesłuchuje podejrzanych, wykorzystując technologie pozwalające na bezpośrednie odczytanie aktywności mózgu. Od lat korzystają z nich służby na Bliskim Wschodzie i Azji, w 2014 roku zamówienie na odpowiedni sprzęt złożyła też policja stanu Floryda. Jak to działa? W trakcie dochodzenia podejrzanym pokazywane są zdjęcia ukazujące ofiary przestępstw bądź użyte w nich narzędzia zbrodni, a urządzenie monitorujące fale mózgowe informuje, czy jakiś obraz wywołał u podejrzanego falę P300, pojawiającą się zwykle w reakcji na znany już wcześniej bodziec. Niedługo po zamachach 11 września technologia ta opisywana była w magazynie „Time” jako wynalazek, który pozwoli „określić, czy podejrzany jest zaznajomiony z dowolną rzeczą – od numeru telefonu do tajnego hasła Al-Kaidy”.

Według pewnych doniesień władze w Chinach stosują dziś podobne metody do monitorowania osób poddawanych tak zwanej reedukacji politycznej. Oczywiście, podobnym zakupom nie mogli oprzeć się też pracodawcy, którzy przy pomocy odpowiednich sensorów mogą zbierać dane już nie tylko na temat tego, co pracownik robi z firmowym sprzętem (czy rusza myszką, co pisze na klawiaturze, jak szybko odpowiada na nadchodzące maile), ale też o tym, co dzieje się z jego ciałem, oczami, źrenicami, wyrazem twarzy, tętnem…

Opisywane przeze mnie technologie wciąż są niedoskonałe, ale wielu specjalistów przewiduje, że rozwój sztucznej inteligencji pozwoli na ich szybkie usprawnienie. Nakarmienie sieci neuronowych odpowiednią ilością danych może pozwolić na opracowanie wynalazków, o których dotąd mogliśmy tylko śnić. Nomen omen, podawanym niekiedy przykładem takiej technologii jest algorytm zbierający dane podczas fazy REM, które pozwolą po obudzeniu obejrzeć zapis własnego snu. Bardzo możliwe, że zanim wszyscy użytkownicy smartfonów odkryją funkcję dyktowania esemesów przy pomocy mowy, pojawi się możliwość dyktowania ich bezpośrednio przy pomocy myśli.

Technologiczny skok na główkę

Zdaję sobie sprawę, że to wszystko brzmi jak opowieść science fiction. Niedowiarkom proponuję jednak zadać sobie pytanie: na ile jesteście przekonani, że tekst, który właśnie czytacie, napisałem ja – człowiek? Na ile jest prawdopodobne, że został wygenerowany przez komputer? Czy jesteście pewni swoich szacunków? I co ważniejsze, czy uwierzylibyście rok temu, że odpowiedź na tak zadane pytanie może nie być oczywista? A jeśli ten eksperyment was nie przekonuje, otwórzcie po prostu jeden z dostępnych w sieci katalogów bossware (czyli oprogramowania dla szefów) lub obejrzyjcie poświęconą temu tematowi dyskusję z tegorocznego zjazdu w Davos.

Piszę o tym wszystkim, ponieważ autor tekstu otwierającego to wydanie „Spięcia” wydaje się traktować dylematy związane z obecnymi przemianami technologicznymi podobnie jak wszystkie inne problemy. Również rozwiązania proponowane przez Bartosza Paszczę zdają się nie odbiegać od recept, które można wypisać w dowolnej innej sprawie. „Nie panikujmy, włączajmy obywateli w proces decyzyjny, dbajmy o przejrzyste reguły gry, inwestujmy w nowe technologie, inwestujmy w edukację”. Niewiele jest problemów, do których takie rady nie mają zastosowania. Podpisuję się pod nimi, ale muszę dodać: to nie wystarczy.

Stoimy na progu głębokiej transformacji życia społecznego. Zmiany następują tak prędko, że rodzice dzieci w wieku szkolnym będą musieli wykreślić ze swojego repertuaru groźbę „Ucz się, ucz, bo rowy będziesz kopać”. Być może, gdy za kilkanaście lat ich dzieci będą wchodzić na rynek pracy, to właśnie wymagająca sprawności manualnej praca fizyczna będzie dawała jedyny pewny zarobek, podczas gdy zastępy prawników, PR-owców i managerów zostaną zastąpione przez software. Przy czym sęk jest nie w tym, że przyszłość na pewno tak właśnie będzie wyglądać, ale – przeciwnie – w tym, że niezwykle trudno jest dzisiaj przewidzieć nawet najbliższe dekady.

2+2 = opatrzność

Mimo wszystkich trudności z wyobrażeniem sobie przyszłości, możemy już dzisiaj przyglądać się temu, jak działają obecnie algorytmy, czerpiąc zarazem z bogatych doświadczeń przeszłości. A jest z czego czerpać, algorytmy nie są bowiem pierwszymi bezosobowymi, zmatematyzowanymi i rzekomo obiektywnymi systemami, z jakimi przyszło nam się zmierzyć. Bartosz Paszcza pisze, że nie powinniśmy obawiać się chińskiego systemu Social Credit, ponieważ przypomina on „nasze bazy nierzetelnych kredytobiorców”. Słowa te miały nas uspokoić, ale dla mnie brzmią złowrogo. Bo choć dla nieuzbrojonego oka ocena zdolności kredytowej może wydawać się procesem apolitycznym, jest to jedynie iluzja. Nawet w tak krótkim tekście mogę podać prosty i jaskrawy przykład politycznego uwikłania procedur kredytowych.

W Stanach Zjednoczonych aż do lat siedemdziesiątych praktycznie niemożliwe było uzyskanie kredytu hipotecznego przez wszystkie kobiety, a także tych mężczyzn, których kolor skóry odbiegał od amerykańskiego wyobrażenia o człowieku godnym zaufania. W tym samym czasie kredyty zaciągane przez białych mężczyzn były gwarantowane przez federalne agencje hipoteczne. Przedmieścia ucieleśniające „amerykański sen”, z kręgielnią, kinem i dinerem w zasięgu krótkiej przejażdżki samochodowej oraz samymi białymi ludźmi wokół powstały w wyniku polityki amerykańskiego rządu. Zarazem, jako że polityka ta ubrana była w kostium obiektywnej oceny zdolności kredytowej, łatwo było ten fakt przeoczyć.

Jest coś w wyrokach ferowanych przez bezosobowe systemy, takie jak rynek czy algorytm, co skłania nas do myślenia o nich w kategoriach opatrznościowych. Jednak ostatecznie to ludzie, pisząc prawo handlowe czy kod źródłowy, określają zasady działania rynków i algorytmów. W rezultacie choć stwarzają one powab obiektywizmu, zwykle są głęboko polityczne i uprzywilejowują interesy jednych grup kosztem innych.

A najwyższym kapłanem będzie Zbigniew Ziobro

Chętnie zgodzę się z autorem tekstu otwarcia, że w Polsce nie grozi nam zbudowanie „wszechpotężnych instytucji nadzoru totalnego”. Wielokrotnie mogliśmy się przekonać, że w naszym kraju niełatwo zbudować instytucje nawet przeciętnie sprawne. Prawdopodobnie bardziej grozi nam państwo nadzoru dziadowskiego. Takie, które gdy kupi trzy nowe technologie, to jedną zgubi, drugą zepsuje, a tylko z trzeciej skorzysta. Nie bardzo mnie to uspokaja. Zamiast państwa rodem z Orwella mam przed oczami ministra sprawiedliwości, który w czasie obiadu scrolluje centralny rejestr dokumentacji medycznej, by co smaczniejsze anegdotki opowiedzieć na kolejnym posiedzeniu rządu lub wykorzystać w walce politycznej.

Obserwujemy obecnie powolną transformację relacji między obywatelami a prawem. W Stanach algorytmy już dzisiaj używane są w sprawach karnych do szacowania ryzyka popełnienia recydywy – a co za tym idzie, do podejmowania decyzji o czasie trwania odsiadki. Konkretna formuła tego algorytmu od lat jest przedmiotem gorącego sporu, m.in. dlatego, że ma tendencję do zawyżania ryzyka recydywy wśród ludności niebiałej, zwłaszcza pochodzenia azjatyckiego. Dziś wiemy już nie tylko, że rządy zbierają dane na temat każdego i każdej z nas, ale także że wiele decyzji, które wcześniej wymagały zaangażowania wymiaru sprawiedliwości, zostało zautomatyzowanych. W USA na przykład to już nie sędzia decyduje, czy odebrać pasażerowi prawo wejścia na pokład samolotu i swobodnego poruszania się po kraju. Robi to algorytm. Fundamentalne dla demokracji liberalnej rozróżnienie ludzi na niewinnych i tych, którym winę udowodniono, zaciera się. Każdy staje się potencjalnym winnym, a zadanie oszacowania tego potencjału zostaje przekazane maszynie.

Być może przekonanie, że wszyscy jesteśmy winni, zgodne jest z czyimiś metafizycznymi intuicjami. Być może też łatwość, z jaką przychodzi nam rezygnowanie z prywatności, łatwiej zrozumieć, gdy zdamy sobie sprawę, że poczucie bycia pod nieustanną obserwacją i podlegania ciągłej ocenie jest o wiele starsze niż inwigilujące nas technologie. Zarazem wielkim osiągnięciem było wywalczenie świata, w którym te religijne intuicje nie mają wpływu na kwestie ustrojowe. Dziś grozi nam jednak ustrój oparty wprost na nich, państwo wyznaniowe pod wezwaniem AI oddane w ręce opatrzności made in Python.

Tekst powstał dzięki finansowaniu projektu Macieja Kuziemskiego w ramach 2022 Landecker Democracy Fellowship.