Social Credit System – personifikacja demokratycznych strachów

Chiński system Social Credit System (SCS) dla wielu jest symbolem przekroczenia granic w wykorzystaniu technologii przez państwo. Ten system może brzmieć złowieszczo: wykorzystując analizę danych firmy, obywatele mają dodawane lub odejmowane punkty na podstawie różnych czynników, takich jak terminowe płatności rachunków, przestrzeganie przepisów ruchu drogowego lub uczestnictwo w działaniach społecznych. SCS według założeń ma poprawiać uczciwość i transparentność społecznych interakcji pomiędzy obywatelami oraz firmami, co obszernie opisuje Instytut Boyma.

Jednak sam SCS w rzeczywistości nie jest jednak tak złowrogo wszechwiedzący, jak wydaje się nam na Zachodzie. W rzeczywistości chiński system Social Credit System jest raczej zbiorem różnych inicjatyw prowadzonych przez różne agencje rządowe i lokalne władze. Na poziomie ogólnokrajowym istnieją jedynie inicjatywy oceny firm, partia (na razie) nie przebąkuje o budowie krajowego systemu oceny obywateli, choć takie rozwiązania tworzą pilotażowo niektóre rządy lokalne. W swoim ogólnokrajowym wymiarze to właściwie system przypominający nasze bazy nierzetelnych kredytobiorców wśród firm.

Warto jednocześnie zaznaczyć, że Chiny wykorzystują technologię w złych celach, dość wspomnieć tu, jak systemy rozpoznawania twarzy pomagają prześladować Ujgurów (o czym pisał niedawno na łamach KJ Seweryn Górczak), czy też jak cenzurowany jest chiński Internet.

SCS na Zachodzie to raczej odbicie naszych wyobrażeń o „państwie perfekcyjnej inwigilacji”, wzbudzonych przez produkcje takie jak „Raport mniejszości” czy „Czarne lustro”. Pokazuje sumę wszystkich naszych strachów, jakie mamy wobec państwa wykorzystującego dane i nadużywającego ich w rządzeniu.

Bójmy się braku zaufania

Ciekawe w naszym strachu przed SCS jest to, że z Chinami łączy nas wspólny problem leżący u podstaw: niski poziom zaufania społecznego. Chiny poszły w kierunku „technosolucjonizmu”: zdecydowały się uleczyć technologią społeczny problem. Według mnie podnoszenie poziomu zaufania musi odbyć się poprzez otwartość, instytucje i sprawne zadośćuczynienie błędom, taki rodzaj „republikańskiego solucjonizmu”.

Według wyników World Values Survey w Polsce ze zdaniem „większości ludzi można ufać” zgadza się 22 procent respondentów. W Niemczech i USA jest to przeszło dwukrotnie więcej, w Szwecji aż trzykrotnie. Co ciekawe, wbrew tezom komunistycznej partii, w teorii w Chinach również ponad 60 procent respondentów się zgadza z takim zdaniem – co jednak może wiele mówić o szczerości badań socjologicznych w autorytarnych krajach. Socjolog Zhang Lifan stwierdził, że w Chinach poziom zaufania społecznego jest niski, co jest skutkiem dekad opresyjnej kontroli społecznej, skumulowanej w czasie Rewolucji Kulturalnej, przez co ludzie spodziewają się być oszukani albo mieć problemy, nawet jeśli nic złego nie zrobili. W Polsce mało ufamy nie tylko sobie nawzajem, ale także na przykład dziennikarzom (67 procent ufa), nauce (87 procent) i rządowi (34 procent) – wszystkie te wyniki negatywnie wyróżniają się na tle naszych sąsiadów.

Być może przyczyną jest wspólne doświadczenie bycia dotkniętym przez lata komunizmem, być może na skutek innych czynników, jednak barierą rozwoju obydwu krajów i społeczeństw jest ten sam problem. Nieufni obywatele podejmują mniej działań w sferze społecznej i gospodarczej. Obawa przed współpracą z innymi może poskutkować obniżeniem inwestycji, ograniczeniem innowacji i mniejszą liczbą lokalnych inicjatyw społecznych. Niski poziom zaufania wpływa na relacje z państwem: może osłabić kontrolę społeczną nad działaniami rządu i instytucji („po co to sprawdzać, oni i tak oszukają”), a z drugiej strony prowadzi do wzrostu biurokracji (bo przecież obywatelowi nie można ufać, jeśli coś oświadczy, powinien zebrać najpierw tysiąc zaświadczeń). Wreszcie, pozostając w obszarze kluczowej przecież dzisiaj technologii, brak zaufania do wdrażających rozwiązania związane na przykład z analizą danych dla państwa skutkuje paniką.

Nowa moda na technosceptycyzm

Obecnie modny się stał technosceptycyzm, który według mnie padając na podatną glebę niskiego zaufania społecznego, może przyczynić się do zahamowania rozwoju Polski.

W listopadzie 2022 roku wszyscy zachwycali się jeszcze nowymi możliwościami interakcji z ChatGPT, parę miesięcy później liczni badacze sztucznej inteligencji podpisywali list mający zastopować na pół roku badania nad AI. Nawet Eric Schmidt, były prezes Google, złożył niedawno w „The Atlantic” samokrytykę. Stwierdza w niej, że podobnie jak wielu w Dolinie Krzemowej był naiwniakiem: wierząc, że wszyscy ludzie są dobrzy (i nie doceniając wpływu garstek toksycznych osób), a w swoim skupieniu na zdobyciu uwagi użytkowników tworząc mechanizmy napędzające rozrywającą społeczeństwa plemienność.

Ta krytyka jest słuszna. Pogwałcenia prywatności, zrzucanie odpowiedzialności przez wielkie firmy technologiczne, wyniki badań pokazujących negatywny wpływ mediów społecznościowych na zdrowie psychiczne nastolatków były leitmotivem drugiej części poprzedniej dekady i dopiero dziś instytucjonalnie zaczynamy sobie z nimi radzić.

Nie ulega wątpliwości, że powinniśmy na problemy wygenerowane przez pojawienie się nowych technologii reagować. Ale ogromnym błędem byłoby całkowite zanurzenie się w technologicznym sceptycyzmie.

W USA można pozwolić sobie na fazę technosceptycyzmu – w tym samym czasie w Dolinie tamtejszy ekosystem innowacyjności będzie wypluwał kolejne cyfrowe produkty, tak jak wypluł ChatGPT. Kto wie, może dzięki sceptycyzmowi będą to nawet produkty lepiej nakierowane na służenie człowiekowi.

W Polsce startuopowo-naukowy świat jest młody, niewielki i często niedoinwestowany. Powszechny technosceptycyzm będzie zniechęcał młodych do wejścia w szeregi innowatorów, a starszych do inwestowania i współdziałania. Ta fala krytyki technologii w Stanach będzie niczym przystrzyżenie dojrzałego owocowego sadu, który dzięki temu da lepsze plony. W Polsce może przypominać raczej ścięcie młodych drzewek tuż przy korzeniach.

Zagrożenie kombinacją niskiego zaufania społecznego i sceptycyzmem technologicznym, prowadzące do dramatycznego zapóźnienia rozwoju państwa, jest o wiele bardziej realne niż budowa przez Polskę wszechwiedzącego systemu analizującego każdy nasz krok.

Sześć kroków ku technologicznemu rozwojowi

Dla Polski rozwój technologiczny jest kwestią „być albo nie być”. Jesteśmy w UE i NATO, dzięki krwawemu wysiłkowi Ukraińców zatrzymana armia rosyjska przez najbliższe lata nie będzie bezpośrednim zagrożeniem naszej niepodległości. Przegapienie tego okna możliwości w świecie, w którym technologiczny rozwój jedynie przyspiesza, będzie kardynalnym błędem.

Państwa korzystające z danych, zapewniające obywatelowi proste i wygodne załatwianie swoich spraw, rozwijające swoją technologiczną infrastrukturę, a przede wszystkim dostosowujące edukację i inwestujące w badania i rozwój przetrwają. Kraje, które w XXI wiek nie będą umieć lub nie będą chciały wejść, skazują się na peryferia, o ile nie rezygnację z niepodległości.

Więc jak rozwijać technologie w kraju o niskim poziomie społecznego zaufania w dobie popularności publicznej paniki na temat technologii? Według mnie jest sześć kroków, które są potrzebne do społecznie korzystnego rozwoju cyberpaństwa.

Zacznijmy od zmiany podejścia: przejścia z tworzenia technologii dla obywateli do tworzenia jej z obywatelami. Innymi słowy, włączenia obywateli w proces decydowania o tym, jak technologia ma działać.

Częściowo to już się dzieje — projekty nowych e-usług są przez Ministerstwo Cyfryzacji otwarcie pokazywane, aby każdy mógł zgłosić uwagi. Podobnych działań potrzebujemy też w innych obszarach: jeśli miasto wprowadza algorytm wyboru miejsc w przedszkolach, to powinno już na etapie tworzenia zbierać uwagi od zainteresowanych rodziców.

Co więcej, nowe technologie trzeba obudować systemem wymuszającym przejrzystość, audyty i ostrzeżenia. Algorytmy i e-usługi najczęściej wywołują szkody poprzez swoje błędy, a nie intencjonalne działanie ich mocodawców. Przejrzystość dokumentacji, wytłumaczalność sposobu działania, niezależny audyt pomagają te błędy wychwycić, o czym pisaliśmy w raporcie „AlgoPolska” razem z Alkiem Tarkowskim i Natalią Mileszyk, podobne rekomendacje padają w regularnie wydawanej pracy „alGOVrithms: state of play” tworzonej przez analityków z całego naszego regionu.

Tymczasem w Polsce dostęp do sposobu działania algorytmu losowania sędziów został uzyskany dopiero po latach sądowych zmagań. Kod źródłowy wciąż nie został upubliczniony, a w tym przypadku wątpię, żeby zawierał jakieś informacje niejawne, powinno więc to być prostym krokiem poprawienia przejrzystości.

A z tym związany jest krok trzeci: akceptacja tego, że błędy będą się zdarzać, co wymaga zbudowania mechanizmów odwołania i zadośćuczynienia. Wdrażanie nowych technologii zawsze niesie ze sobą ryzyko błędów. Można je ograniczać poprzez przejrzystość i audyty, ale nie da się ich wyeliminować.

Dlatego kluczowe dla urzędników powinno być stworzenie systemu oceny, czy wymyślone rozwiązanie niesie ze sobą wysokie ryzyko, oraz przemyślenie, co zrobić z potencjalnymi błędami. Samym obywatelom natomiast – oddanie możliwości odwołania się od algorytmicznych decyzji. Podobne procesy działają już na przykład w Kanadzie i Holandii. Kiedyś w dyskusjach roboczo nazwaliśmy propozycję takiego mechanizmu dla Polski Oceną Skutków Algorytmizacji, a pomysł został opisany w publikacji fundacji Moje Państwo.

Do wdrożenia powyższych punktów potrzeba wzmocnienia instytucji, ich zdolności egzekucji prawa krajowego i sprawnego wdrożenia regulacji unijnych, które w wielu obszarach mają potencjał poprawienia sytuacji. Słabość instytucji to problem ogólnopolski, obecny w wielu obszarach, a jego skalę pokazał nam chyba najwyraźniej covid, wywołując praktyczną zapaść Sanepidu.

Ważna jest wreszcie strona techniczna: poleganie w całości na big techu prowadzi do ubezwłasnowolnienia; utopijna wizja lokalnej technologicznej autarkii w oparciu o rodzime startupy jest fantazją. Niedawno Microsoft otworzył w Polsce swój chmurowy „region”, co pozwala urzędom korzystać z ich rozwiązań chmurowych, mając pewność, że dane pozostaną na serwerach w kraju. „Pogłębiacie naszą zależność od gigantów cyfrowych […], a polskie rozwiązania nie mogą się przebić” – skomentował na Twitterze Jan Zygmuntowski.

To zbyt uproszczona wizja świata. Chmury big techu są popularne, bo oferują tysiące usług, z których wiele jest po prostu najlepszym możliwym wyjściem we wdrożeniach dla wielkich organizacji. Bez stawania na ramionach gigantów grozi nam próba wynajdywania własnego, gorszego koła na nowo.

Jednocześnie transformacja technologiczna będzie generować setki obszarów, w których potrzebne będą rozwiązania skrojone na miarę, albo w których produkty rodzimych firm są konkurencyjne wobec tych dostępnych na przykład na chmurze giganta. Zadaniem państwa jest wyłapywanie tych okazji i tworzenie otwartych zamówień publicznych, w tym konkursów na mniejszych dostawców. W ten sposób możemy pomóc polskim firmom realizować coraz większe kontrakty, ale też uniknąć uzależnienia od pojedynczych zagranicznych dostawców.

Ostatni krok jest długoterminowy i najtrudniejszy: polega na głębokiej reformie edukacji oraz dofinansowaniu badań i rozwoju. Kryzys w polskim szkolnictwie jest opisywany w debacie publicznej o wiele lepiej, niż ja byłbym to w stanie zrobić. Natomiast o stanie publicznego finansowania nauki i rozwoju w Polsce świadczyć może wprowadzane przez Narodowe Centrum Nauki ze względu na mały budżet ograniczenie do dwóch liczby aplikacji o badawczy grant, który może złożyć jedna osoba.

Wydatki na badania i rozwój z publicznej kasy w Polsce w ostatnich latach nie rosną, wydajemy na ten cel około 60 euro na osobę rocznie. Tymczasem sam jeden europejski program rozwoju półprzewodników przeznaczy na ten cel około 20 euro na mieszkańca rocznie. Żeby skorzystać z tych unijnych pieniędzy, nie wystarczy napisać wniosku – trzeba najpierw własnymi inwestycjami rozhulać wewnętrzny potencjał naukowy i innowacyjny, żeby potem wygrywać w konkursach z firmami z Zachodu.

Obawa o przyszłość

Stworzenie przez Polskę gigaalgorytmu z dostępem do każdego okrucha wiedzy o nas w celu społecznej kontroli jest możliwe, ale niezwykle mało prawdopodobne. Po pierwsze, po prostu nas na to nie stać. Po drugie, społeczny sprzeciw z pewnością byłby ogromny, w końcu Polacy pokazali także w czasie covidu, jak potrafią buntować się przeciw obostrzeniom. Po trzecie, wątpię, żeby jakikolwiek rząd znalazł urzędników i wykonawców chętnych nad czymś takim pracować.

Powinniśmy się bać nie wszechpotężnego systemu opartego na zaawansowanej sztucznej inteligencji, a braku kontroli nad najprostszymi nawet algorytmami stosowanymi w urzędach. Nie nadmiaru zgromadzonych o nas przez państwo informacji, ale małej ilości złej jakości danych i wykonywanych w oparciu o nie błędnych analiz.

Według mnie równie niebezpieczne, ale o wiele bardziej prawdopodobne jest to, że nasze państwo w wykorzystywaniu technologii pozostanie w tyle, a błędów i społecznych szkód i tak się nie ustrzegnie. Bez systemu społecznej kontroli nad państwowymi technologiami, systemu audytów, odwołań i zadośćuczynienia ofiarom błędów utkniemy w medialnie nośnych historiach o nieudolnych urzędnikach, cwaniackich wykonawcach i cierpiących przez technologię obywatelach. Bez mających środki do egzekucji polskiego i europejskiego prawa instytucji my, obywatele, będziemy bezbronni wobec nadużyć firm i samego państwa.

Porażkę poniesie administracja popadająca w skrajności oparcia się w pełni na technologiach „z Zachodu” niczym polskie gospodynie na „chemii z Niemiec”. Porażkę poniesie też ta naiwnie wierząca, że jesteśmy „silni, zwarci, gotowi”, a geniusz polskiego innowatora umożliwi stworzenie technologii w każdym obszarze lepszych niż powstały gdziekolwiek na świecie. Bez nowoczesnej edukacji nie będzie obywateli rozumiejących technologie, a bez finansowania nauki i innowacyjności nie będzie rodzimych technologii.

W pracy „Foresight Cyfrowy 2035” powstałej dla Polskiego Instytutu Ekonomicznego, we współpracy z ponad setką ekspertów, wyszły nam cztery kluczowe scenariusze rozwoju polskiego e-państwa. Budująca zaufanie administracja z dobrym finansowaniem innowacji może zapewnić nam awans rozwojowy. Zamknięta na obywatela, pogrążona w nieufności, z niskim poziomem finansowania innowacji prowadzi nas w kierunku państwa z e-papieru. Podobne scenariusze powstały dla perspektywy rozwoju polskiej gospodarki i społeczeństwa. Wciąż mamy wybór, ale z każdym kolejnym rokiem nasze okno możliwości będzie się przymykać.

Tekst powstał dzięki finansowaniu projektu Macieja Kuziemskiego w ramach 2022 Landecker Democracy Fellowship.