Vladavina algoritama i bez pomoći korumpiranih političara vodi u svijet bez izbora

Tko bi rekao da će jedna Albanija biti svojevrsna predvodnica u umjetnoj inteligenciji u cijelom svijetu i svojevrstan laboratorij za najradikalniji eksperiment u povijesti vlasti! I ne, nisu Albanci smislili neki svoj napredni ChatGPT, ali jesu iskoristili sve blagodati AI-ja kako bi porodili Diellu, prvu AI ministricu na svijetu koja donosi odluke o milijardama eura javne nabave. Albanski premijer Edi Rama predstavio ju je u rujnu prošle godine kao pobjedu nad korupcijom i toliko mu se omilila da je nekih šest tjedana poslije objavio da je nova AI ministrica 'trudna' i da će 'poroditi 83 nova AI djeteta'.

– Želim podijeliti da je Diella trudna, očekujemo 83 djece. Svako je dijete za 83 zastupnika iz Socijalističke stranke. Svako dijete s umjetnom inteligencijom podupirat će jednog zastupnika, voditi bilješke, davati prijedloge i sažimati sjednice kada zastupnici nisu prisutni. To označava novo doba integracije umjetne inteligencije u albansku politiku – rekao je tada slavodobitno Rama.

No, dok Rama slavi, uklanjanje ljudske diskrecije, a onda i endemske korupcije, ono što na prvi pogled izgleda kao trijumf transparentnosti, zapravo je prvi korak prema poretku koji teoretičari nazivaju 'algoarhijom'. Njima se pridružuju i politolozi koji to vide kao početak nove ere prelaska iz klasične birokracije u algokraciju, sustav u kojem vlast više ne izdaje naredbe, nego jednostavno programira našu stvarnost tako da alternativa ne postoji. Kažu oni da ulazimo u doba algokracije (ako već i nismo u njemu), koja označava vladavinu algoritama i prijeti da će željezni kavez birokracije o kojem je pisao Max Weber zamijeniti nevidljivim, ali neprobojnim silikonskim rešetkama. Taj prelazak ne znači samo tehnološku nadogradnju već i tektonsku promjenu same srži ljudske civilizacije. Da bismo razumjeli razmjere toga, moramo se vratiti stotinu godina unatrag, do Maxa Webera i njegova željeznog kaveza racionalnosti.

Od Webera do koda

Da je Weber, otac moderne sociologije, živ, vjerojatno bi u Dielli prepoznao konačnu mutaciju svog proročanstva. Birokraciju je opisao kao vrhunac racionalno-legalne vlasti i kao aparat pravila koji obećava predvidljivost. Za njega je to bio spor stroj, često frustrirajući, ali i dalje stroj kojim upravljaju ljudi (koji ima lice), s kojima se ipak 'moglo' i koji su morali navesti 'razloge'. Novinar i voditelj Krešimir Mišak kaže kako ljudi ne vide da smo mi zapravo okruženi algoritmima mnogo dulje od elektroničke faze.

– Prije ove, danas još u začetku, vladavine umjetne inteligencije svijetom je vladao drugi oblik analogne inteligencije, pravni sustav ili država. Dakle, gotovo jednak sustav algoritama i procedura, samo s ljudima u srži tog sustava. Međutim, život se ne odvija u crno-bijelim okvirima, nego u nekakvoj sivoj zoni raznih nepredviđenih situacija i stvari, pri čemu treba odstupiti od nekog pravila. U tom analognom sustavu mogli ste, recimo, naići na ljubaznu službenicu koja bi prekršila neko pravilo da vam pomogne i tako vam se tu pružila fleksibilnost koje u algokraciji nema – kaže nam Mišak.

Možemo reći da nas je tradicionalna birokracija navodila da prihvatimo autoritet, a da nas algokracija, jednostavno, usmjerava onamo gdje nema drugog puta: bez pogovora, bez mogućnosti osporavanja i bez mogućnosti prigovora. 'Stara vlast' funkcionira, recimo, kao prometni znak koji vam kaže da ne smijete skrenuti lijevo, ali vi to i dalje fizički možete učiniti i riskirati kaznu. To je birokracija, ona počiva na vašem pristanku da poštujete pravila. No nova, algokratska vlast funkcionira kao fizička ograda na cesti. Ne birate hoćete li skrenuti lijevo – vi to jednostavno ne možete jer je put tako sagrađen. U takvom sustavu više ne trebamo vođu kojeg poštujemo, nego samo kôd koji nema alternativu, jer gdje nema izbora, nema ni mogućnosti pobune.

Algoritmi ne poznaju 'ne'

Glavna privlačnost algoritama njihova je učinkovitost. Deloitte je još 2017. procijenio da bi automatizacija u administraciji mogla uštedjeti milijarde dolara i milijune radnih sati. U svijetu u kojem se država percipira kao skupa, spora i korumpirana, 'kôd koji radi' zvuči kao slamka spasa. No tu se krije opasnost koju profesor na Pravnom sveučilištu u Virginiji Michael Livermore naziva 'algoarhijom'. Liberalna demokracija, povijesno gledano, živi od trenja. Sudovi blokiraju vladine odluke, službenici traže dodatna obrazloženja, procedure usporavaju procese. To nije kvar na sustavu, nego osigurač i način da se politička volja ne pretvori u sirovu moć bez kočnica. Algoritamsko upravljanje teži pak suprotnom: apsolutnoj optimizaciji. Kad javnu funkciju jednom prevedete u parametre, sustav je provodi strože od bilo kojeg činovnika. Algoritam nema loš dan, nema grižnju savjesti i, što je najvažnije, nikada ne dovodi u pitanje etičnost naredbe. 'Savršena' učinkovitost koju obećava albanska Diella zapravo je eliminacija ljudskog faktora koji bi mogao reći 'ne'.

Jedan od najsnažnijih argumenata za algokraciju ​njezina je navodna neutralnost. Matematika ne mrzi, zar ne? Pogrešno. Istraživanja kao što je 'Gender Shades' (proveo ga je tim autora koje predvodi Joy Buolamwini) pokazala su da algoritmi za prepoznavanje lica mnogo češće griješe kad su posrijedi tamnopute žene nego u slučaju bjeloputih muškaraca.

Virginia Eubanks u svojoj knjizi o digitalnom upravljanju siromaštvom pokazuje kako marginalizirane skupine nose najveći teret nadzora. U javnoj nabavi poput one u Albaniji to može izgledati benignije, ali logika je ista. Ako su povijesni podaci na kojima je Diella učila bili kontaminirani nekim poslovnim praksama, sustav može te prakse zacementirati kao jedini ispravan put eliminirajući nove, male igrače koji se ne uklapaju u unaprijed definirane parametre. Korupciju možete izbaciti iz ljudi, ali isto je tako možete unijeti u same parametre sustava. Mišak kaže da algokraciju vidi kao noćnu moru, a ne kao napredak u upravljanju, pa daje kao primjer zamišljeni javni natječaj.

– U aglokraciji algoritam će, recimo, izabrati najjeftiniju ponudu. Međutim, najpovoljnije ne mora nužno biti i najbolje. Kad je riječ o sofisticiranim stvarima ili onima koje zahtijevaju opciju koja može na ispravan način odraditi stvari te zahtijeva specijalizirano znanje, najjeftinije nije i najbolje. Svatko može doći s najpovoljnijom ponudom na taj način i 'uzeti posao'. Hoću reći da nije uvijek taj algoritam pravednosti istinski pravedan jer, jednostavno, život se ne odvija tako – objašnjava Mišak.

Slučaj Kina: društveno kreditiranje

U zapadnoj mašti kineski sustav društvenoga kredita često se svodi na jedan distopijski broj koji određuje vaš život. Stvarnost je, kako naglašava institut MERICS, fragmentiranija, ali ništa manje poučna. Kina je važna ne zbog znanstvene fantastike, već zbog hladne lekcije o infrastrukturi, jer onoga trenutka kada država poveže podatkovne registre s automatskim posljedicama, stječe novu vrstu moći. Pa ako, recimo, kupite 'pogrešne' proizvode ili se družite s 'pogrešnim' ljudima, algoritam vam može automatski uskratiti pravo na vožnju brzim vlakom ili upis djeteta u bolju školu.

– To je samo početak. Za mene se pojam algokracije može svesti na samo jednu riječ: doviđenja. Potpuno mi je neshvatljivo da netko u tome vidi nešto dobro, jer algokracija nije ništa drugo nego obična ucjena. Ljudi griješe jer korupciju doživljavaju kao apstraktan pojam fokusirajući se na sitne prijestupe, a zanemaruju da je sustav korumpiran na najvišim, gotovo legalnim razinama velikih institucija i korporacija. Problem je što će se pod krinkom borbe protiv korupcije algoritam uvući u svaku poru našeg života. Doći ćemo do faze u kojoj će se, recimo, plaćanje automehaničaru u gotovini ili međusobno pomaganje smatrati korupcijom koju će algoritam nadzirati – govori Mišak.

U konačnici, da bi takva vladavina algoritama bila moguća, najprije se posljednjih dvadeset godina morala izgraditi mreža elektroničke ovisnosti. Danas smo ucijenjeni na stotinu načina; trebaju nam kartice, tokeni i pametni telefoni da bismo uopće funkcionirali i komunicirali. Tek kad je ta mreža dovršena, stvoreni su uvjeti da algokracija postane alat kojim se ljudi mogu aktivno ucjenjivati. Čini se da to vrijeme ubrzano dolazi, ako već i nije tu.

Diktiranje stvarnosti

Odnos moći korjenito mijenja sposobnost računala da preuzme ulogu kontrolnog autoriteta umjesto da bude samo objekt rada. Programski jezici omogućili su strojevima ne samo da upozore na pogrešku već i da sugeriraju ispravnu metodu rada. Za razliku od 'nepismenih' strojeva industrijskoga doba koji su samo izvršavali naredbe, novi komuniciraju s pozicije autoriteta. Recimo, kad radnik u Amazonovu skladištu ili Uberov vozač dobije obavijest od aplikacije, on ne komunicira s menadžerom, nego s kodom koji je postavio okvire u kojima radnik mora djelovati da bi bio plaćen. To je algokracija na djelu, gdje je autoritet utkan u radni proces.

– Mogli bismo reći da je algokracija zapravo diktiranje stvarnosti jer će algoritmi biti programirani da određuju što je istinito, a što nije. Povijest totalitarizama uči nas da su takvi sustavi uvijek micali nepoželjne podatke u stranu kako bi jačali neku drugu, željenu priču. Ovdje sve ovisi o tome tko je taj sustav programirao. Iako su implikacije strašne, ljudi se lako hvataju za te stvari jer su praktične, baš kao što je danas slučaj s umjetnom inteligencijom. Dobili smo novu vrstu interneta koja može lektorirati, prevoditi ili pisati tekstove, ali postavlja se ključno pitanje: gdje je tu čovjek i komu ti više trebaš? Priče o tome da ćemo mi nadzirati i kontrolirati te procese nisu realne. Jedini način da čovjek uistinu živi jest da uopće ne sudjeluje u algokraciji, no to je praktički nemoguće ako želi biti dio suvremenog svijeta. Da bi se izbjegao taj utjecaj, morao bi se potpuno ugasiti i isključiti iz sustava – navodi Mišak.

Korak prema transhumanizmu

Algokracija je, zapravo, esencijalni alat transhumanizma, koji obećava poboljšanje čovjeka, pa čak i spas od smrti, ali ne individualnom nadogradnjom, nego potpunom integracijom u 'internet tijela i mozgova'. Ideja da će algoritmi vladati pravednije od ljudi jest privlačna, ali pitanje je hoćemo li zahvaljujući algoritmima zaista dobiti pravdu ili ćemo se samo približiti tehnokraciji, a onda i transhumanizmu.

– Povijest nas uči da su diktature uvijek bile efikasnije od demokracije, ali uza strašnu cijenu pretvaranja ljudi u robove. Algokracija ide tim putom, ona je sustav u kojem netko drugi misli i organizira sve umjesto vas. Čak i kad se predstavlja kao zaštita, poput algoritama koji vam, recimo, brane rad izvan radnog vremena, zapravo vam oduzima slobodu djelovanja. Ulazak umjetne inteligencije na političku scenu nije ništa drugo nego najava skorašnje katastrofe – upozorava Mišak.

Pravo na neposluh

Ulazimo u doba u kojemu će granica između softvera i države postati nevidljiva. Algokracija nam obećava spas od ljudskih slabosti, korupcije, sporosti i nepravde. I u mnogim sferama, poput prometa ili bazične administracije, to je poželjno. No u sferi moći učinkovitost je često neprijatelj slobode. Demokracija je, po definiciji, bučna, spora i često neučinkovita jer zahtijeva dijalog. Ako dopustimo da nas sjaj 'savršene učinkovitosti' zaslijepi, riskiramo stvaranje svijeta u kojemu će građanstvo biti svedeno na korisničko iskustvo, a pravda na optimizaciju koda.

Sve se na kraju, kako navodi Mišak, može svesti na sukob između dvaju suprotstavljenih pojmova: čovjeka i čovječanstva.

– Dok čovjek uistinu postoji, čovječanstvo je tek kolektivni pojam, svojevrsni kiborg. Za upravljanje tim apstraktnim čovječanstvom potrebni su algoritmi, ali čovjeku oni ne trebaju. Čovjek je sâm po sebi prirodni algoritam, on prati ritmove proljeća, ljeta, zime, gladi i sitosti, no taj je prirodni proces fraktalan i geometrijski, a ne linearan i matematički. Pitanje algokracije stoga nas izravno suočava s pitanjem čovjekove naravi. Moramo se zapitati je li taj sustav doista u skladu s našom naravi ili on zapravo ne poboljšava život pojedinca, nego isključivo jača sâm sustav. Sustav, naime, postaje snažniji što ima više pravila, a algokracija je u tom smislu vrhunac sustavne kontrole – zaključuje Mišak.

Na kraju treba reći da najviša ljudska vrlina u doba algoarhije neće biti brzina, nego sposobnost neposluha i zahtjev da nam se objasni 'zašto', čak i kada stroj kaže da je sve savršeno.