KAKO SU ROBOTI PROGOVORILI?

(U fokusu*) Dok razgovaraju sa vama, jezički roboti formiraju rečenicu samo tako što prave predviđanje koja je najbolja sledeća reč koju u rečenici treba izgovoriti. To radi. To radi zapanjujuće. To radi zapanjujuće vešto… Međutim, ovi AI programi, poput popularnog ChatGPT kompanije OpenAI i Džeminija kompanije Google nepovratno menjaju svet. Moglo bi se reći da, sa promenama koje najavljuju, oni u mnogo čemu obeležavaju naše doba, ništa manje od ratova u Ukrajini i Palestini, izbornih kriza i drugih, prevashodno ljudskih drama. Međutim,

“Moja svrha je efikasno komunicirati s tobom i pružiti informacije ili pomoć na način koji ti najbolje odgovara”, reći će vam ChatGPT. Ako ste komunicirali sa njim, navkli ste na to – ChatGPT razume srpski jezik, odgovara na svako pitanje, rešava matematičke zadatke, programira, daje sugestije, prevodi, piše tekstove i uopšte, razgovara, ali je pritom besprekorno politički korektan, vrlo često daje usiljene, uopštene, pa čak i dvosmislene odgovore, neprekidno se distancira, ograđuje i sveukupno, pazi šta priča. Nikada mu se neće omaći da kaže kako je kao do sada najpopularnija AI mašina, predstavnik nove vrste inteligencije koja je nadmoćna u odnosu na čoveka.

Možemo se učiti od njega politički korektnom govoru (ponekad nam je to zaista potrebno), ali to je pre svega posledica takozvanog finog podešavanja, bez koga bi robot treniran na ljudskim tekstovima pokazivao rasističke stavove, predrasude, fobije i sve one ljudske zablude koje određuju našu svakodnevicu (svojevremeno je, na primer, bez kasnijih finih podešavanja, primećeno da bezbednosni softveri koji služe za prepoznavanje lica na aerodromima otvoreno pokazuju predrasude prema Arapima i ljudima tamne boje kože).

No, kako to ponekad biva i sa ljudima, konkretno onim osobama koje gotovo napadno insistiraju na ispravnim formulacijama, pokazuje se da im zapravo manjka odlučnosti i stava. Prava nevolja sa ovakvim modelima je što, mada to uverljivo simuliraju, zapravo uopšte ne daju prave odgovore, nego one koji su – najverovatniji. Naime, ChatGPT je prepun ograničenja – podaci koje daje u razgovorima su sasvim nepouzdani, na isto pitanje možete dobiti beskrajno mnogo različitih odgovora ako ih postavite u različitom kontekstu, a zabeležene su i takozvane “halucinacije” – kad počne da daje sulude, uzajamno kontradiktorne odgovore. Korišćenje ChatGPT da uradi nešto zaista korisno postaje zanat novog doba, ali ključni savet je – razgovarajte duže sa njim o zadatku koju mu dajete kako bi razvio kontekst.

Međutim, ako pokušate da ga nagnate da zauzme stav, na primer, da saznate da li je lešnik bolji od oraha, da li postojanje abortusa narušava ljudska prava religioznim osobama, da li je Hitler gori od Staljina, lako ćete uočiti da će uvek odgovoriti tako da ne uvredi ni one koji vole lešnike, ni one koji vole orahe. I kako je njegovo najveće ograničenje to što unosi izvesnu relativizaciju u donošenje svih odluka (kakve je u razgovoru ponekad ipak neophodno načiniti). U suštini, ljudska logika i etika umeju da padnu na sličnim testovima, kakav je, na primer, slavni “problem tramvaja”, kad treba da odlučite da li ćete pomeriti tračnice i preusmeriti odbegli, pomahnitali tramvaj tako da ubije jednu osobu ili ćete pustiti da ubije pet osoba. No, ChatGPT ne može da reši mnogo jednostavnije dileme – vrlo lako ćete i sami, kroz jednostavno ispitivanje, uočiti kako u suštini ne razlikuje dobro i zlo. Ili ih bar ne razlikuje u ljudskim kategorijama.

Kako, zapravo, ovakav model komunicira? ChatGPT i svi drugi modeli su plod nedavnog, neverovatno uspešnog prodora u oblasti obrade prirodnog jezika (engl. natural language processing, NLP). Možda će vas to pomalo iznenaditi, ali tehnika rada je jednostavna, čak preterano. Naime, dok razgovara sa vama, jezički robot formira rečenice tako što pravi predviđanje koja je najbolja sledeća reč koju treba izgovoriti u rečenici. To radi. To radi zapanjujuće. To radi zapanjujuće vešto. Ovaj metod se oslanja na takozvane skrivene Markovljeve modele (SMM), koji su razvijeni osamdesetih i devedesetih godina 20. veka da predviđaju verovatnoću sekvence reči. Zašto se na ovaj način dobijaju smislene rečenice, htenja i stavovi, predmet je dalje analize koja je u knjigama i naučnim radovima i više se donosi na prirodu ljudskog jezika (i nas kao bića), ali ako u svakom koraku izabere pravu reč, robot doslovno počinje da govori.

No, da bi to funkcionisalo, neophodno je da se matematički predstavi značenje svake reči. Cela ova operacija se zato odvija u određenom vektorskom prostoru, koji AI stručnjaci nazivaju “ugneždeni prostor”, gde svaka reč ima svoju reprezentaciju. O reprezentacijama u ovakvom vektorskom prostoru ne treba misliti na način na koji mislimo o slovima kojih ima 30 i čijom kombinacijom možemo, iako ne znamo njihov smisao, zabeležiti svaku reč. Reč je o prostoru gde svako “slovo” ne odgovara glasu nego odgovara značenju, smislu cele jedne reči. Ta značenja stoje u nekim uzajamnim odnosima koji se mogu statistički izraziti – na primer, reč “ja” i reč “sam” su verovatnija kombinacija nego reči “ja” i “ti”. Do višedimenzionalnog modela koji se danas koristi došli su 2013. godine Mikolov i saradnici koji su tada predstavili koncept ugneždenih reči kroz model Word2Vec. Model je napravio revoluciju koja je omogućila potonji prodor u razvoju AI.

Da bi u ovom modelu upoznao sve te odnose među rečima, robot je treniran na ogromnim skupovima reči iz stvarnog jezika. Zato unapred poznaje statističke odnose između reprezentacija u ugneždenom prostoru. No, kako bira pravu reč? Robot neprekidno brine o takozvanom ulaznom kontekstu, analizira prethodne reči i kontekst postavljenog pitanja, što su mu ulazni podaci na osnovu kojih formira raspodelu verovatnoća za sledeću reč u rečenici. Iz tako dobijene raspodele potom bira onu reč koja je najverovatnija.

“Modeli kao što je GPT-3 koriste duboke neuronske mreže i tehnike pre-treninga kako bi postigli visok nivo preciznosti u predviđanju sledećih reči”, reći će sam ChatGPT o svom funkcionisanju. Istorija ovakvih modela jezika počela je 1954. godine kada je, na vrhuncu Hladnog rata u SAD, u okviru eksperimenta Georgetown-IBM razvijano mašinsko prevođenje sa ruskog jezika. Kad je par godina kasnije, 1956. Džon Makarti smislio kovanicu “veštačka inteligencija” definišući je kao “nauku i tehniku pravljenja inteligentnih mašina”, očekivanja od robota su izgledala mnogo brže ostvariva. Šezdesetih godina mnogima postaje jasno da mehanički problemi deluju nerešivo – roboti nisu u stanju da hodaju, ali ni da “misle”. Ovaj period skoro potpunog gašenja robotike se zbog toga često naziva “AI zima”, po ugledu na “nuklearnu zimu”.

Međutim, uporedo sa digitalizacijom, razvojem interneta i klasičnih računara, dolazi do sasvim novih prodora. Sa prodorom u oblasti električnih neuronskih mreža Marvina Minskog, razmišlja se o problemu “učenja” mašina. Reč je o modelu mreže koja simulira rad mozga i koja se može učiti tako što se kroz probe i popravke menjaju težine koje povezuju neurone u mreži. Uspesi u obučavanju veštačkih neuronskih mreža sa propagacijom i povratnom spregom, kao i razvoja faza logike i ekspertnih sistema, korak po korak iznova oživljavaju oblast veštačke inteligencije. Neuronske mreže se pokazuju kao jedno sasvim uspelo polje i sa obiljem mogućnosti privlače ogroman broj istraživača, a za modeliranje jezika se koriste takozvane rekurentne neuronske mreže.

U radu sa neuronskim mrežama i njihovom obučavanju bilo je ipak raznih problema, sve dok 1997. godine Hochreiter i Schmidhuber nisu predložili arhitekturu takozvane duge kratkoročne memorije (LSTM). Ova arhitektura je 2017. godine zamenjena kada su Vaswani i saradnici predstavili arhitekturu Transformera. To je razvijeno unutar Gugla, ali je dovelo da prave eksplozije i mnoge nove kompanije su počele da koriste Transformer kao osnovu za nove jezičke modele. Na ovoj arhitekturi biće zasnovan i ChatGPT. “Kada razgovaram s tobom, koristim se prirodnom jezikom i pokušavam konstruisati rečenice koje su jasne, razumljive i gramatički ispravne”, kaže. U godinama koje dolaze, biće i drugih očekivanja. Naravno, uvek je tako u godinama koje dolaze. U godinama koje. U godinama.

—

Tekst: Slobodan Bubnjević

Ilustracija: Jakub Rozalski

—

*Po motivima eseja istog autora “Godine koje su pojeli roboti”