Žemiau pateikiamos eilutės apie „Tesla“ ir „SpaceX“ įkūrėjo Elono Musko konfliktus su finansų reguliavimo funkciją atliekančia JAV vertybinių popierių ir biržos komisija (SEC) – tai ne kokio jauno XXI a. poeto darbas. Jos paimtos iš eilėraščio, kurį parašė programinę įrangą „Generative Pre-Trained Transformer 3“ naudojantis kompiuteris.
SEC tarė: „Muskai,/ Tavo žinutės – tikra pragaištis./ Taip ir darbo neteksi, jei ir toliau/ Rašinėsi, vos ateina naktis.“/ Muskas sušuko: „Kodėl?/ Jos daug kam parankios/ Nerašau vien didžiosiom raidėm/ Ir jos niekad nebūna nešvankios.“/„Bet jos gali rinkoms pakenkti –
/Štai dėl ko mes įpykę./ Nors tu ir genijus,/ Ir milijardierius,/Gal gali nebebūti toks šmikis?!“
Programinę įrangą, dar vadinamą GPT‑3, sukūrė San Fransisko dirbtinio intelekto laboratorija „OpenAI“, kurią įkurti padėjo ir pats E. Muskas. GPT‑3 – tai naujausias pasiekimas vienoje labiausiai tyrinėtų dirbtinio intelekto (DI) sričių – bandymuose išvystyti programas, gebančias kurti sudėtingus, į žmonių kūrybą panašius tekstus.
Programinė įranga sukurta remiantis „kalbos modelio“ idėja. Tokiu modeliu kalbą bandoma išreikšti statistika – t. y., atrasti, kokia tikimybė, kad tam tikrą žodį seks tam tikras kitas žodis, pavyzdžiui, kaip dažnai žodį „raudona“ seks žodis „rožė“. Tokią pat analizę galima atlikti ir su sakiniais ir net ištisomis pastraipomis. Tada programai galima duoti užuominą – pavyzdžiui „Silvijos Plat stiliaus eilėraštis apie raudonas rožes“ – o ji, peržiūrėjusi turimus statistinių santykių rinkinius, sukurs apibūdinimą atitinkantį tekstą.
Tačiau sukurti tokį kalbos modelį nelengva. Tam panaudojamas DI, tiksliau, viena iš DI šakų – mašinų mokymasis. Peržiūrėjęs milžiniškus kiekius rašytinio teksto ir bandymų klaidų metodu tobulindamas teksto nuspėjimo funkciją, kompiuteris gali įvykdyti itin sudėtingą užduotį atrasti žodžių statistinius ryšius.
Kuo daugiau teksto pateikiama algoritmui, tuo jis tampa sudėtingesnis ir pasiekia geresnių rezultatų. O GPT‑3 išsiskiria savo mastu. GPT‑3 naudojamas modelis turi 175 mlrd. parametrų, kurių kiekvieną galima tobulinti atskirai – toks sudėtingas nebuvo dar nė vienas iš jo pirmtakų. Programa buvo mokoma didžiausiu iki šiol surinktu tekstų rinkiniu, sudarytu iš knygų, „Vikipedijos“ ir „Common Crawl“ (milijardų puslapių iš kiekvieno interneto kampelio paimtų tekstų).
Kartais rezultatai įspūdingi. Liepos viduryje „OpenAI“ pateikė keliems išrinktiems asmenims ankstyvą programinės įrangos versiją ir leido patyrinėti, ką ji geba padaryti. Menininkas Arramas Sabeti pademonstravo, kad GPT‑3 gali rašyti apsakymus (ji parašė šaltakraujišką detektyvą, kurio pagrindinis herojus buvo Haris Poteris („Harry Potter, in ratty tweed suit, unpressed shirt and unshined shoes, sits behind the desk looking haggard, rumpled and embittered...“ / „Nutriušusiu tvido kostiumu ir nelygintais marškiniais apsivilkęs bei nenublizgintus batus apsiavęs Haris Poteris sėdėjo už stalo ir atrodė išvargęs, susitaršęs ir susierzinęs...“)), komedijas ir net poeziją (programa parašė straipsnio pradžioje pateiktą eilėraštį, pavadintą „Elon Musk by Dr Seuss“ („Dr. Seusso eilėraštis apie Eloną Muską“)). DI tyrėjas ir verslininkas Elliotas Turneris pademonstravo, kad programa geba išversti nemandagias žinutes į mandagią kalbą – o tai tikrai būtų naudinga nesvetinguose interneto kampeliuose. Apklausti žmonės dažnai nesugebėdavo atskirti, kuriuos žinių straipsnius parašė žurnalistai, o kuriuos – kompiuteris.
Turint omenyje, kad „OpenAI“ tikisi kada nors GPT‑3 parduoti, rezultatai daug žadantys. Tačiau programa toli gražu ne tobula. Kartais atrodo, kad ji ne kuria tekstą, o atkartoja atmintinai išmoktas kalbos ištraukas. O dar svarbiau, kad žodžių derinimas pagal statistinę tikimybę neatstoja aiškaus pasaulio suvokimo. GPT‑3 dažnai sukuria gramatiškai teisingą tekstą, kuris neturi jokio ryšio su realybe – pavyzdžiui, pareiškia, kad „nušokti iš Havajų į 17 reikia dviejų vaivorykščių“. „Programa neturi vidinio pasaulio modelio – ji apskritai neturi jokio pasaulio modelio – todėl negali samprotauti, nes tam privalu tokį modelį turėti“, – teigia Santa Fė instituto kompiuterių mokslo specialistė Melanie Mitchell.
Norint išsklaidyti iliuzijas ir aiškiai pamatyti, kad programa nemąsto, tereikia užduoti jai klausimų. DI ir kvantinių kompiuterių srityje patirties turintis tyrėjas Michaelas Nielsenas paviešino pokalbį su GPT‑3, kuriame programa nedvejodama atsakė į svarbų atvirą klausimą apie galimą kvantinių kompiuterių galią. Tačiau dr. M. Nielsenui paprašius paaiškinti, kaip jai pavyko atsakyti į klausimą, ji sutriko. Nesuprasdama, ko jos klausia, GPT‑3 ėmė teikti miglotus atsakymus ir net keturis kartus pakartojo standartinę frazę: „Apgailestauju, bet neturiu laiko paaiškinti svarbiausių priežasčių, kodėl atsakymas neigiamas.“
GPT‑3 iš interneto išmoko ir kitų dalykų, kurių „OpenAI“ jos išmokyti greičiausiai nenorėjo. Tokie žodžiai kaip „juodaodis“, „žydas“, „moteris“ ar „gėjus“ dažnai paskatina programą kurti rasistinius, antisemitiškus, homofobiškus ir moteris žeminančius tekstus. Šį rezultatą taip pat galima paaiškinti tuo, kad ji veikia naudodama statistiką ir neturi jokio pasaulio suvokimo. Programa iš dalies mokyta iš interneto surinktais tekstais, todėl ji pastebėjo, jog tokie žodžiai kaip „moteris“ juose dažnai pasitaiko kartu su moteris žeminančiais komentarais, todėl paprašyta tą koreliaciją atkartoja.
Ši problema – aktuali tema DI tyrimų srityje. Pavyzdžiui, veidų atpažinimo sistemos liūdnai pagarsėjo tuo, kad kur kas geriau atpažįsta baltaodžių, o ne juodaodžių veidus, nes jų mokant programas pateikiama kur kas daugiau. DI tyrėjai stengiasi šią problemą išspręsti. Praeitais metais IBM išleido mokymui skirtų veidų atvaizdų rinkinį, kuriame rasinė įvairovė buvo kur kas didesnė. Žinant, jog „OpenAI“ buvo įkurta tam, kad tirtų DI sistemų keliamų pavojų švelninimo būdus, GPT‑3 klaidos į akis krenta dar labiau. 2019 m. pasirodžiusi programos pirmtakė GPT‑2 turėjo filtrą, kuriuo bandyta problemą išspręsti apribojant jos gebėjimą kalbėti jautriomis temomis.
Tačiau panašu, kad šioje srityje pažangos padaryta nedaug. Nors ir atrodo, kad žalingus stereotipus ji kartojo taip pat dažnai, kaip ir jos pirmtakė, GPT‑3 buvo išleista be filtro (kai šitai tapo akivaizdu, naujam modeliui filtras pridėtas). Nežinoma, kiek GPT‑3 mokymui naudotos medžiagos „Open AI“ patikrino atlikdama kokybės kontrolę, tačiau turint omenyje, kiek naudota teksto, akivaizdu, kad tai padaryti būtų nelengva.
O ateityje bus tik sunkiau. Iki šiol iš visų DI sričių daugiausiai duomenų ir kompiuterinės galios buvo skiriama vaizdinei sričiai, tačiau dabar ją pralenkė kalba, ir panašu, kad ši tendencija tik stiprėja. Netrukus GPT‑3 gali pralenkti kitas, dar sudėtingesnis ir daugiau duomenų naudojantis modelis. Kaip kartą pasakė tikrasis vaikų rašytojas Dr. Seussas: „Kuo daugiau skaitysi, tuo daugiau žinosi“. Panašu, kad ši pamoka aktuali ne tik vaikams, bet ir mašinoms.