Edita Mačienė, IT įmonės „Cognizant“ vyriausioji duomenų analitikė, dalijasi, kas kitais metais bus svarbu didžiųjų duomenų srityje.
Duomenų platformų ir debesijos kaštų optimizavimas
Didžiųjų duomenų konferencijoje Vilniuje („Big data and RPA Europe“) net keletas pranešimų buvo dedikuotų kaštų sekimo ir optimizavimo klausimui. Šią tendenciją pastebime ir tarp savo klientų. Įmonės nori reguliariai peržiūrėti patiriamus kaštus debesijos ir duomenų platformų paslaugose. Tad kaip tas optimizavimas veikia – tai gali būti tiek techninis, tiek organizacinis pokytis.
Pirmiausiai yra peržiūrimi naudojami debesijos resursai ir kokiais tikslais įmonėje jie naudojami, kokie veiksmai išaugina kaštus. Kitas žingsnis yra švieslentės resursų vartojimo stebėjimui (angl. usage dashboards), sekti kokios komandos ir kiek resursų naudoja, saugiklių, limitų sudėjimas nenumatytam vartojimo apimties išaugimui. Šalia visa to įmonės gali peržiūrėti ir tobulinti pasirinktą infrastruktūrą, edukuoti vartotojus kaip tinkamai naudotis debesijos paslaugomis išliekant sąmoningiems apie reguliariai patiriamas išlaidas bei skirti atsakingus asmenis tokių išlaidų sekimui atskirose komandose.
Nuo eksperimentavimo prie produkcijos
Matome didelį augimą įmonių, kurios eksperimentuoja su DI sprendimais versle, testuoja įvairius generatyviojo DI kalbos modelius. Tačiau daug šių eksperimentų nepasiekia inžinerinio įgyvendinimo ar paleidimo į produkciją stadijos. Specialistai susiduria su tokiais iššūkiais, kaip atsiperkamumo ir verslo vertės parodymas (angl. ROI), dideliais kūrimo ir palaikymo kaštais.
Kitas aspektas – daug kompanijų eksperimentuoja, bet dar nėra pasiekusios pakankamos brandos duomenų srityje. Nors naujųjų, jau apmokintų kalbos modelių taikymas, stipriai supaprastina DI integravimo versle procesą (nereikia specialistų, kurie kurtų – apmokintų duomenų modelį), kokybiškiems rezultatams gauti dažnais taikymo atvejais reikalinga turėti kokybiškus duomenis, dokumentacijas, tinkamai aprašytus ir kataloguojamus vidinius duomenis. Didžiuosius kalbos modelius nesudėtinga testuotis, tačiau DI produktizavimui reikalingi srities specialistai ir tam paruošta infrastruktūra.
Mažieji kalbos modeliai
Panašu, kad 2023 metų prognozės tvirtinasi, ir vis populiarėja mažesnieji kalbos modeliai (angl. small language models over LLMs), padedantys stipriai mažinti palaikymo kaštus. Kai kuriose srityse šie modeliai – apmokinti pagal mažesnę grupę specifinio domeno duomenų duoda pakankamai gerus ar dar net geresnius rezultatus.
Konferencijoje teko pamatyti taikymo pavyzdžių tokių kaip – mažųjų ir didžiųjų kalbos modelių efektyvumo palyginimas medicinos srityje. Pademonstruotas BERT modelių apmokintų twitter/X duomenimis naudojimas kito socialinio tinklo komentarų sentimento analizei.
DI specifinių vektorinių duombazių naudojimas ir optimizavimas
Vektorinės duomenų bazės dažnai turi jau integruotus vektorių palyginimo algoritmus, kurie palengvina panašių vektorių paiešką. Pavyzdžiui, jeigu vektorius atstovauja įmonės dokumentą, toks algoritmas gali padėti surasti semantiškai arba teksto panašumu artimiausius kitus dokumentus. Šios duomenų bazės naudingos kuriant rekomendacijų sistemas, naudojant kalbos modelius ar algoritmus konteksto papildymui (angl. RAG).
Galime įsivaizduoti, jei duomenų turime labai daug, tokių duomenų bazių palaikymas gali brangiai kainuoti. Dėl šios priežasties specialistai ieško optimizavimo būdų, kaip sumažinti kaštus mažinant vektorių dydį (angl. dimension reduction) ar duomenų tikslumą, koks būtų pakankamas duomenų tikslumas užduočiai įgyvendinti, kuris padėtų dar sumažinti kuriamo produkto kaštus.
LLM modelių rezultatų tobulinimas naudojant RAG
Jei produkte integruojame DI modelį – dideliu įvairių duomenų kiekiu apmokintą kalbos modelį kuris nėra specializuotas mūsų uždaviniui spręsti (pavyzdžiui, GPT), jis gali duoti nepakankamai gerus rezultatus įmonės kontekste.
Tokiu atveju užklausos konteksto papildymui ir LLM „įžeminimui“ naudojama vidinė žinių bazė ar vidiniai dokumentai – taikant RAG karkasą (angl. Retrieval Augmented Generation), pagal vartotojo užklausą ieškoma artimiausių dokumentų vidinėje dokumentų ir žinių bazėje bei rasti artimiausi dokumentai papildo vartotojo užklausos kontekstą arba padeda papildyti atsakymą nurodant tuos dokumentus kaip šaltinius.
