Pasak „Oxylabs“ technologijų vadovo Žydrūno Tamašausko, web-scraping technologija yra automatizuotas procesas, kai iš tam tikrų svetainių dideliais kiekiais surenkami viešai prieinami duomenys, kuriais iš karto gali naudotis įmonės. Tokiu būdu yra gaunamos pagrįstos ir aktualios įžvalgos, padedančios organizacijoms planuoti savo veiklą ir priimti atitinkamus strateginius verslo sprendimus.
„Puikus to pavyzdys – apsipirkinėjimas internetu. Aktyviai naudojant duomenų nuskaitymą įmonės gauna patikimą realaus laiko informaciją apie pirkėjų įpročius bei gali geriau suprasti konkurentų veiksmus. Tai leidžia klientams pasiūlyti labiausiai jų poreikius atitinkančius produktus ir paslaugas konkurencingomis kainomis“, – pasakoja Ž. Tamašauskas.
Be to, kadangi didžiųjų duomenų poreikis ir toliau auga žaibišku greičiu, atsiranda vis įvairesnių jų panaudojimo ir pritaikymo atvejų.
Plačiai pritaikoma kasdieninėse situacijose
Retas žino, kad web-scraping technologija šiais laikais labai palengvina mūsų gyvenimą – su ja itin dažnai susiduriame naršydami internete.
„Akivaizdžiausias atvejis – interneto paieškos sistemos, kurios remiasi web-scraping technologija, kad indeksuotų visas svetaines. Tokiu būdu pagal tam tikrus raktažodžius esame nukreipiami į šaltinius, atsakančius į mūsų užduotus klausimus“, – pasakoja „Oxylabs“ technologijų vadovas.
Jis pateikia ir kitą situaciją – kai norima sužinoti geriausią konkretaus produkto kainą. Užuot atidarant kelias skirtingų mažmeninių parduotuvių svetaines, surinkinėjant informaciją apie prekę ir užtrunkant kelias valandas, kol randamas geriausias pasiūlymas, galima tiesiog apsilankyti produktų kainų palyginimo puslapyje. Visi jie remiasi interneto duomenų web-scraping technologija, todėl reikalinga informacija yra pateikiama vos per kelias sekundes.
Panašiu būdu web-scraping technologija pasitarnauja ir kelionių planavimui. Pasak Ž. Tamašausko, organizuojant šeimos atostogas arba planuojant trumpą išvyką į užsienio miestą, itin dažnai praverčia kelionių suvestinių svetainės. Jose pateikiamos geriausios lėktuvo bilietų ir apgyvendinimo kainos bei galima rasti asmeniniam biudžetui palankių pasiūlymų. Be interneto duomenų paieškos, keliautojams tektų valandų valandas praleisti ieškant geriausio pasiūlymo ar pasikliauti vietiniais kelionių agentais.
Svarbu užtikrinti, kad duomenys būtų renkami etiškai
„Oxylabs“ technologijų vadovas atkreipia dėmesį, kad web-scraping – dar nauja technologija, kuriai trūksta plačiai paplitusio teisinio reguliavimo. Dėl to įmonėms itin svarbu atsargiai vertinti, kokią informaciją planuoja rinkti ir ar taip nepažeis kokių nors įstatymų, pavyzdžiui, autorių teisių. Tokiais atvejais būtina pasikonsultuoti su teisininkais ir įvertinti visus duomenų rinkimo proceso aspektus.
„Dauguma žmonių, vien išgirdę žodį „duomenys“, iš karto pagalvoja, kad tai turės įtakos jų privatumui. Tai natūralu, nes šioje srityje dažnai pasitaiko apsaugos pažeidimų“, – pasakoja Ž. Tamašauskas.
Tam, kad jų būtų išvengta, „Oxylabs“ taiko griežtą politiką, susijusią su viešuoju interneto duomenų rinkimu, ir skiria daug laiko bei pastangų, kad būtų užtikrinta, jog visos operacijos yra grindžiamos aukščiausiais verslo etikos standartais.
Padeda spręsti socialines problemas
Atsakingas požiūris į interneto duomenų rinkimą leidžia pasiekti ilgalaikių laimėjimų. Šią mintį pagrindžia ir Ž. Tamašauskas, pasakodamas, kad siekiant užtikrinti etišką duomenų rinkimą ir atskleisti šios informacijos svarbą visuomenei, „Oxylabs“ pradėjo pro bono iniciatyvą „Project 4β“, padedančią universitetams, mokslininkams ir organizacijoms spręsti įvairius svarbius socialinius klausimus.
„Vykdydami šį projektą jau užmezgėme stiprią partnerystę su daugeliu svarbių pasaulio mokymo įstaigų, įskaitant Mičigano universitetą ir Northwestern universitetą, su kuriais dalijamės savo įrankiais ir patirtimi“, – pasakoja pašnekovas.
Be to, laimėjus „Govtech Lab Challenge“ konkursą, „Oxylabs“ pradėjo bendradarbiauti su Lietuvos Respublikos ryšių reguliavimo tarnyba (RRT), kurios viena iš pagrindinių misijų – apsaugoti Lietuvos interneto erdvę nuo neteisėto turinio.
„Vykdydama RRT užduotį mūsų komanda sukūrė dirbtinio intelekto valdomą žiniatinklio nuskaitymo įrankį, kuris skenuoja internetą, kad aptiktų neteisėtą vaizdinį turinį, susijusį su seksualine prievarta prieš vaikus“, – sėkminga patirtimi dalinasi „Oxylabs“ technologijų vadovas.
Anksčiau tokios informacijos aptikimas pirmiausia priklausė nuo interneto naudotojų, kurie apie neteisėtą turinį pranešdavo karštąja linija. Nuo 2022 m. ši priemonė buvo visiškai pritaikyta kasdienėje RRT veikloje, suteikdama daugiau priemonių, kad tokios svetainės būtų panaikintos, o atsakingi asmenys sulauktų pasekmių.