Netiksliai nustatė duomenų persidengimą
Netikslumai „Gemius“ skaičiavimuose fiksuojami ne pirmą kartą. Kaip anksčiau rašė M360, taip atsitinka dėl įvairių priežasčių – duomenų dubliavimo, kai straipsniai skaitomi per „Facebook Instant Articles“, trečiųjų šalių įsikišimo, to, kad vis daugiau naršyklių blokuoja „Gemius“ kodą ir tt.
Šįkart „Gemius“ teigia, kad sausio antroje pusėje buvo atliekamas visų tyrime dalyvaujančių aplikacijų patikrinimas, kurio metu buvo užfiksuoti netikslumai „15min.lt“ ir „24sek.lt“ (taip pat priklausančio „15min.lt“) iOS mobiliųjų aplikacijose.
„Šis netikslumas neturėjo jokios įtakos mobiliųjų aplikacijų statistikai, tačiau galėjo (dar nežinome, ar ji buvo) turėti įtakos persidengimo vertės nustatymui tarp šių ir kitų mobiliųjų aplikacijų ir svetainių (angl. duplication). Tikslesnis poveikis persidengimui bus žinomas praėjus pilnam kalendoriniam mėnesiui nuo pokyčių įgyvendinimo dienos (t.y. balandžio mėn.)“, – aiškino „Gemius“ verslo plėtros vadovė Gryta Balserytė.
Nuomonės dėl įtakos bendram vaizdui išsiskiria
Portalo „lrytas.lt“ vadovas Tautvydas Mikalajūnas sako, kad ši situacija kelia kelis klausimus – duomenų patikimumo ir apskritai pagrindinės metrikos, lemiančios reklamos pinigų pasiskirtymą internetinėje žiniasklaidoje, pasirinkimo.
„ Yra prielaidų, kad nekorektiškas skaičiavimas galėjo trukti ir iki dviejų metų – akivaizdu, kad ta klaida nebuvo mėnesio ar dviejų, tai kelia patikimumo klausimą ir pačiai rinkai“, – kalbėjo jis.
Portalo „15min.lt“ direktorius Ramūnas Šaučikovas teigė nesantis įsigilinęs į technines detales, bet, jo nuomone, didelės įtakos perskaičiavimai neturės. „Iš to, ką pristatė „Gemius“, man tai nepasirodė didelė problema. Sakė, kad per kovą susitvarkys – tegu susitvarko“, – sakė jis.
G. Balserytė pabrėžė, kad galutiniai rezultatai, jei ir keisis, tai nežymiai. Pasak jos, „15min“ ir „24sek“ iOS aplikacijos identifikuodavo vartotojus kitokiu būdu nei kitos iOS aplikacijos esančios tyrime.
„Toks identifikavimas atsirado kartu su „Overnight“ metodologijos įvedimu, todėl T. Mikalajūno nurodytas terminas yra tikslus. Jeigu įtaka persidengimo vertės (angl. duplication) nustatymui tarp šių bei kitų mobiliųjų aplikacijų/svetainių ir buvo, pirminiai vertinimai rodo, kad ji galėjo sudaryti nuo 0 iki 10.000 realių vartotojų per mėnesį (0 - 0,77 %), o dienos ir savaitės rezultatams galima įtaka greičiausiai yra dar mažesnė. Kaip ir buvo rašyta informaciniame laiške klientams, tikslesnis poveikis bus žinomas balandžio mėnesį, tačiau panašu, kad jis neviršys standartinės statistinės paklaidos“, – teigė G. Balserytė.
Ką daryti su „Instant Articles“?
Dar vienas su duomenų apskaičiavimu susijęs klausimas – ką daryti su „Facebook Instant Articles“? 2018 m. pavasarį, rinkos dalyviams kilus įtarimams, kad „Gemius“ pateikti interneto portalų skaitomumo duomenys gali būti netikslūs, paaiškėjo, kad problema buvo susijusi su duomenų iš „Instant Articles“ dubliavimu – tada, perskaičiavus duomenis, teko koreguoti viešai skelbtus duomenis: portalo „15min“ realių vartotojų skaičius balandį sumažėjo 138 tūkst., gegužę – 170 tūkst., birželį – 116 tūkstančiais.
Neradus būdų kaip tiksliai įvertinti dubliavimąsi, per „Facebook Instant Articles“ platformą skaitomi straipsniai į „Gemius“ statistiką visai nebėra įtraukiami – dalis žiniasklaidos priemonių jų nusprendė visai per ten nebeskelbti, kiti juos vis dar naudoja.
„Dėl to „lrytas.lt“ patiria labai didelius nuostolius, nes mes naudojame „Instant Articles“, iš to gauname pajamas, bet „Gemius“ to neapskaičiuoja ir ta statistika yra iškreipta. Tikslių skaičių nežinau, bet preliminariai mes per mėnesį prarandame apie 100 tūkst. vartotojų, kurie pas mus ateina, bet „Gemius“ statistikoje, kuri yra viešai neprieinama, to nesimato. Tada gauname tokią iškreiptų veidrodžių karalystę – vieni naudoja „Instant Articles“ pilnai, kiti – dalinai, treti – išvis nenaudoja ir realių vartotojų metrika yra visiškai pasimetus, netiksli“, – kalbėjo T. Mikalajūnas.
„Gemius“ tikino, kad nors išmatuoti „Instant Articles“ yra iššūkis visoms tyrimų bendrovėms, jie esą jau turi tam reikalingus įrankius.
„Reikia prisiminti, kad „Facebook“ yra uždara ekosistema ( ang. „Walled Garden“), kurioje tiksliai išmatuoti turinį bei reklamines kampanijas yra iššūkis leidėjams, agentūroms, reklamdaviams ir tyrimų įmonėms. Nepaisant to, „Gemius“ turi sprendimą, galintį išmatuoti tokį srautą – „Single Source“. Šios technologijos pagalba „Gemius“ matuoja visą turinį ir reklamines kampanijas interneto svetainėse, mobiliose aplikacijose (įskaitant „Facebook“, „Youtube“, „Instagram“ ir kt.), multimedijos turinį internete, o taip pat ir TV kanalų bei radijo stočių turinį bei reklamines kampanijas. „Single Source“ sprendimas leidžia tiksliai apskaičiuoti „Facebook Instant Articles“ srautą, o taip pat suteikia galimybę analizuoti visų media kanalų statistiką vienoje vietoje bei matyti reklaminių kampanijų pilną „cross-media“ persidengimą. Apie šią praėjusiais metais apdovanojimą „IAB Europe Research Awards“ laimėjusią technologiją jau pasakojome ir savo klientams Lietuvoje“, – teigė G. Balserytė.
Duomenų perskaičiavimas – tik kraštutiniais atvejais
2018 m. paaiškėjus, kad dėl „Instant Articles“ duomenų persidengimas visgi nebuvo įvertintas teisingai, „Gemius“ mėnesio duomenis perskaičiavo, o savaitės ir dienos paliko kokie buvę. Dėl pastarojo atvejo, kurį „Gemius“ aiškinasi šiuo metu, jie bent kol kas duomenų perskaičiuoti neplanuoja.
„Duomenų perskaičiavimas yra kraštutinis sprendimas, reikalaujantis daug laiko resursų ir priimamas išskirtiniais atvejais – prieš dvejus metus buvęs „Instant Articles“ atvejis, kurį mini T. Mikalajūnas, buvo būtent toks – portalai buvo pervertinti (angl. „overestimated“) daugiau nei po 100 tūkst. realių vartotojų, dėl to perskaičiavome 4 mėnesinius duomenų failus.
Naujesnis pavyzdys – 2019 m. spalio mėnesio situacija, kai dėl techninio neapsižiūrėjimo, „Delfi“ portalo „Instant Articles“ srautas buvo matuojamas ne pagal „gemiusAudience“ taisykles ir dalis šio srauto pateko į tyrimą. Tuomet bendras sutarimas buvo palikti „Delfi“ dienos ir savaitės duomenis neperskaičiuotus bei informuoti klientus dėl tyrime esančių pervertintų „Delfi“ realių vartotojų skaičių, o mėnesinius duomenis sutvarkyti“, – teigė G. Balserytė.
„Šiandienos atveju noriu dar kartą pabrėžti, kad pačioje „15min“ aplikacijoje visa statistika ir visi skaičiai už paskutinius dvejus metus buvo ir yra teisingi. Atradus techninius netikslumus, bet nežinant galimos įtakos persidengimo rodikliui, buvo priimtas sprendimas iOS aplikacijos srautą minusuoti iš vasario mėnesio duomenų ir palikti „15min“ svetainę nuvertintą (angl. underestimated). Preliminariai vertinant duomenis, gautus po techninių netikslumų aplikacijoje pašalinimo, mėnesinių duomenų perskaičiavimas už kelerius metus, minusuojant 15min iOS srautą iškreiptų tyrimo rezultatus“, – komentavo G. Balserytė.
Kelia pagrindinės metrikos klausimą
T. Mikalajūno nuomone, tokie pasikartojantys netikslumai parodo, kad apskritai reikia kelti klausimą, ar realių vartotojų metriką rinkoje reikia vertinti kaip pagrindinę.
„Žinoma, galime žiūrėti, kas buvo, tas buvo – imame švarų popieriaus lapą ir žiūrime, kas bus. Preliminariai net galėtume išskaičiuoti žalą, bet kiltų klausimas, kas ją kompensuos ir kas turėtų dėl to labiausiai skųstis. Tad svarbiausia turbūt, ką mes norime matyti ateityje ir kokios norime valiutos internetinės žiniasklaidos reklamos rinkoje“, – pabrėžė jis.
„Realūs vartotojai kaip viena iš pagrindinių metrikų– galbūt, viskas tvarkoje. Bet kadangi čia yra daug jautrių vietų, daug paslydimų, kaip pagrindinę metriką ją reikėtų vertinti labai atsargiai – nesvarbu, apie kurį portalą kalbėtume, ji tikrai neatspindi realaus jo svorio. Ką jau esu ne kartą sakęs, pagrindinė dedamoji visų kiekybinių ir kokybinių metrikų yra praleistas laikas – tai yra saugesnis ir patikimesnis rodiklis negu realūs vartotojai“, – kalbėjo jis.
„Bet kokiu atveju, tai yra svarbus klausimas, kurį reikia diskutuoti rinkai – tiek portalams, tiek reklamos užsakovams, agentūroms, ir visiems žaidėjams, kurie susiję su šita rinka. Dabar panašu, kad iš tos metrikos, kuri nėra korektiška, dalinami reklamos pinigai. Tad klausimas, ar viskas su tuo yra tvarkoje?“, – sakė T. Mikalajūnas.
Pasak T. Mikalajūno, realių vartotojų metrika nėra pati tinkamiausia ne tik dėl atsirandančių netikslumų „Gemius“ skaičiavimuose: „Ši metrika yra labai iškreipta – nepabijosiu to žodžio, kad tai yra žiurkių lenktynės. Portalai visais įmanomais būdais, ne vien tik organiškais, bet ir finansiniais, turi kovoti dėl kiekvieno realaus vartotojo, investuoti milžiniškus pinigus, kad prisirinktų atsitiktinių, nelojalių ir nelabai produktyvių vartotojų, neva dėl to tu esi reklamos užsakovams patrauklesnis. Mano galva, taip nėra – patrauklus portalas užsakovui, reklamos agentūroms ar klientams, yra tas portalas, kuris turi kokybišką vartotoją, kuris ateina dažnai ir praleidžia gana daug laiko, o ne toks, kuris netyčia įsijungė, pamatė kur nors ant „Facebook“ sienos, paspaudė ir išėjo“.
R. Šaučikovas laikosi kitokios nuomonės. „Manau, kad apskritai yra svarbus visų rodiklių rinkinys – negali paimti vieno išskirti, kad tas blogas. Visi nėra tobuli, bet aš nesutikčiau, kad čia dabar atsiras panacėja ir vienas iš jų bus šventas. Visi netobuli, tik „Gemius“ tiesiog turi stiebtis į priekį ir tokių klaidų nedaryti“, – sakė jis.
„Delfi“ direktoriaus Vytauto Benokraičio nuomone, problema slypi tame, kad nors „Gemius“ galėtų tiksliai apskaičiuoti portalų skaitomumą, tyrimų bendrovė nenori investuoti į brangesnius įrankius.
„Tam, kad „Gemius“ apskaičiuotų tiksliai, reikia jų brangesnio, kokybiškesnio tyrimo – jų minimo „Single Source“. Tačiau kadangi „Gemius“ nenori daugiau investuoti, rinka yra priversta naudoti tyrimą, kuris sugeba išmatuoti tik dalį realių vartotojų srauto, arba tai padaro netiksliai, o rinkai tuomet pateikiamas iškreiptas pasiekiamumo rodiklis, ypatingai, kai kalbame apie mėnesio duomenis“, – komentavo jis.
„Lietuvos rinkoje yra apie 22 milijonus unikalių vartotojų, iš kurių „Gemius“ bando išskaičiuoti 1,8 mln realių vartotojų. Dėl visų dubliavimųsi, trečiųjų šalių blokavimo naršyklėse šis unikalių vartotojų kiekis tik auga, ko pasekoje „Gemius“ vis dažniau daro klaidas apskaičiuodamas realių vartotojų srauta. Tad arba turime judėti prie kokybiškesnio tyrimo rinkai, arba pripažinti, kad realių vartotojų parametras yra netikslus ir negali būti naudojamas kaip viena pagrindinių valiutų, apsprendžiančių portalų svorį rinkoje“, – sakė V. Benokraitis.