O dabar kritikai ėmėsi vieno garsiausių tokių tyrimų – dažnai cituojamo mokslinio darbo, kuriame teigiama, kad simfoniniai orkestrai moteris priima dažniau, jei atrankoje dalyvaujantys muzikantai užstojami širma. Toks tyrimas gali turėti rimtų pasekmių, nes daugelyje pramonės šakų juo remiamasi bandant užtikrinti didesnę darbuotojų įvairovę (dėl to jį neigiantieji taip išgarsėjo žiniasklaidoje).
Tačiau aklos atrankos skiriasi nuo socialinių mokslų tyrimų, kurių rezultatai vos pradėjus rimtesnę kritinę analizę iškart paneigiami. Iš dalies taip yra todėl, kad aklos atrankos iš tiesų vyksta – tai ne mokslininkų laboratorijose sukuri eksperimentai, kaip liūdnai pagarsėję tyrimai, sukėlę vadinamąją „replikacijos krizę“. Iš tokių tyrimų rezultatų tyrėjai dažnai daro pernelyg plačias ir dažnai sveikai nuovokai prieštaraujančias išvadas, be to, paaiškėjo, kad kartais juose yra statistinės analizės klaidų, dėl kurių nereikšmingos variacijos atrodo kaip stulbinantys atradimai.
O aklas atrankas antroje XX a. pusėje vykdyti pradėjo patys orkestrai, pradedant nuo Bostono simfoninio orkestro. Tokios atrankos įvestos tam, kad dirigentai negalėtų rinktis savo mokinių arba numylėtinių, o privalėtų visą dėmesį sutelkti tik į muziką. Toks metodas taip pat naudotas teikiant leidimus vykti į „Hubble“ kosminį teleskopą – jie teikiami retai ir tik mažai daliai tyrimų pasiūlymus pateikusių astronautų.
Dešimtajame dešimtmetyje dvi ekonomistės – Harvardo ekonomikos profesorė Claudia Goldin ir dabar Princetono universitete dirbanti ekonomikos profesorė Cecilia Rouse – nusprendė ištirti, ar į orkestrą priimtų moterų skaičius išaugo dėl to, kad tuo metu imtos vykdyti aklos atrankos.
C. Goldin ir C. Rouse lankėsi skirtinguose šalies orkestruose ir stebėjo atrankos metodus bei rinko duomenis apie praeityje naudotus atrankos metodus, be to, peržiūrėjo įrašus apie kandidatus ir priimtus asmenis. Daugelis tokių duomenų gauti iš rūsiuose pamirštų dokumentų. Tyrime atrasta daug įdomių dalykų – pavyzdžiui, kad kai kuriuose orkestruose paklojami kilimai arba naudojami kiti metodai, kad nebūtų galima atskirti, ar girdimi žingsniai vyro, ar moters.
2000 m. paskelbti tyrimo rezultatai buvo nevienareikšmiški. Atrankas sudaro keli etapai – pirminės atrankos bei pusfinalis ir finalas. Vienuose aklos atrankos etapuose moterims sekėsi geriau, o kituose – ne. Tai patvirtinama ir tyrimo santraukoje, kurioje rašoma, kad duomenys varijuoja, o kartais rezultatai neatitinka „standartinių statistinį reikšmingumą įrodančių reikalavimų“.
Viename interviu C. Goldin teigė, kad joms buvo ypač įdomu sužinoti, kas nutiko muzikantams, dalyvavusiems tiek aklose, tiek įprastose atrankose. Pasak jos, jei muzikantai pakviečiami dalyvauti atrankoje už širmos, pritraukiama įvairesnių kandidatų, tačiau kai kurie muzikantai dalyvavo abiejų tipų atrankose. Palyginus, kaip jiems sekėsi abiejų tipų atrankose, gautas tarsi natūralus eksperimentas. Prieštaringiausi atradimai padaryti būtent šioje srityje.
Tyrime teigiama: „naudodamos atrankų duomenis pastebėjome, kad aklos atrankos metodas 50 proc. padidina tikimybę, kad moteris praeis kai kuriuos pirminius atrankos etapus ir kelis kartus padidina tikimybę, kad moteris bus išrinkta paskutiniame atrankos etape.“ Šiuos rezultatus cituoja politikai ir „TED talks“ konferencijų kalbėtojai, be to, apie juos dažnai užsimenama ir kituose tyrimuose.
Vienas tyrimo rezultatų kritikų – tai Kolumbijos universiteto statistikos profesorius Andrew Gelman, išgarsėjęs tinklaraščiu, kuriame parodomos ir paaiškinamos statistinės klaidos, nulėmusios neteisingas arba klaidinančias išvadas socialinių mokslų ir medicinos tyrimuose.
Jis teigė, kad darbas parašytas neaiškiai ir kad jam nepavyko suprasti, kokiais skaičiavimais paremtas garsusis teiginys apie 50 procentų tikimybę bei minėtoji keliskart didesnė tikimybė, kad moteris išrinks paskutiniame etape, todėl jis negali duomenų patikrinti statistikos testais.
Tokia kritika sąžininga. Tačiau net jei duomenyse buvo pernelyg daug variacijų, kad būtų galima tiksliai pasakyti, jog aklose atrankose moterų priimta daugiau, taip pat neįrodoma, kad lytis nedarė jokio poveikio ar kad diskriminacijos nebuvo. Pasak C. Goldin, jų gautas rezultatas paremtas tik tais atvejais, kai muzikantai dalyvavo abiejų tipų atrankose, ir, kaip ir teigiama tyrime, taikomas ne visiems tyrimo etapams.
Atlikus tyrimą su „Hubble“ teleskopu gauti rezultatai taip pat buvo panašūs. Kai iš pateiktų pasiūlymų pašalinta asmenį identifikuojanti informacija, pirmą kartą per 18 metų nuo tada, kai imta kaupti duomenis, moterims leidimai suteikti dažniau negu vyrams. Pasak detalaus straipsnio „Physics Today“, atlikus aklą atranką leidimai taip pat dažniau suteikti tyrėjams iš mažiau žinomų institucijų. Komisijai teko atkreipti daugiau dėmesio į pasiūlymų turinį, o ne remtis kandidatų darbo istorija.
Dar viename tyrime tirti programuotojai ir pastebėta, kad atliekant atrankas, kuriuose programuotojo lytis nežinoma, moterų rašyti programų kodai priimami dažniau negu vyrų, tačiau kai lytis žinoma, moterų rašyti kodai priimami rečiau.
Atrankų duomenis tikruose orkestruose tiriančio mokslinio darbo nereikėtų lyginti su pernelyg išgarsintomis antraštėmis, tikinančiomis, kad dirbtinai šypsodamiesi tapsite laimingesni, kad girdėdami su senyvu amžiumi siejamus žodžius eisite lėčiau, ir kad moterys tam tikru menstruacinio ciklo laikotarpiu labiau linkusios balsuoti už respublikonų partiją.
Tokiuose nuviliančiuose tyrimuose paprastai skelbiama, kad jie pakeis supratimą apie žmonių prigimtį arba siūloma pagerinti gyvenimą pernelyg lengvomis gudrybėmis. Tuo tarpu tyrimo apie aklas atrankas išvados buvo kuklios – jose teigta, kad tenorima aptarti tam tikroje vietoje tam tikru laiku vykusį kultūrinį reiškinį. Todėl nereikia skubėti jo nustumti į pseudomokslinių tyrimų sąvartyną.