Kur duomenų pagrindu priimami sprendimai gali būti klaidingi
Tokiais momentais verslo vadovai pernelyg dažnai renkasi vieną iš dviejų krypčių: arba priima pateiktus įrodymus kaip evangeliją, arba visiškai juos atmeta. Abu požiūriai yra klaidingi. Vietoj to vadovai turėtų organizuoti diskusijas, kuriose būtų apgalvotai įvertinti iš pažiūros svarbūs įrodymai ir jų pritaikomumas konkrečioje situacijoje.
Santrauka
Svarstydami vidinius duomenis ar tyrimo rezultatus, verslo vadovai dažnai pateiktus įrodymus priima kaip evangeliją arba visiškai juos atmeta. Abu požiūriai yra klaidingi. Vietoj to vadovai turi rengti kruopščias diskusijas, kuriose būtų įvertinti visi rezultatai ir tai, ar jie taikytini konkrečioje situacijoje. Tokiuose pokalbiuose turėtų būti nagrinėjamas bet kokios analizės vidinis pagrįstumas (ar ji tiksliai atsako į klausimą) ir jos išorinis pagrįstumas (kokiu mastu rezultatai gali būti apibendrinti viename kontekste kitame). Kad išvengtumėte klaidingų išvadų, reikia atskirti priežastinį ryšį nuo koreliacijos ir kontroliuoti klaidinančius veiksnius. Turėtumėte išnagrinėti tyrimo imties dydį ir aplinką bei laikotarpį, per kurį jis buvo atliktas. Turite įsitikinti, kad matuojate tikrai svarbų rezultatą, o ne tokį, kurį tiesiog lengva išmatuoti. Be to, reikia ieškoti kitų tyrimų, kurie galėtų patvirtinti arba paneigti įrodymus, arba juos atlikti. Taikydami sisteminį požiūrį į informacijos rinkimą ir aiškinimą, galite veiksmingiau pasinaudoti vis didėjančio išorinių ir vidinių duomenų kalno teikiama nauda ir priimti geresnius sprendimus.
Tarkime, vadovaujate susirinkimui dėl įmonės sandėlio darbuotojų valandinio darbo užmokesčio. Jau kelerius metus jis buvo automatiškai didinamas nedidelėmis sumomis, kad neatsiliktų nuo infliacijos. Kažkas iš jūsų komandos narių, remdamasis didelės įmonės tyrimu, kurio metu nustatyta, kad didesnis darbo užmokestis taip padidino produktyvumą, kad padidėjo pelnas, pasisako už kitokį požiūrį: gerokai padidinti darbo užmokestį 2 doleriais per valandą visiems sandėlio darbuotojams. Ką darytumėte jūs?
Pagal ką tik aprašytą scenarijų turėtumėte pateikti keletą klausimų, kuriais siekiama įvertinti galimą darbo užmokesčio didinimo poveikį konkrečiai jūsų įmonei. Galite paklausti:

  • Ar galite papasakoti daugiau apie tyrimo aplinką, kad galėtume įvertinti, ar jis taikomas mūsų sandėlio darbuotojams?
  • Kaip mūsų darbo užmokestis atrodo lyginant su kitų darbdavių, konkuruojančių dėl mūsų darbuotojų, darbo užmokesčiu, ir kaip tai galima palyginti su tyrimo rezultatais?
  • Ar buvo atliktas eksperimentas? Jei ne, koks metodas taikytas siekiant suprasti, ar didesnis darbo užmokestis lėmė produktyvumo pokyčius, ar tik juos atspindėjo?
  • Kokie produktyvumo rodikliai buvo naudojami ir kiek laiko buvo matuojamas poveikis?
  • Kokie kiti tyrimai ar duomenys gali būti svarbūs?


Žinoma, svarbu ir tonas. Šiuos klausimus reikia užduoti nuoširdžiai ir smalsiai, trokštant sužinoti ir gauti patikimų rekomendacijų.
Nesvarbu, ar įrodymai gaunami iš išorinio tyrimo, ar iš vidinių duomenų, prieš priimant svarbius sprendimus labai svarbu juos kruopščiai išnagrinėti. Bendraudami su įmonėmis, įskaitant daug duomenų turinčias technologijų įmones, pastebėjome, kad šios praktikos nėra nuosekliai laikomasi.
Diskusijose pernelyg dažnai vyrauja išankstiniai įsitikinimai, problemiški palyginimai ir grupinis mąstymas. Psichologijos ir ekonomikos tyrimai rodo, kad sistemingai vertinti įrodymus trukdo ir tokie šališkumai, kaip bazinės normos nepaisymas, t. y. tendencija nekreipti dėmesio į bendrą statistinę informaciją, o teikti pirmenybę konkrečių atvejų informacijai ar anekdotams, ir patvirtinimo šališkumas, t. y. polinkis ieškoti rezultatų, kurie patvirtina turimus įsitikinimus, ir juos vertinti.
Tačiau įmonės neprivalo laikytis šio modelio. Remdamiesi savo tyrimais, darbu su įmonėmis ir dėstymo patirtimi (įskaitant vadovų ugdymo kursus lyderystės ir verslo analitikos srityje ir neseniai pradėtą MBA kursą „Duomenimis grįsta lyderystė“), sukūrėme požiūrį, kurį vadovai gali taikyti diskusijoms apie duomenis, kad galėtų priimti geresnius sprendimus.
Tikrinkite priežasties ir pasekmės ryšį
Ar skelbimai paieškos sistemoje padidins pardavimus? Ar leidimas darbuotojams dirbti nuotoliniu būdu sumažins darbuotojų kaitą?
Šie klausimai yra susiję su priežastimis ir pasekmėmis - į juos atsakyti gali padėti duomenų analizė. Iš tiesų, moksliniuose darbuose jie buvo išsamiai nagrinėjami.

Tačiau vadovai dažnai neteisingai interpretuoja, kaip šių ir kitų tyrimų išvados taikomos jų verslo situacijai. Priimdami sprendimus vadovai turėtų atsižvelgti į vidinį pagrįstumą - ar analizė tiksliai atsako į klausimą tame kontekste, kuriame jis buvo tiriamas. Jie taip pat turėtų atsižvelgti į išorinį pagrįstumą - kiek galima apibendrinti rezultatus iš vieno konteksto į kitą.
Tai padės jiems išvengti penkių dažniausiai daromų klaidų:
  1. Priežastinio ryšio supriešinimas su koreliacija
Nors dauguma žmonių žino, kad koreliacija nelygi priežastiniam ryšiui, ši klaida yra stebėtinai paplitusi.
Paimkime „eBay“ reklamos strategiją. Daugelį metų bendrovė reklamavosi tokiose paieškos sistemose kaip „Google“, siekdama padidinti paklausą ir pritraukti daugiau klientų.
Konsultacinėje ataskaitoje buvo padaryta išvada, kad skelbimai buvo veiksmingi, ir pažymėta, kad kai rinkoje buvo rodoma daugiau skelbimų, bendra pirkimų „eBay“ vertė buvo didesnė.

Deja, ji padarė neteisingą išvadą dėl šių skelbimų. Padedama eksperimento, kurį atliko ekonomistų komanda, vadovaujama Steveno Tadelio iš Kalifornijos universiteto Berklyje, „eBay“ suprato, kad koreliacija paaiškinama tuo, jog reklama buvo nukreipta į žmones, kurie ir taip gali lankytis „eBay“, ir į rinkas, kuriose „eBay“ paklausa turėtų padidėti net ir be reklamos.
Norėdami suprasti priežastinį ryšį, pasidomėkite, kaip buvo atliktas atitinkamas tyrimas. Pavyzdžiui, ar tai buvo atsitiktinių imčių kontroliuojamas tyrimas, kai tyrėjai atsitiktine tvarka priskyrė žmones dviem grupėms: vienai, kuriai buvo taikoma tiriamoji sąlyga, ir kontrolinei grupei, kuriai sąlyga nebuvo taikoma?
Dažnai tai laikoma auksiniu priežastinio ryšio įvertinimo standartu, nors tokie eksperimentai ne visada įmanomi ar praktiški. Galbūt tyrėjai rėmėsi natūraliu eksperimentu, stebėdami įvykio ar politikos pakeitimo poveikį konkrečioms grupėms.
Pavyzdžiui, tyrime gali būti nagrinėjamas išmokos, kurios gavėjai buvo išrinkti loterijos būdu, poveikis, todėl tyrėjai gali palyginti, kaip išmoka pakeitė aplinkybes ar elgesį tų, kurie laimėjo loteriją, ir tų, kurie jos nelaimėjo.
Tyrėjai, kurie neturi galimybės atlikti planuotų ar natūralių eksperimentų, gali kontroliuoti galimus suklaidinančius veiksnius - kintamuosius, kurie daro įtaką dominančiam kintamajam - savo duomenų analizėje, nors praktiškai tai gali būti sudėtinga. Pavyzdžiui, jei vertintumėte mokymo programos poveikį produktyvumui, norėtumėte įsitikinti, kad kontroliuojate ankstesnę patirtį ir kitus veiksnius, kurie gali turėti įtakos produktyvumui.
2. Nepakankamai įvertinama imties dydžio svarba.
Įsivaizduokite dvi ligonines: didelę, kurioje kasmet gimsta tūkstančiai vaikų, ir mažą, kurioje kasmet gimsta keli šimtai vaikų. Kaip manote, kurioje ligoninėje būtų daugiau dienų, kai daugiau nei 60 % gimusių kūdikių būtų berniukai?
Atsakymas - maža ligoninė, nes joje gimdymų skaičius per dieną yra įvairesnis. Tikėtina, kad mažos imtys rodo didesnius svyravimus.
Psichologai Danielis Kahnemanas ir Amosas Tverskis savo kanoniniame darbe apie šališkumą ir euristiką nustatė, kad dauguma žmonių atsakė neteisingai, o daugiau nei pusė atsakė: „Maždaug taip pat“. Žmonės yra linkę nepakankamai įvertinti imties dydžio įtaką įverčio tikslumui.

Ši dažna klaida gali lemti blogus sprendimus. Nesvarbu, ar bandote išsiaiškinti, kiek pasitikėti atsiliepimais internete, kaip interpretuoti produktyvumo tendencijas, ar kokią reikšmę teikti reklamos eksperimento rezultatams, svarbu atsižvelgti į analizuojamos imties dydį.
Vertinant poveikį gali būti naudinga klausti ne tik apie imties dydį, bet ir apie pasikliautinąjį intervalą. Patikimumo intervalas nurodo verčių intervalą, į kurį gali patekti tikrasis poveikis, ir laipsnį, kuriuo galima būti įsitikinus, kad jis patenka į šį intervalą. Atsakymai turėtų lemti pokalbį apie tai, kokių veiksmų imsitės.
3. Dėmesys sutelkiamas į neteisingus rezultatus.
Klasikiniame 1992 m. HBR straipsnyje „Subalansuotų rodiklių sistema: Kaplanas ir Davidas P. Nortonas savo straipsnį pradėjo paprastu pastebėjimu: „Ką matuoji, tą ir gauni“. Nors jų straipsnis pasirodė dar prieš šiuolaikinės analitikos erą, ši mintis yra kaip niekada aktuali.
Eksperimentai ir prognozavimo analizė dažnai orientuojasi į rezultatus, kuriuos lengva išmatuoti, o ne į tuos, kurie verslo vadovams iš tiesų rūpi, bet kuriuos sunku ar nepraktiška nustatyti. Dėl to rezultatų rodikliai dažnai nevisiškai atspindi platesnius įmonės veiklos rezultatus.
Grįžkime prie darbo užmokesčio didinimo pavyzdžio. Išlaidas lengva išmatuoti, o produktyvumo padidėjimą gali būti sunku įvertinti kiekybiškai.
Dėl to vadovai gali susikoncentruoti tik į geresnio darbo užmokesčio sąnaudas ir neįvertinti galimos naudos. Atliekant platesnę analizę, reikėtų taikyti tokį metodą, koks pateiktas ekonomistų Natalijos Emanuel ir Emmos Harrington tyrime. Jos siekė išsiaiškinti, kokią reikšmę turi vienos didelės internetinės mažmeninės prekybos įmonės nustatyti sandėlio darbo užmokesčio dydžiai.

Tyrėjos nagrinėjo produktyvumo pokyčius po 2019 m. padidinto sandėlio darbuotojų darbo užmokesčio ir nustatė, kad produktyvumo ir apyvartos pagerėjimas buvo toks didelis, kad darbo užmokesčio padidinimas su kaupu atsipirko. Panašius rezultatus jie nustatė ir nagrinėdami didesnio darbo užmokesčio poveikį klientų aptarnavimo darbuotojų produktyvumui ir apyvartai.
Taip pat svarbu įsitikinti, kad tiriamas rezultatas yra geras tikrojo organizacijos tikslo pakaitalas. Kai kurių įmonių eksperimentų metu rezultatai stebimi vos kelias dienas ir manoma, kad jie yra patikimas ilgalaikio poveikio įrodymas. Tam tikrų klausimų ir kontekstų atveju trumpo laikotarpio gali nepakakti.
Viena iš bendrovių, kuri stengiasi išvengti šios problemos, yra „Amazon“: Ji daug investuoja į ilgalaikių galimų produktų pakeitimų sąnaudų ir naudos tyrimą. Yra daugybė būdų įvertinti rezultatų svarbą ir interpretaciją - nuo aiškių diskusijų apie apribojimus iki formalių trumpalaikio ir ilgalaikio poveikio ryšio analizių.
Norėdami iš tikrųjų mokytis iš bet kokio duomenų rinkinio, turite užduoti pagrindinius klausimus, pavyzdžiui, kokius rezultatus matavome ir ar įtraukėme visus, kurie yra svarbūs sprendimui, kurį turime priimti? Ar jie buvo pakankamai platūs, kad apimtų pagrindines numatytas ir nenumatytas pasekmes? Ar jie buvo stebimi tinkamą laikotarpį?
4.Neteisingas apibendrinimo vertinimas.
Kalbant apie sandėlių darbo užmokesčio didinimo pavyzdį, labai svarbu atsakyti į klausimą, ką vienos grupės sandėlių rezultatai reiškia kitai grupei.
Be to, įmonė gali norėti sužinoti, kaip rezultatai taikomi, pavyzdžiui, restoranų ar mažmeninės prekybos įmonių darbuotojams.
Esame matę, kad įmonių vadovai daro klaidų abiem kryptimis, pervertindami arba nepakankamai įvertindami rezultatų apibendrinimą.
Pavyzdžiui, kai vienos didelės technologijų bendrovės vyresnysis viceprezidentas, atsakingas už inžineriją, papasakojo mums apie savo bendrovės taisyklę, pagal kurią priimant sprendimus dėl inžinierių įdarbinimo draudžiama atsižvelgti į universitetų įvertinimus, paklausėme, kuo tai pagrįsta. Jis pasakė, kad „Google“ „įrodė, jog pažymiai nesvarbūs“, turėdamas omenyje kažkur perskaitytą „Google“ vadovo komentarą, kuriame teigiama, kad nėra ryšio tarp mokyklos pažymių ir karjeros rezultatų. Priimdamas šią informaciją kaip evangeliją, jis neatsižvelgė į galimus jos vidinio ir išorinio pagrįstumo apribojimus.
Vertinant apibendrinamumą gali būti naudinga aptarti mechanizmus, kuriais galima paaiškinti rezultatus, ir tai, ar jie gali būti taikomi kitose aplinkybėse. Galite klausti, pavyzdžiui, kiek šio tyrimo aplinka panaši į mūsų verslo aplinką? Ar analizės kontekstas arba laikotarpis daro ją labiau ar mažiau svarbią mūsų sprendimui? Kokia yra tiriamos imties sudėtis ir kokią įtaką ji turi rezultatų pritaikomumui? Ar poveikis skiriasi priklausomai nuo pogrupių?
5.Konkretaus rezultato pervertinimas
Pasikliauti vienu empiriniu atradimu, jo sistemingai neaptarus, gali būti taip pat neprotinga, kaip ir atmesti įrodymus kaip nesusijusius su jūsų situacija.
Verta patikrinti, ar nėra papildomų tyrimų šia tema. Dar viena gera išeitis gali būti eksperimento atlikimas arba tolesnė analizė su savo organizacija. Reikėtų užduoti tokius klausimus: Ar yra kitų analizių, kurios patvirtina rezultatus ir metodą? Kokius papildomus duomenis galėtume surinkti ir ar daugiau įrodymų surinkimo nauda atsvertų šių pastangų sąnaudas?
Pradėkite nuo kalbėjimo
1906 m. seras Fransis Galtonas (Francis Galton) išanalizavo duomenis apie gyvulių mugėje vykusias varžybas, kuriose žmonės spėliojo jaučio svorį. Nors pavieniai spėjimai buvo skirtingi, spėjimų vidurkis buvo beveik tikslus - tai įrodo minios išmintį. Tačiau pasinaudoti šia išmintimi gali būti sudėtinga. Kolektyvinis intelektas geriausiai veikia tada, kai yra mechanizmai, skatinantys aktyvų ir įvairiapusį dalyvavimą. Priešingu atveju minios taip pat gali sustiprinti šališkumą, ypač jei jų požiūris vienodas.
Siekdami įveikti šališkumą, verslo vadovai gali pakviesti į pokalbį įvairius požiūrius turinčius dalyvius, paprašyti jų ginčyti ir plėtoti idėjas, užtikrinti, kad diskusijos būtų tiriamosios ir paremtos aukštos kokybės duomenimis. (Žr. David A. Garvin ir Michael Roberto „What You Don't Know About Making Decisions“ („Ko jūs nežinote apie sprendimų priėmimą“), HBR, 2001 m. rugsėjis.) Nesutarimų ir konstruktyvios kritikos skatinimas gali padėti kovoti su grupiniu mąstymu, lengviau numatyti nenumatytas pasekmes ir padėti komandoms išvengti pernelyg didelės reikšmės lyderių nuomonei. Vadovai taip pat turi skatinti žmones apsvarstyti sprendimų poveikį įvairioms suinteresuotosioms šalims ir sąmoningai atsisakyti izoliuotų požiūrių.
Kaip išvengti nuspėjamų klaidų
Vis svarbesnis tampa prielaidų tikrinimas, ypač prieš priimant sunkiai atšaukiamus sprendimus. Pateikiame penkis dažniausiai pasitaikančius spąstus, kuriuos vadovai daro interpretuodami analizes, ir klausimus, kurie padės jų išvengti.
Tokio pobūdžio diskusijos gali padėti užtikrinti, kad įrodymai būtų kruopščiai įvertinti. Tačiau pernelyg dažnai jos nutrūksta net tada, kai būtų produktyvios. Nesuskaičiuojama daugybė tyrimų parodė, kad hierarchija gali paskatinti žmones atsisakyti kitokios nuomonės, o diskusijų dalyviai vengia dalytis potencialiai svarbiais duomenimis ar užduoti įkyrius klausimus, kai nepatiria psichologinio saugumo - įsitikinimo, kad atvirumo tikimasi ir už jį nebus baudžiama. Jei nėra psichologinio saugumo, mūsų aprašytas metodas gali būti mažiau veiksmingas.
Komandoms naudinga, kai jų nariai jaučia, kad jų kolegos ir vadovai įvertins jų pateiktus duomenis, idėjas, rūpesčius ir alternatyvias nuomones. Svarbiausia, kad daugelyje diskusijų dalyviai turėtų vertinti tiriamųjų klausimų uždavimą kaip savo darbo dalį. Daug rašyta apie tai, kaip sukurti psichologinį saugumą komandoje. (Žr. James R. Detert ir Amy C. Edmondson, „Why Employees Are Afraid to Speak“, HBR, 2007 m. gegužė). Tačiau ypač svarbu jį sukurti komandoje, kuri siekia naudoti įrodymus verslo sprendimams priimti - kad baimė iškelti nepopuliarias išvadas nesukeltų nariams baimės praleisti svarbius duomenis.
Mažo psichologinio saugumo poveikis buvo akivaizdus reaguojant į „Facebook“ eksperimentinius tyrimus, kuriais buvo siekiama išsiaiškinti, ar daugiau teigiamų ir neigiamų pranešimų rodymas paveikė naudotojų emocijas. 2014 m., kilus visuomenės pasipriešinimui šiems tyrimams, kuris iš dalies kilo dėl to, kad žmonės nežinojo, jog „Facebook“ vykdo tokio pobūdžio eksperimentus, generalinis direktorius Markas Zuckerbergas nutraukė vykdomus išorinius tyrimų projektus.
Tai atgrasė darbuotojus nuo eksperimentų, kurie galėtų aktyviai tirti „Facebook“ socialinį poveikį. Neseniai M. Zuckerbergas pakeitė kryptį ir išreiškė naują susidomėjimą išorės tyrimais. Tačiau jei prieš dešimtmetį jis būtų sukūręs atmosferą, kurioje „Facebook“ vadovai būtų jautęsi galintys apgalvotai diskutuoti apie neigiamą socialinės žiniasklaidos poveikį, bendrovė galbūt būtų išvengusi kai kurių pastarojo meto reputacijos problemų, susijusių su dezinformacija ir jos poveikiu naudotojų gerovei.
Nuo duomenų iki sprendimų
Sprendimų priėmimas, esant neapibrėžtumui, būtinai yra kartotinis; jam reikia reguliarių pertraukų informacijai ir procesui apmąstyti. Veiksmingos komandos mokosi iš duomenų, atitinkamai koreguoja planus ir sąmoningai tobulina diskusijas.
Norint suprasti, kaip įrodymais galima arba negalima pagrįsti konkretų sprendimą, labai svarbu skirti laiko analizės niuansams aptarti, įskaitant imties dydį ir sudėtį, matuojamus rezultatus, požiūrį į priežastinio ryšio atskyrimą nuo koreliacijos ir rezultatų apibendrinimo mastą.
Atidžiai išnagrinėjus kiekvieną empirinį rezultatą, jis yra dėlionės dalis, padedanti įmonėms išsiaiškinti, ar ir kada įvairūs pokyčiai gali turėti poveikį. Tokios diskusijos taip pat padės organizacijoms kruopščiau rinkti duomenis.

Net ir geriausiais atvejais įrodymai retai būna galutiniai, o tai, kaip verslo žingsnis pasiteisins, yra neaišku. Vis dėlto galite siekti priimti apgalvotus sprendimus, remdamiesi turima ar galimai gauta informacija. Taikydami sisteminį požiūrį į jos rinkimą, analizę ir aiškinimą, galite veiksmingiau pasinaudoti vis didėjančio vidaus ir išorės duomenų kalno privalumais ir priimti geresnius sprendimus.