Viisaampi toistaan

Minulle on viime aikoina tullut paljon tilastopapereita arvioitavaksi. Hypoteeseja, kyselydataa, SPSS ja hopsan keikkaa. Yhtäkkiä on todistettu, että kaksi asiaa liittyvät tai eivät liity toisiinsa.

Ainainen kissan hännänveto laadullisen ja määrällisen tutkimuksen välillä. Molemmat toistaan viisaampia – tai pahempia.

Tästä voisi edetä luontevasti ontologisiin ja episteemisiin kysymyksiin, mutta antaa niiden nyt olla. Sen sijaan prosessi on mielenkiintoinen.

Otetaanpa kuvitteellinen esimerkki, johon itseni on helppo samaistua. Laadullisen tutkimuksen kannattaja saa tilastollisiin menetelmiin pohjautuvan artikkelin arvioitavaksi.

Artikkelissa esitetään hypoteesi, jonka mukaan kahden hyvin monitulkintaisen ja vaikeasti määriteltävissä olevan ilmiön välillä on riippuvuussuhde. Periaatteessa hypoteesi on johdettu nätisti kirjallisuudesta. Näinhän se määrällinen tutkimus kauniisti etenee.

Seuraavaksi selitetään, että hypoteesin testaamiseksi kerättiin iso aineisto tietystä maasta yhdeltä toimialalta, koska ko. maassa ei ole tutkimusta aiheesta ennen tehty ja koska valittu toimiala on tosi tärkeä ja luonteeltaan ihanteellinen tarkastelun kohteena olevan ilmiön tutkimiseen.

Kyselyssä sekä riippumaton ja riippuva tekijä operationalisoidaan joukoksi kysymyksiä. Kysymyksetkin on kaivettu aikaisemmasta kirjallisuudesta. Joku on jossain toisessa tai jopa useammassa tapauksessa esittänyt, että tietyt kysymykset vangitsevat halutun ilmiön.

Sata, kaksi sataa tai tuhat vastausta. Mitä isommat otokset sen uskottavampaa, lähtökohtaisesti.

Datalle tehdään asiaankuuluvat temput ja sitten ollaankin valmiit ajamaan testit, joiden avulla hypoteesi joko hylätään tai vahvistetaan. Useimmiten tarkoituksena on haastaa aikaisempi tutkimus ja löytää jotain uutta ja hienoa.

Mutta ei nyt mennä sen pitemmälle tässä touhussa, vaan palataan arviointiprosessiin, jossa tämä artikkeli siis päätyy laadullisten menetelmien kannattajalle.

Tutkimus on teknisesti suoritettu tarkasti ja oikein.

Mutta miten toimia, jos arvioitsija on jo lähtökohtaisesti sitä mieltä, että koko tutkimuksessa ei ole päätä eikä häntää.

Mitä jos arvioitsija uskoo, että tarkasteltavaa ilmiötä (ei riippumatonta eikä riippuvaa muuttujaa) ei voi mitenkään ottaa haltuun muutamalla kategorisella kysymyksellä.

Mitä jos kysely pitää sisällään vaikeita käsitteitä eikä vastaajalla todennäköisesti ole mitään käsitystä, mitä kysytään. Vaikka vastaajat ovat arjessa tekemisissä tarkastellun ilmiön kanssa, ei heillä välttämättä ole käsitystä aihepiirin tutkijoiden käyttämistä käsitteistä ja niiden syvällisistä merkityksistä.

Mitä jos vastaaja ei ole lähtökohtaisesti ollenkaan oikea ihminen arvioimaan asian tilaa muussa kuin yksittäisessä omassa lokerossaan. Tämä ei toki aina ole ongelma, mutta varsin usein mielipidettä kysytään organisaatio-, verkosto- tai ekosysteemi-tason ilmiöistä.

Ja vaikka edellä mainitut ongelmat vielä sulattaisikin, niin yhden maan ja yhden toimialan sisällä on usein monia vaikuttavia tekijöitä, joiden vuoksi on vaikea uskoa, että tuloksissa olisi juurikaan mitään yleispätevää.

Tilastolliset menetelmät ovat hienoja ja niissä on selitysvoimaa, mutta ei pelkkä uusi ja hieno tilastollinen testi suoraan tarkoita, että sen avulla voidaan ratkaista kaikki ongelmat ja jättää huomiotta maalaisjärki.

Tähän kyseenalaistukseen päätyy varsin usein, vaikka tilastomalli kuinka osoittaisi, että kaksi itsestään selvästi toisiinsa liittyvää asiaa eivät liity toisiinsa. Ei tällaista tulosta voi ohittaa lauseella, että tulokset kyseenalaistavat aikaisemman tutkimuksen.

Edellisen pohjalta voidaan olettaa, että esimerkin arviointilausunto on kriittinen.

Sama pätee varmasti toisin päin – tilanteessa, jossa tilastomenetelmäguru lukee laadullista tutkimusta. Toiselta puolen pöytää katsellen tapaustutkimus, interventionistinen tutkimus, toimintatutkimus ja monet muut laadulliset otteet omaavat omat heikkoutensa niin ikään.

Miten siis lähestyä arviointiprosessia. Millaiset arvioitsijat valitaan? Laitetaanko tilastopaperit tilastoihmisille ja laadulliset paperit niille, jotka näistä menetelmistä pitävät. Päädytäänkö tällöin taputtelemaan oman seuran porukoita selkään omilla puolilla pöytää.

Onhan omassa porukassa homman hoitaminen helpompaa ja arviointiprosessin läpiviennin kannalta tehokkaampaa kuin se, että päädytään vuosikausiksi taistelemaan peruskysymyksistä.

Apulanta laulaa ”kumpikaan meistä ei oo eikä ollut kultaa”. Ehkä tämä lause pitää sisällään viisauden siitä, että molempia tutkimuksellisia lähestymistapoja tarvitaan. Ne auttavat vastaamaan erilaisiin kysymyksiin ja soveltuvat erilaisiin tutkimuskohteisiin ja -tilanteisiin. Molempien lähestymistapojen pyrkimyksenä on tuottaa uutta tietoa, syvällisempää ymmärrystä tarkasteltavasta ilmiöstä ja tätä kautta auttaa meitä kehittämään asioita.

Isoja kysymyksiä, jotka vaikuttavat niin yksittäisen tutkijan tuloksellisuuteen kuin tuotettavan tiedon laatuun ja vaikuttavuuteen. Niin ja sitten kirjoittamaan sitä arviointilausuntoa.

Tämän tekstin innoittajana toimi Apulannan hieno kappale Pahempi toistaan, jonka lyriikat alkoivat sattuman oikusta pyörimään päässä erästä review-artikkelia lueskellessa.

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google+ photo

You are commenting using your Google+ account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s