Seurataanko vai puututaanko asiaan?

On kaksi perustapaa kerätä tietoa siitä, vaikuttaako yksi asia toiseen.

• Havainnoivassa tutkimuksessa mitataan, mitä jo tapahtuu, eikä muuteta mitään. Voit esimerkiksi kirjata, kuinka kauan oppilaat nukkuvat ja millaisia arvosanoja he saavat.
• Kokeessa määrätään havaintoyksiköille käsittely ja mitataan sitten, mitä tapahtuu. Voit esimerkiksi käskeä joitakin oppilaita nukkumaan kahdeksan tuntia ja toisia kuusi tuntia.

Molemmissa voidaan löytää kuvioita. Vain hyvin tehty koe voi kertoa paljon syy-seuraussuhteesta. Tässä syy.

Oletetaan, että havainnoivassa tutkimuksessa enemmän nukkuvat oppilaat saavat myös parempia arvosanoja. Ehkä uni auttaa. Mutta ehkä enemmän nukkuvilla oppilailla on myös vähemmän töitä, rauhallisempi koti tai järjestelmällisemmät opiskelutavat. Mikä tahansa näistä voi olla todellinen syy, ja ne kulkevat yhdessä unen kanssa. Tällaista piilevää muuttujaa kutsutaan sekoittavaksi tekijäksi: se liittyy sekä tutkittavaan asiaan että lopputulokseen, ja se voi saada vaikutuksen näyttämään todelliselta tai peittää sen. Maailma 5 käyttää siihen neljä oppituntia.

Koe ratkaisee tämän satunnaistamisella. Jos kolikonheitto (tai tietokone) päättää, kuka saa minkäkin käsittelyn, ryhmät eroavat kaikessa muussa vain sattuman vuoksi: unitavoissa, töissä, kotioloissa ja asioissa, joita et edes tullut mitanneeksi. Kun havaintoyksiköitä on tarpeeksi, ryhmät ovat keskimäärin samanlaisia, joten jos tulokset eroavat myöhemmin, käsittely on ainoa jäljelle jäävä järjestelmällinen ero.

Hyvässä kokeessa on yleensä:

• Käsittelyryhmä, joka saa tutkittavan asian, ja verrokkiryhmä, joka ei saa sitä (tai saa tavallisen vaihtoehdon).
• Satunnaistaminen näihin ryhmiin.
• Lumelääke, kun ihmisten odotuksilla on merkitystä: vaaraton samannäköinen vaihtoehto, jotta kaikki uskovat voivansa saada tutkittavan käsittelyn.
• Sokkoutus: ihmiset eivät tiedä, mihin ryhmään he kuuluvat (yksinkertainen sokkoutus), eivätkä tuloksia mittaavat henkilöt tiedä sitä myöskään (kaksoissokkoutus). Näin toiveet eivät pääse vaikuttamaan mittauksiin.

Esimerkki. Puutarhuri haluaa tietää, toimiiko kasviravinto. Heikko tutkimusasetelma: anna ravintoa ikkunan vieressä oleville kasveille, mutta varjossa oleville et anna mitään, ja vertaa niitä. Nyt valo sekoittuu ravintoon. Parempi asetelma: anna 40 potentiometrille luvut, arvo satunnaisesti 20 ravintoa saavaa potentiometriä, pidä 20 muuta verrokkina ja laita kaikki samalle hyllylle. Nyt valo, vesi ja potentiometrin koko ovat sattuman vuoksi tasapainotettuja, ja selvä kasvuero viittaa ravintoon. (Keksitty esimerkki, joka havainnollistaa ideaa.)

Kokeet eivät ole aina mahdollisia. Emme voi määrätä ihmisiä satunnaisesti tupakoimaan kolmenkymmenen vuoden ajan emmekä voi satunnaistaa kaupunkia kokemaan tulvaa. Näissä kysymyksissä luotamme havainnoiviin tutkimuksiin, huolelliseen suunnitteluun ja useisiin evidenssilinjoihin. Meidän pitää vain olla rehellisiä siitä, että syitä koskeva evidenssi on heikompaa.