Kirjoittaja: Kaisla Kareoja

Kuvitus: Johanna Sippula

 

Vertaisarviointi mainitaan usein tieteen ja ei-tieteen erottelun kriteerinä. Tieteelliset huijaukset, kuten Epäkohtatutkimusten tapaus, vievät kuitenkin onnistuessaan pohjaa vertaisarvioinnin ja jopa koko tiedeinstituution uskottavuudelta. Mutta mitä kepposet todella kertovat vertaisarvioinnista?

 

Vuonna 2018 sukupuolentutkimuksen alalla toimiva Helen Wilson julkaisi tieteellisen artikkelin ”Human reactions to rape culture at urban dog parks in Portland, Oregon”. Artikkelissa käsiteltiin koirien keskinäistä raiskauskulttuuria, ja se herätti absurdiudellaan huomiota Twitterissä. Huomio herätti myös perinteisen median, kuten The Wall Street Journalin huomion. Wilsoniin yritettiin ottaa artikkelin tiimoilta yhteyttä.

Yhteydenottopyyntöihin ei vastattu, sillä Helen Wilsonia ei ollut olemassa. Samalla paljastui laajamittainen akateeminen huijaus. 

Kyseessä oli kepponen, jota tekijät Peter Boghossian, Helen Pluckrose ja James A. Lindsay kutsuivat nimellä Epäkohtatutkimusten tapaus (Grievance studies affair).  Ryhmä kirjoitti yhteensä 20 artikkelia, joita he tarjosivat julkaistavaksi 28 kertaa. Artikkelit olivat tekaistuja, ja niiden tavoitteena oli paljastaa sukupuolentutkimuksen, kriittisen rotututkimuksen ja muiden ”postmodernien” epäkohtia tutkivien alojen argumentaation onttous Neljä artikkeleista julkaistiin ja kolme oli julkaisematta mutta saanut hyväksynnän, kun huijaus lopetettiin etuajassa. Boghossianin, Pluckrosen ja Lindsayn mukaan näillä aloilla mikä tahansa roska hyväksytään, kunhan se käyttää oikeanlaista jargonia ja vetää toivotut johtopäätökset.

Kepponen ei suinkaan ollut ensimmäinen laatuaan, vaan sillä on pitkät juuret. Jo 90-luvulla fysiikan professori Alan Sokal huiputti Social Text -julkaisua samaan tyyliin. Tapaukset liitettiin erityisesti Yhdysvalloissa riehuviin tiedesotiin, joissa vastakkain olivat tieteelliset realistit ja heidän ”postmodernit” kriitikkonsa, erityisesti tieteensosiologit. 

Epäkohtatutkimusten tapauksen merkitys tulkittiin muutamalla eri tavalla. Projektin julkilausuttuna tavoitteena oli osoittaa, miten epäpäteviä aloja sukupuolentutkimus ja muut postmoderneiksi katsotut alat ovat. Suuri yleisö näytti hyväksyvän juuri tämän johtopäätöksen. Monet kuitenkin katsoivat, että kepponen ei kertonut mitään tietyistä aloista, vaan toi esiin vertaisarviointiprosessin ongelmia yleisemmin. 

 

Vertaisarviointi tieteen kriteerinä

Sosiaalisen median ja alustapalveluiden myötä perinteisten medioiden, levy-yhtiöiden ja kustantajien rooli kulttuurin portinvartijoina on menettänyt merkitystään. Samanlaista portinvartijan katoamista tieteellisen julkaisutoiminnan kontekstissa sen sijaan ei ole tapahtunut: päinvastoin, vertaisarviointiprosessi on hidas, kankea ja usein tuskallisenkin pitkä. 

Artikkeli voi odottaa vertaisarviointiprosessissa helposti yli vuodenkin.

Kankeudestaan huolimatta vertaisarviointia pidetään yleisesti tieteellisyyden kriteerinä. Tähän ajatukseen perustuu tieteellisten julkaisujen laadunarviointi myös Suomessa. Julkaisujen laatua  meillä arvioi Tieteellisen seurain valtuuskunnan alainen Julkaisufoorumi (JUFO). JUFO-luokituksessa julkaisu voi saada arvosanan 1–3 laatunsa ja vaikuttavuutensa mukaan. Vertaisarvioimattomat julkaisut päätyvät tasolle 0. Tasolle 0 sijoittuvat julkaisut ovat kuitenkin laaja skaala: osa on esimerkiksi vertaisarvioituja julkaisuja, jotka ovat vasta aloittamassa toimintaansa. Kaikki eivät siis ole niin sanottuja saalistajajulkaisuja, jotka julkaisevat mitä tahansa maksua vastaan. 

Tieteen edistymisen kannalta on kuitenkin tärkeää, että kaikki julkaistavat artikkelit eivät ole yhdestä muotista. Tarvitaan myös uusia, rohkeita avauksia. Tutkimus ei edisty algoritmisesti tutkimusmenetelmiä pikkutarkasti soveltaen, eikä se ole pelkkää muuttumattoman tietovaraston kerryttämistä. Pikemminkin se on kognitiivinen prosessi, joka edellyttää keskustelua ja uusia avauksia. Tarve riskinottoon on yleisesti tunnistettu asia; esimerkiksi Suomen Akatemialla on erillinen tutkimuksellista riskinottoa edistävä rahoitus. Toisaalta on selvää, että uudenlaisen tutkimuksen tekemiseen sisältyy aina erehtymisen riski.

Tutkimuksellisen riskinoton ja varmasti oikeassa olemisen vaatimusten välillä tuntuu olevan vaihtokauppatilanne. Kun tehdään aivan uudenlaista tutkimusta, harvalla on asiantuntemusta toimia vertaisarvioijana. Näin ollen pienen, uraauurtavan alan lehden ei ole esimerkiksi helppoa saada korkeaa JUFO-arvosanaa, koska ihmisiä on niin vähän, että vertaisarviointiprosessit eivät ole tehokkaita. Vaikka eri alojen erityispiirteet pyritäänkin ottamaan luokituksessa huomioon, kyynisesti ajatellen voisi kuitenkin vetää johtopäätöksen, että luokitusta käyttäen voi vain turvallisella alueella pysyttelevä mainstream-tutkimus olla tieteellistä.

 

Tyylillä on väliä

Monet kepposartikkelit ovat imitoineet kohteensa tyyliä ja sanastoa. Netistä löytyy myös postmodernistista kielenkäyttöä pilkkaava Postmodernism Generator, jossa revitään huumoria siitä, kuinka tietokonekin pystyy tuottamaan uskottavaa postmodernia jargonia. 

Oikeanlainen tyyli tietenkin on omiaan herättämään vertaisarvioijan luottamuksen. Mutta pelkästään se, että tyyliä voi imitoida, ei tarkoita, että tyyli olisi merkityksetön. Mitä tahansa tekstiä voi parodioida samalla tavalla osallistumalla alan kielipeliin. Entä, jos Boghossian ja kumppanit olisivat pyrkineet myös julkaisemaan uskottavassa julkaisussa artikkelin, jonka sisältöä itse pitävät erittäin pätevänä, mutta joka olisi kirjoitettu päiväkirjamaiseen tyyliin ilman lähdeviitteitä? Eikö myös tällaisen tekstin hylkäämisestä voisi vetää sen johtopäätöksen, että tutkimusartikkelissa sisällöllä ei ole väliä, vaan ainoastaan tyylillä?

Tieteellistä kirjoittamista, tieteellistä tyyliä ja alojen viittauskäytäntöjä opetetaan jo opintojen alkuvaiheessa. Tyylin ja sanaston roolia ei kannata aliarvioida. Se on erottamaton osa myös tieteen sisältöä.

 

“Vertaisarviointiprosessi ei sovi hyvin yhteen huijausten kanssa. Se perustuu ennen kaikkea luottamukseen.”

 

Kuten Sokalinkin kepponen, myös Epäkohtatutkimusten tapaus on liitetty tiedesotiin ja laajemmin amerikkalaisiin kulttuurisotiin. Kokeen tekijät syyttivät sukupuolentutkimusta siitä, että se pyrkii vain edesauttamaan poliittisia näkemyksiään, mutta toisaalta ryhmän jäsenet avoimesti myöntävät tehneensä kokeen poliittisista lähtökohdista.

Vaikka Epäkohtatutkimusten tapauksessa näennäisesti peräänkuulutetaan ”oikean” tieteen erottamista hölynpölytutkimuksesta, monet tapauksen kriitikot ovat nostaneet esiin, että tempaus itse rikkoi hyvän tieteenteon eettisiä periaatteita usealla eri tavalla: artikkelit perustuivat sepittämiseen ja valeidentiteetteihin, niiden tavoitteena oli mustamaalaus, eikä koehenkilöitä eli tässä tapauksessa julkaisujen päätoimittajia ja vertaisarvioijia oltu informoitu koeasetelmasta. Kontrolliryhmää eli esimerkiksi toisen alan lehtiin lähetettyjä valeartikkeleita ei ollut käytössä. Kaikesta tästä huolimatta suuri yleisö oli taipuvainen vetämään juuri sen johtopäätöksen, jonka tekijät toivoivatkin.

 

Luottamus on tärkeintä

Ongelma on ennen kaikkea tiedepolitiikassa ja tieteen rahoituksessa sekä julkaisujen asemassa. Erityisesti monet nuoremmat tutkijat joutuvat kamppailemaan apurahoista. Sanonta publish or perish kuvaa sitä, kuinka kova paine julkaista nopeasti on. Tämä on avannut markkinarakoa myös saalistajajulkaisuille, jotka käyttävät hyväksi tutkijoiden julkaisupaineita ja julkaisevat maksua vastaan. 

Vertaisarviointiprosessi ei myöskään takaa erehtymättömyyttä. Koronakriisin myötä on tullut esille, kuinka kova tarve ihmisillä on luottaa tutkimustiedon erehtymättömyyteen. Julkinen yleisö tahtoisi tutkitun tiedon olevan täydellistä ja varmaa. Epävarmuutta on hankala sietää, kun tiedolle olisi kova tarve. Yksi tieteellisen tutkimuksen lähtökohdista kuitenkin on, ettei tutkimuksen tulos ikinä ole täysin varma. Tästä huolimatta vertaisarviointiprosessi sopii siihen, mitä tutkimus meille ihmisille on: erehtyväistä ja itseään korjaavaa ja sitä kautta edistyvää toimintaa. 

 

“Luottamus on tärkeää myös siksi, että kun se on kunnossa, vertaisarvioijan tehtävä ei olekaan välttämättä toimia portinvartijana, vaan auttaa kirjoittajaa parantamaan tekstin laatua.”

 

Vertaisarviointiprosessi ei sovi hyvin yhteen huijausten kanssa. Se perustuu ennen kaikkea luottamukseen. Vertaisarvioijat ja muut tutkijat luottavat siihen, että tutkimukset on tehty, kuten on kerrottu. Yksi Epäkohtatutkimuksen tapauksen läpimenneistä artikkeleista sisälsi 1000 tuntia keksittyä koirapuiston tarkkailudataa. Mikäli tutkimusaineisto ei ole vertaisarvioijan saatavissa, vertaisarvioijalla ei ole keinoja todentaa vilppiä. Ei ole realistista odottaa, että vertaisarvioija pystyisi toistamaan aineiston. Jos vertaisarvioinnin sääntöjä ei noudateta, myöskään tulokset eivät ole toivottuja.

Tämä ei kuitenkaan tarkoita, että vertaisarvioitu tieto olisi epäluotettavaa. Vertaisarviointia parempaa keinoa tieteen laadun varmistamiseksi ei ole. Se kuitenkin edellyttää, että kaikki toimivat sääntöjen mukaisesti. Luottamuksen rapauttaminen on hälyttävää, sillä se madaltaa koko tieteen uskottavuutta ja edistää niin sanotun vaihtoehtoisen tiedon asemaa. 

Luottamus on tärkeää myös siksi, että kun se on kunnossa, vertaisarvioijan tehtävä ei olekaan välttämättä toimia portinvartijana, vaan auttaa kirjoittajaa parantamaan tekstin laatua. Tällöin tutkimuksessa vapautuu tilaa myös spekulaatiolle ja kokeellisuudelle. Tämä edellyttää myös sitä, että on luovuttava epärealistisesta ajatuksesta siitä, että vertaisarvioijan pitäisi pystyä erottamaan valheellinen tutkimus oikeasta, rehellisesta tutkimuksesta. 

Vertaisarviointi ei pääty myöskään sen jälkeen, kun artikkeli on julkaistu, vaan akateeminen yhteisö kehittää toimivia ideoita entistä pidemmälle. Julkaisut vetävät toisinaan artikkeleita myös takaisin, kuten tapahtui myös Epäkohtatutkimusten tapauksen kohdalla. Projekti lopetettiin etuajassa, sillä julkaistut artikkelit olivat herättäneet epäluuloja ja kysymyksiä. Olisi ollut liian noloa, jos projekti olisi paljastettu muiden toimesta.

Epäkohtatutkimusten tapauksen perusteella emme voi vetää johtopäätöksiä tiettyjen alojen huonommuudesta tai siitä, että vertaisarviointiprosessi olisi rikki. Sen sijaan se tuo esille tiedollisen luottamuksen ja jatkuvan keskustelun merkityksen akateemisessa maailmassa.