Spratt, fusk och vetenskaplig publiceringspraxis
Fixering på påstådda problem inom just kvalitetsförsäkring pekar på en naiv uppfattning om vetenskap som ett slags ”reservoar av kunskap” eller universalencyklopedi, som behöver skyddas från inkompetenta forskare, skriver professor Mikko Lagerspetz i sin kommentar till Nora Hämäläinens Söndagsanalys om anfall mot genusforskning.
Nora Hämäläinens Söndagsanalys (HBL 3.12) handlar om politiskt motiverade anfall mot genusforskning, i Ungern och annorstädes. Ett aktuellt exempel var ”experimentet” eller ”sprattet” som tre akademiska socialmedieaktivister i USA företog mot vetenskapliga tidskrifter främst inom genusvetenskap. Gruppen lyckades få sju oseriöst skrivna (åtminstone i början; se nedan) artikelmanuskript accepterade för publicering. Sex av dem gick igenom peer review-granskningen, som brukar uppfattas som ett tecken på kvalitet.
I sin informativa och balanserade genomgång konstaterar Hämäläinen att detta i och för sig inte bevisar någonting om kvalitetskraven inom genusvetenskapliga tidskrifter i jämförelse med andra discipliner, eftersom det i experimentet inte ingick någon sådan jämförelse. Detta stämmer givetvis. Hon menar det ändå vara ”solklart att projektet visar på problem i akademisk publiceringspraxis”. Projektets hemvist, nätsidan Areomagazine, innehåller länkar till de publicerade och refuserade manuskripten, och dessutom till de flesta utlåtanden från tidskrifterna. Efter en tämligen noggrann genomgång av dessa vill jag påstå att det inte alls är så solklart att projektet visar på problem; inte heller vilka de egentliga problemen är.
Det följande baserar sig på min egen analys. Som ”experimentets” resultat står 21 redaktionella beslut om 17 manuskript. Av besluten var 14 nekande, 7 jakande. Alla genomgick inte peer review-processen. Experimentet avslutades tidigare än planerat, eftersom en av de publicerade artiklarna (om en påhittad studie om människors reaktioner på hundars sexuella beteende i en hundpark) fick bredare medieuppmärksamhet vilken ledde till allt starkare misstankar om fusk.
För det första kan man alltså konstatera att publicitet och debatt ofta leder till att fusk avslöjas – så även inom vetenskapen. Att dra andra slutsatser kräver en närmare titt på de accepterade artikelmanuskripten och på recensionerna de fick. Ett av manuskripten var närmast skönlitterärt och publicerades utan peer review i en tidskrift som är specialiserad på sådana texter. Av de sex övriga var tre baserade på påstådda empiriska undersökningar, de tre andra var teoretiska.
Om man vill jämföra tidskrifterna som godkände eller refuserade artiklarna är ett sätt att titta på deras så kallade impact factor, det vill säga en siffra som visar hur ofta som hänvisningar till någon viss tidskrift förekommer i andra vetenskapliga tidskrifter. I en jämförelse visar sig det föga överraskande resultatet att det var svårare att få jakande beslut från mer etablerade tidskrifter med högre impact factor, och lättare att publicera i mer marginella tidskrifter.
Ett annat resultat är att det var lättare att få manuskriptet accepterat när det påstods basera sig på en empirisk undersökning. Till exempel ”hundpark”-artikeln hänvisade till ”närmare tusen timmar av observationer”, som också noggrant beskrevs. I verkligheten hade man inte genomfört någon. Men ifråga om påstådda empiriska data har en utomstående recensent i praktiken inga som helst möjligheter för kontroll. Ifall de empiriska resultaten ser överraskande ut kan hen endast be om tydligare förklaringar om metod. Detta är något som recensenterna också gjorde, och fick som svar detaljerade beskrivningar – påhittade sådana.
Projektgruppens språkrör, Areomagazine, kommenterar förhandsrecensenternas arbete bara i förbigående. De nämner inte att en recension i genomsnitt bestod av så många som 1 029 ord; att de för elva manuskript fick sammanlagt 37 recensioner, i vilka ingick bland annat 97 förslag på ny litteratur som författarna kunde bekanta sig med. Manuskripten som slutligen publicerades är inte absurda eller påfallande amatörmässiga. Orsaken är att projektgruppen satt som mål att verkligen få sina alster publicerade, och att de fick hjälp av de välvilliga (oavlönade) recensenterna. Vad experimenterade gruppen då slutligen med? Möjligen med sin egen förmåga att lära sig skriva artiklar inom en annan disciplin.
Många flera experiment med peer reviewförfarandet görs och har gjorts tidigare, åtminstone sedan 1970-talet. De seriösa experimenten har inte haft som syfte att brännmärka tidskrifter eller discipliner, utan att ta reda på hur vissa bestämda egenskaper i manuskriptet påverkar recensenternas bedömning. I ett experiment av detta slag låter man inte tidskriften publicera det inskickade manuskriptet. Gruppen kring Areomagazine gjorde inte bara detta, i uppenbar avsikt att skada människorna och tidskrifterna som utan sin vetskap deltog i experimentet, utan presenterar också missvisande och överdriven information om sitt experiments betydelse (såsom Hämäläinen också påpekar). Gruppens tre medlemmar gör ingen hemlighet av att deras syfte är att få genusvetenskap och relaterade vetenskapsgrenar utvisade från universiteten.
För närvarande pågår faktiskt en livlig diskussion kring peer review-förfarandet, men den fokuserar sig inte på kvalitetsförsäkring. Såsom Hämäläinen skrev publiceras ”skräp” också av de bästa tidskrifter. Skräpet tenderar dock att antingen glömmas bort eller vederläggas av debatten inom vetenskapssamfundet. Sättet på vilket Areomagazine-gruppens projekt slutade var ju också ett exempel på detta. Det som forskarna egentligen upplever som störande är att peer review-utlåtandena ofta är ytliga, formella och inte konstruktiva – men så var ju inte fallet den här gången. Detta visas av de många utförliga recensionerna som ”sprattmanuskripten” fick, och som föranledde en grundlig omarbetning av samtliga publicerade texter.
Projektgruppens fixering på påstådda problem inom just kvalitetsförsäkring pekar på en naiv uppfattning om vetenskap som ett slags ”reservoar av kunskap” eller universalencyklopedi, som behöver skyddas från inkompetenta forskare. Det är dock mera skäl att betrakta vetenskapen som en pågående diskussion. Den behöver största möjliga variation av röster, också av avvikande åsikter, också av dem som publiceras i mindre etablerade tidskrifter. Projektgruppens ”spratt” var främst riktat mot sådana tidskrifter. Dess eget agerande är dock ett exempel på ett mycket allvarligare problem.
De anfaller andra forskare av politiska skäl, och struntar samtidigt i de mest grundläggande forskningsetiska principerna (att inte skada dem som man experimenterar med; att rapportera sanningsenligt om sina resultat). Härmed undergräver de inte enbart trovärdigheten av de discipliner de anfaller, utan av vetenskapen i allmänhet. Det stora problemet gäller inte akademisk publiceringspraxis – forskarna klarar av att sålla agnarna från vetet. Problemet är även här precis det som också Hämäläinen oroar sig för: de alltmer frekventa försöken på politisk, i det här fallet högerpolitisk styrning av vetenskapen.
”För närvarande pågår faktiskt en livlig diskussion kring peer review-förfarandet, men den fokuserar sig inte på kvalitetsförsäkring. Såsom Hämäläinen skrev publiceras ’skräp’ också av de bästa tidskrifter. Skräpet tenderar dock att antingen glömmas bort eller vederläggas av debatten inom vetenskapssamfundet.”