Nesespray mot forkjølelse – for godt til å vaere sant?
Norsk nesespray basert på sjøpølse fikk ned sykefravaeret, viser undersøkelse. Det kan skyldes tilfeldigheter.
Dagens Naeringsliv rapporterte at den nye sprayen «bidrar til å redusere sykefravaeret med 57 prosent», basert på en studie som viste at sykefravaeret blant dem som brukte nesesprayen var langt lavere enn blant dem som ikke brukte den: 4 prosent mot 10 prosent. Dette resultatet står sentralt i markedsføringen av produktet.
Undersøkelsen var tilsynelatende solid, med deltagere som ble fordelt med loddtrekning til enten å få nesesprayen, eller en nesespray som kun inneholdt saltvann (placebo). Ved første øyekast virker resultatet imponerende, men naermere ettersyn gir grunn til å mistenke at resultatet kan skyldes rene tilfeldigheter – at forskjellen ikke trenger å ha noe med sprayen å gjøre i det hele tatt.
Tilfeldighetenes spill er vi alle kjent med: Du vet at sannsynligheten for å få mynt eller kron er halvt om halvt, men du vet også at ti myntkast godt kan gi åtte av det ene og to av det andre.
Feilmarginer
Alle undersøkelser som skal anslå sannsynligheter, enten det er sannsynligheten for å få mynt eller sannsynligheten for å bli forkjølet, må ha tilstrekkelig mange deltagere. For få deltagere gir usikre resultater. Hvor usikre resultatene er, uttrykkes gjerne med den såkalte feilmarginen: Hvis Arbeiderpartiet får 30 prosent i en meningsmåling og feilmarginen oppgis å vaere 3 prosentpoeng, kan vi anta at de ligger an til å få et sted mellom 27 prosent og 33 prosent av stemmene.
For nesesprayen oppgis ingen feilmargin. Dermed er det vanskelig å avgjøre hvor mye resultatet egentlig er verdt.
Til tross for gjentatte forespørsler, var det ikke mulig for oss å få full klarhet i hva slags analyser som var utført eller størrelsen på feilmarginene. Det som er klart, er at nesespraystudien gikk over fire uker, at 127 kabinansatte i SAS deltok, og at sykefravaeret ikke er beregnet pr. deltager, men som andel av alle arbeidsdager i løpet av perioden. Det vil si at man har telt sykefravaer for samme deltager mange ganger. Det kan gi et helt misvisende resultat, blant annet fordi én person med spesielt mye fravaer vil påvirke resultatet uforholdsmessig mye.
Da vi utførte våre egne analyser, basert på tall som produsenten velvillig ga oss, fant vi ingen overbevisende forskjell i hvor mange som hadde hatt blitt syke. Vi så heller ingen klar forskjell i lengden på sykefravaeret blant dem som hadde vaert borte fra jobb.
Vriing og vending på tall
Det hevdes ofte at ved å bruke forskjellige analyser på mange forskjellige måter kan man få de resultatene man vil, og det er mye sant i det. Nettopp derfor er det så viktig at forskere redegjør for hvilke analyser de har tenkt å gjøre, før de setter i gang. Og at de holder seg til planen.
Er det så nøye?
Det er kanskje ikke så farlig om noen tusen nordmenn kaster bort penger på en nesespray, men akkurat samme problemstilling gjelder eksempelvis for nye, dyre kreftmedisiner med begrenset effekt og betydelige bivirkninger: Å avgjøre om en påstått virkning er reell eller et utslag av en statistisk manøver er åpenbart viktig – aller mest for pasientene som skal bruke medikamentet.
Les også: Selskapet svarer på side 15
I Uviten skriver
Nina Kristiansen,
Atle Fretheim og Simen Gaure hver uke om det de mener er dårlig forskning, flau formidling, kunnskapsløse politiske forslag og ren fusk.