Läget i den svenska skolan
Islutet av 2016 fick svenska folket svar på den fråga som hängt i luften under flera år: Hur går det med skolan? Till skillnad från den nationella depression som drabbade landet efter utförslöpan i PISA 2012, fanns nu så tydliga indikationer på förbättringar att många drog en lättnadens suck. Det finns anledning att glädjas över uppgången i de svenska elevernas medelresultat i matematik och naturvetenskap. Men det faktum att både PISA och TIMSS visar att likvärdigheten i utbildningsresultaten försämrats är bekymmersamt, i synnerhet som detta innebär en fortsättning av en långvarig trend. Det är också ett förvånande resultat, eftersom det enligt analyser av tidigare Pisa-omgångar är vanligt att goda medelresultat för ett land hänger samman med en hög grad av likvärdighet.
Det är svårt att dra nytta av resultaten från de internationella undersökningarna om det inte också finns bra förklaringar till vad som orsakat de olika utfallen. I den diskussion som följt på publiceringen av PISA- och Timss-resultaten saknas inte heller bestämda besked från tidningarnas ledarredaktioner och utbildningspolitikerna om vilka reformer som har orsakat de förbättrade resultaten. Någon egentlig underbyggnad har dessa besked dock inte, så de får betraktas som mer eller mindre välartikulerade hypoteser.
Skolverkets rapportering av undersökningarna innehåller inte några hypoteser eller försök till analyser av hållbarheten i olika förklaringar. De forskare som arbetade med den tidiga utvecklingen av de internationella studierna hade stora svårigheter i sina försök att dra slutsatser om orsakssamband, men i takt med att tillgången på data och avancerad analysteknik har förbättrats har också möjligheterna att pröva olika förklaringar förbättrats. Här följer några exempel på hur man kan gå till väga.
Som nämndes tidigare har man i flera undersökningar baserade på Pisa-data funnit att länder med goda resultat också brukar ha likvärdiga utbildningssystem. Det vet vi genom att mäta skillnader i elevernas resultat, sambandet mellan föräldrarnas utbildningsnivå och elevernas utbildningsresultat och hur stor skolsegregationen är med avseende på elevernas sociala bakgrund. Att bara påvisa existensen av ett sådant samband räcker dock inte för att det ska vara möjligt att hävda att likvärdighet orsakar bättre resultat. Till exempel kan en god ekonomi samtidigt ge både likvärdig och effektiv utbildning, i stället för att det ena orsakar det andra. I analysen är det därför nödvändigt att kontrollera för sådana gemensamma egenskaper. Ett sätt att göra detta är att undersöka om förändring i likvärdighet har samband med förändring i effektivitet.
I de tabeller som publicerades i anslutning till Pisa-rapporten finns information om likvärdighetsindikatorer från PISA 2006 och 2015, vilken kan kombineras med information om prestationer för de två åren. En av likvärdighetsindikatorerna är Index of social inclusion (ISI). Höga Isi-värden anger låg grad av skolsegregation (se diagram på sidan 44).
Sambandet mellan resultatförbättring och minskad skolsegregation framträder tydligt i diagrammet – men det framgår också att resultaten påverkas av andra faktorer. Det är för övrigt intressant att notera att ett av de länder som har störst försämring av likvärdigheten är Finland, där resultaten försämrades mest mellan 2006 och 2015. Chile har störst förbättring av likvärdigheten och har också förbättrade resultat.
Under de senaste åren har ett stort antal lärare i grund-
skolan deltagit i Matematiklyftet. Det finns internationell forsknings om visa ratt sådan kompetensutveckling ger goda effekter på elevernas skolresultat. Frågan är om det också gäller sven skalära resdeltagande i kompetensutveckling. Vi undersökte detta genom att utnyttja Tims s-elevernas bedömningar av undervisningskvaliteten och mäta det motlärarnas deltagande i kompetensutveckling. Statistiska analyser gav stödför att en del av den svenska poängförbättringen i TIMSS 2015 kan hänföra still kompetens utvecklingsinsatser.
TIMSS och PISA har i grunden samma syfte, men undersökningarna har olika utformning. Det är därför intressant att undersöka i vilken utsträckning resultaten är samstämmiga.
Forskare har funnit starka samband mellan ländernas medelresultat för TIMSS årskurs 8 och PISA år 2015. För matematik i årskurs 8 var sambandet 0,92 och för naturvetenskap var det 0,93 (1,0 innebär ett fullständigt samband). De högpresterande östasiatiska länderna (Hongkong, Japan, Sydkorea, Singapore och Taiwan) hade alla något bättre resultat i TIMSS än i PISA, medan de nordiska länderna och en del engelskspråkiga länder (Australien, Kanada, Irland och Nya Zeeland) hade bättre resultat i PISA än i TIMSS. Så det finns vissa systematiska skillnader.
För de flesta länderna var förändringarna mellan 2011 och 2015 positiva för TIMSS, medan de var negativa för PISA mellan 2012 och 2015. Detta kan tolkas som en effekt av övergången till datoriserade prov för PISA 2015. OECD hävdar att detta inte haft någon effekt på provens mätegenskaper. Men det finns ytterligare indikationer på att det skett systematiska förändringar i provens egenskaper mellan 2012 och 2015. Av den svenska PISArapporten framgår exempelvis att flickornas försteg i läsresultaten minskat betydligt, såväl i Sverige som i Oecd-länderna i övrigt, och det framstår som mer rimligt att dessa förändringar beror på förändrade egenskaper hos proven, än på faktiskt förändrade prestationsskillnader.
Ett annat exempel är att medelvärdet för skillnaden mellan 2012 och 2015 för naturvetenskap i PISA, för de 24 länder som deltog i båda undersökningarna, är –7,0 poäng. Det är orimligt att förvänta sig en faktisk förändring av denna storleksordning för så många länder, i synnerhet som medelvärdet för skillnaden för TIMSS var +3,8 poäng. Skillnaden uppgår sålunda till nästan 11 poäng, och den rimligaste förklaringen till detta är att övergången till datorbaserad testning i PISA har gjort provet svårare.
En tendens till ökad svårighetsgrad finns även i matematikprovet, där PISA skattar förändringen mellan 2012 och 2015 till –2,9 poäng, medan TIMSS skattar förändringen mellan 2011 och 2015 till +5,2 poäng. PISA- och Timss-poängen är i huvudsak jämförbara, även om en Timss-poäng motsvarar något större kunskapsskillnad på grund av att skalan är mer hoptryckt.
De svenska Pisa-resultaten förbättrades med 16 poäng i matematik, och med 9 poäng i naturvetenskap. Förändringen var statistiskt signifikant för matematik, men inte för naturvetenskap. Men om det förhåller sig så att Pisa-provet i naturvetenskap blivit ett antal poäng svårare är resultatet för detta prov underskattat. Så slutsatsen att förbättringen skulle vara mindre i naturvetenskap än i matematik är förmodligen felaktig. Enligt TIMSS årskurs 8 var förbättringen 17 poäng i
l Internationella jämförande undersökningar av elevers kunskaper och färdigheter påbörjades under 1960-talet. Målet var att kunna jämföra resultat mellan olika utbildningssystem, och bättre förstå vilka faktorer som påverkar resultaten. The international association for the evaluation of educational achievement (IEA), där den svenske pedagogi kprofessorn Torsten Husén var en drivande kraft under flera decennier, bildades som ett organisatoriskt paraply för en lång serie undersökningar inom ett brett spektrum av ämnen och årskurser. Vid sidan av kunskaper och färdigheter mättes attityder, intressen och förhållningssätt. Och genom frågeformulär till elever, föräldrar, lärare och skolledare kartlades undervisningen. l Även om dessa kartläggningar var mycket ambitiösa kunde de endast i mycket begränsad utsträckning förklara orsaksförhållanden. Eftersom de frågor man var intresserad av i hög grad var inriktade på kausala sammanhang, ledde detta till en omprövning av de jämförande studiernas inriktning. Det innebar större fokus på mätning och beskrivning av utbildningsutfall och mindre fokus på förklaring och teoriutveckling. Denna utveckling var också i samklang med den tyngdpunkts förskjutning från utbildning arnas förutsättningar till deras resultat, som blev tydlig under 1980-talet. l Detta var en av anledningarna till att antalet deltagande länder i de internationella undersökningarna ökade kraftigt under 1990-talet. Men ett annat skäl var också att undersökningskvaliteten ökade. År 1995 slogs de tidigare separata undersökningarna av matematik och naturvetenskap samman till en undersökning som fick namnet Third international mathematics and science study (TIMSS 1995). Den undersökte elever i årskurser na 4, 8 och sista året i gymnasiet. År 1999 upprepades TIMSS under beteckningen Timss-repeat. Uppgifter från TIMSS 1995 användes då tillsammans med nykonstruerade uppgifter, vilket gjorde det möjligt att undersöka resultatförändringar över tid inom länder. Det har medfört stora förbättringar i att använda och tolka resultaten. Efter 1999 har TIMSS upprepats ytterligare fyra gånger (2003, 2007, 2011 och 2015), och då med akronymen uttydd som Trends in international mathematics and science study. l År 2000 startade OECD sitt Program for international student assessment (PISA) i TIMSS kölvatten. PISA omfattar förutom matematik och naturvetenskap även läsning och fokuserar på 15-åriga elever. Undersökningen genomförs vart tredje år, vilket innebär att sex PISA-omgångar har genomförts mellan 2000 och 2015.