PISA: Forscher warnt vor falschen Schlüssen
Morgen werden die Ergebnisse publik
KURIER-Mini-Serie. Wenn morgen, Dienstag, um 11 Uhr weltweit die PISA-Rankings veröffentlicht werden, dürften wieder mancherorts die Alarmglocken schrillen. Welches Land hat beim weltweit größten BildungsVergleichstest aufgeholt, wer ist abgestürzt? Der Bildungsforscher Stefan Hopmann von der Uni Wien rät aber zu deutlich mehr Gelassenheit – und warnt vor falschen Schlüssen. Den Ländervergleich hält er gar für „statistisches Voodoo“. Als größtes Problem sieht der Forscher aber, dass die Politik viele Bildungssysteme nur umgebaut hat, um vielleicht bessere Ergebnisse beim PISA-Test zu erzielen. „Paradox“, nennt er das. „Der Maßstab ist zum Ziel geworden“.
Seit 19 Jahren sind wir im Bann des PISA-Tests. Nicht nur in Österreich, weltweit sorgen die Ergebnisse dieser internationalen Schulleistungsuntersuchung, hinter der die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) steckt, alle drei Jahre für Wirbel. Morgen, Dienstag, werden bereits zum siebenten Mal die Ergebnisse der PISAStudie vorgestellt.
Insgesamt wurden dafür weltweit mehr als eine halbe Million 15- bis 16-jährige Schüler in fast 80 Ländern in Lesen, Mathematik und Naturwissenschaften getestet. In Österreich waren es zwischen April und Mai 2018 etwa 7.800 Schüler. Der Schwerpunkt lag diesmal auf dem Lesen.
Unumstritten ist der PISATest aber nicht: Einer der in Österreich schärfsten Kritiker des Tests – und vor allem der Interpretation der Testergebnisse – ist der Bildungswissenschaftler Stefan Hopmann von der Uni Wien.
KURIER: Am Dienstag werden wieder die PISA-Ergebnisse veröffentlicht. Denken Sie, dass die Aufregung wieder groß sein wird?
Stefan Hopmann: Bei uns in Österreich vielleicht, international ist das längst nicht mehr der Fall. Problematisch sehe ich vor allem das LänderRanking, das veröffentlicht wird. Das halte ich für statistisches Voodoo.
Das müssen Sie erklären.
PISA arbeitet nicht mit absolutem Maßstäben, sondern mit relativen: Wenn alle Ergebnisse vorliegen, wird ein Durchschnitt gebildet und dieser 500 Punkten gleichgesetzt. Daran werden die Teilergebnisse geeicht. Was aber auch heißt: Wenn aus welchem Grund auch immer alle Befragten deutlich besser geworden sind, kann man das im Ergebnis nicht sehen. Natürlich auch nicht, wenn alle schlechter geworden sind. Der Schnitt hängt außerdem davon ab, welche Länder teilnehmen. Wenn also neue, schwache Länder dazukommen, kann man bessere Ergebnisse haben, ohne besser geworden zu sein, und umgekehrt: Wenn neue, starke Länder dazukommen, kann man plötzlich schlechter abschneiden. Damit ist das ein hochgradig manipulierbares System.
Die PISA-Fragen für die Schüler klingen doch recht vernünftig, etwa Statistiken richtig interpretieren zu können. Was stört Sie da?
Wenn PISA behauptet, sie würden Mathematik testen, dann stimmt das nicht. Getestet wird nur ein bestimmter, für Vergleichstests brauchbaren Ausschnitt der Mathematik. Vieles wird ja gar nicht getestet. Beim Lesen, wie beim jetzigen Test, testen sie bestimmte Teilleistungen, die sich für solche Vergleichstests gut eignen. Das geht damit los, dass nicht einmal überprüft wird, ob die konkreten Testbereiche in den Lehrplänen der Staaten überall gleich stark verankert oder unterschiedlich gewichtet sind.
Aber Lesen als Kulturtechnik wird doch überall gleich wichtig sein?
Nein, nicht einmal Lesen ist überall gleich. Es gibt nicht eine Sorte Lesen und eine Sorte Rechnen, sondern viele verschiedene Zugänge. Welche Textsorte halte ich für relevant, welche Fragen daraus finde ich relevant. Das sind Auswahlentscheidungen.
Aber ist PISA nicht wenigstens dafür gut, einen internationalen Vergleich zu haben?
Da muss man wissen: Ergebnisse werden nicht eins zu eins verglichen, sondern unterschiedliche gewichtet. Dänische Kollegen haben nachgewiesen, dass die dänischen Schüler je nach Gewichtung bestimmter Aspekte
oder wenn bestimmte Fragen ausgenommen werden, im oberen, mittleren oder unteren Feld landen. Das zeigt nur, wie volatil der Test ist, weil nur ein kleiner Teil angesehen werden.
Ist PISA überhaupt ein sinnvoller Test?
Wegen der nicht intendierten Nebeneffekte würde ich sagen: Nein. Aber er ist vermutlich der best gemachte Test seiner Art. Nur sind die Kollateralschäden so groß, dass PISA als Ganzes schädlich geworden ist.
Welche Kollateralschäden meinen sie?
Das Problem ist, dass durch PISA die Länder zunehmend ihre eigenen Bildungssysteme an PISA anpassen. Das Paradoxe ist: Der Maßstab ist zum Ziel geworden.
PISA sagt eigentlich nichts über die Qualität der Bildungssysteme aus?
Richtig, weder über die Qualität des Schulsystems, der Lehrkräfte oder des Unterrichts. Sie können mit PISA keine politischen Kausalaussagen machen, genau das passiert aber, und das halte ich für den schlimmsten Fehler. Wir können nicht sagen, das eine Land ist besser oder schlechter, weil die eine bessere Lehrerausbildung haben, oder weil die eine Gesamtschule haben. Tatsächlich wird herausgezogen: Die Finnen sind besser, weil ... Und wir müssen das jetzt auch so machen. Das wird aber gemacht. Und das hat bereits dazu geführt, dass die gleichen Ergebnisse zu völlig anderen Schlüssen in unterschiedlichen Ländern geführt haben. Etwa herauszulesen, dass die gemeinsame Schule das bessere System ist, während die Norweger es so interpretieren, dass man eigentlich eine Differenzierung braucht.
Was sollte die Politik aus den PISA-Ergebnissen lernen?
Seit 20 Jahren läuft die Politik PISA hinterher, versucht Maßnahmen zu setzen, um beim Test besser abzuschneiden. Wie viel Erfolg hatten wir damit? Keinen. Auch morgen wird wohl nicht rauskommen, dass wir sensationell besser oder schlechter geworden sind. Unterm Strich bleibt aber: Die Politik durch PISA hat nicht zu besseren Leistungen geführt oder zu mehr Chancengleichheit. Sondern eher zu mehr Segregation und mehr Leistungsunterschieden. Die Kollateralschäden sind aber zahlreich: Es leiden die Fächer, die nicht getestet werden, da sie weniger Aufmerksamkeit bekommen. Es geht nur mehr drum, für den PISATest besser zu werden. Aus meiner Sicht sollten wir den Test bleiben lassen.
Morgen im Serienteil 2: Was hat PISA bei uns bewirkt?