Österreich bei Pisa: „Es wird zumindest nicht besser“
Weniger Punkte in allen drei Testgebieten – aber sind die österreichischen Schülerinnen und Schüler bei Pisa wirklich schlechter geworden im Vergleich zu 2012? Ein Statistiker hinterfragt die Abwärtsbewegung. Eines scheint aber doch klar: Aufwärts geht es
Wien – Österreich hat bei der neuen Pisa-Studie schlechter als vor drei Jahren abgeschnitten, zwar nur leicht, aber eben doch mit weniger Punkten (fünf im Lesen, neun in Mathematik, elf Punkte weniger in Naturwissenschaften). Das bedeutete erneut: nur im Mittelfeld.
Aber sind wir bei Pisa 2015 nun wirklich schlechter geworden? Statistiker Erich Neuwirth legt immer wieder Bildungsdaten unters statistische Brennglas, und darum zweifelt der frühere Statistikprofessor an der Uni Wien Österreichs Verschlechterung seit 2012 an: „Die Aussagekraft der PisaWerte für Österreich ist sehr relativ zu sehen. Nach diesem Test ist bei weitem nicht statistisch gesichert, dass wir uns verschlechtert haben“, sagt er zum STANDARD: „Vor allem, weil die Verschlechterung zum größten Teil nur bei den Mädchen festgestellt wird.“
Grund für Neuwirths Vorbehalte ist der Wechsel des Messverfahrens, dessen Auswirkungen zumindest für Österreich nicht durch eine geeignete vergleichende Untersuchung quantifizierbar seien. Erstmals mussten die Schülerinnen und Schüler nämlich alle Fragen am Computer lösen, bisher immer mit Bleistift und Papier.
Weil Österreich aufgrund der – wie Neuwirth kritisiert – „übertriebenen Panikreaktion“der damaligen Bildungsministerin Gabriele Heinisch-Hosek (SPÖ) wegen eines vermeintlichen Datenlecks nicht am Pisa-Feldtest 2014 teilgenommen habe, gebe es keine Möglichkeit für seriöse Vergleiche.
Computer statt Papier
In Deutschland lieferte der Feldtest Hinweise darauf, „dass die Pisa-Aufgaben im Mittel am Computer schwerer waren als auf Papier“. Diesen landesinternen Vergleich kann Österreich nicht machen, aber, so betont Claudia Schreiner, Direktorin des die PisaStudie durchführenden Bifie-Forschungsinstituts, zum STANDARD, eines lasse sich jedoch eindeutig sehen: „In diesem engen Mittelfeld, in dem Österreich liegt, kann man recht sicher schließen, dass es zumindest nicht besser wird. Drei, vier Punkte auf oder ab sind keine substanziellen Veränderungen. Insgesamt kann man das große Bild im OECD-Raum sehr wohl vergleichen.“
Die internationale Vergleichbarkeit zwischen den Ländern sei jedenfalls gegeben, habe die großangelegte Mode-Effect-Studie der OECD gezeigt. Das schließe aber nicht aus, „dass in einzelnen Ländern Veränderungen in den Ergebnissen zumindest zum Teil mit dem Wechsel der Erhebungsmodalität zusammenhängen“, heißt es in einem Pisa-Bericht des Bifie.
Warum aber sind Pisa-Fragen am Computer möglicherweise schwieriger als auf Papier? Weil mitunter vermeintlich unbedeutende Details doch einen Unterschied machen, erklärt Schreiner: „Etwa wenn bei Lesebeispielen früher der Text auf einer Doppel- seite im Testheft war und jetzt hinund hergescrollt werden muss.“Oder weil der Test am PC neue Möglichkeiten für Testaufgaben, zum Beispiel im Bereich des Planens und Durchführens von Experimenten, eröffnet – und diese von den Schülern vielleicht als schwerer empfunden wurden, was das gesamte Testsetting (negativ) beeinflussen könnte.
Als Erklärungsansatz für die schlechteren Leistungen der Mädchen bei der Pisa-Computertestung sei laut Schreiner die „Hypothese, dass computerbasiertes Testen den Mädchen weniger entgegenkommt als den Buben, nicht ganz von der Hand zu weisen“. Um das zu erhärten, gehörten „Effekte des Umstiegs auf computerbasiertes Testen auch im Hinblick auf den regulären Schulbetrieb natürlich genauer untersucht“.