O čem všem Cermat raději mlčí
Chceme-li přijímačky a maturity, které neškodí, je nutné, aby podrobná data z nich byla veřejně dostupná
Cermat (Centrum pro zjišťování výsledků vzdělávání) zveřejnil analýzu letošních maturit. Šedesát sedm stran textů a tabulek. Z nich ale do mediálního prostoru pronikne pravděpodobně jen to, že se žáci zhoršili, protože kvůli koronakrizi mohli k maturitě všichni. I ti, které by tam jinak škola nepustila, aby si neudělala ostudu.
To je nejspíš pravda, ale opravdu velmi částečná. Ta zpráva je totiž především informací o tom, jak obtížné je přinutit Cermat k tomu, aby nás opravdu informoval o důležitých věcech. Zveřejněná čísla jsou zajímavá, ale jako obvykle to nejdůležitější chybí.
Uživatelský servis se zlepšuje Zveřejněná zpráva rozhodně znamená velký pokrok. Když maturity v roce 2011 startovaly, tehdejší ředitel Cermatu oznámil veřejnosti, že úlohy zůstanou navždy tajné, a podal trestní oznámení na EDUin, který uniklé testy zveřejnil. Postupně se pod tlakem veřejnosti, neziskovek, iniciativy Maturitní data – odtajněno i ministerstva uživatelský servis maturit zlepšoval. Dnes se testová zadání rutinně zveřejňují v den, kdy je žáci vyplní. Klíč správných odpovědí se objeví na webu, když žáci dostanou své výsledky.
Zpráva o výsledcích maturit není jako dříve k dispozici na podzim, kdy už nikoho nezajímá, ale s přijatelným několikatýdenním odstupem. Není to jen povšechné povídání, ale důležitá čísla, často přehledně graficky zpracovaná. Přesto je aktuální zpráva především informací, že Cermat dál hraje své informační hry.
Interpretovat data nemá Cermat
Co tu totiž naprosto chybí, jsou čísla o tom, jak dopadly jednotlivé úlohy. Stejně tak jsou nedostupná anonymizovaná data z maturit, která by umožnila pochopit, co přesně úlohy ověřují a proč se v nich žákům daří či nedaří. Cermat to dělá velmi pravděpodobně proto, aby jen on měl monopol na interpretaci dat. Jen ředitelka Cermatu za této situace může říkat nějaké obecné soudy. Třeba že matematika dopadla špatně, protože maturanti neumí pořádně číst. Nebo že testy z češtiny jsou meziročně srovnatelné a jejich náročnost neroste. Ověřit to nelze. Nemáme k dispozici data, z nichž lze bez možnosti identifikace žáků zjistit, jak u které úlohy dopadla která škola, obor, jak na tom jsou chlapci a děvčata, jaké je regionální rozložení výsledků. Pak by bylo možné vyjádření Cermatu buď potvrdit, nebo rozporovat.
V tuhle chvíli má ale Cermat monopol na něco, co mu vůbec nepřísluší. Jde o servisní organizaci, která má podle zadání ministerstva zkoušky pokud možno bez chyb zorganizovat a dodat výsledky k další interpretaci. Ta oficiální by měla příslušet ministerstvu. Další pak každému, kdo umí data vyhodnotit, například akademickým pracovištím nebo zdatnějším učitelům. Jenže Cermat má vlastní „politickou“agendu. Využívá mediální pozornosti, kterou výsledky testů přitahují, aby nám sděloval, že „maturantů“je příliš, žáci neumí to či ono, a proto bychom měli… Je třeba konstatovat, že současná ředitelka Michaela Kleňhová je po této stránce zdrženlivější než její předchůdce Jiří Zíka, ale podstata hry se nezměnila.
Polopravdy, lži a vytáčky
Aby bylo zřejmé, o čem je řeč. Jestliže paní ředitelka například tvrdí, že výsledky v matematice jsou horší, protože maturanti špatně čtou, a proto selhávají u slovních úloh, bylo by namístě porovnat výsledky jednotlivých úloh v češtině a matematice. Potvrzují čtenářské úlohy v testu z češtiny, že opravdu jsou tyto schopnosti žáků na nízké úrovni? Jak je to na odborných školách, jak na gymnáziích? Souvisí nějak prokázané analytické dovednosti v jednom testu s podobnými úlohami v testu jiném? Teprve na základě podobných podrobných dat se dá posoudit, zda opravdu je příčinou špatných výsledků v matematice nízká úroveň čtenářských dovedností, nebo zda větší roli hraje nepřehledné zadání, umístění úlohy v testu na začátku či na konci... Všechny tyto parametry hrají roli, ale bez anonymizovaných dat o nich nic určitějšího říct nemůžeme.
Cermat v uplynulých letech využíval nejrůznější triky, aby data vydat nemusel – nebo jen částečně a v podobě, která většině uživatelů znemožňuje jejich využití. Například tvrdí, že u jednotlivých úloh nezjišťuje, zda je vyplňuje chlapec, či dívka. A že tedy anonymizovaná data s tímto parametrem vydat nemůže. Téměř jistě to není pravda. Ale bez toho je obtížné posoudit, proč jsou v maturitních výsledcích skoro všude dívky horší než chlapci. Je to tím, že dívek jde k maturitě prostě víc? Nebo opravdu podoba testů a některé skupiny úloh dívky „diskriminují“? Opět nevíme a na tvrzení a interpretaci Cermatu se spolehnout nelze. Už nás totiž klamal příliš často.
Co máme vyžadovat
Přijímací i maturitní testy zaváděli politici proto, aby se kvalita vzdělávání zlepšila. Jestli se tak stalo, na to je názorů více. V každém případě je nutné, abychom měli jako společnost tento nástroj vzdělávací politiky pod kontrolou. Aby spíše pomáhal a neškodil. K tomu je nutné několik věcí.
Přijatá novela školského zákona přikazuje Cermatu zveřejnit anonymizovaná data do dvou týdnů od dodání výsledků školám. Příští rok bychom tedy tuhle debatu vést už neměli, i když o tom, co všechno v těch datech bude a nebude, se jistě ještě dohadovat budeme. Dále je nutné požadovat, aby spolu s klíči správných odpovědí byla vždy zveřejněna i odůvodnění, co která úloha ověřuje, a také zdůvodnění, proč je určitá volba z nabízených odpovědí správná. Předejde se podobným lapsům, jako je loňská úloha 11 v testu z matematiky, která před dvěma týdny neobstála před správním soudem. Dále bychom měli znát složení nezávislých komisí, které vydávají rozhodnutí, že testy jsou v pořádku – jednu zřizuje Cermat, jednu ministerstvo. Měli bychom, vždy s nějakým odstupem po publikování testů, znát autory úloh, aby bylo jasné, zda nedochází ke konfliktu zájmů mezi členstvím v komisi a autorstvím úloh. Ani to se v tuto chvíli nedá vyloučit.
Cermat má vzdělávání sloužit, ne si jeho část monopolizovat. A ministerstvo si na něm má dodržování této role konečně vynutit.
Aktuální zpráva o výsledcích maturit je především informací, že Cermat dál hraje své informační hry