ROZHOVOR: Ako vznikajú maturitné testy? Pred skúškami sú známe len zasväteným
Maturanti si v marci 2023 opäť sadli do lavíc pred písomné testy a slohové práce. Vedúca Oddelenia hodnotenia a monitorovania vzdelávania Národného inštitútu vzdelávania a mládeže Ivana Pichaničová prezradila, ako sa maturitné testy pripravujú a čo robí študentom najviac problémov. V rozhovore sme sa jej pýtali aj na chyby v testoch a návrat maturity po pandémii.
V rozhovore sa dočítate:
- ako vznikajú maturitné testy,
- kto testy kontroluje,
- ako inštitút a ministerstvo riešia chybné otázky,
- ktoré otázky spôsobujú maturantom ťažkosti,
- či žiaci počas pandémie prepisovali na testoch dátum,
- či mal NÚCEM cez pandémiu "voľno".
S výnimkov pandemických rokov si študenti každoročne na začiatku jari sadnú do lavíc, aby sa zúčastnili externej časti maturity. Ako vyzerá proces prípravy maturitných testov a ako vyberáte otázky, témy a problémy na riešenie?
Autorské tímy zložené z učiteľov stredných i vysokých škôl z jednotlivých predmetov pripravujú testy na základe špecifikácie testov, ktorá obsahuje požiadavky na dizajn testu, teda napríklad na typy testových položiek, žáner a dĺžku východiskových textov, tematické celky zastúpené v teste a podobne. Všetky testy obsahovo vychádzajú z Katalógu cieľových požiadaviek na vedomosti a zručnosti maturantov z jednotlivých predmetov a zo Štátneho vzdelávacieho programu. Testy po ich vytvorení prechádzajú pilotným testovaním na vzorke žiakov rôznych druhov stredných škôl.
Po vyhodnotení pilotného overovania sa testy ďalej upravujú, prípadne opakovane pilotujú a následne sú recenzované odborníkmi na daný predmet vrátane rodených hovoriacich v prípade testov z cudzích jazykov. Po zapracovaní recenzných pripomienok sa schválené verzie testov graficky upravujú a upravujú sa tiež pre žiakov so zdravotným znevýhodnením. Rovnaké autorské tímy sa podieľajú aj na tvorbe tém/zadaní písomnej formy internej časti maturitnej skúšky. Témy/zadania sa pripravujú vopred, pre každý rok 10 sád, z ktorých iba veľmi úzky okruh zamestnancov NIVaM vyberie, prekontroluje a pripraví témy pre žrebovanie v danom školskom roku.
V minulosti sa maturanti stretli s tým, že niektoré otázky boli napriek tomuto dlhému prípravnému procesu chybné či nesprávne. Dávate ich kontrolovať aj iným odborníkom z akademickej sféry, napríklad Jazykovednému ústavu Ľudovíta Štúra SAV?
Ako som už uviedla, všetky testy podliehajú recenzným posudkom a medzi recenzentov prizývame aj odborníkov z Jazykovedného ústavu Ľudovíta Štúra. V procese tvorby testov sa napriek viacúrovňovej kontrole môže vyskytnúť chyba, ktorú nikto zo zainteresovaných neidentifikuje. Z dôvodu utajenia ide stále iba o malý okruh ľudí. Niekoľkokrát sa síce objavili kritické reakcie na niektoré otázky, avšak po odbornom posúdení boli tieto kritiky vyhodnotené ako neopodstatnené.
Ak sa však potvrdí, že ide o chybu, následne na základe stanoviska takzvanej validačnej komisie, je za danú otázku všetkým žiakom, ktorí test riešili, pridelený bod. Hovoríme pri tom o anulovaní položky. Poslednýkrát bolo nutné takto anulovať jednu otázku v roku 2019 v teste zo slovenského jazyka a literatúry.
Rozhodnutím MŠVVaŠ SR zo dňa 24. apríla 2022 došlo 1. júla 2022 k zlúčeniu organizácií Národný ústav certifikovaných meraní vzdelávania (NÚCEM), Slovenská pedagogická knižnica (SPK), Štátny pedagogický ústav (ŠPÚ), IUVENTA – Slovenský inštitút mládeže a Metodicko-pedagogického centra (MPC) a vznikol z nich Národný inštitút vzdelávania a mládeže (NIVaM).
V roku 2019 sa pri vysvetľovaní chyby v teste vtedajší NÚCEM odvolal na Jazykovedný ústav Ľudovíta Štúra SAV. Neskôr vysvitlo, že v tom roku nebol nikto z tohto ústavu medzi recenzentami. Vtedajšia riaditeľka NÚCEM Romana Kanovská sa následne jazykovedcom telefonicky ospravedlnila. Tento rok nebol pri kontrole testov nikto zo spomínaného ústavu. Prečo?
Každoročne oslovujeme Jazykovedný ústav Ľudovíta Štúra s ponukou o spoluprácu. Aj v tomto roku sme požiadali Jazykovedný ústav Ľudovíta Štúra o delegovanie zástupcu pre účely posúdenia testov. Avšak zo strany ústavu sme nedostali v tomto školskom roku žiadnu odpoveď, medzi recenzentmi testov zo slovenského jazyka a literatúry preto nebol jeho zástupca. Naopak, testy, ktoré boli použité v minulom roku, boli posudzované aj zástupcami jazykovedného ústavu.
Čo sa týka spomínaného incidentu v roku 2019, vtedy bola jedna položka anulovaná. Pri tej príležitosti bol zrejme zo strany pani Kanovskej nepresne formulovaný rozsah spolupráce a zodpovednosti jazykovedného ústavu pri príprave testov, voči čomu sa ohradil. Skutočnosť je taká, že jazykovedný ústav nerecenzuje celý test. Ich pozornosť pri kontrole je úzko zameraná na jazykovú stránku.
Náročnosť testov sa nemení
Niektorí učitelia a študenti si myslia, že sú testy rok čo rok ľahšie. Prešli vedomostné požiadavky na maturantov v posledných rokoch nejakou zmenou, ktorá by znížila náročnosť externej časti maturity?
Nemáme od učiteľov spätnú väzbu, že by považovali maturitné testy za čoraz ľahšie. Každoročne zverejňujeme správy o výsledkoch v jednotlivých testoch externej časti maturitnej skúšky, v ktorých je široká verejnosť upozornená na to, že výsledky testov sa medziročne neporovnávajú. Ide o takzvané testy relatívneho výkonu a vzhľadom na to, že sa každoročne zverejňujú, neobsahujú žiadne kotviace položky, na základe ktorých by bolo možné výkony testovanej populácie medziročne porovnávať.
Testy relatívneho výkonu majú predpokladanú priemernú úspešnosť od 40 % do 60 %. Výsledok žiaka v teste pod alebo nad týmto rozhraním možno považovať za výsledok vymykajúci sa očakávaniu. Testy sa tvoria na základe platných vzdelávacích štandardov a cieľových požiadaviek na maturantov, ktoré garantujú porovnateľnú náročnosť testov.
V minulosti sa stalo, že sa v maturitných testoch objavilo učivo, ktoré mali žiaci podľa študijných syláb preberať až v apríli či v máji. Existujú nejaké verejné oficiálne sylaby, podľa ktorých by sa NIVaM pri tvorbe testov mal orientovať?
Záväzným dokumentom pre školy aj pre tvorcov maturitných testov je už spomínaný Katalóg cieľových požiadaviek na vedomosti a zručnosti maturantov, pričom školy musia prípravu žiakov na maturitnú skúšku naplánovať tak, aby všetko učivo stihli prebrať a preopakovať pred konaním externej časti maturít. Nie je teda zo strany škôl opodstatnené vyhovárať sa, že niečo nestihli prebrať.
Ktoré otázky či témy spôsobujú žiakom najviac problémov, a naopak, ktoré zvládajú najlepšie?
Odpovede na podobné otázky nájde verejnosť v našich predmetových správach, ktoré každoročne zverejňujeme a sú dostupné podľa jednotlivých školských rokov na stránke. Napríklad, v správe z externej časti maturitnej skúšky zo slovenského jazyka a literatúry v školskom roku 2021/2022 sa píše, že maturanti najlepšie zvládali úlohy v oblasti čítania s porozumením (69,6 %) a najmenej v oblasti morfológie (44,7 %). Zo správy z testu z matematiky vyplýva, že maturanti zvládli najúspešnejšie úlohy z oblasti základy matematiky (70,8 %). Naopak najhoršiu úspešnosť dosiahli v oblasti stereometrie (42,1 %).
Pandémia a maturity
Pandémia na dva roky pozastavila maturitné skúšky a známky sa vyrátavali z celkových priemerov hodnotení žiakov. Po nej sa školy vrátili k testom a skúškam. Ktorý z týchto systémov je podľa vás lepší?
Maturitná skúška má v našom školskom systéme dlhoročnú tradíciu, pričom forma maturitnej skúšky, akú v tejto podobe poznáme od roku 2008, je ukotvená v legislatíve a odráža nielen európsky, ale aj svetový trend v oblasti ukončovania výchovy a vzdelávania. Maturitná skúška pozostávajúca z externe zadávaného a objektívne vyhodnocovaného testu garantuje výrazne vyššiu objektivitu hodnotenia maturanta v porovnaní s hodnotením na základe známky alebo ústnej skúšky. Zároveň externý test poskytuje žiakovi informáciu, aké sú jeho vedomosti v danom predmete v porovnaní s inými maturantami v danom školskom roku, čo je určite cenná spätná väzba pre žiaka i školu.
Bývalý minister školstva Branislav Gröhling po pandémii tvrdil, že sa pri maturitných testoch bude prihliadať na sťažené podmienky štúdia spôsobené dištančným vzdelávaním. Študenti však v roku 2022 dostali maturitné testy z rokov 2020, na ktorých si museli perom prepísať dátum. Prečo sa táto úprava otázok nakoniec nezrealizovala?
S bývalým ministrom školstva bolo komunikované, že sa pri maturitných skúškach v roku 2022 použijú testy pôvodne pripravované pre maturitu 2020. Pred týmto rozhodnutím boli testy podrobené opakovanej recenzii, aby sme sa uistili, že sú vhodné aj pre žiakov dotknutých sťaženými podmienkami dištančného vzdelávania. Odborníci sa zhodli na tom, že testy sú aj v takom prípade vyhovujúce. Jedným z argumentov bolo, že testy boli plne v súlade s cieľovými požiadavkami na vedomosti a zručnosti maturantov, ktoré neboli pozmeňované či redukované z dôvodu dištančného vzdelávania.
Vyjadrenie ministra bolo v minulom školskom roku v tomto smere nešťastne interpretované, keďže sa malo týkať nie testov externej časti maturitnej skúšky, ale ústnej formy jej internej časti, v ktorej mali školy možnosť prispôsobiť svoje maturitné zadania tomu, do akej miery stihli prebrať dané učivo. Minuloročná maturita však prebehla bez problémov, testy maturanti zvládli podľa očakávania a nezaznamenali sme žiadne kritiky na ich náročnosť, či kvalitu.
To, že žiaci na testoch museli prepisovať dátum, nie je úplne pravdivé. Z dôvodu efektívneho využitia staršieho typu odpoveďových hárkov na časti škôl, boli žiaci usmernení, že pri dátume na odpoveďovom hárku mali upraviť rok testovania. Z tohto jednoduchého úkonu sa na pár dní stala mediálna senzácia úplne neadekvátna jeho významu.
Testy sa teda nemenili. Aká bola náplň práce vtedajšieho NÚCEM počas dvoch rokov "voľna od maturít"?
Vzhľadom na to, že bol zrušený iba riadny termín maturitnej skúšky, zamestnanci NÚCEM zodpovední za prípravu a realizáciu maturít v oboch spomínaných rokoch pripravovali testy a zabezpečovali realizáciu ďalších dvoch termínov maturitnej skúšky, teda aprílový a septembrový opravný. Národný ústav certifikovaných meraní vzdelávania teda "voľno" nemal.
Okrem realizácie činností v zmysle plánu hlavných úloh sme na aktuálnu situáciu reagovali výrazným posilnením prípravy a realizáciou elektronických testov, aby sme takouto formou pomohli školám preklenúť náročné obdobie dištančného vzdelávania a uľahčili prípravu didaktických materiálov pre žiakov. Počas dvoch vĺn dištančného testovania sa elektronicky otestovalo vyše 36-tisíc žiakov a zrealizovalo sa takmer 57-tisíc elektronických testov.