A tesztek nemcsak a tudás mérésére alkalmasak

Az Európai Mérnökképző Társaság (SEFI) barcelonai konferenciáján néhány BME-s kutató is előadást tartott, köztük volt Szilágyi Brigitta a Geometriai Tanszék egyetemi docense is.

A SEFI kiadványában megjelent tanulmányokról kérdeztük Szilágyi Brigittát.

 

Az egyik tanulmány címe „A tanulási stratégia és a tanulási idő változása a világjárvány nyomán” volt. Miért mechatronikai és energetikai mérnökhallgatókat választottak a kutatáshoz?

Nem tudatos választás eredménye volt, a Geometria Tanszék oktatójaként ezeket a hallgatókat tanítom a reguláris matematika kurzusokon. Tanítványaimmal 2012-től új oktatási módszert dolgoztunk ki. Az volt a célunk, hogy úgy gyarapítsuk a hallgatók tudását, hogy képesek legyenek a megszerzett ismereteket a szaktárgyakban is alkalmazni. Át szeretnénk adni az oktatással a megismerés, a megértés örömét. Ennek egy hatékony eszköze az előhívásos tanulás, amelynek kognitív vonatkozásai, úgy is mondhatjuk elméleti alapjai, is köthetők a BME-hez: Racsmány Mihály professzor és kollégái komoly eredményeket értek el abban, hogy megérthessük, miként is működik ez a módszer. Az előhívásos tanulás lényege, hogy a tesztelésre nem a számonkérés egy módjaként tekint, hanem ez a tanulási folyamat része. Megfelelő időben és időnként, megfelelő nehézségben alkalmazva az előhívást hosszútávú tudás érhető el. A tudástranszfer (hogy mennyire vagyok képes a tanultakat egy másik területen alkalmazni, jelesül a matematika kurzuson tanultakat szilárdságtanban, …) szempontjából is eredményes ez a módszer. Azonban nem valami csodaszerről van szó, az alapjai már a görögöknél is megvoltak: „Jegyezd meg, Menón, hogy nem tanítotok neki semmit, csak kérdéseket teszek fel”- mondja Szókratész Platónnál.  

Az újabb tanuláselméleti, módszertani eredményeket is beépítve, körülbelül 6 év kellett ahhoz, hogy a megvalósítás nagyjából végleges formát nyerjen. Nem teljesen végleges, hiszen a tanár „hozott anyagból dolgozik”, minden évfolyamhoz igazodnia kell.

Fotók forrása

A hallgatók mennyire voltak együttműködők a kutatás során?

Az első években, amikor még kísérleti és kontroll csoportok voltak, hamar eljutottunk oda, hogy senki nem szeretett volna a kontrollcsoport tagja lenni, azaz a (magyar) felsőoktatásban leggyakrabban alkalmazott, hagyományosnak mondható módszerek szerint tanulni. Mostanra már nincs szükség kontrollcsoportra, igazoltan hatékonyabb a módszerünk. Vannak tanítványaim, akik mostanra kollégáim – Berezvai Szabolcs, a GPK adjunktusa kezdetektől részt vesz a módszer alakításában -, míg a még fiatalabbak maguk is így tanultak. Pálya Zsófia, Köpeczi-Bócz Ákos, Sipos Bence doktorandusz hallgatók, de gyengébb-erősebb szálakkal még mindig kötődnek a kalkulusoktatáshoz és az ezt kiegészítő tehetséggondozó kurzusokhoz. Forrai Benedek az ETH diákjaként „dolgozik vissza” a csapatba. És ebben a rendszerben mindig vannak újak, akik kortárs segítőként vesznek részt a munkában. Nekik egy-egy Matematika G1 házi feladaton túl a szakmai tárgyakból felmerülő kérdéseket is fel lehet tenni. Ez jó a hallgatóknak, szeretik. Az elmúlt szemeszterben is mentem úgy be gyakorlatra, hogy Prónai Sáriék az éppen aktuális MOGI tanszéki tárgy egy feladatát magyarázták az elsősöknek.

Másik fontos pillér az EduBase online oktatási platform, amely integrált oktatási felület eszköz- és platformfüggetlenségével biztosítja széles körű használhatóságot. A felület megjelenése modern, kezelése egyszerű és kényelmes, használata nem igényel külön oktatást. Webes megoldás lévén nincs különleges hardverigény, nem kell semmit telepíteni, a tananyagok és a tesztek számítógépről, laptopról és akár tabletről is bármikor elérhetőek. Az EduBase megalkotói ugyancsak BME-sek voltak, mára a versenyszférában működnek. Az ő hathatós segítségük is kellett ahhoz, hogy ez a módszer létrejöjjön és így a kutatás is megvalósuljon.

 

A kutatásra egy különleges helyzetben került sor, az eredmények normális időkben is hasznosíthatóak?

A Memory of the World program keretében az UNESCO felhívta a tagországok figyelmét a COVID-19 járvánnyal kapcsolatos információk fokozott dokumentálására az oktatásban, így adott volt a feladat. Az, hogy a korábbi évekbelivel összevethető adatsorunk volt, gazdagította a munkát. Az EduBase-ben lehetőség van a teljes tanulási folyamat időbeli monitorozására az eredményesség rögzítése mellett. Tudjuk, mikor, mennyit és milyen eredményességgel dolgoznak a hallgatóink. A 2018-ban kezdő, azaz pandémia előtti elsőéves mechatronikus és energetikus hallgatók tanulási szokásait vetettük össze a 2020-ban kezdőkével, vizsgáltuk a tanulási idők mintázatát. Ezek az eredmények bármikor hasznunkra lehetnek. Könnyen vizsgálható például, hogy egy hatkredites tárgy esetén valóban megvan-e a 180 hallgatói munkaóra.

A magyar felsőoktatás jellegzetessége, hogy szorgalmi időszakban az oktatók időráfordítása magasabb egy-egy tárgyra, mint a hallgatóké. A hallgatók a zárthelyik és a vizsgák előtti néhány nappalt és éjszakát tanulják végig. Kognitív kutatások bizonyítják, hogy az így megszerzett tudás nem tartós. Azonban a kampányszerű tanulást követők a vizsgán még nem szerepelnek szignifikánsan rosszabbul, mint az osztottan tanuló társaik. Az egy héttel, egy hónappal későbbi vizsgálatok eredményei már jelentős eltérést mutatnak. A vizsga után egy héttel, hónappal azonban már nincs vizsga, a következő szemeszterben esetleg a mérnökkolléga szembesül azzal, a hallgató a legegyszerűbb integrált sem képes kiszámolni, holott átment a matematikavizsgán.

A módszerünk fontos eleme, hogy hetente többszöri matematikával való foglalkozásra sarkallja a hallgatót. Vannak házi feladatok, szorgalmik, gyakorló tesztek, filmek, … más-más határidőkkel.

A pandémia előtti idők jellegzetes mintázata volt, hogy az első hetek nagy lelkesedését követően kb. a 9. hétig beállt egy mintázat. Szép kváziperiodikus jelet láthattunk, amin jól felfedezhető volt, mikor melyik típusú feladat határidős. Az utolsó hetekben azonban látható volt, hogy sokak feje fölött összecsaptak a hullámok, kevesebb volt a tesztelés. Meglepetésünkre a pandémia alatt ez nem következett be, a hallgatók fenn tudták tartani a folyamatos munkát. Sőt, a hetenként matematikatanulásra szánt időt sem a határidők dominálták. Sokkal egyenletesebb volt a tanulásra szánt idő. Ennek is köszönhető, hogy nehezített pályán futva is sikerült a járványmentes tudásszinthez hasonlót produkálniuk.

Mi lehet az oka, hogy a pandémia alatt több időt fordítottak gyakorlásra a hallgatók?

Talán több idejük volt: nem kellett naponként utazniuk, kevesebb időt kellett otthon önfenntartásra fordítani. Azt is mondhatjuk, a hallgatókban megvan a szándék a tanulásra, ha ezt megfelelő módon tudjuk biztosítani, akkor élnek vele. Sajnos, mostanra már középiskolában kialakul, hogy csak a dolgozatra kell tanulni. Hazánkban kevésbé jellemző, hogy az önálló tananyag-feldolgozás mikéntjének ismeretében lépnének be az egyetem kapuin a gólyák.

 

Lehet, hogy egyszerűen a lezárások miatti bezártság, illetve tartós maradhat-e az attitűdváltozás?

Még nem vagyunk készen a 2022-ben kezdők adatainak elemzésével, de azt látjuk, hogy az a fajta egyenletesség, amit az online oktatásban tapasztaltunk nem fenntartható mindenki számára, de többeknek sikerült felvenni a fonalat. A mostani elsősök a továbbtanulás szempontjából legjelentősebb éveket online oktatásban töltötték. Ennek összes hátrányával érkeztek az egyetemre. Többek nagy hiányossággal vágtak neki a szemeszternek. A korábbi években jól működő tanulópár rendszerünk a nagy leterheltség hatására összeomlott, olyan sokaknak lett volna szüksége erre a fajta segítségre. Az aratnivaló sok volt, de a munkás kevés. Ezen szeretnék a tavaszi szemeszterben javítani.

Döbbenetes volt számunkra az is, hogy a 2018 szeptemberében hozzánk érkező mechatronikus és energetikus hallgatók közel 15%-ának semmilyen formában nem volt matematika órája az online időszakban, és viszonylag sokan voltak azok is, akik e-mailben tartották a kapcsolatot a tanárukkal. A mostani elsősöknél sem hiszem, hogy másként volt ez abban az időben.

 

Mi a jelentősége a kiegyensúlyozott tanulásnak?

A tömbösített tanulás nem ad tartós tudást. Vezetni sem úgy tanulunk, hogy két napig órákat veszünk, a harmadik nap pedig jöhet a vizsga. Ahhoz, hogy ne felejtsük el azt, amit egyszer megértettünk, többször elő kell hívni. Érdekes emlékezetkutatási eredmény, hogy ezt az új anyag megismerését követően hamar is célszerű megtenni, ezért van az, hogy nálunk minden gyakorlat az adott óra anyagából összeállított kis zárthelyivel ér véget.

Fontos az is, hogy ez egy jutalmazó rendszer. Lehet, hogy valaki sok gyakorlással éri el ugyanazt az eredményt, amit a társa már az első teszten. A befektetett munkát is jutalmazzuk, így igyekszünk ösztönözni.

 

Az eredmények szerint a pandémia jó hatással volt a hallgatók tanulási szokásaira?

Általánosságban nem tudom, hogy mi mondható el, ami bizonyos a hallgatóink sok munkával képesek voltak a járvány előtti eredményességgel teljesíteni a Matematika G1 tárgyat. Munkatankönyveket, filmeket készítettünk és ezt jól tudták használni, a jelenléti oktatásba visszatérve közülük néhányan a mostani diákjaink számára szeretnének hasonló segédanyagokat készíteni.

 

A tanulmány a SEFI kiadványában jelent meg angolul, mit gondol a magyar oktatás is tudna profitálni az eredményekből?

Igen, hiszen mi is a magyar oktatásban vagyunk és hiszem azt, hogy a hallgatóink profitálnak ebből. Fontosnak tartom, hogy eredményeink eljussanak az érdeklődő kollégákhoz, ezért előadásokat tartunk és hazai folyóiratokban is publikálunk.

 

Nem kevésbé érdekes téma a teszteredmények vizsgálata tudáshasonlóság alapján, ennek a tanulmánynak is a mechatronikai és energetikai hallgatók az alanyai, miért éppen ők?

Ahogy a tanulási idő mintázatánál itt is adott volt a vizsgált populáció, én a mechatronikusokat, energetikusokat tanítom évek óta. A fönt említett módszer sok-sok tesztelésen alapszik, amelyben vannak olyan tesztek, amik tudásellenőrzésre, állapotfelmérésre szolgálnak, de zömük a tanulási folyamat része. A teszteken kapott eredményeket azonban értelmeznünk kell és a kapottak függvényében lépni tovább.

 

A kutatás témája a világjárvány előtt is megvolt, vagy ez a különleges helyzet (online, hibrid oktatás) tette érdekessé?

2014 óta alkalmazzuk az EduBase-t az oktatásban, tulajdonképpen azóta folytatunk hibrid oktatást, amit a pandémia alatt online-ná kellett tennünk. Ha tíz évvel ezelőtt előadást tartottunk egy konferencián, részletesen el kellett mondani, mi is az a digitális osztályterem, hogyan működik egy online oktatási platform. A pandémia óta ezt mindenki tudja.

Az EduBase lehetőséget ad arra is, hogy egyszerre több ezren teszteljenek, így a HSZK-ban egy egész évfolyam is kényelmesen mérhető. Továbbá elég magas szintű csalásvédelemmel van ellátva, ezért mindenféle mérések kivitelezésében szívesen alkalmaztuk. Nemcsak azért, mert gyorsabb és kényelmesebb, hanem olyan információk, statisztikák is kinyerhetők - például, hogy melyik feladattal mennyi időt foglalkozott a hallgató, milyen sorrendben haladt a feladatok között – amik hagyományos számonkérés esetén nem, vagy csak nagyon sok munkával.

A mérési eredmények értékelése izgalmas feladat. A modern adatelemzési eljárások sokféle kísérletezésre adnak lehetőséget. Kell egy olyan metrikát definiálnunk, amely szerint azok vannak közel egymáshoz, akik közel azonos tesztet írtak. A közelség megállapítása azonban nem is mindig olyan egyszerű.

Fotó: Philip János

Hogyan teszik hatékonyabbá a tanulást a tesztek, ha nemcsak a tudás ellenőrzésére használjuk azokat?

A tanulásnak csak az egyik eleme a bevitel. Sokan még ma is úgy gondolják, hogy az egyetlen. A tanár az, aki tölti-tölti a diák fejébe a tudást és igyekszik a kifolyó mennyiséget is pótolni. Ez azonban nem így van, az előhívás – nálunk a tesztelés, a feladatok megoldása – is nagy jelentőséggel bír. Emlékezetkutatási tanulmányok sora szól arról, miként segíti az előhívás a tartós tudás létrejöttét. A Kent State University egyik professzora, John Dunlosky és munkatársai több ismert tanulási technikát vizsgáltak azonos szempontrendszer szerint. Monográfiájukban az előhívásos tanulás magas hasznossági értéket kapott. Fontos azonban megjegyezni, hogy ahogy a fogyókúrában, úgy a tanulásban sincsenek csodamódszerek. A tanulás fáradságos munka, de picit többet megérteni a világból izgalmas és örömteli dolog. A jó módszer eredményesebbé teszi a tanulást, de a munkát bele kell tenni.

 

Érdemes megismételni a teszteket, vagy csak az elsőéveseknél van nagy jelentősége a tudásszintek felmérésének?

Nem egy esetben jó lenne ismételni, de erre nincs mindig módunk.

Amikor például egy évfolyamban szeretnénk hasonló tudásszintű csoportokat kialakítani ezzel segítve a differenciált oktatást, akkor nincs könnyű dolgunk. Miközben egy laborban gyakran elhangzik, hogy egy mérés nem mérés, nem hívhatjuk 5-6-szor tesztelésre az egész évfolyamot. Egy mérésből kell a lehető legtöbbet kihoznunk. És előfordul, hogy valaki nem a tudásának, képességének megfelelő tesztet írja, ekkor lehet módosítani a besorolásán.

Az elsőéveseknél a mérés azért fontos, mert őket nem ismerjük, a második szemesztertől már több információnk van a diákról. Egy bemeneti mérés eredménye abban is segítségünkre lehet, kinek milyen hiányosságai vannak, mit kell pótolnunk. A van Hiele-teszt, amit meg szoktunk íratni a diákjainkkal egy validált teszt, amellyel megállapíthatjuk, hogy a geometriai, matematikai gondolkodás mely szintjén van a hallgató. A műszaki felsőoktatásba való belépéshez az 4-5. szint elérése szükséges, ha ez nincs meg, ami gyakori, mert az érettségi rendszerünk is csak a 3. szintet követeli meg, akkor pótolnunk kell.

 

Mi volt a nyelvi tesztek jelentősége, miért gondoltak a teszt ilyen kiegészítésére?

Egy kutatótanár keresett meg néhány éve, hogy szívesen működne velem együtt. Ő nyelvész, így adódott a matematikai-nyelvi kogníciók vizsgálata. Több éve használjuk méréseinkben az Oláh Tibor által összeállított teszteket, igyekszünk kapcsolatokat találni a különböző típusú nyelvi és matematikai feladatok között. Gyakori tapasztalat, hogy a diákok matematikában sok típuspéldára képesek „rátanulni”, de valódi megértés nincs mögötte. Valljuk be, ez eredményes is, hiszen az érettségi feladatok kis variabilitással bírnak, a diákok pedig érettségire készülnek. A nyelvi feladatok változatossága okán ez nehezebb. Ezért lehet az, amit néhány éve igazoltunk, hogy a kalkuluson bekövetkező gyenge teljesítményt a nyelvi tesztek jobban prediktálták.

Az idei évben szövegértési feladatokat kaptak az elsőévesek. Több karon is végeztünk mérést. (A Vegyészmérnöki és Biomérnöki Karral több éve dolgozunk együtt.) Meglepett, hogy ilyen gyenge eredmények születtek. Utókövetés még nem történt, de sejthető, hogy ha valakinek a megtanulandó szöveg megértése nehézséget okoz, annak problémái lesznek. Meg kell azonban jegyeznem, hogy ezek speciális szövegértési feladatok voltak. Egy magasabb szint, amelyről úgy gondoltuk, egy műszaki felsőoktatásba belépőnek meg kell ugornia.

 

Mi lehet az oka annak, hogy a matematikából rosszabbul teljesítők a nyelvi teszteken sem remekeltek?

A két terület nem független. A publikációban a komplex nyelvi tesztek eredményeit elemeztük. Azok a feladatok többféle, matematikában is használatos képességet is kívántak mérni. Ha valaki nem képes elég precízen feldolgozni egy szöveget, akkor ezt a laborban megkapott utasításokkal sem tudja megtenni és annak sem tulajdonít majd jelentőséget, hogy a létezik vagy a bármely szó szerepel egy matematikai tételben.

 

A hasonló tudáson alapuló csoportok a kutatás eredménye szerint hatékonyabb oktatást tesznek lehetővé, ez a megállapítás minden szinten (általános és középiskola) igaz lehet?

A Vigotszkij-féle ZPD (Zone of Proximal Development) a mindennapi gyakorlatban arról is szól, hogy a tanulóról tudom, hogy milyen szinten van és onnan indulunk. Minél homogénebb egy csoport, ezt annál könnyebb megvalósítani. Én kedvelem a differenciált oktatást, mert eredményesebb, hiszen nem kell megosztanom a figyelmemet a különböző szintek között, könnyebb magához képest messzebbre juttatni a diákot. Itt az egyetemen nagyon sok mindent viszonylag rövid idő alatt szeretnénk megtanítani matematikából, hiszen a sok matematikát használó mérnöki területek is egyre komplexebbek, bonyolultabbak, ehhez szeretnék kulcsot adni az abba az irányba menőknek. Ez a hallgatóknak sem könnyű. Ha valaki azokkal van egy csoportban, akik ugyanazt a nyelvet beszélik, azaz ugyanolyan gondolkodási szinten vannak, akkor mindenkit megért.

Kis korban nem szükséges, sőt nem szabad szétválasztani a gyerekeket. Igazán hatékonyan tanulni gazdag szociális térben lehet. (A különlegesen tehetséges, vagy éppen komoly tanulási nehézségekkel küzdő tanulók külön esetet képeznek, róluk most nem szólnék.) Mondhatnám, hogy ez a gazdagság nálam az előadáson van jelen, de az előadások kevésbé interaktívak, bármennyire is igyekszem nem egyoldalú közlésre szorítkozni.

14-16 éves kortól már alakíthatunk homogénebb csoportokat. A csoportok között lehetővé kell tenni az átjárást.

 

Ha igen, nem jelenti-e, hogy az integrált oktatás kevésbé hatékony pl. fogyatékossággal élők esetében?

Nem vagyok jártas a témában, keveset olvastam róla. Megfelelő arányban az integráció biztos, hogy kívánatos. Minden közösség esetén meghatározható, hogy adott körülmények között (van-e segítő pedagógus, …) pl. hány fogyatékkal élőt képes úgy befogadni, hogy ez működőképes legyen. A felsőoktatásra visszatérve, ha egy évfolyamban a hallgatók 5%-ának tudása marad el jelentősen a társaitól, akkor valószínűleg hatékonyabb minden tankörbe egy-két ilyen diákot integrálni és egy tankörbeli tanulótárssal segíteni őt. Továbbá az alkalmazott módszereknek velünk, tanárokkal is kompatibiliseknek kell lenni.

 

 

KJ