Olvasási idő: 
39 perc

„A kompetenciamérések elsősorban az iskola számára jelzik az eredményességet”

Beszélgetés Vári Péterrel a teljes körű tanulói kompetenciamérések tapasztalatairól

A 2001-es és 2003-as kompetenciamérést végző munkacsoport vezetőjével, Vári Péterrel készült interjúban arról beszélgettünk, milyen célokat szolgálnak az egy-egy évfolyam minden tanulóját átfogó kompetenciamérések. A mérési szakember szerint az országos eredmények megszerzésénél sokkal lényegesebb a mérésekben történő részvétellel elsajátítható értékelési kultúra terjedése. A beszélgetés érinti a mérések egyik új elemét, a pedagógiai hozzáadott érték vizsgálatát is.

Magyarországon először 2001 őszén került sor teljes körű kompetenciamérésre, melynek keretében minden 5. és 9. évfolyamos tanuló azonos feladatokat oldott meg olvasásból és matematikából. E mérés folytatásaként került sor 2003 tavaszán a következő teljes körű kompetenciamérésre, mely a 6. és 10. évfolyamos tanulók képességeit vizsgálta. Kezdjük talán azzal a beszélgetést, hogy a két vizsgálat között változott-e valami a mérés céljait, technikáit illetően!

Kénytelen vagyok egy nagyon rövid történeti áttekintést adni arról, miként indult el a teljes körű kompetenciamérés-sorozat. Még az előző kormány idejében, 2001 áprilisában kértek fel bennünket egy ilyen típusú mérés tervének a kidolgozására. Ez nagy kihívást jelentett számomra és munkatársaim számára, ugyanis korábban csak mintavételes módszerrel, különböző nagyságú mintákon végeztük a különböző méréseket. A kihívást elsősorban nem a vizsgálat végiggondolása jelentette, hanem az, hogy minden iskolába eljuthatunk, s ízelítőt tudunk adni a pedagógusok – korábban elképzelhetetlenül széles köre – számára a mérés mikéntjéről. Elgondolkodtam azon, hogy a hazai mérési értékelési kultúra fejlődése szempontjából mi a jelentősége annak, ha minden iskola pedagógusai valamilyen szinten szembesülnek azzal, mit jelent valójában a mérés, mit jelent, ha az iskola össze tudja hasonlítani tanulóinak az eredményeit az országos átlaggal, esetleg a saját településtípusán működő iskolák átlagával. Ám amikor a miniszter által létrehozott bizottságban a minisztérium képviselői elém tárták, hogy ennek a mérésnek 2001 őszén, október-november környékén meg kell történnie, tiltakoztam, mert egy ilyen volumenű mérés előmunkálatai – a szakmailag elfogadható menetben – hosszabb időt, legalább egy évet igényelnek. A tesztfüzetek elkészítése előtt próbamérést kell végeznünk, melynek során kétszer-háromszor annyi feladatot kell kipróbálnunk, mint amennyit a tényleges mérés során a tanulók majd megoldanak. Meg kell vizsgálni, mely feladatok alkalmasak arra, hogy mérjünk velük. Ki kell dolgozni a mérés koncepcióját, fogalmi keretét. Az említett bizottságban folytatott vitákból kitűnt, hogy a tervezett mérés, minden pozitív értéke mellett, az oktatáspolitikusok számára alapvetően politikai kérdésként jelent meg. Fontosnak tartották, hogy a pedagógusoknak ezúton is kinyilvánítsák, foglalkoznak velük, segítik őket abban, hogy mérési, értékelési kultúrájuk fejlődjön. Ugyanakkor szándékosan olyan időpontot választottak, amely nem azt érzékeltette a mérésben részt vevőkkel, hogy a munkájukat akarják ellenőrizni. Ezért esett a választás az őszi időpontra és az ötödik és kilencedik évfolyamokra. Mindkét évfolyam egy-egy pedagógiai ciklus kezdete. Bármilyen eredményeket is hoz a mérés, azok, akiket mérnek, nem okolhatóak az esetleges gyengébb teljesítményekért. Ugyanakkor ez a bemeneti mérés alkalmas arra, hogy megmutassa a pedagógusoknak, milyen képességekkel rendelkeznek az újonnan hozzájuk érkezett diákok.

Ez megfogalmazódott az oktatáspolitikusokkal folytatott diskurzusokban?

Ennyire élesen egyetlen minisztériumi vezető sem deklarálta ezt, de a nyilatkozatok lényegében ezt közvetítették. Érezni lehetett egyfajta óvatosságot a fogalmazásmódban. Sokat beszéltek e mérés kapcsán arról, hogy milyen jó eszköz kerül az iskolák, a pedagógusok kezébe azáltal, hogy az eredmények mellett kapnak majd egy szoftvert is, amellyel saját iskolájuk eredményeit teljes egészében feldolgozhatják. Utólag visszagondolva helyénvaló volt az óvatos fogalmazás, hiszen a mérési kultúra ügyének ártottak volna, ha letámadják az iskolákat, s eleve azzal a céllal mérnek, hogy szembesítsék őket, milyen rosszak az eredményeik. Sokkal többet használt, hogy az értékelési módszerek megismerése, tanulása, egy hosszabb távú mérési folyamat megalapozása volt a kinyilvánított és – tegyük hozzá – a tényleges oktatáspolitikai, szakmai cél.

Végül is miért vállalta el az általad vezetett szakmai műhely az OKÉV-vel való együttműködést, a vizsgálat kidolgozását?

Úgy tűnt, nekünk is szükségünk van tapasztalatszerzésre egy ilyen volumenű vizsgálat lebonyolításában. Noha szakmailag elég nehéz feladat volt az előkészítés, végül azért vállaltuk, mert egyrészt úgy éreztük, ha nem lépünk, esély sincs arra, hogy hosszabb távon elinduljon egy ilyen jellegű méréssorozat, másrészt mi is úgy véltük, soha vissza nem térő alkalom, hogy az iskolák teljes köre lásson egy korrekt mérést, értékelést. Emellett arra is gondoltunk, hogy a mérés hozadékai segíthetik a gyerekek képességeihez, kompetenciáinak fejlettségéhez illeszkedő tanítási program megtervezését. Fontos dolognak tartottuk, hogy az iskola, a pedagógus szembesüljön azzal, milyen képességekkel érkeznek a gyerekek a megelőző iskolaszakaszból, s ennek ismeretében mit kell fejleszteni az adott szakaszban.

Az Új Pedagógiai Szemle 2001 végéig követte ennek a mérésnek a sorsát. Akkor készült egy szerkesztőségi beszélgetés, amelyen a Te munkatársaid, az OKÉV képviselője és gyakorló pedagógusok vettek részt. A hozzánk eljött pedagógusok nem fogadták túl nagy lelkesedéssel a mérést, s az iskolákban megfordulva, továbbképzéseken előadást tartva hasonló tapasztalatokat szereztem. Ezek persze nem tekinthetők reprezentatív tapasztalatoknak. Milyen volt tehát az első mérés általános fogadtatása, mennyire érte el az oktatáspolitikusok által kitűzött célt, azaz mennyire vitte el a mérés-értékelés fontosságának üzenetét az iskolákba, a pedagógusokhoz? Van-e erről valamilyen konkrét információ, készült-e a fogadtatásról bármilyen kutatás?

Sajnos nem készült ilyen kutatás, így csak a reményeimet merem megfogalmazni, hogy sokan megismerték a kompetenciamérést, és megértették, mire használható. A 2003 tavaszán végzett második mérésben már megkérdeztük az igazgatókat, tudták-e hasznosítani az első mérés tapasztalatait. Természetesen erre a kérdésre az iskolaigazgatók nem válaszolták azt, hogy ez a felmérés értelmetlen, semmire sem tudták használni. Ha így is gondolják, akkor sem válaszolják ezt. Az igazi véleményeket csak mélyfúrásokkal lehetne megtudni. Egyébként magas százalékban válaszolták, hogy nagyon jól hasznosították a méréseket az iskola pedagógiai programjának alakításában, a helyi tantervek fejlesztésében. Nagyon kevesen írták, hogy nem értették a mérés céljait, s kevesen vannak, akik nyíltan kimondják, hogy ez nem szükséges az ő intézményük számára. 2001 novemberében, illetve azt követően sok helyről érkezett negatív visszajelzés is, sokan túl nehéznek tartották a feladatokat. Valahol természetesnek tekintem ezt. Ilyen nagy apparátust megmozgató felmérés nem volt még Magyarországon. 240 ezer diák oldotta meg a tesztfeladatokat, minden általános és középiskola részt vett a munkában. Az érettségi vizsgához hasonlóan pedagógusok felügyeltek a mérés alatt, előtte minden intézményben ki kellett képezni azokat a tanárokat, akik koordinálták a munkát. Mindez szokatlan volt szervezési szempontból. Még inkább szokatlan volt az, amit mértünk. Elég utalni arra, hogy a PISA 2000 vizsgálat azt jelezte, hogy a magyar gyerekek nagy része nem életrevaló tudással lép ki az általános iskolából. Úgy is fogalmazhatunk, hogy a gyerekek, amikor kilépnek az életbe, nem azokkal a kompetenciákkal rendelkeznek, amelyekkel boldogulni lehet. Ez a vizsgálat vitte be a szakmai köztudatba, a szakmai nyilvánosságba a kompetencia fogalmát. Széles körű vita indult arról, mit és hogyan kellene tanítani annak érdekében, hogy a PISA által feltárt kép változzon. A 2001-es országos mérésben is kompetenciákat mértünk. A méréssel kapcsolatos negatív vélemények, ellenérzések abból, a pedagógusok széles köre által képviselt álláspontból fakadnak, hogy az iskolai mérések során a gyerekektől csak azt lehet kérdezni, amit az iskolában tanultak, amiről az órán, a tankönyvben szó volt.

A 2001-es mérés feladatai hasonlítottak a PISA-vizsgálatban alkalmazottakhoz?

Az imént utaltam arra, hogy az első vizsgálat feladatainak összeállításához kevés idő állt rendelkezésre, ez azonban nem jelenti azt, hogy a feladatsor ne lett volna korrekt és jól összeszedett. Pusztán nem volt elég időnk arra, hogy bemérjük magának a tesztnek a működését. A feladatok egytől egyig olyanok voltak, amelyeket korábban már kipróbáltunk, de valamilyen ok miatt kihagytuk őket a tesztjeinkből. Például azért, mert hasonló feladatok már szerepeltek az adott vizsgálatban. Tehát szakmailag ez a két teszt – minden kutatói aggályunk ellenére – korrekt volt, s így utólag nemcsak hogy szégyellnünk nem kell, hanem inkább büszkének kell lennünk arra, hogy ez a csapat 2001-ben ilyen rövid idő alatt meg tudta valósítani ezt a nagyszabású vizsgálatot.

Utólag mivel magyarázod, hogy nagyon sokan kritizálták a tesztet?

Miután a teszt nyilvános volt, sok helyen, főleg az általános iskolákban a pedagógusok – ahogy már utaltam rá – azt mondták, hogy a tesztfeladatok megoldásához szükséges ismeretek zöme nem szerepelt a megelőző ciklus tananyagában. A mérések esetében ez egyébként gyakran visszatérő probléma, ami bizonyára oldódni fog, ha rendszeressé válnak a kompetenciamérések. A pedagógusoknak igazuk van abban, hogy a korábbi mérések feladatai jobban igazodtak az iskolában tanított tananyaghoz. Az idegenkedés oka főleg az, hogy – a PISA-vizsgálathoz hasonlóan – a kompetenciamérés feladatai problémamegoldást igényeltek a tanulóktól. A megoldandó feladatok – a szövegértés és a matematika esetében egyaránt – mindig valamilyen életszerű helyzethez kötődtek, s ez sok gyerek, tegyük hozzá, sok pedagógus számára idegennek hatott, nehézséget jelentett.

Talán az is segíti majd a pedagógusok mérések iránti attitűdjeinek változását, ha látják, hogy a mérések sokoldalúan hasznosíthatók a munkájukban.

Az első mérés eredményeiről – épp a mérési kultúra fejlesztése, terjesztése érdekében – a korábbiakhoz képest sokkal több információt adtunk az iskoláknak. Minden iskola kapott egy viszonylag részletes iskolajelentést, amely eléggé differenciált képet nyújtott a tanulók teljesítményeiről. Miután a mérésben igen nagy számú iskola és tanuló vett részt, többfajta rétegezésben interpretáltuk az adatokat. Korábban egy-egy mérés eredményeinek visszajelzésekor csak azt tudtuk megadni egy iskolának, hogy a saját iskolatípusán belüli átlaghoz képest milyen teljesítményt értek el a tanulói, vagyis az általános iskolákon, a gimnáziumokon, szakközépiskolákon vagy a szakiskolákon belül az adott intézménybe járó tanulók teljesítménye mennyire tér el az átlagtól. A kompetenciamérés nagy mintája igen sokféle csoportosítást tett lehetővé. Például, hogy a gimnáziumokon belül az adott iskola teljesítménye hogyan viszonyul a nagy, a közepes vagy a kis gimnáziumok teljesítményeihez. A szakközépiskolák esetében szakirányú bontásokban tüntettük fel az eredményeket. Egy-egy intézmény megnézhette, hogy a saját szakirányán belüli átlaghoz képest tanulói milyen teljesítményt nyújtottak. Az iskolák teljesítményeinek alakulását településtípusonkénti bontásban is megadtuk, így egy kistelepülési általános iskola megvizsgálhatta, hogy a hozzá hasonló településviszonyok között működő iskolák átlagához képest milyenek a tanulói teljesítmények. Bizonyára ismert, hogy a mérés teljes körű volt ugyan, de minden iskolából csak egy szisztematikusan kiválasztott minta (iskolánként 20 diák) adata érkezett be és került feldolgozásra. Ezért van jelentősége annak a szoftvernek, amelyet az iskolák megkaptak, és amellyel az adott évfolyam egészének az eredményeit fel tudják dolgozni, összevethetik az országos mintán kapott eredményekkel, teljesítményátlagokkal. A feldolgozás segítheti az iskola egészének, de az egyes pedagógusnak a munkáját is, mert lehetőséget ad osztályonkénti bontásra is. Fontos, hogy a pedagógus is részt vesz a tesztfeladatok javításában, az eredmények kódolásában. A kódolás arra is jó, hogy a pedagógus szembesül azzal, hogy eddigi, osztályzatokkal történő értékelésében mennyi szubjektív elem volt; például egy kicsivel jobb jegyet adott, mert a gyereken látszott, hogy tudta az anyagot, de a felelésnél éppen izgult, vagy valamivel rosszabb jegyet adott, mert a gyerek előtte éppen rendetlenkedett az órán. A teszt kódolásakor tanulságokat vonhatott le a pedagógus arra vonatkozóan, hogy a jövőben hogyan csökkenthetné a szubjektív elemeket saját értékelési gyakorlatában. Mindez persze nem valami teljesen elvont szempontrendszer szerint történt, amely teljesen mellőzte a gyerek személyiségét, képességeinek elemzését. A kódutasításban a pedagógus arra kapott szempontokat, hogy egy-egy feladat során mérlegelje, mennyire értette meg a gyerek a szövegben lévő üzenetet, mennyire fogta fel a végrehajtandó műveletet, mennyire volt képes reflektálni a szöveg üzenetére, a matematika esetében mennyire értette meg a megoldandó problémát. A gyakorlati problémák megoldása során tudta-e mozgósítani az ismereteit, tudott-e kreatív lenni. A kódolás folyamata azért volt komoly tanulási lehetőség, mert az értékelés körüli misztikus ködöt kicsit oszlatta. Megmutatta, hogy a feladatok megoldásából kirajzolódó teljesítmény nem valami ötletszerű kutatói elképzelés, hanem nagyon konkrét, logikus értékelési lépések alapján létrejövő adat. De jelentős fejlesztő szerepe volt annak is, hogy a pedagógusok részt vehettek az adatok számítógépre vitelében, a szoftver alkalmazásában, mert jobban megismerhették a mérés technikáját. A mérés koncepciójának kidolgozásakor ezért tartottuk fontosnak, hogy ne csak az iskolavezetés, hanem a gyerekekkel közvetlenül foglalkozó pedagógusok is lássák tanítási módszereik hatékonyságát, eredményességét. Hozzá kell szoktatni a pedagógusokat ahhoz, hogy a gyerekek értékelésében a szubjektív elemek mellett szükség van külső megmérettetésre is, mert ez mindenkinek az érdekeit szolgálja. Emiatt volt szükséges annak deklarálása, hogy a kompetenciamérés eredményei alapján ne lehessen szankcionálni sem az iskolát, sem az egyes pedagógust. Nem lehet eléggé hangsúlyozni, hogy ez a külső értékelési eszköz az intézmény, a tanár számára fontos, hiszen az eddiginél objektívebb képet kaphat munkája hatékonyságáról. Szeretnék visszautalni arra, hogy sokan megkérdőjelezték például azokat az eredményeket, melyek azt mutatták, hogy a magyar tanulók nagy hányada nem érti a szövegeket, nem tudja megoldani azokat a matematikai feladatokat, amelyeknek a műveleti alapjait pedig ismeri. Álljon itt az a példa, amelyben a tanulóknak azt kellett meghatározniuk, hogy egy adott terület körbekerítéséhez hány méter drótkerítést kell venni. Bizony a gyerekek jelentős hányada nem tudta megoldani ezt a feladatot, mert nem ismerte fel, hogy itt egy kerületszámítási problémáról van szó. Holott, ha a példát úgy adja fel a pedagógus, hogy számítsák ki az adott terület kerületét, akkor lényegesen többen megoldják a feladatot. Ha a tanár a feldolgozás során szembesül ezzel a problémával, akkor egyrészt elhiszi az eredményeket, másrészt stratégiát vált, igyekszik más módon tanítani, a tanultak gyakorlati alkalmazásával is törődni. Lehet, hogy az első mérés után még zsörtölődik, hogy ezek a fránya kutatók olyanokat kérdeztek, amit eddig még nem tanultak, nem gyakoroltak a diákjaik, de a második alkalommal már számos olyan tanár lesz, aki elkezdi elemezni, hogy az általa tanított gyerekek átlaga miben marad el az adott iskolatípus országosan mért teljesítményátlagától. Például elgondolkodik azon, hogy az aránypár fogalmát vagy a kerületszámítást ugyan megtanította, a gyerek mégsem tudja elvégezni azokat a feladatokat, amelyek során különböző gyakorlati problémák megoldásában kell alkalmazni ezeket a matematikai ismereteket. Meggyőződésem, hogy az okok keresése közben sokan rádöbbennek, hogy túl sok a tananyag, túl gyorsan kell végigrohanni az új ismeretek megtanításán, s nincs elég idő a gyakorlásra. Amíg ezt csak az oktatáspolitikusok mondják, sokkal kevesebben fogadják el, s tiltakoznak az ellen, hogy kevesebbet kell megtanítani, de amikor mindezzel szembesülnek, egyre többen kezdik keresni, hogyan lehetne lassítani a tanítás ütemét, több időt hagyni a gyakorlásra.

Kanyarodjunk vissza az oktatáspolitikai háttérhez. Ha jól emlékszem, a megelőző kormányzat 2002 őszére tervezte a kompetenciamérés folytatását, a 6., 10. évfolyamokon történő teljes körű mérést. Majd 2002 májusa, a kormányváltás után hallatszottak olyan hangok, hogy ezeknek a teljes körű méréseknek nincs értelmük, mert ahhoz, hogy az oktatásirányítás képet kapjon a tanulók kompetenciáinak fejlettségéről, az esetleges problémákról, elegendő a mintavételes mérés. Hogyan sikerült mégis elfogadtatni a méréssorozat folytatását?

Az új oktatáspolitikai vezetéssel azt kellett megértetni, hogy ezek a mérések alapvetően nem a tantervek beválásáról, az oktatás rendszerszintű működéséről nyújtanak információt, hanem az iskola, a pedagógus értékelési kultúrájának fejlesztését szolgálják. Nem azért fontosak, mert általuk lemérhető, mennyire teljesítik a tanulók a követelményeket, hanem azért, hogy folyamatos visszajelzést nyújtsanak a pedagógus számára saját munkájának a hatékonyságáról, arról, hogy konkrétan mit kell másként tanítania, mire kell több idő, több gyakorlás. S itt hadd tegyek egy kitérőt! Rá kellene döbbennünk végre, hogy az ilyen típusú értékelés az egyik leghatékonyabb szabályozó eszköz. Sokkal hatékonyabb, mint maga a tanterv, az előírt követelményrendszer. Ugyanis a pedagógus szembesül azzal, hogy a tanulóknál miben jelentkeznek tanítási, tanulási, alkalmazásbeli problémák. S bízom abban, hogy idővel, a mérések általunk elképzelt rendszerének meghonosodásával a tartalmi szabályozásnak ez lesz a leghatékonyabb eszköze, holott ez elvileg egy lágy szabályozó eszköz, hiszen semmilyen szankciót nem von maga után.

Miért ez az optimizmus? Nem a mérési szakember nézőpontja ez?

Amennyiben az iskola, a pedagógus közvetlenül össze tudja vetni a tanulók teljesítményeit a különböző módon képzett átlagokkal, az adott iskolatípus vagy a hasonló helyzetben lévő azonos típusú iskolák átlagával, olyan felismerésekhez juthat, amelyek sokkal jobban indukálják a helyi tanterveken, tanítási módszereken történő változtatás igényét, mint bármilyen tantervi dokumentum. Miért lenne ez a kutató szakmai sovinizmusa? Tisztában vagyok azzal, hogy ez nem egyik pillanatról a másikra következik majd be, ehhez mérések sorozata kell, meg kell szokni ezt a fajta visszacsatolást, ki kell alakulnia annak a mechanizmusnak, gondolkodásmódnak, értékelési kultúrának, amely elvezet ide. Eleinte csak viszonylag kevés intézmény fogja ilyen közvetlen módon hasznosítani a mérések eredményeit, de számuk fokozatosan nőni fog. S így a mérésekben szereplő itemek, feladatok tartalmán keresztül kezd változni az iskola által közvetített tartalom, a tanítás módja. Ne legyünk álságosak, a kemény tantervi szabályozás időszakában sem volt a tanterveknek igazi szabályozó ereje. A tankönyvön és a pedagógus érdeklődésén, rutinján múlott, hogy mit tanított valójában. A tartalmi szabályozásról folytatott hosszú viták ellenére sem hiszem, hogy a helyzet lényegileg változott volna. Jól ismerjük, hogy mi történt a NAT-implementáció keretében készült pedagógiai programokkal és helyi tantervekkel. Az iskolák jelentős hányada formálisan tett eleget ezeknek a kötelezettségeinek. Nem indított el lényegi változásokat ez a folyamat, s mindaddig nem is lesz változás, amíg nem éri sokk a pedagógusokat, amíg nem szembesülnek drámai módon saját munkájuk eredményeivel, amíg nem tapasztalják meg, hogy egy külső mércének mennyire képesek vagy nem képesek megfelelni az általuk tanított gyerekek. Lassan túl kell jutnunk, s túl is jutunk azon, hogy a feladatok szokatlanságára hivatkozva a pedagógusok homokba dugják a fejüket, s nyugodt szívvel, lelkiismerettel folytatják azt, amit eddig csináltak. A mérések technikájának megismerése, a mérésben való részvétel jelentős momentum lehet abban, hogy a valóságos problémák megoldásán törjék a fejüket.

Az eredmény, mármint az, hogy 2003 tavaszán végül is sor került a 2001. évi mérések folytatására a 6. és a 10. évfolyamokon, arra utal, hogy az oktatáspolitika elfogadta ezt az érvelést.

Végül is nem volt annyira nehéz meggyőzni a politikát, hiszen a jelenlegi oktatási kormányzat egyrészt 1996–1998 között is támogatta a méréseket, másrészt ellenzékben épp a PISA-vizsgálat eredményeire építette oktatáspolitikai kritikáját. A jelenlegi közoktatási helyettes államtitkár még iskolaigazgatóként kapta kézhez a 2001-es mérés iskolájára vonatkozó eredményeit, és lényegesnek tartotta az ilyen jellegű információkat oktatáspolitikusként is. Ezért jó, ha az oktatáspolitika közelében vannak olyan emberek, akik belülről ismerik az iskolát, a pedagógusok világát. Tulajdonképpen az Oktatási Minisztérium vezetése nem a méréssel, hanem annak méretével nem értett egyet. Nehezen fogadta el az általunk preferált célt, a pedagógusok értékelési kultúrájának fejlesztését, számukra elsődlegesebb lett volna az, hogy információt kapjanak az oktatási rendszer eredményességéről. Igazában mindkét célnak van létjogosultsága. Ugyanis az oktatáspolitikának is szüksége van arra, hogy információi legyenek a döntések megalapozásához. Nagyon örülnék annak, ha az oktatáspolitika – látva a tanulók olvasási-szövegértési készségeinek a PISA-vizsgálat által feltárt, meglehetősen tragikus állapotát – az idegennyelv-tudás megalapozását szolgáló nulladik évfolyam analógiájára egy olyan nulladik évet szervezne, amely felzárkóztatja a rászorulókat, akik, mint kiderült, meglehetősen sokan vannak. Egy-egy évfolyam 25-30 százaléka gyakorlatilag nem tud olvasni, s ez lehetetlenné teszi továbbhaladásukat, mivel képtelenek a szakmatanuláshoz szükséges elemi szövegek elolvasására. Ez hatalmas beruházás lenne, amely meggyőződésem szerint elodázhatatlan. Az oktatáspolitikának is szembe kell néznie a tényekkel és azzal, hogy amennyiben ez a 25-30 százalék nem tanul meg olvasni, nem tanul meg tankönyvből tanulni, végérvényesen leszakad. De legalább ennyire fontos az iskola szembesülése saját hatékonyságával. Végül is egy olyan kompromisszum született, hogy az eredetileg tervezett év eleji mérési pont helyett a tanév végére került át a mérés. Az előző kormány koncepciója szerint központi elhatározásból mindig a bemeneti határpontokon kellett volna a tanulók kompetenciáit mérni, s az iskolák végezték volna el a méréseket a 6. és 10. évfolyamokon felmenő rendszerben, lehetőséget kapva arra, hogy maguk értékeljék a tanulók kompetenciáinak fejlesztésében elért eredményeket és a jelentkező gondokat. Az új oktatásügyi kormányzat ezzel szemben fontosabbnak tartotta, hogy képet kapjon arról, hogy a két fontos pedagógiai szakasz, a 6. és a 10. évfolyam végén mérjünk, hogy látható legyen, milyen fejlődést értek el a tanulók. Ez a korábbi mérési koncepcióhoz képest jelentős változást jelent.

A beszélgetésben utaltál arra, hogy a 2001-ben végzett méréskor nem volt kellő idő arra, hogy saját kutatói igényességetek mércéjének meg tudjatok felelni. Ebben a mérésben megoldódtak-e az ilyen jellegű problémák?

Egy kutató igazán sohasem lehet elégedett az általa kidolgozott teszt minőségével, de azt lehet mondani, hogy ez a mérés lényegesen jobban előkészített volt, jobbak voltak a tesztfeladatok, jobban alkalmazkodtak az igényekhez, és valamivel rövidebbek voltak, kevésbé terhelték meg a tanulókat. Kétszer 40 perc alatt kellett megoldani a szövegértési és a matematikai feladatsort. A megelőző mérésben az előkészítés már említett körülményei miatt nem lehetett megoldani azt, hogy longitudinálissá tegyük a mérést, azaz a 6. és 10. évfolyamos mérésbe nem tehettünk olyan feladatokat, amelyek a megelőző 5. és 9. évfolyamos mérésben is szerepeltek. Pedig nagyon izgalmas lett volna annak elemzése, hogy javult-e a tanulók teljesítménye ezekben a feladatokban.

Miért nem lehetett a 2001. évi mérésből beemelni a tesztsorozatba néhány feladatot?

Mert a 2001-ben használt teszt ott volt minden iskolában. Ha minimálisan változtatunk a feladatsorozaton, mondjuk az eredeti 25. helyről az 50. helyre teszünk egy feladatot a hatvan tesztből álló sorban, sokan már el sem jutnak a megoldásban ehhez a feladathoz. A tesztszerkesztés egyik fontos kérdése az adott feladat tesztbeli pozíciója. A legkisebb változtatás már bizonytalanná teszi az adott teszt mérőfunkcióját. Az összehasonlító vizsgálat alapvető követelménye, hogy ugyanazok a feladatok ugyanabban a pozícióban szerepeljenek. A 2001-es és a 2003-as mérés adatai alapján egyetlen összehasonlítást tehettünk. Jeleztük, hogy az adott iskola rangsorbeli pozíciója szignifikánsan változott-e. Ez a gyakorlatban azt jelenti, hogy matematikai statisztikai eszközökkel vizsgáltuk, hogy a rangsorbeli mozgás a véletlennek vagy az adott iskola tanulóinak teljesítményeiben bekövetkezett számottevő javulásnak vagy romlásnak az eredménye. Erre azért volt szükség, mert az iskolák igen nagy hányada valahol az átlag közelében helyezkedik el. A teljesítmények átlagának néhány pontos változása jelezhet némi rangsorbeli változást, de ez nem tekinthető szignifikánsnak. Ha azonban egy iskola 2001-ben az 5., 9. évfolyamos mérésben a leszakadók mezőnyében volt, és 2003-ban az átlag közelében teljesítő iskolák csoportjába került, az szignifikáns változásnak tekinthető, és jelentős teljesítményjavulás van mögötte.

Milyen a szignifikánsan változó iskolák aránya? Azaz 2001-hez képest tapasztalható-e jelentős rangsorbeli átrendeződés?

A 3000 általános iskolából viszonylag kevés – mintegy 200 – iskola pozíciójában tapasztalható szignifikáns változás. Itt jegyzem meg, hogy a 2004-ben végzendő 6. és 10. évfolyamos mérés már jóval szofisztikáltabb lesz, s elemezni tudjuk, milyen mértékben változott a szövegértésbeli és a matematikai teljesítmény országos szinten s a különböző csoportosítások metszetében. Ugyanis most már képeztünk olyan hídfeladatokat, amelyeket mindkét mérésben használunk, s az ezekben elért eredmények alapján pontos összehasonlításokat tehetünk a teljesítményekben bekövetkezett változásokról. Ezek az azonos feladatok rejtett hidakat képeznek az egyes mérések között, s megbízhatóbb összehasonlításokra adnak lehetőséget. Ennek alapján a teljesítménykülönbségeket számszerűen, mutatók képzésével is képesek leszünk kifejezni, leírni. Hangsúlyozom, az a tény, hogy nem longitudinális a mérés, hanem mindig azonos évfolyamban mér, csak arra ad lehetőséget, hogy az iskola eredményességét, teljesítményváltozását mérjük, s nem a gyerekekét. Jelentős újdonságnak számít, hogy nem általában, tehát egy teljesítményátlag-szám formájában jelezzük vissza a tanulók teljesítményeit, hanem teljesítményszintek megadásával. Az olvasók számára szeretném felidézni, hogy a PISA-vizsgálatban az olvasás-szövegértés területén szintezték az elért teljesítményeket. Ennek analógiájára a 2003-as felmérésben mi is megpróbáltuk a tanulók által elért teljesítményekből a képességek adott fejlettségi szintjét meghatározni. (A képességszintek részletes leírása a folyóirat honlapján található.)

Mondanál példát erre?

Például a szövegértés harmadik képességszintjén a tanuló képes az információk közötti kapcsolatok megtalálására több szempont figyelembevételével. Átlátja a szövegben a szembetűnő hasonló információkat, képes a kért információ azonosítására, valamint annak kikövetkeztetésére, hogy mely információ tartozik relevánsan a feladathoz. Képes összefüggések felismerésére és megértésére a szöveg egy vagy több részéből, és a szövegrészeket egységbe tudja rendezni. Háttértudása segítségével képes egy szó, kifejezés vagy egy egész mondat értelmezésére, a szöveg egészének vagy részletének értelmezésére egy kevésbé hétköznapi ismeretanyag esetében. Képes a szöveg egy jellemző tartalmi vagy formai jegyének értékelésére. Tud reflektálni a szövegre saját tudása, tapasztalata és gondolatai alapján.

És mit tud a tanuló például a matematika második szintjén?

A második képességszintet elérő tanulók képesek olyan feladatok megoldására, amelyekhez rutineljárásokat kell végrehajtaniuk. Meg tudják oldani azokat a problémákat, amelyek ismerős, sokat gyakorolt matematikai technikák, eljárások alkalmazását igénylik. Ilyenek például ismert képletek alkalmazásai (például kerület- és területszámítások), táblázatokból kinyert adatok átlagának kiszámítása, tisztán algebrai megoldásokra visszavezethető, könnyen követhető szöveges feladatok megoldása.

Az iskolai adatok értékelése során tehát meg tudjátok adni, hogy egy iskola tanulóinak mekkora hányada tartozik szövegértésből és matematikai problémamegoldásból az egyes szintekbe?

Az iskolajelentésben minden intézménynek visszajelezzük, hogy tanulói közül hány százalék tartozik az egyes szintekbe. Az iskola ebből látja, hogy tanulóinak a képességszintjei hogyan viszonyulnak az országos átlaghoz, illetve a különböző módokon csoportosított átlagszintekhez. Jó, ha szembesül azzal, hogy tanulóinak mondjuk a 16 százaléka az egyes szinten van, az országos átlag pedig 20 százalék körül mozog. Ugyanis ebből következtetéseket tud levonni az iskola eredményességéről. A szintezés azért is fontos dolog, mert megmutatja a pedagógusnak, hogy egy-egy tanuló milyen konkrét feladatok megoldása, milyen műveletek elvégzésének képessége alapján sorolható be egy-egy értékelési szintbe, kategóriába. A szintezés valójában az osztályzatok mögötti tudás, képességfejlettség standardizálása. A pedagógus így szembesülhet azzal, hogy osztályzataiban vannak-e szubjektív elemek, vagy objektíven értékeli a tanuló tudását. Ez a benchmarking-elv érvényesüléséhez visz közelebb, azaz ahhoz, hogy legyenek pontos határkövek, amelyek mentén értékelni lehet.

Ezek szerint a 2003. évi kompetenciamérés pszichometriai, méréstechnikai szempontból is jelentős eredményeket hozott, hiszen a standardizálás irányába is előrelépés történt.

Valóban történt előrelépés, de nemcsak ezen a téren, hanem a hozzáadott érték mérésében is. Az eddigi összes mérésünkben az iskolák egy bizonyos hányadáról mindig kiderült, hogy tanulóik átlag felett teljesítenek. Mérni sohasem mértük, de tudtuk, hogy ebben sok összetevő együttes hatása érvényesül, a tanárok tevékenységétől az iskolavezetésen, a szervezeti kultúrán át egészen a tanulók kedvező összetételéig. Ez utóbbi nagyon fontos tényező, mert mennél jobb egy iskola, annál több jól felkészült, jó képességű tanuló áramlik oda. Hiszen tudjuk, a jobb szociokulturális adottságokkal rendelkező szülők sokkal nagyobb számban viszik azokba a jó iskolákba a gyerekeiket, ahol esély van a jobb felkészítésükre, ami tovább növeli ezeknek az intézményeknek a lehetőségeit. Amióta a pedagógiában is előtérbe került a hozzáadott érték fogalma, valamilyen mérése, a kutatókat erőteljesen foglalkoztatja, hogy egy-egy jó intézmény eredményeiben milyen arányban játszik szerepet a tanulók által hozott sokféle kedvező adottság, a hozott érték, s mi az, amit ehhez az iskola ad hozzá. Lehetséges, hogy egy gyengébb eredményeket felmutató iskolában, ahová nagy számban járnak hátrányosabb helyzetű, rosszabb szociokulturális hátterű gyerekek, az iskola ugyanannyit, sőt lehet, hogy még több értéket ad az eredményekhez, hiszen a tanulók bemeneti tudása, felkészültsége, motiváltsága sokkal rosszabb, mint az előbb említett elit intézményekben. Ebben a teljes körű mérésben először tettünk kísérletet annak elemzésére, hogy a tanulói teljesítményekhez mit tesz hozzá az iskola. Elsősorban az átlag alatt teljesítő iskolák szempontjából érzem fontosnak a hozzáadott érték mérését, mivel szeretném, ha az oktatáspolitika, a pedagógiai szakma végre rádöbbenne arra, hogy nemcsak az a húsz-harminc elit intézmény tesz nagyon sokat hozzá a tanulók hozott értékeihez, hanem ezek a sokszor nagyon rossz körülmények között működő intézmények is. Sőt sok esetben talán még az elit intézményeknél is többet adnak hozzá, csak ez nem válik látványossá a mért tanulói teljesítményekben, hiszen a hátrányos helyzetek halmozódása miatt ezek az intézmények mindig átlag alatti teljesítményeket produkálnak. Ha 500-as érték az átlag, ezek az intézmények rendszerint 430-as átlag körül teljesítenek, szemben az elit intézmények 560-as átlagával, s mindezek ellenére, lehet, hogy a bemeneti állapotok, a tanulók hozott értékeinek rendkívül alacsony szintje miatt nagyobb pedagógiai erőfeszítés van ebben az alacsony átlagban, mint az átlag feletti teljesítményben. A hozzáadott érték mérésével azt szeretnénk elérni, hogy ezeket az iskolákat, az ott tanító pedagógusokat ismerjék el. Szeretnénk, ha nyilvánvalóvá válna, hogy milyen nehéz körülmények között érik el az alacsonyabb teljesítményátlagokat.

Hogyan, milyen indikátorokkal lehet mérni a bemeneti állapotot?

A célunk az volt, hogy megmérjük, milyen hozott tényezők befolyásolják a tanulói teljesítményeket. Tehát kiválasztottunk néhány, a tanulók szociokulturális hátterét jellemző indikátort, melyekből egy hozottérték-indexet számítottunk. Ezt az indexet a szülők iskolai végzettsége, az otthoni tanulást elősegítő eszközök és a család anyagi jólétét jelző tárgyak mennyisége alapján számítottuk ki. Az elemzés persze nem hozott semmi újat, csak megerősítette az összes ilyen jellegű korábbi vizsgálat eredményeit. A tanuló szövegértési és matematikai teljesítményét legjobban a szülők iskolai végzettsége befolyásolja, de a teljesítmény erőteljesen függ attól, hogy a családnak milyen könyvtára van, illetve a tanulónak hány saját könyve van. Ugyancsak fontos, teljesítményt befolyásoló tényező, hogy a család rendelkezik-e például számítógéppel.

Hogyan lehetett megbízható adatokat kapni a gyerekek otthonának ellátottságáról?

Amint arra már korábban utaltam, minden iskolából csak 20-20 gyerek kérdőívét dolgoztuk fel központilag. Ennek a kiválasztott 20 gyereknek odaadták a felmérésben közreműködő pedagógusok a kérdőíveket, és otthon megbeszélték a szüleikkel a kérdésekre adandó választ. Nagy örömünkre a kiválasztott gyerekek kilencven százaléka kitöltötte a kérdőívet, így az iskolák döntő többségéből beérkeztek az adatok, melyek alapján kiszámítottuk a már említett hozottérték-indexet. Ezután megnéztük, hogy intézményenként hogyan alakul ez az indexérték. Nyilvánvaló, hogy azok az iskolák, amelyekben nagy számban tanítanak olyan gyerekeket, akiknek a szülei alacsonyan iskolázottak, kevés könyvvel rendelkeznek, s otthon nincs vagy alig akad számítógép, sokkal rosszabb kiindulóhelyzetben vannak, mint azok az iskolák, ahol a hozottérték-index kedvezőbb.

Miként lehet ezek alapján mérni a hozzáadott értéket?

Egy matematikai eljárással meghatároztuk, hogy a hozottérték-index alapján az iskola milyen eredményt ért volna el, s ezt egybevetettük a tanulók szövegértési és matematikai teljesítményei szerint mért átlaggal. Azt mondtuk például, hogy a hozottérték-index alapján nagyon hátrányos helyzetű iskolának a mi becsléseink alapján 370 pontos átlagot kellett volna elérnie, s ha az átlaga 430, akkor ott nagyon komoly pedagógiai munka folyik, mivel félszórásnyi értéket tettek hozzá a pedagógusok a gyerekek teljesítményeihez. Természetesen nincs arról szó, hogy a nagyon jó bemeneti feltételekkel induló iskolák között ne akadnának jelentős számban olyan intézmények, ahol az iskola ne tenne hozzá a gyerekek eredményeihez. Természetesen vannak olyan intézmények is, amelyekben a jó eredmények mögött kevés a hozzáadott érték – legalábbis a matematikai modellezéssel kialakított becsléseink szerint. Vannak 500-as átlagot elérő intézmények, amelyek – a hozottérték-index alapján történő becsléseink szerint – 530–540-es átlagot is elérhettek volna. Tehát ez a becslés azt is feltárja, hogy számos iskolában a tanulók hozott értékei alapján sokkal több lehetőség volna, mint amit a mért teljesítmények mutatnak.

A hozzáadott érték elemzéséből mit kaptak meg az iskolák?

A hozott érték alapján várható teljesítmény és a tényleges teljesítmény közötti különbséget minden intézmény számára megküldtük az iskolajelentésben, továbbá azt is megadtuk, hogy az adott intézmény típusában, az általános iskolák esetében a településtípus szerinti bontásban átlagosan hogyan alakult ez a különbség. Ezekből az iskola vezetése, a pedagógusok láthatják, milyen mértékben járulnak hozzá a tanulók teljesítményeihez. Egy iskola eredményességének megítélésében nagyon jól hasznosítható a hozzáadott érték mérése, kifejezése, láthatóvá tétele. Eddig egy országos átlagtól elmaradó, hátrányos helyzetű tanulókat tanító iskola hiába érvelt a fenntartónál, hogy a viszonylag gyenge tanulói teljesítmény mögött is milyen jelentős pedagógiai munka áll, hogy milyen energiát kell kifejteni annak érdekében, hogy ezt az eredményt elérjék. Az általunk végzett becslés érveket ad a fenntartótól többletforrásokat igénylő hátrányos helyzetű iskolák kezébe. Ez világviszonylatban is újdonságnak számít. Nem a hozzáadott pedagógiai érték számítása, hanem hogy az ország valamennyi iskolája hozzájutott ehhez az igen fontos mutatóhoz.

Az interjút készítette és szerkesztette: Schüttler Tamás