Juhász Milán

Az érvelő esszé értékelési szempontjainak megítélése pályakezdő és gyakorlott pedagógusok által

Jelen tanulmány célja, hogy választ adjon arra a kérdésre, mi okozhatja az érvelő fogalmazásokra adott tanári bírálatok között tapasztalható különbségeket. A kutatás központi kérdése, hogy az eltérések oka lehet-e az, hogy a különböző értékelési szempontokat eltérő fontosságúnak ítélik meg a pedagógusok. A tanulmány két csoport (pályakezdő pedagógusok – 1–5 év munkatapasztalattal és tapasztalt pedagógusok – 9–34 év munkatapasztalattal) eredményeit hasonlítja össze. Mindkét csoportnak ugyanazon szövegértékelési szempontok fontosságát kellett megítélnie egy ötfokú Likert-skálán. A csoportok közötti különbségek statisztikai igazolása a Mann–Whitney-féle U-próbával történt. Az eredményekből arra következtethetünk, hogy a két csoport fontossági megítélései között a tartalom, a szerkezet és a nyelvi igényesség alszempontjaiban is jelentős eltérés van, amely sok esetben szignifikáns. A pályakezdő pedagógusok ugyanis a legtöbb értékelési szempontnak nagyobb fontosságot tulajdonítottak, mint a tapasztaltabb pedagógusok.

Bevezetés

Az írásbeli és a szóbeli anyanyelvi kommunikáció fejlesztése a magyar köznevelési rendszerben kitüntetett szerepű, a Nemzeti alaptanterv kulcskompetenciái és fejlesztési feladatai között is hangsúlyosan megjelenik. A magyar nyelv és irodalom tanításának kiemelt célja, a „harmonikus, sokoldalúan felkészült, olvasó, az anyanyelvüket tudatosan használó, biztos szövegértéssel, illetve szövegalkotási kompetenciával rendelkező tanulók képzése, akik a nyelv tudatos és reflektív alkalmazásával eredményesen kommunikálnak, írásban és szóban is képesek önmagukat pontosan, az adott helyzetnek, illetve műfajnak megfelelően kifejezni” (NAT 2020: 301).

A szövegértés vizsgálata, valamint fejlesztési lehetőségeinek a feltérképezése már régóta a pedagógiai szakmódszertan, az alkalmazott nyelvészet és a neveléstudomány egyik kiemelt területe, amellyel számos hazai tanulmány is foglalkozott (például Adamikné Jászó 2002; Józsa 2006; Gósy 2008; Laczkó 2015; Balázs 2016). Előtérbe kerülése nem lehet véletlen, hiszen a köznevelési intézményekben az anyanyelvi mérés-értékelés folyamatában hangsúlyos szerepe van (gondoljunk az évenkénti országos kompetenciamérésre, amelynek az eredményeiről az Oktatási Hivatal részletes, országos elemzéseket is készít, és amely befolyásolhatja az iskolákban folyó pedagógiai munkát is).

A szövegértés mellett a szövegalkotási képesség aktuális fejlettségéről azonban kevesebbet tudunk, hiszen nincsenek friss országos adataink róla, emellett a hazai szakirodalomban csekély mennyiségű kutatás kapcsolódik a szövegproduktumok vizsgálatához (például Orosz 1972; Kádárné Fülöp 1990; Horváth 1998; Molnár 2000; Nagy 2009; Szilassy 2012; Fülöp 2017a, 2017b). Még kisebb számban vannak jelen a fogalmazások értékelési módszereit feltáró, elemző tanulmányok (például Nagy 2013).

A hiány vélhetően abból adódik, hogy a fogalmazások vizsgálata, értékelésének tudományos megközelítése éppen a szövegalkotási képesség komplexitása miatt rendkívül problematikus. Emellett a szövegalkotás folyamatát önmagában befolyásolja számos tényező – a tanuló aktuális állapota, a mérés körülményei, a kiadott feladatok stb. –, emiatt az értékelés megbízhatósága is megkérdőjelezhető (Csákberényiné Tóth 2011).

Az iskolákban megvalósuló fogalmazásértékelés jellemzően a fogalmazásképességnek két nagyobb részképességcsoportját méri: a fogalmi kidolgozást és a különböző nyelvi konvenciók ismeretét (Molnár 2000). A fogalmazásképesség értékelésére irányuló modern neveléstudományi kutatások szintén ezt a kétirányú felosztást követik, jóval több részképességre fókuszálnak azonban az értékelés folyamatában, eltérő számú szempont mentén (Nagy 2013). Míg a jelenleg alkalmazott javítási-értékelési útmutatókban (például Magyar nyelv és irodalom középszintű érettségi javítási-értékelési útmutató, 2020: 10) a klasszikus hármas felosztás dominál (tartalom, szerkezet, nyelvi megformáltság) és a három szempontot csupán holisztikusan értékelhetik a pedagógusok, addig a nemzetközi és magyar fogalmazásvizsgálatokban ennél jóval részletesebb értékelési szempontsorok jelentek meg, lehetőséget adva az analitikus értékelés megvalósulására is (Horváth 1998; Ransdell et al. 2002).

A magyar szakirodalomban elsőként Orosz Sándor tanulmánya nyújtott mélyebb elemzést az írott szövegek értékelésével kapcsolatban (Orosz 1972). A szerző célja olyan szempontrendszer kidolgozása volt, amelynek segítségével a bírálók egységesen pontozhatták a fogalmazásokat. Összesen tizennyolc szempontot határozott meg, ezeket három nagyobb csoportba sorolta: tartalom, szerkesztés minősége, stilizálás minősége. A tanulmány alapot nyújtott a későbbi kutatásokhoz, a szerző által meghatározott összefüggések és szempontok pedig napjainkban is érvényesek lehetnek.

Kádárné Fülöp Judit az ismereteket szintén több csoportba sorolta (Kádárné Fülöp 1990). Monográfiája átfogó információval szolgál az IEA-vizsgálat standardizált fogalmazáselbírálási rendszeréről, valamint a lezajlott magyar felméréséről, amely az első fontosabb – nemzetközi méréshez kapcsolódó – kutatás volt az írásbeli kifejezés képességéről Magyarországon. Részletesen elemezte az értékelés módszertanát, valamint átfogó képet nyújtott a tanulói szövegproduktumok bírálóinak kiválasztásáról és felkészítéséről is.

Horváth Zsuzsanna tanulmányában (1998) – átfogó elméleti keretbe ágyazva – ugyancsak a szövegalkotást, az iskolai fogalmazást elemezte. Empirikus vizsgálatában holland és magyar érettségizett személyek szövegproduktumait hasonlította össze, többek között arra keresve választ, hogy az alanyok mely nyelvhasználati műfajokat tartják fontosnak, szükségesnek, és melyeket nehéznek. A vizsgálat részletekbe menően bemutatta, hogy milyen értékelési szempontok alkalmazhatók a fogalmazások mérésekor, és kitért a bírálók közötti összhang fontosságára is. A szerző egy harminckét pontos szempontsort dolgozott ki, amelyben külön itemként jelent meg az összbenyomás is mint értékelési szempont.

Molnár Edit Katalin szintén a fogalmazási képesség mérésének problematikáját járja körül (2000) – az Iskolai műveltség ’99 kutatás fogalmazási komponensét alapul véve. Áttekinti, hogy a korábbi fogalmazásvizsgálatok mely elemeket helyezték a középpontba (az értékelés objektivitása és validitása; az értékelés megbízhatósága; a bírálók közötti összhang). Elemzését négy almintán, két évfolyamon (7. és 11.) végezte; az elkészült szövegproduktumokat két független bíráló értékelte, hat rögzített és részletezett, ötfokú skálát alapul vevő szempontsor alapján. Az eredményeket öt területet kiemelve ismertette: a mérés megbízhatósága; a családi háttér hatása a fogalmazási teljesítményre; az iskolai tényezők hatása a fogalmazási teljesítményre; teljesítménykülönbségek az alminták között; fejlődés a két életkor között. A szerző arra a következtetésre jut, hogy a fogalmazási képesség fejlődésének vizsgálatában jelentkező nehézségek meghatározzák az eredmények értelmezési lehetőségeit is.

A fenti szövegvizsgálatokban közös, hogy mind hasonló szempontrendszerrel dolgoztak, az alszempontok tekintetében azonban jellemzően eltérő aspektusokra fókuszáltak. A szerzők rávilágítottak arra is, hogy a szövegproduktumok értékelése sohasem lehet teljesen objektív.

Ha ugyanis teoretikusan el is fogadjuk azt, hogy a fogalmazásmérés lebonyolításakor minden körülmény ideális, és a bírálók ugyanazon szempontsorral dolgoznak, a szövegproduktumokra adott ítéleteket így is több tényező befolyásolja. A bírálatok megbízhatósága függ a különféle skálapontok egyértelmű definiálásától (Nagy 2013), a bíráló pedagógus szigorúságától (Eckes 2008), a bíráló gondolkodásának kulturális meghatározottságától, személyiségjegyeitől, tulajdonságaitól (Szilassy 2012; Fülöp 2017a, 2017b), a szövegalkotásra vonatkozó tudásától és az ez alapján kialakított elvárásaitól (Horváth 1998; Tóth 2008; Kerner 2009), de attól is, hogy milyen értékelési szempontrendszert használ, és ezt hogyan értelmezi.

Ezt a gondolatot támasztotta alá Nagy Zsuzsanna is tanulmányában (2013), aki szintén a fogalmazásképesség értékelésének problematikáját járta körül. A szerző az értékelési skálák működésének vizsgálatát két független bíráló értékítéleteinek vizsgálatával, valamint a klasszikus és a valószínűségi tesztelmélet által kínált módszereket felhasználva végezte. Kutatásának éppen ez volt az újszerűsége: a parciáliskredit-modell alkalmas volt a nem dichotóm adatok (mint amilyenek a többfokú skálákon mért fogalmazásértékelések eredményei) elemzésére, a Rasch-modell alkalmazásával pedig több értékelő munkájának szigorúsága vált összehasonlíthatóvá (Nagy 2013: 160). A tanulmány célja ugyanis a feladatjavítók eltérő szigorúságából és a különböző skálapontok definícióinak másképpen történő értelmezéséből fakadó eltérések elemzése volt (a bírálók közötti különbség megmutatkozott például abban, hogyan értelmezték és a javítás során hogyan értékelték a külalak és az olvashatóság szempontját). A munka egyik fontos eredménye, hogy kimutatta a két bíráló között tapasztalható szignifikáns összefüggéseket, de rávilágított a jelentős eltérésekre is az értékelői teljesítményükben.

Jelen tanulmány a szövegalkotás értékeléséhez kapcsolódóan – a kérdéskört leszűkítve – a variabilitás okait kutatva azt vizsgálja, hogy a különböző bírálók közötti eltérés eredhet-e abból is, hogy a különféle pontozási kritériumoknak a javítótanárok eltérő jelentőséget tulajdonítanak, és befolyásolja-e ezt a megszerzett tanítási tapasztalat. A felhasznált harmincfős minta a pedagógusok munkatapasztalata alapján két csoportra oszlik (pályakezdő és tapasztalt pedagógusok). Feltételezhetően e között a két csoport között a különböző szempontok fontossági megítélésében kimutatható eltérés van, valamint feltehető, hogy a tapasztalt pedagógusok fontosabbnak ítélik meg a fogalmazásértékelés szempontjait, mint a pályakezdő kollégáik. Az előbbiek döntései ugyanis a preaktív, az interaktív és a posztaktív szakaszban már szerves kapcsolatban állnak egymással (Szivák 1999: 8), illetve releváns tapasztalatuk lehet arról is, hogy mely szempontokra érdemes hangsúlyt fektetni a fejlesztés-értékelés folyamatában. Az utóbbiak viszont még demokratikusabb és idealisztikusabb elvekkel és attitűdökkel rendelkeznek. Ha valóban másképpen gondolkodik a két csoport a szempontok fontosságáról, az szintén okozhatja ugyanazon szövegproduktum esetén az eltérő – akár pontszámban is kimutatható – bírálatokat (Eckes 2008; Nagy 2013).

Kísérleti személyek, anyag és módszer

A vizsgálatban harminc fő középiskolában dolgozó magyartanár vett részt, akik mindannyian érettségiztető pedagógusok. A tanítási tapasztalatuk alapján két csoportba lehetett sorolni őket: pályakezdő pedagógusok (1–5 év munkatapasztalat) és gyakorlott, tapasztalt pedagógusok (9–34 év munkatapasztalat), mindkét csoportba 15-15 fő került. Az intézménytípust tekintve a mintába tartozó összes pedagógus gimnáziumban tanít, huszonhét fő Budapesten, három fő pedig Érden. Bár a kutatásban nem volt szempont, de a pedagógus-életpályamodell besorolása alapján a megkérdezettek 37%-a gyakornok, 23%-a pedagógus I., 27%-a pedagógus II. és 13%-a mesterpedagógus. Az adatgyűjtés kérdőíves felméréssel történt a Google Forms alkalmazást használva.

A kérdéssor egy tizenegyedik évfolyamos érvelő szöveg javítására-értékelésére irányult. Az érvelő esszé megalkotása, miközben vitathatatlanul sok szállal kapcsolódik az esszé műfajához, annál nagyobb szervezettséget igényel. A legtöbb esszéműfaj (például irodalmi, műelemző esszé, összehasonlító elemzés) esetén hangsúlyos a személyes vélemény megjelenítése, a képszerű és a színes kifejezésmód, a tanulói ismeretek és kompetenciák komplex alkalmazása, az érvelő esszénél viszont ezek mellett dominál az érvmenet követhetősége is, az lép elő elsődleges szemponttá (Horváth 2008; Kerner 2009). Az érvelő szövegtípus kiválasztását indokolja az is, hogy az oktatásirányítási dokumentumokban kitüntetett célként szerepel – a szóbeli és az írásbeli szövegalkotás kontextusában egyaránt – az érvelési képesség elsajátítása és alkalmazása: „a tanulók rendelkezzenek megfelelő retorikai ismeretekkel, tagolt, arányos szöveget tudjanak alkotni. Ismerjék az érvek, a cáfolatok fajtáit…” (NAT 2020: 301). Ezzel összhangban kimeneti követelményként a magyar nyelv és irodalom érettségi feladatai között is szerepel az érvelő esszé műfaja (2017-ig hosszú esszéfeladatként, 2017-től pedig rövid esszé formájában, a gyakorlati szövegalkotás melletti választható feladatként van jelen az első vizsgarész végén). Feltételezhető, hogy egy tizenegyedik évfolyamon tanuló diák az érvelő szöveg megalkotásához szükséges ismeretekkel már rendelkezik, hiszen a kerettanterv előírásai alapján már 9–10. évfolyamon el kell sajátítania az ehhez szükséges képességeket és kompetenciákat.

A kutatásban részt vevő pedagógusoknak tehát az érvelő szövegre vonatkoztatandóan holisztikusan (globálisan, az összbenyomásra alapozva) meg kellett ítélniük a három alapvető értékelési szempont (a tartalom, a szerkezet és a nyelvi igényesség) fontosságát. (Az instrukció a következő volt: „Állítsa hierarchikus sorrendbe az alábbi három szempontot az alapján, hogy saját pedagógiai gyakorlatában a fogalmazásértékelés és -javítás folyamatában melyiknek mekkora szerepet tulajdonít!”). A holisztikus értékelés mellett a három előbbi kategóriához tartozó alszempontok (lásd lent) fontosságát is értékelniük kellett egy ötfokú Likert-skálán. (Instrukció: „Értékelje az alábbi szempontokat az alapján, hogy Ön mekkora hangsúlyt fektet rájuk egy tizenegyedikes diák érvelő esszéjének javítása-értékelése során a saját osztálytermi gyakorlatában!”). Ezek a szempontok a kérdőívben randomizált sorrendben követték egymást, az eredmények kiértékelésekor viszont már a főkategóriák (tartalom, szerkezet, nyelvi igényesség) alá kerültek.

A három főkategória közül a tartalom minősége a legnehezebben kvantifikálható, hiszen nyelvileg is nehezen megragadható, komplex szempontként jelenik meg, és sok esetben interdiszciplináris ismereteket is igényel az adott feladat megoldása (Molnár 2009). Kérdéses továbbá, hogy egy adott érvelési feladat témája mennyire ágyazódik az iskolai képzésbe, és mennyire terjed ki a tanuló iskolán kívüli világismeretére (Horváth 1998). A nehézséget fokozza az is, hogy a NAT előírása alapján ismerni kell ugyan a retorikát, viszont a dokumentumban (és a kerettantervekben) ez nem jelenik meg kellő mértékben részletezve. Ez azért okozhat feloldhatatlan problémát, mert az érvelés – így a szövegműfaj elvárható tartalmi elemei – elválaszthatatlanul hozzátartozik a retorika tudományterületéhez, annak keretein belül értelmezhető (Major 2015). Ha egy tanuló nincs tisztában az invenció (Adamik 2010) alapjaival, valójában nem is lesz képes megfelelni az elvárt szempontoknak. Azt azonban meg kell jegyezni, hogy az érvelés műfajára vonatkozó szerkezeti és tartalmi elvárások elszórva feltűnnek az anyanyelvi képzést szabályozó dokumentumoknak az előírásaiban (így a szövegtan, a kommunikáció, a jelentéstan és a stilisztika témakörénél is megjelenik a középiskolák tantervében). A kérdőívben a tartalmi kategória lebontásával létrejövő analitikus értékelési alszempontok a következők voltak:

– T1: az érvelés szövegtípusának, szövegműfajának való megfelelés,

– T2: saját vélemény megjelenítése,

– T3: az álláspont kifejtettsége,

– T4: problémaérzékenység,

– T5: gondolati kifejtettség,

– T6: a szöveg koherens, nincs benne ellentmondás,

– T7: az érvek száma,

– T8: az olvasóból kiváltott hatás,

– T9: tájékozottság a problémakörben,

– T10: meggyőzőerő,

– T11: a tartalmi színvonal eléri az érettségin elvárható szintet.

A szerkezet minősítésekor a szövegegész egysége, a témához és a műfajhoz illő logikai rend, a szövegben történő módszeres előrehaladás, a koherencia, a gondolategységek belső megszerkesztettsége, valamint az írásmű tartalmi és nyelvi utalóelemekkel biztosított szövegszerűsége kerül az értékelés középpontjába (Horváth 1998). A szerkezet globális megítélése mellett e szempont esetén is szükséges minél jobban lebontani a kategóriát, azaz a differenciáltabb értékelés érdekében kisebb egységeket kell meghatározni a szerkezeten belül is, amelyeknek megítélését a két csoportban össze lehet hasonlítani. A kérdőívben ide tartozó alszempontok a következők voltak:

– Sz1: a feladatban megadott elvárt terjedelem,

– Sz2: a szöveg tagolása,

– Sz3: a szerkezeti építkezés tükrözi a gondolatmenet logikáját,

– Sz4: a bekezdések gondolati felépítése,

– Sz5: szövegszerűséget biztosító nyelvi utalóelemek használata,

– Sz6: tudatos felépítés,

– Sz7: bevezetés, kifejtés, lezárás megléte,

– Sz8: arányos felépítés,

– Sz9: az érvek szerkezete,

– Sz10: az érvek elrendezése,

– Sz11: a felépítésbeli színvonal eléri az érettségin elvárható szintet.

A magyar köznevelési rendszerben sokáig jellemző volt a helyesírási-nyelvhelyességi szempontú ellenőrzés, értékelés és minősítés, ami főképp a produktumorientált, eredményközpontú fogalmazásértékelés velejárója (Molnár 1996). Habár a fogalmazástanításban az elmúlt években egyre nagyobb hangsúlyt kapott a folyamatközpontú írás és a szabadírás (Raátz 2008; Tóth 2008), amelynek során éppen a tartalom válik elsődlegessé, és a kreatív alkotás folyamata kerül a középpontba, a helyesírás- és nyelvhelyesség-centrikus értékelési gyakorlat továbbra is sok helyen domináns az iskolákban (Szilassy 2012; Lukács 2014). A nyelvi igényesség szempontján belül a korábbi fogalmazásvizsgálatok adatait felhasználva szintén tizenegy alszempont fontosságát kellett a megkérdezett pedagógusoknak megítélniük, amelyek a következők voltak:

– Ny1: íráskép, külalak,

– Ny2: hangnem,

– Ny3, szókincs, szóhasználat,

– Ny4: stílus megfelelése a témának, címzettnek, műfajnak,

– Ny5: nyelvhelyesség,

– Ny6: központozás,

– Ny7: helyesírás,

– Ny8: érthetőség,

– Ny9: a mondatok megszerkesztettsége,

– Ny10: szóismétlés,

– Ny11: a nyelvi megformáltság eléri az érettségin elvárható szintet.

A független változók a vizsgálatban a fenti fogalmazásértékelési szempontok voltak, a függő változók pedig a szempontok fontosságára adott tanári értékelések. A kérdőívből származó adatok ötfokú Likert-skálán mért ordinális adatok, amelyek esetében a módusz és a medián összevetésére került sor. Az adatokra lefuttatott nem parametrikus statisztikai próba a Mann–Whitney-féle U-teszt volt.

Eredmények

Az 1. ábra összesítve mutatja meg, hogy a három alapvető szempontot a megkérdezett pedagógusok hogyan rangsorolták a fontosság alapján. A kapott adatokból kirajzolódik, hogy összességében a három szempont közül a tartalmat tartják a pedagógusok a legfontosabbnak (a harminc főből huszonkilencen sorolták első helyre), függetlenül a tanítási tapasztalattól. A fontossági sorrendben a tartalmat a szerkezet követi, amelyet huszonkét fő jelölt a második legfontosabb szempontnak, nyolcan pedig a harmadik legfontosabbnak. A három szempont közül a nyelvi igényességet tartották a megkérdezett pedagógusok a legkevésbé fontosnak, noha több tanulmány is utal arra, hogy ez a szempont dominál az értékelésnél. A vizsgálatban huszonkét fő sorolta a harmadik helyre, hét fő a második helyre, és csupán egy pedagógus gondolta azt, hogy ez a legfontosabb szempont (ő a tartalmat sorolta a második helyre, a szerkezetet pedig a harmadikra).

 

 

1. ábra

A három főkategória fontosságának holisztikus megítélése a két csoportban

 

A tartalom főkategórián belüli alszempontokra kapott eredmények összehasonlítása során kiderült, hogy a két csoport megítélései között jelentős különbség van az egyes alszempontok fontosságának a tekintetében; a pályakezdő pedagógusok a tartalmi alszempontokat összességében is fontosabbnak ítélték meg, mint a tapasztalt pedagógusok (2. ábra).

 

 

2. ábra

A tartalmi alszempontok fontossági megítéléseinek összesített eredménye

 

A két csoport közötti különbség szignifikáns az érvelés szövegtípusának, szövegműfajának való megfelelés esetén (U = 32,500, Z = −3,609, p < 0,001), valamint a saját vélemény megjelenítése (U = 58,500, Z = −2,487, p = 0,013), az álláspont kifejtettsége (U = 64,500, Z = −2,292, p = 0,022), a problémaérzékenység (U = 56,500, Z = −2,471, p = 0,013), a gondolati kifejtettség (U = 53,500, Z = −2,718, p = 0,007), az olvasóból kiváltott hatás (U = 66,000, Z = −2,134, p = 0,033) és a meggyőzőerő ( U = 14,500, Z = −4,380, p < 0,001) alszempontjaiban.

Mind a hét szignifikánsan különböző alszempont esetében magasabb értékű a módusz a pályakezdő pedagógusok csoportjában, mint a tapasztalt pedagógusok eredményeiben. A problémaérzékenység (T4) és a meggyőzőerő (T10) esetében pedig két értékkel is alacsonyabb (azaz hármas szintű) a tapasztalt pedagógusoknál, tehát ők jóval kevésbé tartják fontosnak ezt a két szempontot. Ugyanakkor a két csoport hasonlóan ítélte meg a T6-os (a szöveg koherens, nincs benne ellentmondás), a T7-es (az érvek száma), a T9-es (tájékozottság a problémakörben) és a T11-es (a tartalmi színvonal eléri az érettségin elvárható szintet) szempontokat, ezekre összességében négyes értékeket adtak. A tizenegy tartalmi alszempont közötti különbségeket a két csoportra vonatkoztatva a 3. ábra szemlélteti.

 

3. ábra

A tartalmi alszempontok fontosságának megítélése a pályakezdő és a tapasztalt pedagógusok körében

 

A tartalomhoz hasonló tendencia mutatkozott a szerkezeten belüli alszempontok fontosságának a megítélésében. A szerkezet tekintetében is a pályakezdő pedagógusok értékelték magasabbra az alszempontokat, tehát ezek többségének szintén nagyobb jelentőséget tulajdonítanak a javítás-értékelés során, mint a tapasztaltabb kollégáik (4. ábra).

A két csoport közötti különbségek a szerkezet esetében szintén hét alszempontban lettek szignifikánsak, ezek az elvárt terjedelem (U = 44,500, Z = −3,107, p = 0,002), a szerkezeti építkezés tükrözi a gondolatmenet logikáját (U = 75,000, Z = −1,959, p = 0,050), a bekezdések gondolati felépítése (U = 50,000, Z = −2,838, p = 0,005), a szövegszerűséget biztosító nyelvi utalóelemek használata (U = 49,500, Z = −2,991, p = 0,003), a tudatos felépítés (U = 61,500, Z = −2,307, p = 0,021), az arányos felépítés (U = 39,500, Z = −3,226, p = 0,001) és az érvek elrendezése (U = 61,500, Z = −2,367, p = 0,018) szempontok. Hasonlóan ítélte meg a pedagógusok két csoportja a szöveg tagolásának a fontosságát, a bevezetés, kifejtés, lezárás meglétét, valamint az érvek szerkezetét; ezeket összességében ötösre értékelték. Másodlagos szempontként jelent meg mindkét csoportban az Sz11 (a felépítésbeli színvonal eléri az érettségin elvárható szintet); ezt összességében négyesre értékelte a pedagógusok mindkét csoportja.

 

 

4. ábra

A szerkezeti alszempontok fontosságának megítélése a pályakezdő és a tapasztalt pedagógusok körében

 

A nyelvi igényességen belüli tizenegy szempontban szintén mutatkozott eltérés a két csoport megítéléseiben (5. ábra). A Mann–Whitney-féle U-próba azonban ebben a kategóriában adta a legkevesebb szignifikánsan különböző értéket; csupán három szempont esetében mutatkozott az eltérés szignifikánsnak: a stílus megfelelése a témának, címzettnek, műfajnak (U = 66,000, Z = −2,047, p = 0,041), a mondatok megszerkesztettsége (U = 57, 000, Z = −2,684, p = 0,007) és a szóismétlésre vonatkozó alszempontokban (U = 55,500, Z = −2,528, p = 0,011).

 

 

5. ábra

A nyelvi igényességi alszempontok fontossági megítéléseinek összesített eredménye

 

Ezen adatok alapján kitűnik, hogy a három főkategória közül a nyelvi igényesség szempontjainak fontossági megítélésében van a legkisebb különbség a pályakezdő és a tapasztalt pedagógusok csoportjai között (6. ábra). Itt fordult elő egyedül az, hogy a tapasztalt pedagógusok tartottak fontosabbnak egy alszempontot, jelesül az Ny11-et, ami arra vonatkozik, hogy a nyelvi megformálás eléri az érettségin elvárható szintet. Magasabbra értékelték a pályakezdő pedagógusok az íráskép, a külalak fontosságát, a szókincset, a stílust, a mondatok megszerkesztettségét, a szóismétlést. Mindkét csoportnál ötös értéket kapott a nyelvhelyességre és az érthetőségre vonatkozó kritérium, azaz ezeket a szempontokat mindkét csoport egyaránt fontosnak tartja. Hasonlóan gondolkodtak a hangnem, a központozás és a helyesírás szempontjairól is, ezeket összességében négyesre értékelték a vizsgálatban részt vevő pedagógusok.

 

6. ábra

A nyelvi igényességi alszempontok fontosságának megítélése a pályakezdő és a tapasztalt pedagógusok körében 

Összegzés és következtetések

A tanulmány a fogalmazásképesség értékelésének kérdéseihez kapcsolódva azt vizsgálta, hogy eltér-e az érettségiztető pályakezdő és az érettségiztető tapasztalt pedagógusok véleménye abban, ahogyan az érvelő esszé értékelési szempontjainak fontosságát megítélik.

A szakirodalom és a korábbi fogalmazásvizsgálatok szempontrendszerei alapján három főbb értékelési szempontot vizsgált a tanulmány, ezek a tartalom, a szerkezet és a nyelvi igényesség. Minden fő szempont alá tizenegy alszempont sorolódott, ezek fontosságát kellett megítélniük a pedagógusoknak. A hipotézis az volt, hogy a két csoport között van különbség az alszempontok fontosságának a megítélésében, mégpedig úgy, hogy a tapasztalt pedagógusok gondolnak fontosabbnak egy-egy alszempontot az érvelő szövegekre vonatkoztatandó értékelési szempontok közül. Ez utóbbi feltételezés nem bizonyosodott be, hiszen a kapott adatok alapján éppen a pályakezdő pedagógusok értékei lettek magasabbak. Vélhetően ez az eredmény abból is fakadhat, hogy a pályakezdő pedagógusoknak magasabb elvárásaik vannak önmagukkal, de a tanított diákokkal szemben is (Szabó 2007), valamint jobban igazodnak a frissen megszerzett elméleti ismeretanyaghoz, míg a tapasztaltabb kollégáik inkább a tanulót helyezik fókuszba az értékelés során.

Bebizonyosodott azonban a hipotézis azon része, hogy a két csoport között kimutatható különbség van, hiszen az eredményekből láthattuk, hogy mindhárom szempontban eltérések mutatkoztak az alszempontok között. A tartalmi és a szerkezeti alszempontokban is hét-hét itemben, míg a nyelvi igényesség szempontjaiban három itemben jelent meg szignifikáns különbség a pedagógusok két csoportja között.

A vizsgálat eredményeiből arra következtethetünk, hogy az analitikus értékelés esetén a pályakezdő és a tapasztalt pedagógusok nem alkotnak homogén csoportot – legalábbis a különböző szempontok fontossági megítélésének a tekintetében. Ugyanakkor a három fő szempont, a tartalom, a szerkezet és a nyelvi igényesség fontosságának globális megítélésében hasonlóan jártak el. A rangsorolás alapján ezek közül a szempontok közül a tartalmat tartották a legfontosabbnak (harmincból huszonkilenc fő első helyre sorolta), ezt követte a szerkezet (huszonkét fő gondolta a második legfontosabb szempontnak) és a nyelvi igényesség (huszonkét fő sorolta a harmadik helyre). Bár a tartalom értékelése meglehetősen problematikus (nyelvészeti, pragmatikai és szövegtani szempontból is nehezen megragadható kategória), mégis mindkét vizsgált csoportban a hierarchia élére került. A tartalom fontosságának dominanciája összefügghet azzal, hogy a központi javítási-értékelési útmutatóban megjelenő értékelési szempontsorok alapján erre adhatják a pedagógusok a legtöbb pontot (például az érettségi javítási-értékelési útmutatója szerint a tartalmi minőség huszonöt pontot, a szövegszerkezet öt pontot, míg a nyelvi igényesség tíz pontot ért). Ez viszont nem indokolja azt, hogy a szerkezet a vizsgálatban részt vevők válaszai alapján a második helyre került (hiszen ez alapján a logika alapján ide a nyelvi minőséget kellene sorolni), noha elképzelhető, hogy míg a szerkezet megítélése objektívebb lehet, addig a nyelvi minőség esetén a pedagógusok azt érzékelik, hogy ez egy szubjektívebb, esetleg nehezebben tanítható, gyakoroltatható anyanyelvi terület, emiatt pedig kevesebb az elvárásuk is. Feltételezhető az is, hogy a gyakorló pedagógusok az érvelő esszé javításakor a szöveg szuperstruktúrájára (Balázs 1985) fókuszálnak, hiszen ez univerzális jellemzőként jelenik meg az érvelő szövegproduktumokban: „a szuperstruktúra globális jellegéből következik az [...], hogy független az egyes szövegek tartalmától, azaz megszerkesztettségének módja és formája alapján minősül egy szöveg annak, ami. A szuperstruktúra globális jellege és elvont jellege abban is megnyilvánul, hogy a szerkezeti elemeket valamely konkrét nyelv szavaitól és mondataitól függetlenül is számba vehetjük” (Horváth 1998: 166). Ha ez valóban így van, akkor ezt a kategóriát a pedagógusok könnyebben megragadhatónak értelmezik, és nagyobb hangsúlyt fektetnek rá az értékelés során. Ezen felül a nyelvi igényesség főkategóriáján belül több olyan szempont is található, amelyek értékelése nehezebben ragadható meg. Vidákovich tanulmányában (1986) például kiemeli a külalak értékelésének a nehézségét, jelesül, hogy már az ahhoz kapcsolódó követelmény egyértelmű megfogalmazása is problematikus, hiszen egyénenként eltér az, hogy kinek milyen íráskép tetszik. A szintén a nyelvi igényesség alá sorolt helyesírási szempont fontossági megítélésének pedig valószínűleg nem kedvezett, hogy 2017 óta a magyar nyelv és irodalom érettségin az addig jelen lévő hibakereső eljárás helyett a helyesírást jutalmazó értékelés lépett életbe: ha egy tanuló sok súlyos helyesírási hibát ejt, nem pontlevonást kap, hanem a maximális helyesírási pontszámból veszít pontokat, aki viszont jó helyesírással oldja meg a vizsgafeladatokat, megkaphatja a maximális pontszámot. Emellett a 2017-es év előtt a helyesírás 15 pontot ért, ez a módosított érettségiben majdnem a felére, mindössze nyolc pontra csökkent, ami szintén indokolhatja azt, hogy a pedagógusok már nem tartják annyira fontos szempontnak, mint korábban.

Jelen vizsgálat rávilágított az eltérő bírálatok egyik lehetséges okára, jelesül a szempontok fontosságának eltérő megítélésére a különböző tanítási tapasztalattal rendelkező pedagógusok között. A bevezetésben láttuk, hogy több tanulmány is foglalkozott már azzal, hogy a tanulói szövegproduktumokra adott értékelések különbözősége miből eredhet. Míg a legtöbb tudásszintmérő teszt esetében az értékelés jóval megbízhatóbb, a mérőeszközök objektivitása viszonylag magas, addig a tanulói szövegek értékelése – a központilag kiadott, körültekintően kidolgozott értékelési skálák ellenére is – értékelési hibáktól terhelt; befolyásolja a feladatjavítók eltérő szigorúsága, a skálapontok értelmezésének az eltérése, a bíráló személyisége (Nagy 2013) továbbá – a jelen vizsgálat tanúsága szerint – a tanítási tapasztalat ideje is.

A kezdő és a gyakorlottabb pedagógusok értékelésében tapasztalt eltérések számos további kérdést vetnek fel. További kutatási feladat az, hogy az eredményeket felhasználva feltárjuk, mi okozza a pályakezdők és a tapasztalt pedagógusok közötti ilyen mértékű különbségeket, milyen összetett folyamatok vezethetnek a látott eltérések megjelenéséhez. Továbbá – a mintát kibővítve – érdemes lenne megvizsgálni, hogy egyéb aspektusok (például intézménytípus, településtípus) indokolják-e az értékelések közötti különbségeket. Az eltérések okai közé tartozhatnak még a szövegalkotás tanítási szemléletének a sajátosságai, de a gyakorlatban alkalmazott különböző javítási stratégiák alkalmazása is; nagy valószínűséggel más értékelési stratégiát használ az a pedagógus, aki a folyamatalapú fogalmazástanítást részesíti előnyben, mint az, aki az eredményorientált fogalmazástanítás elveit követi. Nem szabad megfeledkezni arról a tényről sem, hogy egy szövegproduktum értékelése során a bíráló óhatatlanul – és sokszor tudat alatt is – másképp viszonyul azoknak a tanulóknak a munkáihoz, akiket személyesen ismer, tanít, mint azokéhoz, akiket nem. Ezeknek a kérdéseknek a megválaszolását, valamint az értékelésekben tapasztalt eltérések további okainak feltárását segítheti egy fókuszcsoportos interjú, hiszen ezzel a kvalitatív módszerrel árnyaltabb képet kaphatunk a különbözőségek okairól, arról, hogy a pedagógusoknak milyen motivációi, attitűdjei érvényesülnek a fogalmazásértékelés folyamatában.

 

Irodalom

 

Adamik Tamás (főszerk.) 2010. Retorikai lexikon. Kalligram Kiadó. Pozsony.

Adamikné Jászó Anna 2002. A szövegértő olvasásról. Magyartanítás 4: 4–14.

Balázs Ákos 2016. Szövegértés-fejlesztés képregényekkel. http://www.tani-tani.info/szovegertes_fejlesztes_kepregenyekkel (2021. január 9.)

Balázs János 1985. A szöveg. Gondolat. Budapest.

Csákberényiné Tóth Klára 2011. Fantáziafogalmazások jellemzői 4. osztályban. Anyanyelv-pedagógia 1. http://www.anyanyelv-pedagogia.hu/cikkek.php?id=301 (2021. január 9.)

Eckes, Thomas 2008. Rater types in writing performance assessments: a classification approach to rater variability. Language Testing 2: 155–185. https://doi.org/10.1177/0265532207086780

Fülöp Károly 2017a. Esszészövegek szerkezetének kvantitatív elemzése. Anyanyelv-pedagógia 2. http://www.anyanyelv-pedagogia.hu/cikkek.php?id=679 (2020. december 9.) https://doi.org/10.21030/anyp.2017.2.3

Fülöp Károly 2017b. Esszészövegek grammatikai elemzése. Anyanyelv-pedagógia 4. http://www.anyanyelv-pedagogia.hu/cikkek.php?id=705 (2020. december 9.) https://doi.org/10.21030/anyp.2017.4.3

Gósy Mária 2008. A szövegértő olvasás. Anyanyelv-pedagógia 1. http://www.anyanyelv-pedagogia.hu/cikkek.php?id=25 (2021. január 9.)

Horváth Zsuzsanna 1998. Anyanyelvi tudástérkép. Középiskolai tantárgyi feladatbankok III. Országos Közoktatási Intézet. Budapest.

Horváth Zsuzsanna 2008. Írni Jó! A szövegalkotás fejlesztése. In: Bánki Zsuzsa – Lukács Judit (szerk.) Tanulmányok az érettségiről: hatásvizsgálat, tantárgyi vizsgák értékelése, feladatfejlesztés. OFI. Budapest. 323–351.

Józsa Krisztián 2006. Az olvasási képesség fejlődése és fejlesztése. Dinasztia Tankönyvkiadó. Budapest.

Kádárné Fülöp Judit 1990. Hogyan írnak a tizenévesek? Az IEA-fogalmazásvizsgálat Magyarországon. Akadémiai Kiadó. Budapest.

Kerner Anna 2009. Esszé a középiskolában. A filozófiai esszé. Anyanyelv-pedagógia 2. http://anyanyelv-pedagogia.hu/cikkek.php?id=164 (2020. december 9.)

Laczkó Mária 2015. A tantárgyspecifikus olvasás – a tantárgyi szövegértés tanításának egy alternatív módja. Magyartanítás 56/5: 12–17.

Lukács Krisztina 2014. A tanári instrukciók szerepe a tanulói szövegek javításában egy kérdőíves vizsgálat tükrében. Anyanyelv-pedagógia 2. http://www.anyanyelv-pedagogia.hu/cikkek.php?id=515 (2021. január 9.)

Magyar nyelv és irodalom középszintű érettségi javítási-értékelési útmutató 2020. https://dload-oktatas.educatio.hu/erettsegi/feladatok_2020osz_kozep/k_magyir_20okt_ut.pdf (2021. január 9.)

Major Hajnalka 2015. Retorika és szövegalkotás. ELTE Eötvös Kiadó. Budapest.

Molnár Edit Katalin 1996. A kognitív pszichológia három fogalmazás-modellje. Magyar Pedagógia 2: 139–156.

Molnár Edit Katalin 2000. A fogalmazási képességek fejlődésének mérése. Iskolakultúra 8: 49–59.

Molnár Edit Katalin 2009. Az írásbeli szövegalkotás funkciója és hatékonysága magyar egyetemista diákok dolgozatainak szövegeiben. Anyanyelv-pedagógia 1. http://www.anyanyelv-pedagogia.hu/cikkek.php?id=138 (2021. január 9.)

Nagy Zsuzsanna 2009. 17 éves tanulók szövegalkotási képessége és szövegekre vonatkozó ítéletei. Iskolakultúra 11: 19–31.

Nagy Zsuzsanna 2013. A fogalmazásértékelés megbízhatósága két független bíráló értékítéleteinek elemzése alapján. Magyar Pedagógia 3: 153–179.

Nemzeti  alaptanterv  2020. https://magyarkozlony.hu/dokumentumok/3288b6548a740b9c8daf918a399a0bed
1985db0f/letoltes (2021. január 9.)

Orosz Sándor 1972. A fogalmazástechnika mérésmetodikai problémái és országos színvonala. Tankönyvkiadó. Budapest.

Raátz Judit 2008. A kreatív írás gyakorlatai. Anyanyelv-pedagógia 3–4. http://www.anyanyelv-pedagogia.hu/cikkek.php?id=128 (2021. január 9.)

Ransdell, Sarah. – Levy, C. Michael – Kellogg, T. Ronald 2002. The structure of writing processes as revealed by secondary task demands. L1 – Educational studies in Language and Literature 2: 141–163. https://doi.org/10.1023/A:1020851300668

Szabó Csilla Marianna 2007. A pályakezdő pedagógus. In: Bábosik István – Torgyik Judit (szerk.) Pedagógusmesterség az Európai Unióban. Eötvös Kiadó. Budapest. 125–146.

Szilassy Eszter 2012. Az írás és fogalmazásjavítás stratégiái. Anyanyelv-pedagógia 1. http://www.anyanyelv-pedagogia.hu/cikkek.php?id=357 (2021. január 9.)

Szivák Judit 1999. A kezdő pedagógus. Iskolakultúra 4. 3–13.

Tóth Beatrix 2008. Fogalmazástanítás – miért és hogyan másképpen? Anyanyelv-pedagógia 1. http://anyanyelv-pedagogia.hu/cikkek.php?id=15 (2020. december 9.)

Vidákovich Tibor 1986. Az íráskészség vizsgálatának néhány mérésmetodikai problémája. Acta Universitatis Szegediensis de Attila József Nominatae Sectio Paedadogica et Psychologica 28: 117–138.

 

Juhász, Milán

Judging evaluation criteria for argumentative essays based on the opinions of beginner and experienced teachers

 

The aim of the present study is to find out what might be the reason for the differences in the assessment of argumentative essays. The central question of the research is whether the reason for the differences might be the fact that teachers judge the various evaluation criteria in a different way. The study compares the results of two groups (beginner teachers with 1–5 years of experience and experienced teachers with 9–34 years of experience). Both groups had to judge the importance of the same text assessment criteria on a five-grade Likert scale. Differences between groups were statistically confirmed by the Mann–Whitney U-test. From the results, we can conclude that there is a significant difference between the assessments of the two groups in the importance of content, structure and language sophistication, which is significant in many cases. Beginner teachers considered most of the assessment criteria more importance than their more experienced colleagues.

Oldaltérkép                     Szerzőink figyelmébe                     © Magyar Nyelvtudományi Társaság, 2008–