España 
Italia 
United States 
Brasil 
Chile
Ecuador
Mexico
Colombia
Perú
Eskola batek matematikako hezkuntza-programa aldatzea erabakitzen duenean, galdera jakin bat sortu ohi da, bai etxean, baita eskolan ere: «Ados, baina… funtzionatzen al du?». Galdera zilegia da; kontua da zaila dela baiezkoa ala ezezkoa erantzutea.
Artikulu honetan, matematikako programa bat hezkuntzaren alorreko ikerketen ikuspegi zabaletik ebaluatzea zeinen konplexua den aztertuko dugu. Halaber, ebidentziak oraingoz Innovamati buruz zer dioen azalduko dugu.
AURKIBIDEA
Begirada zabala: Zer esan nahi du «behar bezala ebaluatzeak»?
National Research Council (NRC) erakundeak duela urte batzuk ohartarazi zuen matematikako programa bat ebaluatzea ez litzatekeela emaitza bakar batera edo ikerketa mota bakar batera mugatu behar. 2004ko txostenean, ebaluazioa ebidentzia osagarrien multzo gisa ulertzea proposatu zuen: eraginaren inguruko azterketak, inplementazioari buruzko azterketak, edukiaren analisia eta marko teorikoaren analisia (hau da, ikaskuntzaren eta irakaskuntzaren zein teoriak sostengatzen duen proposamena).
Ideia hori funtsezkoa da: hezkuntza-programa bat ez da material multzo bat bakarrik. Haatik, ikasleek nola ikasten duten deskribatzen du, baita ikaskuntza hori posible egiten duten irakaskuntza-praktikak zeintzuk diren ere. Horregatik, hezkuntza-programa bat ebaluatzerakoan, zentzuzkoa da era honetako galderak egitea:
- Eragina: Emaitzak aldatzen al dira? Zein ikasleren kasuan eta zein baldintzatan?
- Inplementazioa: Aurreikusi bezala aplikatzen ari al da? Zer egokitzapen egin dira, eta zergatik?
- Edukia: Jarduerek benetan sustatzen al dute ikaskuntza matematiko aberatsa?
- Koherentzia teorikoa: Programa bat al dator ikerketek matematika ikasteari buruz diotenarekin?
Horrek ez ditu ordezkatzen azterketa kuantitatiboak, baina ondorioak azkarregi ateratzea saihesten du.
Inplementazioa, funtsezkoa: Zer gertatzen da programaren eta emaitzen artean?
Programa berri bat iristen denean, emaitzek automatikoki hobera egingo dutela espero ohi da. Ikasgelan, ordea, gauzak ez dira hain errazak (ezta hain azkarrak ere), eta errealitateak elkarri lotutako faktoreen sare baten antz handiagoa hartzen du.
Matematikan, pieza askok elkarreragiten dute aldi berean: egiturazko elementuak (programa, ikastetxearen baliabideak, denboraren antolaketa eta irakasleen formakuntzarako benetako aukerak); irakasleekin lotutako faktoreak (ezagutzak, sinesmenak, segurtasuna eta trebetasun didaktikoak); ikasleekin lotutako faktoreak (gaitasunak, jarrerak, identitatea eta ongizatea); familiako eta gizarteko testuingurua (itxaropenak, laguntza, matematikarekiko antsietatea eta ezberdintasunak).
Konplexutasun horren erdian bada askotan emantzat jotzen den funtsezko elementu bat: inplementazioa. Hau da, programa ikasgelara nora iristen den: zer-nolako jarraitutasuna daukan, zer-nolako kalitatearekin aplikatzen den, ikasle guztiengana iristen den ala ez, eta nola egokitzen den ikastetxearen errealitatera.
Innovamaten azterketa pilotu bat egin genuen inplementazioaren nondik norakoak hobeto ulertzeko, eta arrakasta zuten ikastetxe guztiek alderdi nagusi berak zituztela ikusi genuen: matematika-hezkuntzari buruzko ikuspegi bera, lidergo pedagogikoa, aldaketaren aldeko kultura eta ikuspegi hori erabaki jakinetan islatzeko gaitasuna (ordutegiak, taldekatzeak, koirakaskuntza, formakuntza eta jarraipena).
Ondorioa argia izan zen: programa bat ona izan arren, behar bezala inplementatzen ez bada, ez du zertan espero zen aldaketarik ekarri.
Ebidentzia guztiek ez diote gauza bera (ezta indar berarekin ere)
Programa baten eragina faktore askoren baitakoa bada, horrek esan nahi du ikerketa guztiek ez dutela zorroztasun-maila bera.
«Ebidentziaz» ari garenean, ez gara soilik emaitzei buruz ari; aldiz, emaitzok nola lortu diren ere begiratzen dugu. Ikerketaren diseinua funtsezkoa da, zehazten baitu zenbateraino egotz diezazkiekegun behatutako aldaketak programari, eta ez beste faktore batzuei (adibidez, maila sozioekonomikoari edo irakaslearen aurretiko motibazioari).
Estatu Batuetan, ESSA legeak (Every Student Succeeds Act) mailatan sailkatzen du ebidentzia: ebidentzia sendotik (entsegu aleatorizatuak) ebidentzia itxaropentsura (azterketa korrelazionalak) edo arrazoiketaren frogapenera (oinarri teorikoa eta martxan dagoen ebaluazioa).
Azterketa kuantitatiboen aldagai nagusiak
Metodo kuantitatiboak erabiltzen dituzten eragin-azterketetan, badira maiz agertzen diren bi adierazle, eta horiek ondo ulertzea komeni da:
- p balioak behatutako aldea zoriarekin azal daitekeen ala ez adierazten du.
- Eraginaren tamainak (adibidez, Cohen-en d edo Hedges-en g adierazleek) alde hori zenbatekoa den esaten digu.
Nola interpretatzen da eraginaren tamaina?
Interpretazio-marko ezberdinak daude. Esate baterako, Hattie-k (2008) honako ideia hau zabaldu zuen: desbideratze tipikoen «erreferentzia-puntua» gutxi gorabehera 0,4 bada, eragina esanguratsua da argi eta garbi.
Aldiz, Kraft-ek (2020) hezkuntzaren alorreko ikerketa aplikaturako erreferentzia errealistagoak proposatu zituen: 0,05 baino gutxiagok eragin txikia adierazten du, 0,05 eta 0,20 arteko balioek eragin ertaina, eta 0,20k edo gehiagok eragin handia. Gainera, azpimarratu zuen interpretazio hori ikerketaren diseinuaren alderdi garrantzitsuen araberakoa dela.
Hain zuzen, ohiko akatsa da eraginaren tamaina programaren propietate finkoa balitz bezala interpretatzea. Berez, asko alda daiteke diseinuaren, laginaren, proba motaren, irakasten denaren eta neurtzen denaren arteko lerrokatze-mailaren eta konparazio motaren arabera («ezer ez egitearen» aurka edo antzeko alternatiba baten aurka).
Oro har, gure emaitzak kokatzeko modu on bat What Works Clearinghouse (WWC) biltegian argitaratuta dauden matematikako programa independenteen ebaluazioekin konparatzea da. Biltegi horrek, izan ere, hezkuntzako esku-hartzeen ebidentzia enpirikoa berrikusi, eta zorroztasun metodologikoaren arabera sailkatzen du.
Biltegi horretan, ausan oinarritutako 3 entsegu (Tier I) daude, 0,03 eta 0,15 SD arteko eraginaren tamainekin. Badira, baita ere, 4 ikerketa ia esperimental (Tier II), 0,06 eta 0,17 SD arteko eraginaren tamainarekin. Eta, azkenik, 4 ikerketa korrelazional (Tier III), 0,05 eta 0,23 SD arteko eraginaren tamainarekin. Denak kontuan hartuta, eraginaren tamainaren batez besteko magnitudea gutxi gorabehera 0,1 da desbideratze tipikoetan, hau da, eragin moderatua da, Kraft-en markoaren arabera (2020).
Zein aldagai neurtu nahi ditugu?
Estatistikan, p balioetan edo eraginaren tamainetan sartu aurretik, bada are oinarrizkoagoa den galdera bat, maiz bigarren planora pasatzen dena: Zer esan nahi dugu matematikan «hobetzeaz» ari garenean?
Proba estandarizatuetan emaitza hobeak lortzeaz ari gara? Eta, hala bada, zein probatan eta zer motako zereginetan? Ala matematikako konpetentzia sakonago bati buruz ari gara: arrazoitzeko gaitasuna, problemak ebazteko gaitasuna edo egiten denari zentzua hartzeko gaitasuna?
Beharbada, horren agerikoak ez diren baina halere garrantzitsuak diren aldaketak ere neurtu nahi ditugu: matematikarekiko jarrera, konfiantza eta ikasleen identitate matematikoa. Edo irakasle-jardunean izandako aldaketak: nola irakasten den, ikasgelan zer ikaskuntza-aukera sortzen diren eta zer-nolako interakzioak gertatzen dauden.
Eta bada sarritan epe laburreko azterketetatik kanpo geratzen den beste dimentsio bat ere: epe luzeko ondorioak (erabaki akademikoak, prestakuntza-ibilbideak edo etorkizuneko lan-aukerak).
Ikuspegi horiek guztiek zentzua dute, baina baita mugak ere. Gainera, ez dira denak batera agertzen. Askotan, programa baten eragina irakasteko moduan eta ikasleak matemaikarekin duen harremanean agertzen da lehenbizi, eta geroago probetako emaitzen (baldin eta aldaketa finkatzen bada).
Orain bai: Zer dio ebidentziak, oraingoz, Innovamati buruz?
Artikuluan zehar eraikitzen joan garen begirada zabalarekin eta eskuragarri dauden ikerketekin, norabidea positiboa dela esan dezakegu, ñabardura garrantzitsu batekin: inplementazioa da gakoa.
Probetako emaitzei dagokienez, lehen datuak aztertu ondoren, eraginaren tamainak programa-aldaketak eskala handian aztertzen direnean ohikoak diren tarteetan daudela ikusi dugu. Adibidez:
- Mexikoko TIMSSekin lotutako egokitzapen batean, eraginaren tamaina gutxi gorabehera 0,2 dela ikusi dugu, 2000 ikasletik gorako laginean. –> Artikulua
- Espainiako ConMat probaren kasuan, lagin are zabalagoa izan dugu (hamarnaka mila ikasle inguru), eta ikusi dugu programa gero eta urte gehiagoz erabili, hobekuntza orduan eta handiagoa dela; eraginaren tamaina gutxi gorabehera 0,1 da bi urteko esperientzia bakoitzeko. –> Laburpena
- Esku-hartze espezifikoago batean, aRTIst programak eragin handiagoa erakusten du (ES ≈ 0,6). Gainera, errendimendu baxuko tartean dauden ikasleen proportzioa murriztu egiten da (txosteneko konparazioan, % 81etik % 53ra). –> Artikulua
Dena dela, bada kontuan hartu beharreko ñabardura garrantzitsu bat. Eskala handiko hezkuntza-ebaluazio gehienetan bezala, eskuragarri dauden ikerketak mugatuak dira. Gaur egun ditugun datuek ebidentzia aitzindari edo moderatu bat erakusten digute: emaitzak itxaropentsuak dira, baina ezin zaizkio beti programari zuzenean eta modu esklusiboan egotzi.
Kausa-erlazio sendoagoak ezartzea ahalbidetzen duten azterketak, hala nola ESSA estandarren maila altuenekin bat datozenak, geldoak eta garestiak dira. Hala ere, halako azterketak sustatzen ari gara pixkanaka, eta, aldi berean, iturri ezberdinetako ebidentzia biltzen eta aztertzen jarraitzen dugu programa bera zein haren inplementazioa hobetzeko:
- Alde batetik, irakasleen pertzepzioa dago; programarekin izandako esperientzia positiboa dela diote irakasle gehienek, eta balorazio horrek hobera egin du denborarekin. –> Artikulua
- Bestetik, eduki-analisia eta hirugarrenen berrikuspenak egin ditugu, hala nola Kalifornian adopzio-prozesua, baita beste aditu eta erakunde batzuekin lerrokatzeko ahaleginak ere. Hori guztia kalitatearen adierazle da.
- Hezkuntza-programaren edukiaren aberastasunari lotutako ebidentzia ere badago. Innovamaten gida didaktikoen analisi kualitatibo batek erakutsi du jarduera matematiko aberatsekin lotutako ezaugarriak dituztela eta ikasleak arrazoitzera, ideiak lotzera eta parte hartzera animatzen dituztela. –> Artikulua
Azkenik, Innovamaten Liburu Zuriak proiektuaren ardatz diren printzipio teoriko eta didaktikoak biltzen ditu, eta gaur egungo hezkuntza-ikerketetan oinarrituta dago.
Zirkulua ixtea: Hobetzeko ebidentzia
Argi dago: hezkuntza-programa bat ebaluatzea ez da epai bat bilatzea, prozesu konplexu bat ulertzea baizik. Mapa bat eraikitzea da, lagun diezagun erantzuten zerk funtzionatzen duen, norentzat, zein baldintzatan, zer laguntzarekin eta zein inplementazio-kosturekin.
Horregatik, zentzuzkoa da ebidentzia mota ezberdinak konbinatzea eta ikerketa zorrotzekiko zein inplementazioari buruzko ikerketekiko apustua egiten jarraitzea. Izan ere, amaieran, galdera ez da «Funtzionatzen al du?» bakarrik, baizik eta: «Zer gertatu behar da hemen funtziona dezan, irakasle hauekin eta ikasle hauekin?».
Erreferentziak eta materialak
National Research Council (2004). On Evaluating Curricular Effectiveness: Judging the Quality of K–12 Mathematics Evaluations.
ESSA y niveles de evidencia (visión general).
Kraft, M. A. (2020). Interpreting Effect Sizes of Education Interventions.
