Ricerca

Studio sull’efficacia dei test ConMat

03/04/2025|11 min di lettura

«Una misura precisa vale più di mille opinioni di esperti»

Come affermava Grace M. Hopper, essere precisi nel misurare è estremamente importante. È il primo passo per rilevare lo stato delle cose e capire cosa bisogna migliorare.

In questo articolo parleremo dei test ConMat, le prove di riferimento di Innovamat, il cui obiettivo è misurare le competenze matematiche degli alunni. Per noi, lo sviluppo delle competenze avviene attraverso il consolidamento dei concetti matematici proposti nei curricoli scolastici e il dominio di abilità essenziali quali la risoluzione di problemi, la comunicazione, il ragionamento e la capacità di creare collegamenti.

Lo strumento utilizzato per misurare le competenze degli alunni deve essere efficace e fornire risultati oggettivi. Ma come possiamo assicurarci che ciò accada davvero? Per rispondere a questa domanda, abbiamo collaborato con Judith Peñafiel e Arnau Lagarda, esperti di statistica presso l’Istituto di Ricerca Biomedica di Bellvitge (IDIBELL). In questo articolo esaminiamo tre passaggi chiave per valutare la validità di un test:

Definire un processo per la progettazione dello strumento, caratterizzato da sistematizzazione, rigore e coinvolgimento di esperti. Chiameremo questo aspetto processo di creazione.

Assicurarsi che il test sia in grado di misurare in modo ottimale e coerente (nonché in base al livello dei partecipanti) e di garantire una stabilità temporale (ovvero, che misuri in modo simile se completato più di una volta). Chiameremo questo aspetto validità interna.

Determinare che il test misuri ciò che vogliamo effettivamente misurare. Un modo efficace per scoprirlo è esaminare la relazione tra il test e altri strumenti che, a priori, misurano le stesse competenze. Chiameremo questo aspetto validità esterna.

Analizziamo questi tre passaggi nel contesto dei test ConMat.

Processo di creazione

Innanzitutto, è necessario definire il quadro teorico di riferimento. In questo caso, i test ConMat si ispirano alla prova TIMSS (Trends in International Mathematics and Science Study), che distingue tra nuclei tematici e domini cognitivi, e misura entrambe le dimensioni. I domini cognitivi si suddividono in due categorie: i contenuti, che comprendono i concetti (fatti, terminologia, ecc.) e i procedimenti (operazioni, lettura di grafici, uso degli strumenti di misura, ecc.). Esiste una suddivisione anche per i quattro processi matematici: risoluzione di problemi, ragionamento e prova, collegamenti e comunicazione e rappresentazione. Le seguenti tabelle mostrano la distribuzione delle domande nei diversi anni scolastici tenendo conto di queste suddivisioni.

* Il test ConMat2 viene somministrato all’inizio del 3° anno di Scuola primaria.

** Nell’ultima edizione del test ConMat7, è stata aggiunta una nuova domanda (nucleo tematico: Numeri e calcolo; dominio cognitivo: procedurale).

Una volta definito il quadro teorico, è necessario adottare un approccio sistematico e rigoroso che garantisca il raggiungimento degli obiettivi prefissati. La creazione dei test ConMat da parte del team di valutazione di Innovamat si articola nelle seguenti fasi:

Processo di creazione: in questa fase si tiene conto dei contenuti curricolari e del quadro teorico di riferimento.
Fase pilota: i test vengono somministrati a centinaia di alunni, seguiti da confronti con alunni e docenti. I risultati vengono poi analizzati e sottoposti ad approfondite analisi statistiche.
Iterazione: si studiano i risultati delle analisi statistiche per iterare la prova*. Le analisi determinano se le domande sono troppo facili o troppo difficili e valutano la capacità di discriminare efficacemente tra alunni di livelli diversi.
Ripetizione della fase pilota: il test viene sottoposto a una nuova fase pilota. Se i risultati sono positivi, il processo si considera concluso; in caso contrario, vengono apportate le necessarie migliorie e si procede con un’ulteriore iterazione.
Produzione finale: il test viene tradotto nelle lingue target delle regioni in cui sarà somministrato.

*Analisi statistica del test pilota: per analizzare i risultati del test pilota e delle iterazioni successive, vengono presi in considerazione i seguenti elementi:

I criteri di Cohen e Swerdlik (pp. 248 e 249, 2009), secondo cui gli item dovrebbero avere circa il 62,5% di risposte corrette. Questo valore si ottiene calcolando il 50% (poiché, in media, ci si aspetta che solo la metà della popolazione risponda correttamente a ciascun item) più la probabilità di risposta corretta casuale (25%, tenendo conto che il test prevede 4 opzioni a scelta multipla) diviso due. Quindi, 62,5 = 50 + 25/2. Consideriamo accettabili gli item con percentuali di risposta corretta compresi tra 42,5 % (62,5 % − 20 %) e 92,5 % (62,5 % + 30 %).
Vengono presi in considerazione anche i risultati della modellizzazione degli item attraverso la teoria di risposta all’item. Per una migliore comprensione della teoria di risposta all’item, si veda la sezione successiva.
Infine, si considerano le osservazioni qualitative realizzate il giorno del test per definire possibili miglioramenti.

Validità interna

Durante il processo di creazione, i test ConMat sono sottoposti a una verifica che garantisce la loro adeguatezza al livello degli alunni. La verifica viene effettuata su un campione selezionato di scuole durante la fase di pilotaggio, con l’obiettivo di stabilire se il test può essere somministrato su larga scala. La validità interna viene valutata utilizzando i dati di oltre 100 000 alunni dal 3º anno di Scuola primaria al 2º anno di Scuola secondaria di primo grado, corrispondenti agli anni per cui erano disponibili i test ConMat nell’anno scolastico 2024-2025.

Uno dei modi più efficaci per determinare se un test misura correttamente ed è adatto alla popolazione di riferimento è applicare la teoria di risposta all’item (IRT, dall’inglese item response theory). In linea di massima, l’IRT mette in relazione il livello generale (stimato) dei partecipanti con le competenze misurate da ogni domanda del test (item). Questo tipo di analisi viene utilizzato da test come PISA o TIMSS per validare l’adeguatezza delle domande e calcolare il livello stimato di ogni alunno.

Vengono presi in considerazione anche altri aspetti per garantire internamente la robustezza di un test, ad esempio, il parametro alfa di Cronbach, che è un indicatore che aiuta a comprendere se le domande di un test misurano lo stesso concetto e sono coerenti tra loro.

Infine, è fondamentale considerare anche la stabilità temporale del test, ossia verificare se il livello degli alunni, misurato in momenti diversi, mostra risultati coerenti nel tempo.

Per garantire la massima accuratezza nelle valutazioni, abbiamo collaborato con Judith Peñafiel e Arnau Lagarda, di IDIBELL, che hanno condotto un’analisi esterna dei test ConMat di fine anno scolastico 2023-2024. È possibile consultare il documento tecnico con tutti i risultati qui. Vediamo prima nel dettaglio come è stata analizzata la validità interna dei test ConMat.

Teoria di risposta all’item

L’IRT mette in relazione il livello generale (stimato) dei partecipanti al test con le competenze misurate da ciascun item. Nel caso dei test ConMat, è stato utilizzato il modello 3PL (Three-Parameter Logistic) e i criteri di validità sono stati definiti in base all’articolo tecnico di Bichi e Talib (2018). Per capire meglio in cosa consiste l’IRT, bisogna sapere che ogni item o domanda genera una curva specifica, chiamata curva caratteristica dell’item (ICC, dall’inglese, Item Characteristic Curve).

Figura 2

Adattamento della dalla figura di Bichi e Talib (2018), che mostra un esempio di ICC. Sull’asse x è riportato il livello stimato dell’alunno, standardizzato affinché il livello medio sia 0. La sigmoide rossa indica la probabilità (asse y) che un alunno specifico, in base al livello stimato mostrato nel test, risponda correttamente a questo item concreto. Una probabilità pari a 1 indica che è certo che l’alunno risponderà correttamente all’item, secondo il modello, mentre una probabilità pari a 0 indica che è certo che l’alunno non risponderà correttamente.

Vediamo ora quali curve bisogna ottenere per considerare valida una domanda.
Nel modello 3PL, è importante definire tre fattori chiave:

Discriminazione dell’item (detta anche parametro a): ci permette di vedere se l’item è in grado di discriminare tra diversi livelli. Ciò si verifica quando la probabilità che gli alunni di livello più alto rispondano correttamente all’item è superiore di quella degli alunni di livello più basso. In questo caso, nella Figura 2, il fattore a sarà tanto più alto quanto più inclinata sarà la curva, indicando una maggiore capacità di discriminare tra alunni di livelli diversi (altri esempi nella Figura 3).
Difficoltà dell’item (detta anche parametro b): indica il punto in cui la curva (ICC) è più inclinata. È ciò che nella Figura 2 chiamiamo media (o average, in inglese) e indica il punto di maggiore discriminazione tra alunni di livello più alto e più basso. Quanto più a sinistra si trova la media della curva, tanto più facile sarà l’item (per altri esempi, si veda la Figura 3).
Risposta corretta aleatoria (dall’inglese, guessing, detta anche parametro c): quest’ultimo parametro indica la probabilità che gli alunni con un livello molto basso diano la risposta corretta. Nel caso dei test ConMat, gli item sono a risposta multipla e offrono 4 opzioni, pertanto ci aspettiamo che questo valore sia circa 0,25. Nella Figura 2, il fattore c sarà uguale al punto estremo sinistro della curva. Sebbene questo valore sia utile a determinare se è necessario iterare le risposte di un item concreto, in questo articolo non approfondiremo tale aspetto. Tuttavia, non è altrettanto utile come gli altri fattori nel dimostrare la validità di un test (per comprendere meglio la sua utilità, si veda la Figura 3).

Figura 3

Esempi di ICC di alcune domande del test ConMat4. La linea rossa tratteggiata indica il parametro b o la difficoltà dell’item. Gli item nelle colonne hanno difficoltà diverse, ma quelli nelle righe hanno difficoltà simili. Ad esempio, la domanda 9 (b= -1,50) è significativamente più facile della domanda 12 (b = 0,52). In altre parole, la probabilità che gli alunni con livello standardizzato 0 rispondano correttamente alla domanda 9 è molto alta, mentre la probabilità che rispondano correttamente all’item 12 è più bassa. Per quanto riguarda la discriminazione dell’item, c’è una grande differenza tra gli item della prima riga. L’item 9 (a= 2,07) ha una curva più inclinata rispetto all’item 21 (a= 0,56) ed è quindi più preciso nel discriminare tra i livelli. In altre parole, la differenza tra la probabilità di rispondere correttamente a ciascun item confrontando i livelli -1,5 e 0 (asse x) è maggiore per l’item 9 (dal 50% di probabilità nel livello -1,5 a quasi il 100% di probabilità nel livello 0) che per l’item 21 (dal 50% nel livello -1,5 a meno del 75% nel livello 0). Pertanto, pur essendo di difficoltà simile, l’item 21 sarà più preciso nel discriminare tra gli alunni di livello -1,5 e 0. Infine, esaminiamo il fattore c o risposta corretta aleatoria. In questo caso, gli elementi della riga inferiore hanno un valore c più alto rispetto a quelli della riga superiore. Quindi, per quanto basso sia il livello degli alunni, negli item 22 e 12, i profili con scarso rendimento avranno comunque delle probabilità di dare la risposta corretta. Nel caso della domanda 22, questo valore è superiore al 25%, indicando quindi che è poco probabile che ci siano alunni che contrassegnino una delle 4 risposte. Le domande 21 e 29 hanno valori c inferiori al 25%, il che potrebbe indicare che c’è una risposta “tranello” in cui cade una parte significativa degli alunni con livello basso.

Criteri di Bichi e Talib (2018) per definire se un item è adatto o no.

Discriminazione dell’item (a). Se a è inferiore o uguale a 0,64, significa che l’item deve essere eliminato o revisionato. I valori compresi tra 0,64 e 1,34 indicano che l’item è già sufficientemente valido, anche se potrebbe essere leggermente migliorato. I valori superiori a 1,35 indicano che l’item discrimina adeguatamente tra i diversi livelli.

Difficoltà dell’item (b). Il valore b inferiore a -2 indica che l’item è molto facile, da -2 a -1 che è facile, da -1 a 1 che è moderatamente difficile, da 1 a 2 che è difficile e oltre 2 che è molto difficile. Bisogna tenere presente che i valori di livello degli alunni sono standardizzati, dove 0 rappresenta il livello medio di tutte le risposte.

Con le curve ottenute dall’analisi di ogni domanda o item, è possibile creare quella che viene definita Curva informativa del test (TIC, dall’inglese, Test Information Curve). Questa curva mostra la quantità di informazioni (o di accuratezza) che il test nel suo complesso fornisce sui diversi livelli di abilità (θ) degli alunni. Combina le informazioni date da ciascun item e mostra dove è meglio discriminare gli aspetti (o livelli) latenti. Ci aiuta quindi ad avere una visione d’insieme della validità del test e a comprendere se è sufficientemente informativo per discriminare tra i diversi livelli. Vediamo un esempio!

Figura 4

Esempio di Curva informativa del test ConMat5 (TIC) . L’asse x indica il livello standardizzato degli alunni (θ), mentre l’asse y indica quante informazioni è in grado di fornire il test su ciascun livello [I(θ)]. In altre parole, indica quanto è efficiente il test nell’identificare gli alunni con un certo livello θ. La linea tratteggiata mostra l’errore standard della misura (SE), che è inversamente correlato con la curva di informazione. Maggiori sono le informazioni che fornisce il test sul livello, minore è l’errore standard, indicando che la misura è più accurata. In generale, vorremmo che il test fosse molto efficace nel discriminare gli alunni intorno al livello 0 e che la curva fosse abbastanza ampia da discriminare gli alunni con livelli più vicini agli estremi. Tenendo conto dei criteri di Bichi e Talib (2018), gli intervalli tra -2 e 2 dovrebbero comprendere la maggior parte della popolazione, poiché gli item con valori inferiori a -2 sono considerati molto facili, mentre quelli superiori a 2 risultano molto difficili. È quindi importante che in questo intervallo la curva rossa continua fornisca informazioni sufficienti I(θ) e, soprattutto, che il valore I(θ) sia superiore al valore della curva tratteggiata [SE(θ)].

Quali sono stati i risultati dei test ConMat?

Per rispondere alla domanda, mostriamo una tabella riassuntiva dei risultati, elaborata osservando i parametri di Bichi e Talib (2018) definiti in precedenza.

Tabella 1. Sintesi qualitativa dei risultati dell’IRT tenendo conto dei fattori a (discriminazione dei livelli) e b (difficoltà dell’item). Gli item sono considerati non ottimi quando necessitano di una revisione (a ≤0,64) e buoni o molto buoni quando a ≥1,35. Gli item dovrebbero essere idealmente distribuiti su diversi livelli, con pochi o nessun item nei livelli “molto facile” e “molto difficile”, soprattutto se l’obiettivo del test è discriminare tra i livelli della maggior parte della popolazione. Sotto ogni test (riga) è indicata la dimensione del campione (N), cioè quanti alunni hanno risposto al test. I numeri all’interno di ogni casella indicano la quantità di elementi del test e la colonna corrispondente.

* Uno dei due item (16) ha un a negativo (-0,67) a causa di un errore tecnico nella correzione del risultato, e non è quindi correlato all’item da revisionare.

Nella figura successiva è possibile vedere un riepilogo di tutte le TIC, che mostrano in modo generale la capacità del test di identificare gli alunni con un certo livello stimato (θ).

Figura 5

TIC di ogni test ConMat. L’asse x indica il livello stimato degli alunni del modello IRT (indicato con il simbolo θ), standardizzato con la media sullo 0. L’asse y a sinistra mostra la quantità di informazioni fornite dal test in base al livello, I(θ). Maggiore è il valore, maggiori sono le informazioni fornite. L’asse y a destra mostra l’errore standard della misura del test, SE(θ). Minore è questo valore, più preciso è il test nel discriminare tra alunni di livello θ.

Sia la tabella che le curve TIC confermano la validità di tutti i test ConMat, in quanto ben adattati al livello della maggior parte della popolazione che ha sostenuto il test e permettono di discriminare efficacemente tra i diversi livelli::

Come mostra la prima colonna della tabella 1, la maggior parte degli item di tutti i test è in grado di discriminare tra alunni di livelli diversi e non devono essere revisionati.
Esiste una variazione sufficiente tra il livello degli item e la loro capacità di discriminazione per ogni livello (Tabella 1, Colonne 3-7). Tale variazione rende i test generalmente efficaci nel discriminare tra alunni di livelli diversi nell’intervallo compreso tra -2 e 2 (Figura 5). Al contrario, poiché ci sono pochi item “molto facili” (b <-2, Tabella 1 – Colonna 3) o “molto difficili”(b > 2, Tabella 1 – Colonna 7), il test è piuttosto meno accurato nel discriminare tra gli alunni con livelli agli estremi. In altre parole, il test non differenzierà un alunno con un “livello molto basso” da un alunno con un “livello molto molto basso”. Lo stesso succederà tra gli alunni con un “livello alto” e quelli con un “livello molto molto alto”.
In generale, i test forniscono maggiori informazioni intorno al livello 0, cioè intorno al livello medio della popolazione che ha eseguito il test (Figura 5). Tuttavia, a eccezione del test ConMat6, il picco delle curve TIC è leggermente spostato verso destra (il caso più evidente è il test ConMat3, dove il picco si trova intorno allo 0,7). Questo significa o che il test è un po’ troppo difficile, o che gli item leggermente difficili sono quelli che permettono di discriminare meglio i livelli degli alunni.
Le curve TIC dei test ConMat5, ConMat6 e ConMat7 hanno un picco più alto (forniscono più informazioni intorno al livello 0) rispetto alle curve TIC dei test ConMat3 e ConMat4. È molto probabile che la maturità degli alunni incida sul risultato. Più sono maturi, più le loro risposte sono coerenti e sarà più facile misurare la loro competenza matematica. Al contrario, in età più giovane, fattori come la comprensione della lettura o la minore preparazione nel rispondere alle domande del test per un’ora possono causare una certa aleatorietà e rendere la teoria della risposta all’item (IRT) poco accurata.

Alfa di Cronbach

Nel campo della psicologia, dell’educazione e della ricerca sociale, l’Alfa di Cronbach è ampiamente utilizzata per verificare l’affidabilità di un questionario o di un test. Un test con un’Alfa di Cronbach superiore a 0,7 è generalmente considerato sufficientemente affidabile (Taber, 2018). Nei test ConMat, tutti i valori dell’Alfa di Cronbach superano lo 0,7, con un intervallo che va da 0,78 per il test ConMat3 a 0,85 per il test ConMat6, il test con il valore più alto in assoluto. Come nelle analisi precedenti, i test risultano leggermente meno robusti nelle fasce di età più basse; tuttavia, secondo i criteri di Taber (2018), mantengono una robustezza adeguata in tutte le età.

Stabilità temporanea

La stabilità temporanea consente di confermare che le risposte a un test non sono assolutamente aleatorie, ma che misurano le conoscenze matematiche degli alunni in modo robusto. In questo caso, l’obiettivo è superare il test più di una volta e osservare se le risposte degli alunni sono coerenti nel tempo. Nel caso dei test ConMat, la prova viene somministrata due volte, alla fine di un anno scolastico e all’inizio di quello successivo. In questo caso, i risultati dei test di fine anno scolastico 2023-2024 sono stati confrontati con quelli di inizio anno 2024-2025. Sono stati messi a confronto tutti i risultati dei test a eccezione di quelli del ConMat6 (a causa del passaggio, in Spagna, alla Scuola secondaria).

Per verificare la stabilità temporale, si può osservare la correlazione tra i risultati ottenuti nei due momenti in cui è stato somministrato il test, oppure confrontare le differenze tra i risultati di entrambe le edizioni utilizzando un esame statistico, ad esempio il T-test accoppiato.

In questo caso, tutti i test hanno dato un risultato simile. La correlazione (Spearman) tra i due test è superiore a 0,7 in tutti i casi, tranne che per il test ConMat7, che è uguale a 0,65. Per gli altri test, l’intervallo va da 0,71 (per il test ConMat3) a 0,8 (per il test ConMat5). Questi valori indicano una forte correlazione tra i due test. Le differenze tra i risultati di fine anno scolastico e quelli di inizio dell’anno successivo, sono minime, con dimensioni dell’effetto (d di Cohen) inferiori a 0,15.

Validità esterna

Dopo aver seguito un processo di progettazione rigoroso e verificato la validità interna del test, resta un ultimo passo fondamentale: stiamo realmente misurando le competenze matematiche degli alunni? Per rispondere a questa domanda, confrontiamo i risultati dei test ConMat con quelli di altre valutazioni matematiche esterne. Come avviene questo confronto? Raccogliendo i dati dei test esterni attraverso l’analisi delle domande delle edizioni precedenti dei test ufficiali e sviluppando un adattamento che ne rispetti la struttura. Si tratta dei cosiddetti mock exams che offriamo alle scuole per simulare i test ufficiali. Durante l’anno accademico 2023-2024, abbiamo fornito mock exams di preparazione ai test ufficiali del New Jersey (USA) del 3º e del 4º anno di Scuola primaria, ai test TIMSS di matematica TIMSS del 4º anno di Scuola primaria (in Messico) e 5º (in Catalogna, Spagna) e ai test delle competenze di base del 6º anno di Scuola primaria (Catalogna). Abbiamo confrontato i dati ottenuti con quelli dei test ConMat sostenuti alla fine dell’anno scolastico dagli stessi alunni. In altre parole, abbiamo cercato di capire se gli alunni che ottengono un punteggio elevato in un test tendono a ottenerlo anche nell’altro e viceversa. Di seguito, mostriamo la correlazione dei test ConMat con le versioni adattate dei test esterni.

Nota per l’interpretazione dei grafici: il grafico di correlazione mostra una nuvola di punti, dove ogni punto rappresenta un alunno con il suo punteggio nei due test. La retta del modello lineare rappresenta la tendenza generale dei dati. Se la linea sale da sinistra a destra, significa che esiste una relazione positiva (gli alunni con buoni risultati in un test ottengono buoni risultati anche nell’altro test). Se la linea scende, significa che la relazione è negativa. L’area grigia rappresenta l’intervallo di confidenza del 95%, che indica il margine di errore della previsione fatta dal modello. Più stretta è l’area, maggiore è la fiducia nel modello. Se l’area è molto ampia, significa che c’è molta variabilità e che la relazione tra i due test non è del tutto chiara. Infine, prendiamo in esame i parametri R (correlazione di Pearson). R indica la forza e la direzione della relazione tra le due variabili. Un R superiore a 0,7 è considerato una correlazione positiva elevata.

In tutti i casi, si osserva un’elevata correlazione positiva (R > 0,7, tranne che nella prova TIMSS del 4º anno di Scuola primaria, dove la correlazione si avvicina anche a 0,7). In altre parole, i risultati ottenuti dagli alunni nei test ConMat sono molto simili a quelli ottenuti nelle versioni adattate di diversi test esterni.

Conclusione

I dati ottenuti e le analisi effettuate provano che i test ConMat sono validi e utili per misurare le competenze matematiche degli alunni. In sintesi, è possibile affermare che:

Il processo di creazione dei test ConMat è rigoroso e consente di attribuire alle prove le caratteristiche previste.
L’analisi della validità interna, eseguita attraverso la teoria di risposta all’item, mostra che il test è in grado di discriminare tra i diversi livelli ed è adattato al livello generale della popolazione target. Inoltre, il test è robusto, come dimostra l’alfa di Cronbach, e ha una buona stabilità temporale, come dimostra il confronto tra i ConMat di fine anno scolastico e inizio dell’anno successivo.
La convalida esterna dimostra che il test misura competenze simili a quelle di altri test matematici progettati da esperti esterni a Innovamat.

Riferimenti bibliografici

Bichi, A. A., i Talib, R. (2018) Item Response Theory: An Introduction to Latent Trait Models to Test and Item Development. International Journal of Evaluation and Research in Education, 7, 142-151. https://doi.org/10.11591/ijere.v7i2.12900

Cohen, R., i Swerdlik, M. (2009). Psychological Testing and Assessment: An Introduction to Tests and Measurement (7th ed.). Nova York: McGraw Hill.

Taber, K. S. The Use of Cronbach’s Alpha When Developing and Reporting Research Instruments in Science Education. Res Sci Educ 48, 1273-1296 (2018). https://doi.org/10.1007/s11165-016-9602-2