Ultimi articoli nella sezione
L'Anvur e la valutazione che verrà
Chi sono gli esperti che dovranno valutare la qualità della ricerca nel prossimo triennio, quali regole dovranno applicare e come verranno giudicati i prodotti della ricerca? Diversi cambiamenti si profilano ma quello che sembra immutabile è il vizio di prendere decisioni fondamentali per il sistema universitario in modo ambiguo e senza alcuna consultazione
L’Anvur, Agenzia Nazionale di Valutazione del sistema Universitario e della Ricerca, si sa, ha una particolare inclinazione a prevedere e predisporre il futuro. Per prima ha introdotto la valutazione (oggettiva e certificata) della ricerca. Ha previsto che il 50% dei docenti universitari sono bravi ed il 50% dei brocchi, e quindi la mediana è l’unico indicatore di riferimento che serve. E’ anche riuscita a calcolare i valori delle mediane prima di avere la lista delle riviste, con calcoli talmente robusti che sono stati ripetutamente cambiati dopo aver modificato più volte la lista delle riviste stesse ed aggiustato i dati di origine per gli errori che essi contenevano. L’ultima dimostrazione di lungimiranza è la sua capacità di prevedere quali saranno le decisioni del nuovo consiglio direttivo, ancora da scegliere, riguardo alla futura VQR 2011-2014, il secondo esercizio di Valutazione della Qualità della Ricerca scientifica gestito dall’Anvur1. Vediamo cosa ha previsto, provando anche noi l’ebbrezza di leggere nel futuro.
Iniziamo dai GEV, i Gruppi di Esperti della Valutazione, e dalla loro (dis)equilibrata composizione che tante discussioni ha sollevato durante il primo esercizio VQR 2004-2010. Come molti sanno, l’Anvur ha aperto (il 5 Maggio 2015) la richiesta di candidature per i futuri GEV della VQR 2011-2014, con una base normativa, a dire il vero, abbastanza debole. Infatti nella precedente edizione della VQR il bando dell’Anvur faceva esplicito riferimento ad un decreto ministeriale che dava mandato all’Agenzia di procedere, anche sui GEV. Ad oggi, al contrario, non vi è evidenza che il Ministero abbia ancora emesso alcun decreto in materia. Forse è per questo motivo che la richiesta annunciata in migliaia di email e sul sito dell'Anvur non è per candidature, come è scritto nel testo dell'annuncio e come molti hanno ingenuamente ritenuto, ma solo per la richiesta di “manifestazioni di interesse” (titolo del documento), che non è ben chiaro cosa significhi. A rigor di logica, infatti, uno può manifestare interesse ora ma non candidarsi dopo, oppure candidarsi dopo senza aver prima manifestato interesse. Una domanda: chi paga il Cineca, notoriamente poco propenso ad attività caritatevoli, per gestire “manifestazioni di interesse” di dubbia utilità? Oppure si prevede che la candidatura “vera” (sancita dal Ministero) potrà essere presentata solo da chi ha partecipato ad una precedente “manifestazione di interesse”? Non ci vuole la palla di vetro per prevedere che la fretta di far partire una procedura prima che il mondo cambi non possa fare altro che fornire altre occasioni di intervento ai TAR (Tribunali Amministrativi Regionali). Forse chi lamenta la continua invasione di campo dei giudici amministrativi dovrebbe semplicemente seguire le regole, almeno quando queste esistono e sono coerenti.
Tralasciando le questioni procedurali, una delle questioni più rilevanti della VQR non è solo: chi sono gli esperti? Ma soprattutto: quali regole devono applicare gli esperti? Come vanno giudicati i prodotti della ricerca? Su questo l’Anvur non ha rilasciato documenti ufficiali, ma ha segnalato che sta lavorando sul secondo esercizio della VQR, per il periodo 2011-2014. Vediamo quali caratteristiche avrà la nuova VQR, commentando quanto annunciato da un suo alto rappresentante 2.
Per non smentirsi l’Anvur continua a considerare la qualità scientifica come l’ordine d’arrivo di una corsa, dove ogni lavoro ha la sua bella posizione certificata nella classifica universale di qualità, e l’arbitro sulla linea d’arrivo deve limitarsi a valutare se Coppi è arrivato prima o dopo Bartali. Il fatto che in gara ci siano ciclisti e nuotatori, calciatori e sciatori, piloti di Formula 1 e ballerini non pone alcun problema: la classifica sempre una deve essere, e se non vi sta bene, vuol dire che avete paura della valutazione, anzi non la volete proprio.
I punti salienti della proposta, messi al confronto con la prima VQR (senza l'intento di avallarne la struttura) sono i seguenti:
1. Riduzione dei prodotti. Saranno valutati 2 prodotti, oppure uno solo in caso di monografia.
2. Aumento del numero di giudizi positivi. Se nella precedente VQR avevate qualche dubbio sulla differenza tra i 3 gradi positivi Eccellente (voto 1), Buono (0,8), Accettabile (0,5), con un quarto grado con zero punteggio, ora sarete sollevati dal fatto che ci sono ben quattro possibili voti positivi ma con pesi leggermente diversi: Eccellente (1), Buono (0,7), Discreto (0,4), Accettabile (0,1), mentre le categorie Limitato e Non Valutabile otterranno punteggio nullo.
3. Allargamento delle fasce a punteggio inferiore. Le tre soglie delle fasce con punteggi positivi nella precedente VQR erano top 20%, dal 20% al 40%, infine dal 40% al 50%. Le nuove soglie di suddivisione sono: top 10%, 10% - 30%, 30% - 50%, 50% - 80%. Cioè, chi arriva nel 51° posto della Grande Gara prende ¼ del punteggio di chi arriva al 49°: speriamo che i cronometri siano tarati bene. Il bottom 20%, come i prodotti non valutabili, riceveranno punteggio nullo.
4. Eliminazione delle punizioni. Nella vecchia VQR era previsto un punteggio negativo nel caso di mancato conferimento oppure di frode. La nuova VQR sarebbe molto più tollerante con chi fa altro invece che ricerca o, addirittura, froda: gli ultimi arrivati nella corsa (o comunque giudicati tali), gli inattivi o i truffatori contano, ai fini della VQR, tutti indistintamente zero.
5. Modifica dei criteri. Sono stati riscritti i criteri cui si debbono attenere i valutatori. Sono spariti Rilevanza e Internazionalizzazione e rimangono: Originalità, Rigore Metodologico e l’Impatto. Quest’ultimo richiede che il valutatore valuti quanto il prodotto “ha esercitato, o eserciterà in futuro, una influenza teorica e/o applicativa su tale comunità anche in base alla sua capacità di rispettare standard internazionali di qualità della ricerca”. Qualsiasi cosa voglia dire, vale la pena sottolineare l’uso del modo indicativo, senza neanche il pudore di un condizionale, nel trattare dell’impatto futuro della ricerca scientifica.
6. Valutazione dei revisori. Mentre prima i giudizi erano semplicemente assegnati, e i valutatori non venivano sottoposti a nessuna revisione, ora i revisori dovranno fornire un commento a spiegazione del giudizio assegnato, e inoltre saranno valutati, in qualche modo non meglio specificato. Ad esempio, il valutatore dovrà spiegare in dettaglio per quale motivo l’impatto previsto pone un lavoro nel 31% della classifica e non nel 29%: buona fortuna. Se dovessero anche essere resi pubblici i nomi dei valutatori e qualcuno non fosse convintissimo del giudizio ricevuto ci sarebbe addirittura la possibilità di richieste di risarcimento contro gli esperti.
Questi cambiamenti sembrano mostrare una sostanziale conferma della ranking-mania perseguita dall’Anvur, finalizzata a premiare l’eccellenza dell’eccellenza per dare qualche medaglia di latta, e, sostanzialmente, ignorando tutto il resto. Rispetto alla prima VQR, oltretutto, la nuova divisione in classi va in direzione esattamente opposta a quanto, a nostro avviso, servirebbe al sistema: segnalare gli inattivi e frodatori senza interferire nelle attività generali di ricerca, che per definizione è variegata, incerta e controversa, e quindi ben difficile da ordinare. Infatti, indipendentemente dall’opinione che si può avere sull'approccio di fondo che anima l’Anvur 7, i cambiamenti proposti peggiorano la qualità dell’analisi invece che migliorarla. Lo dimostra il fatto che il risultato della restrizione delle classi superiori ed appiattimento dei punteggi nelle fasce inferiori (causato dal restringimento del range di voti da [1;-2] a [1;0]) è necessariamente quello di fare un gran calderone indistinto di chi non è al top del top, e scatenare una lotta feroce per definire chi ha il Rigore Metodologico di maggiore Impatto.
In sintesi, fra le novità ipotizzate ci sono alcuni aspetti che, a prima vista, sembrano insensati (aumentare la polarizzazione della distribuzione dei punteggi: pochissimi eccellentissimi, ed il resto indistinto) e altri potenzialmente positivi (commenti dei valutatori). Piccola divagazione. Sarebbe molto interessante estendere il principio di valutazione degli esperti all’intera struttura di valutazione: che punteggio diamo all’Anvur? Che risultati ha prodotto sul sistema universitario finora, in concreto, l’investimento di risorse economiche e umane (risorse scarsissime), che non si potevano ottenere in modo più efficiente?
C'è anche un altro aspetto da considerare. La modifica dei criteri, punteggi e fasce renderà la nuova VQR incompatibile con la vecchia. Sarà cioè impossibile stabilire se un dipartimento (o un singolo ricercatore o docente) ha migliorato o peggiorato la qualità della ricerca rispetto al passato. Ma uno dei principali obiettivi della valutazione, almeno stando alle dichiarazioni ufficiali, era quello di individuare le criticità e permettere di migliorare. I cambiamenti rendono il confronto impossibile, a meno che qualche alchimista non creda di poter applicare una formula magica per trasformare i dati della VQR 2004-2010 in indicatori della VQR 2011-2014. Una trasformazione del genere non sarebbe una mera traduzione di unità di misura, come trasformare centimetri in pollici, perché richiederebbe assunzioni irrealistiche che porterebbero le comparazioni tra i risultati delle due VQR ad essere tanto credibili quanto la promessa di trasformare il rame in oro.
Vi è però una novità potenzialmente positiva. Dopo anni di attesa dovrebbe finalmente entrare in funzione l’anagrafe della ricerca, sembra usando lo standard ORCID (Open Researcher and Contributor ID) 4 per l’identificazione univoca dei ricercatori. Vale la pena segnalarlo perché, se esistesse già una anagrafe pubblica della ricerca, diventerebbero inutili i punteggi e le graduatorie. L’anagrafe renderebbe evidente, ad esempio, quale contributo (magari anche ben piazzato) contiene solo un raffinamento di modelli affermati e quale contributo esplora invece strade rischiose ed originali, risultando, anche se promettente, ancora troppo acerbo per il palcoscenico delle grandi riviste. Perché forzare un ordinamento tra le diverse attività di ricerca, diverse ma egualmente dignitose? La vera valutazione si fa esaltando, non reprimendo, la differenziazione, e l’anagrafe completa, certificata e pubblica è lo strumento cruciale della valutazione perché renderebbe facile l’accesso ai profili completi dei ricercatori. Invece che affidarsi esclusivamente a sintesi arbitrarie e distorte essa permetterebbe di dare giudizi articolati, basati anche su elaborazioni bibliometriche, ma solo quando queste risultassero possibili e utili. Infine, il dominio pubblico dei dati di partenza permetterebbe a chiunque di giudicare il criterio utilizzato dal valutatore e, come naturale, poterne dissentire in modo argomentato. Perché l’anagrafe possa svolgere il suo ruolo come strumento di valutazione è cruciale sapere quale forma le verrà data. Sarà libera e consultabile da tutti, oppure diventerà un dataset ad accesso riservato solo per chi potrà estrarne giudizi inappellabili (e pubblicazioni in riviste di prestigio internazionale 5)?
In conclusione, diversi cambiamenti sembrano profilarsi per il futuro. Quello che sembra immutabile è il vizio di prendere decisioni fondamentali per il sistema universitario in modo riservato, ambiguo e senza alcuna consultazione, con azioni tanto perentorie quanto arbitrarie.
1 Il primo esercizio è quello che ha riguardato gli anni 2004-2010.
2 Benedetto Sergio, Consiglio Direttivo ANVUR, “La VQR 2011-2014 e la SUA-RD”, presentazione all’Università di Bologna, 9 marzo 2015.
3 Noi, come molti altri, siamo fortemente scettici sulla capacità di un approccio esclusivamente quantitativo alla valutazione. Si veda, ad es., Paolo Pini, Marco Valente, “Alla ricerca del Santo Graal (e come vivere senza)”, ROARS - Returns On Academic ReSearch, 16 giugno 2014: http://www.roars.it/online/alla-ricerca-del-santo-graal-e-come-vivere-senza/
4 Si tratta dell’identificativo alfanumerico non-proprietario per l'identificazione univoca degli scienziati e di altri autori della letteratura scientifica.
5 Questo è il caso del lavoro di Bertocchi G., Gambardella A., Jappelli T., Nappi C.A, Peracchi F, “Bibliometric evaluation vs. informed peer review: Evidence from Italy”, Research Policy, vol.44, pp.451-466, 2015, che usano dati individuali non di pubblico accesso, fonte VQR 2004-2010, per confrontare gli esiti della valutazione bibliometrica con quella peer review. Quattro dei cinque autori sono stati presidente del GEV13 e coordinatori dei sub-GEV13 per il primo esercizio di valutazione, mentre un quinto è stato assistente al GEV13.
P { margin-bottom: 0.21cm; }
Gli autori ringraziano per i commenti ad una precedente versione Alberto Baccini, Marcella Corsi, Paola Galimberti, Ludovico Pernazza, che però non necessariamente condividono quanto scritto. La responsabilità di quanto scritto e degli eventuali errori rimasti rimane naturalmente degli autori
La riproduzione di questo articolo è autorizzata a condizione che sia citata la fonte: old.sbilanciamoci.info.
Vuoi contribuire a sbilanciamoci.info? Clicca qui