Lavoce.info

In questi mesi, università ed enti di ricerca si sono sottoposti a un complesso sistema di valutazione della ricerca, messo a punto dal Civr, il Comitato di indirizzo per la valutazione della ricerca, presieduto da Franco Cuccurullo. Partecipano all’esercizio di valutazione tutti e settantasette gli atenei nazionali, dodici enti pubblici di ricerca e tredici enti convenzionati.
Un sistema di valutazione è davvero efficace quando sono note, con largo anticipo, le conseguenze della valutazione (positiva o negativa) sulla distribuzione delle risorse. Solo così si può sperare che la valutazione orienti le scelte del corpo accademico, migliori la qualità della ricerca e stimoli la concorrenza tra università.
Dopo più di un anno dall’inizio del processo di valutazione, tuttavia, la comunità scientifica conosce poco l’attività del Civr e le conseguenze che i giudizi di valutazione avranno sulla ripartizione dei fondi del ministero. Né è chiaro se l’esperienza sarà ripetuta in futuro, e con quali modalità. Per capire come procede la valutazione e che conseguenze avrà per le università e gli enti di ricerca, abbiamo rivolto alcune domande al presidente del Civr, Franco Cuccurullo.

"Nel 2004, ciascuna struttura (università o ente di ricerca) ha selezionato e trasmesso al Civr, per via telematica, i migliori prodotti della ricerca, riferiti al triennio 2001-2003. In questo primo esercizio di valutazione, il numero dei prodotti da presentare è pari al 50 per cento del numero dei ricercatori equivalenti che operano all’interno della struttura, per un totale di circa 18.500 prodotti, nel rispetto delle seguenti tipologie: articoli su riviste, brevetti, libri e loro capitoli, manufatti e progetti. (1)
Contemporaneamente, le strutture di ricerca sono state impegnate nel compito di fornire al Civr una serie di indicatori di performance, da mettere in correlazione con la valutazione dei prodotti, per giungere al giudizio finale del Civr sulla struttura. (cfr. Slide 1). In relazione al taglio disciplinare, i prodotti sono stati trasmessi agli specifici panel di area, in totale venti, di cui quattordici relativi alle aree scientifiche del Consiglio universitario nazionale, integrati da ulteriori sei, relativi ad altrettante aree scientifiche speciali, previste dal Civr. La numerosità dei prodotti presentati in ciascuna area è sintetizzata in tabella". (Slide 2)

"Per definire la composizione dei panel, sono stati individuati specifici criteri, alla cui determinazione hanno partecipato osservatori esterni, provenienti dal mondo dell’università, degli enti di ricerca e dell’industria. I panel, costituiti complessivamente da centocinquantasei esperti italiani e stranieri, sono stati nominati dal ministro Letizia Moratti lo scorso mese di gennaio, su indicazione del Civr. L’elezione dei presidenti dei panel, cui spetta il compito di affidare ai componenti del panel i prodotti da valutare (in relazione alle specifiche competenze di ciascuno), è avvenuta telematicamente". (Slide 3)

"I componenti dei panel affidano la valutazione dei prodotti a esperti esterni, attingendoli dalla banca dati del Civr (che ne comprende circa 13mila) ovvero, qualora ne ravvisino l’esigenza, integrando la stessa con ulteriori esperti. Ciascun prodotto deve essere valutato da almeno due esperti esterni, in termini di qualità, rilevanza, originalità/innovazione, internazionalizzazione, impatto economico-occupazionale, anche potenziale (Slide 4), mentre il terzo giudizio è affidato direttamente al panel. Per ciascun criterio, gli esperti formulano un giudizio di merito descrittivo, sintetizzandolo in una delle seguenti categorie: eccellente, buono, accettabile e limitato (Slide 5). Il panel ha il compito di ricondurre all’unicità i giudizi separati degli esperti, tramite valutazione collegiale, con assoluta trasparenza.
Il processo esiterà in ranking list di area, che coinvolgeranno tutte le strutture che hanno presentato prodotti nella specifica area. Ai panel è affidato anche il compito di redigere un rapporto finale, dal quale emergeranno i punti di forza e di debolezza delle aree, anche in un confronto internazionale. (Slide 6) Non saranno previste ranking list delle strutture, che saranno soggette, invece, a un giudizio articolato e circostanziato del Civr. La pianificazione temporale ufficiale del processo prevede la conclusione entro il 30 giugno del 2006, ma è verosimile che si possa anticipare in maniera consistente questa data".

"A oggi, quasi tutti i prodotti selezionati dalle strutture sono stati valutati. In fase avanzata sono anche i giudizi di consenso dei panel, in base ai quali si costruirà la ranking list delle strutture che hanno partecipato all’esercizio. I panel dovranno anche consegnare una relazione generale sullo stato dell’area. Ranking e relazioni saranno rese pubbliche anche separatamente, mano a mano che i panel concluderanno i loro lavori. Anche i dati informativi richiesti alle strutture sono in avanzato stato di elaborazione e saranno resi pubblici in tempi brevi. La relazione finale del Civr, già in fase di elaborazione, si concluderà quando tutti i panel avranno trasmesso i loro rapporti".

"Così dovrebbe essere, ma questa è comunque decisione politica. Il Civr fornirà una serie di criteri e indicatori per la ripartizione delle risorse sulla base dei risultati dell’esercizio".

"L’ultima proposta del Miur prevede che il 30 per cento del Fondo di funzionamento ordinario sia calcolato sulla base delle performance di ricerca delle varie strutture. Ricordo che, al momento, l’unico indicatore, per il quale esiste al momento una proposta articolata, applicata in via sperimentale dal Cnvsu per il Fondo di funzionamento ordinario 2004, è tarato sui risultati dei bandi dei progetti di ricerca nazionali (Prin)".

"I rettori hanno piena autonomia nel decidere se usare le risorse loro assegnate per implementare aree di successo o per irrobustire aree deboli, ma strategiche. Ricordo, inoltre, che la valutazione triennale è nata per valutare le strutture, non i singoli ricercatori. Anche se, opportunamente modificato, il sistema del Civr potrebbe rappresentare un prezioso strumento per la valutazione del curriculum scientifico dei singoli ricercatori".

"Il decreto ministeriale prevede la continuazione a cadenza triennale, tuttavia è anche necessario che il decreto venga reiterato. Questo nuovo decreto ministeriale dovrebbe uscire nel dicembre 2006, a tre anni di distanza dal primo, per rendere possibile un tempestivo svolgimento del nuovo esercizio e la sua conclusione in tempi molto rapidi".

"La Conferenza dei rettori ha appoggiato con grande chiarezza l’esercizio Civr, fin dal suo inizio, come dimostrato da uno specifico parere ufficiale, nel quale sono stati inseriti diversi suggerimenti integrativi, completamente recepiti dal Civr e introdotti nel decreto ministeriale istitutivo della valutazione triennale. Inoltre, durante lo svolgimento della valutazione triennale, la Conferenza dei rettori ha promosso diversi incontri con il Civr, che hanno fornito l’occasione per utili approfondimenti. Non va infine dimenticato il notevole numero di incontri (circa novanta) con il presidente del Civr, organizzati per iniziativa delle varie sedi universitarie, che hanno favorito una capillare diffusione della comprensione dei meccanismi e dei principi sui quali si fonda la valutazione".

(1) Nell’università, essendo due i compiti istituzionali (ricerca e formazione), due ricercatori sono assimilati a un ricercatore equivalente; negli enti di ricerca, invece, in considerazione dell’unicità del compito istituzionale (ricerca), ciascun ricercatore corrisponde a un ricercatore equivalente.

I commenti ricevuti all’intervista rilasciata dal Prof. Cuccurullo al Prof. Jappelli meritano una breve risposta, al fine di precisare alcuni aspetti relativi al lavoro condotto dal CIVR per la Valutazione Triennale della Ricerca (VTR). A causa di precedenti urgenti e indifferibili impegni del Prof. Cuccurullo, mi è stato affidato l’incarico di formulare tale risposta, i cui contenuti sono stati peraltro concordati con il Prof. Cuccurullo stesso.
Il primo importante punto si riferisce all’uso che verrà fatto dei risultati della valutazione, se, in altre parole, essi saranno utilizzati come strumento per l’allocazione delle risorse alle strutture sottoposte a valutazione.
Sotto questo profilo si deve ricordare che il CIVR ha ripetutamente sottolineato alle autorità ministeriali l’importanza di questo collegamento (cfr. Relazioni annuali del CIVR) e in effetti, anche nel DM istitutivo dell’esercizio, viene ricordato che si terrà conto della mancata partecipazione di una struttura in sede di allocazione delle risorse. Inoltre, il nuovo modello per la ripartizione dell’FFO, tiene conto in modo importante dei risultati della ricerca. E’ senz’altro da attendersi che il MIUR prenderà in considerazione i risultati dell’esercizio in questo senso. Mentre è previsto che il CIVR, nella sua Relazione finale, proponga modalità di collegamento tra risultati della valutazione e attribuzione delle risorse, è già esplicito il peso che avranno i 6 criteri scelti dal CIVR (qualità della produzione: 4, proprietà della produzione: 2; mobilità internazionale, impatto socio-economico, attrazione delle risorse, gestione delle risorse (1 ciascuno, vedi Bando di partecipazione). Va da sé che l’adozione di un modello piuttosto che un altro fa parte di scelte politiche, ma certamente i 6 criteri sovra esposti saranno considerati.
Infine, il VTR fornirà un’ampia gamma di conoscenze sulla qualità e sulle caratteristiche complessive del potenziale scientifico degli atenei, fondate sui giudizi di autorevoli personalità scientifiche e su indicatori quali-quantitativi. Il VTR, infatti, consentirà agli atenei di conoscere i propri punti di forza e di debolezza nell’ambito delle rispettive aree disciplinari, in modo da poter intervenire con un opportuno apparato di premi e di incentivi per valorizzare le aree di eccellenza e migliorare le aree che presentano una performance più limitata. Non si tratta, dunque, di impedire il miglioramento dei soggetti più deboli attribuendo loro meno risorse, ma, al contrario, di rendere evidenti per tutti le debolezze esistenti per poterle superare.
Un secondo punto sottolineato nei commenti è quello relativo al costo e ai tempi della valutazione. La risposta già fornita dal prof. Jappelli che quantifica il costo del VTR in un ammontare inferiore a 4 milioni di Euro è sostanzialmente esatta (il costo massimo del VTR è stato stimato in 5 milioni di Euro che non saranno interamente spesi) e sembra accettabile rispetto alle attività previste. Per quanto riguarda la comparazione di questi costi con quelli sostenuti da altre esperienze estere, occorre ricordare che un confronto corretto impone che i termini posti a paragone siano simili o assimilabili.
Pertanto il paragone proposto con l’esperienza dello CSIC, analogo al CNR in Italia, non sembra appropriato, sia per le dimensioni dell’esercizio (il VTR valuta 101 strutture, anche molto differenti tra di loro, tra cui il CNR stesso, e 17.570 lavori scientifici), sia per il tipo di attività svolta (peer review da parte di almeno due esperti esterni, giudizio di sintesi da parte del/dei panelist competente/i e giudizio finale da parte del panel).
Più consono appare, invece, instaurare un paragone con il Research Assessment Exercise (RAE) britannico, che prima della recente riforma, si svolgeva ogni cinque anni, utilizzava circa 70 panel e 700 panelist (contro i 20 panel e 151 panelist del VTR) per valutare un insieme di oltre 200.000 prodotti ed aveva un costo intorno ai 30 milioni di Sterline (45 milioni di Euro). L’enorme differenza di costi è dovuta alla utilizzazione integrale di un processo telematico, che ha potuto ridurre in maniera drastica le dimensioni ed i costi di funzionamento dei Panel. Va notato che la differenza tra i lavori valutati nei due esercizi (ca. 20.000 contro ca. 200.000) è solo apparente, tenendo in considerazione che il VTR è triennale e il RAE quinquennale, che moltissimi dei 200.000 lavori sono ripetuti (essendo stati presentati non da strutture ma da singoli professori, in ragione di 4 per ciascuno) e comunque sussiste l’obbligo di un giudizio specifico per ca. il 20% di essi. E’ improbabile che i costi del VTR possano ridursi nel futuro, anzi dovranno aumentare, dato che per alcuni panel (particolarmente eterogenei e/o letteralmente "inondati" di lavori da valutare) si dovrà prevedere un maggiore numero di panelist.
I tempi (18 mesi) per lo svolgimento dell’esercizio sembrano del tutto adeguati. In termini tecnici, il prossimo esercizio (2004-6) potrebbe chiudersi, se effettivo dal gennaio 2007, nella primavera del 2008.
Un terzo punto dei commenti tocca l’aspetto delle cautele poste in essere per garantire l’imparzialità della valutazione dei pari, e in particolare il mancato uso del "blind referee". Si deve innanzi tutto ricordare che la valutazione condotta dai panel attraverso l’ausilio degli esperti è una valutazione che si riferisce a lavori già pubblicati, che spesso, specie se eccellenti, sono già stati letti ed eventualmente citati dalla comunità scientifica di riferimento. Pertanto l’omissione dei nomi degli autori non costituisce una reale garanzia di imparzialità del giudizio. Il CIVR ha invece perseguito questo fondamentale obiettivo attraverso tre strumenti principali: un’attenta sorveglianza sulla composizione dei Panel, che garantisse la presenza di soggetti di diversa provenienza istituzionale e di membri stranieri (la % degli accademici italiani è inferiore al 50%), l’elaborazione di regole di condotta per i Panel e di blocchi automatizzati per evitare l’insorgere di conflitti di interesse, un monitoraggio costante sull’attività dei Panel, svolto dal CIVR stesso, per poter verificare il rispetto delle regole stabilite.
Infine, il problema relativo al mancato aggiornamento del sito web del Comitato. Il CIVR da circa un anno ha dedicato tutte le risorse umane disponibili alla gestione del VTR, che ha contemplato, tra l’altro, un’estesa assistenza a referee e panelist, con ca. 10.000 messaggi e-mail smistati nelle 24 ore e l’organizzazione delle spedizioni dei ca. 1000 volumi in cartaceo dagli autori verso i referee, garantendo il più rigoroso anonimato. Inoltre, il 14 Dicembre p.v. sarà ufficializzato un portale specifico finalizzato alla ricerca, gestito, come è giusto che sia, direttamente dal MIUR, con personale specificamente destinato alla manutenzione e aggiornamento del sito. Stiamo procedendo, comunque, anche all’aggiornamento del sito CIVR attuale.

Roma, 12 dicembre 2005