Lavoce.info

Una valutazione positiva

Si è concluso il primo ciclo di valutazione della ricerca. L’elevata qualità dei panel, la trasparenza delle decisioni e del metodo di valutazione rappresentano una novità importante e positiva per le università e gli enti di ricerca. In futuro, si potrà migliorare l’efficacia del processo accelerando i tempi e chiarendo in anticipo le conseguenze che la valutazione avrà sulla ripartizione delle risorse. Solo così si può sperare che orienti le scelte del corpo accademico, migliori la qualità della ricerca e stimoli la concorrenza tra università.

Il Comitato di indirizzo per la valutazione della ricerca (Civr) ha concluso il primo ciclo di valutazione relativo al triennio 2001-2003. Le relazioni finali dei venti panel sono disponibili sul sito del Civr insieme ai risultati, espressi con un punteggio complessivo compreso tra 0 e 1 attribuito a ciascuna università o ente di ricerca in ciascuna disciplina.
Per
www.lavoce.info, i problemi dell’università e della qualità delle attività che vi si svolgono rivestono un’importanza particolare. Speriamo quindi che si apra un dibattito ampio sul metodo di valutazione, i suoi esiti, la sua utilità per la ripartizione delle risorse future e la riforma dell’università. Ecco alcune prime riflessioni.

La composizione dei panel

I componenti del panel sono esperti riconosciuti sul piano nazionale e internazionale nelle rispettive discipline; un quarto proviene dall’estero, un elemento di eccezionale novità nel quadro asfittico e autoreferenziale di buona parte dell’università italiana. Ciascun panel ha previsto esplicitamente come affrontare i casi di conflitti di interesse (coautori, colleghi della stessa università, parenti, eccetera). Anche qui, si tratta di una positiva novità.

I raggruppamenti disciplinari

Ciascun panel ha valutato circa mille lavori di aree di ricerca molto ampie, che comprendono mediamente quattromila ricercatori ciascuna (diecimila per le scienze mediche, seimila per quelle biologiche). Ad esempio, per le scienze mediche è stato attivato un solo panel che ha valutato lavori di oncologia, neurologia, endocrinologia, cardiologia, immunologia, eccetera. Il panel di scienze economiche e statistiche ha valutato, tra gli altri, lavori di statistica, economia politica, matematica finanziaria, economia aziendale. Il panel di scienze biologiche ha esaminato lavori di biologia molecolare, biochimica, fisiologia, e così via.
Nell’università italiana molte decisioni sono prese dai cosiddetti “settori scientifico-disciplinari”. Se ne contano cinquanta in medicina, un centinaio nelle scienze letterarie, diciannove nelle scienze biologiche, altri diciannove nelle scienze economiche e statistiche: in totale, circa quattrocento. Si tratta di piccoli o grandi raggruppamenti di docenti che si comportano spesso come corporazioni medievali, erigendo barriere all’ingresso e impedendo che le altre discipline possano “mettere il naso” nei loro affari. Fino ad oggi, le decisioni sull’ingresso in ruolo dei docenti, le conferme e le promozioni (i concorsi) sono prese da commissioni elette all’interno dei settori disciplinari. I panel del Civr hanno eliminato, o quanto meno attenuato, alcune di queste barriere, valutando con una stessa metrica settori della stessa area di ricerca, uniformando gli standard di qualità e promuovendo, in prospettiva, la competizione orizzontale tra settori disciplinari. Qualsiasi riforma dell’università non potrà prescindere da una profonda revisione dei settori scientifici esistenti.

I lavori presi a riferimento

La valutazione ha preso in esame le pubblicazioni nel triennio di riferimento, non le pubblicazioni dei docenti che al momento della valutazione lavoravano presso la sede. Questo criterio tende a scoraggiare comportamenti strategici e opportunistici; ad esempio assumere un docente per un anno, al solo scopo di inserire i suoi lavori e migliorare il ranking. Tuttavia, si introduce un elemento di inerzia troppo accentuato. Supponiamo che nel 2006 l’università X decida di migliorare la propria ricerca in un certo settore assumendo un nuovo docente. Il docente prenderà servizio alla fine del 2006; le sue pubblicazioni del periodo 2004-06 non saranno però attribuite alla nuova sede e non saranno quindi oggetto del secondo ciclo di valutazione. Bisognerà attendere il terzo ciclo (2007-09), che sarà reso pubblico due anni dopo, nel 2011, per capire se e come il nuovo docente avrà modificato il ranking. Meglio sarebbe prevedere un aggiornamento annuale o biennale della valutazione, acquisendo i prodotti già valutati, e aggiungendo quelli che ogni anno si rendono disponibili.

Leggi anche:  Rientro dei cervelli: quando gli incentivi funzionano *

Il metodo di valutazione

I prodotti selezionati dalle università (uno per ogni quattro ricercatori) e dagli enti di ricerca (uno per ogni due ricercatori) sono stati preliminarmente valutati da due esperti esterni al panel. Sulla base dei primi due giudizi, un componente del panel ha poi espresso una proposta di giudizio finale, vagliata all’interno del panel da uno specifico sottogruppo, che ha riesaminato il giudizio finale, esprimendo il proprio consenso o dissenso motivato. Nei casi in cui il consenso non è stato raggiunto dal sottogruppo, il giudizio finale è stato espresso collegialmente dal panel. Questa procedura garantisce il massimo di imparzialità, e tuttavia può comportare l’allungamento dei tempi anche quando non è necessario, ad esempio per lavori pubblicati su riviste internazionali di prestigio.

I tempi e i costi

I costi sono stati contenuti, meno di quattro milioni di euro secondo le cifre diffuse dal ministero dell’Istruzione, università e ricerca. Si tratta di una somma di circa quattro volte inferiore a quella del sistema di valutazione inglese, che si aggira sui 15 milioni di euro.
I tempi invece non sono stati brevi: un anno per selezionare i lavori da parte delle università, un altro per la valutazione dei panel. In futuro, sarà necessario comprimerli, anche sulla base dell’esperienza acquisita. Soprattutto perché la valutazione è efficace ex-ante, quando sono note le conseguenze della valutazione sulla distribuzione delle risorse: solo così si può sperare che orienti le scelte del corpo accademico, migliori la qualità della ricerca e stimoli la concorrenza tra università.

La trasparenza delle decisioni

Le relazioni finali dei panel sono disponibili integralmente sul web, in italiano e in inglese. Contengono un resoconto del lavoro svolto, delle decisioni prese, delle procedure adottate. Dai verbali emerge che nella grande maggioranza dei casi le decisioni sono state prese all’unanimità; il dissenso è limitato a pochissimi casi, documentati con relazioni di minoranza. Le responsabilità individuali e le prese di posizione non sono coperte dall’anonimato. Si tratta di un principio di trasparenza di grande valore rispetto alle abitudini vigenti nell’accademia italiana.

La pubblicità

Anche l’elenco dei lavori valutati è disponibile sul web. Chi lavora nelle università italiane sa quanto poco tempo sia dedicato alla discussione di temi di ricerca, e quanto invece a cavilli, regolamenti, delibere, verbali, riunioni estenuanti. Il Civr offre per la prima volta l’occasione per sapere cosa si fa nell’università, chi lo fa, come lo fa. Ci si può rendere conto di quali temi di ricerca vengono affrontati e quali sono i gruppi di ricerca attivi nelle varie sedi.

I risultati

Il ministro Moratti ha dato una lettura molto positiva dei risultati. “La ricerca italiana supera l’esame della valutazione,” – ha osservato nel comunicato ufficiale – “dall’analisi dei dati emerge uno spaccato confortante della ricerca nazionale”.
Come sempre, è difficile stabilire se un bicchiere sia mezzo pieno o mezzo vuoto. La tabella riporta, per ciascuna area disciplinare, il numero di lavori valutati, la percentuale dichiarata eccellente, il punteggio medio e il punteggio minimo e massimo ottenuto in ciascun settore. Complessivamente, il 30 per cento dei prodotti valutati è stato giudicato “eccellente”, dove per “eccellente” si intende il 20 per cento più elevato secondo la scala di valore condivisa dalla comunità scientifica internazionale. Anche se è difficile confrontare i ranking di aree di ricerca con standard internazionali diversi, la percentuale di lavori dichiarati “eccellenti” è di oltre il 50 per cento nelle scienze fisiche e letterarie, ma raggiunge solo il 10 per cento nelle scienze agrarie, il 17 per cento nelle scienze economiche e statistiche, il 20-22 per cento nelle scienze giuridiche, nelle scienze politiche e sociali e in ingegneria civile e architettura. Anche all’interno delle aree vi è notevole dispersione. Guardando le sole strutture grandi e medie (almeno quaranta ricercatori), per molti settori l’oscillazione tra valori minimi e massimi è di circa 20 punti; sale a 30 per la chimica, la biologia, l’ingegneria civile, e a oltre 40 per le scienze economiche. Vi sono quindi significative differenze tra aree e all’interno delle aree. Bisogna poi ricordare che il Civr ha preso in esame soltanto le pubblicazioni migliori, in media soltanto una ogni quattro ricercatori.

Leggi anche:  "Gioventù bloccata" nel passaggio tra la scuola e il lavoro

Una domanda ai due schieramenti politici

Il ministro Moratti ha ribadito spesso che in sede di assegnazione delle risorse pubbliche per la ricerca, si terrà conto dei risultati della valutazione del Civr e che il 30 per cento del Fondo di funzionamento ordinario del Miur sarà calcolato sulla base della qualità della ricerca delle varie strutture. Ma sappiamo che il ministro è orientato verso altri incarichi. Sarà applicato questo principio? E con quali modalità?

E una ai rettori

Non ci sono solo i fondi del Miur. I rettori potranno, se vorranno, adottare misure specifiche per premiare o incentivare aree di eccellenza nelle rispettive università. Già ora ciascuna sede può predisporre un piano di sviluppo della ricerca razionalizzando le risorse esistenti, senza chiedere stanziamenti aggiuntivi. Come saranno utilizzati i ranking nazionali delle singole aree nelle rispettive università? Quali procedure saranno messe concretamente in atto per non disperdere le aree di eccellenza che esistono? Tra le aree meno forti, come saranno identificate quelle che sono suscettibili di sviluppo?

Aree disciplinari

Numero di lavori

% Lavori eccellenti

Rating minimo

Rating massimo

Rating medio

1. Scienze matematiche e informatiche

788

0.36

0.73

0.94

0.83

2. Scienze fisiche

1769

0.52

0.73

0.95

0.83

3. Scienze chimiche

1089

0.31

0.63

0.93

0.81

4. Scienze della terra

651

0.34

0.76

0.96

0.84

5. Scienze biologiche

1575

0.33

0.63

0.93

0.82

6. Scienze mediche

2640

0.25

0.62

0.85

0.77

7. Scienze agrarie

750

0.10

0.60

0.79

0.71

8. Ingegneria civile e architettura

768

0.22

0.64

0.94

0.75

9. Ingegneria industriale

1197

0.21

0.71

0.83

0.77

10. Scienze letterarie

1346

0.51

0.78

0.94

0.88

11. Scienze storiche e filosofiche

1177

0.28

0.62

0.85

0.79

12. Scienze giuridiche

1061

0.20

0.59

0.85

0.74

13. Scienze economiche

971

0.17

0.43

0.89

0.67

14. Scienze politiche e sociali

373

0.20

0.63

0.91

0.71

Nota. Il rating è il rapporto tra prodotti “pesati” per la qualità e il numero totale di prodotti valutati. I prodotti pesati si ottengono come E+0.8×B+0.6×A+0.2×L, dove E = Eccellente; B = Buono; A = Accettabile; L = Limitato. Minimi e massimi si riferiscono a mega-strutture (più di 400 ricercatori), grandi strutture (tra 100 e 400) o medie (tra 40 e 100), escludendo quindi le piccole (meno di 40). I valori medi si riferiscono a tutti i prodotti valutati. Non vengono riportate le 5 “aree speciali”.

Lavoce è di tutti: sostienila!

Lavoce.info non ospita pubblicità e, a differenza di molti altri siti di informazione, l’accesso ai nostri articoli è completamente gratuito. L’impegno dei redattori è volontario, ma le donazioni sono fondamentali per sostenere i costi del nostro sito. Il tuo contributo rafforzerebbe la nostra indipendenza e ci aiuterebbe a migliorare la nostra offerta di informazione libera, professionale e gratuita. Grazie del tuo aiuto!

Leggi anche:  Diritto allo studio per molti, ma non per tutti*

Precedente

Il fisco à la carte dei distretti

Successivo

Gas, una crisi annunciata

  1. Alessandro Figà-Talamanca

    Un risultato molto importante di questa valutazione è la discussione che si è svolta all’interno del “panel” dell’area delle scienze economiche e statistiche. Suggerirei a Lavoce.info di pubblicare per intero la “relazione di minoranza” di Luigi Pasinetti e la replica della maggioranza. Un altro risultato interessante è la scarsa rilevanza in alcune aree scientifiche, ai fini di una seria valutazione, del cosiddetto “Impact Factor” delle riviste, come risulta ad esempio dalle valutazioni del “panel” dell’area matematica: L’istituzione (tra le grandi e medie) che ha presentato lavori con IF medio più alto ha anche presentato il numero percentuale minimo di lavori eccellenti. Per contro si trova in ottima posizione un’istituzione che ha presentato lavori con IF medio (0,86) molto vicino al minimo (0,85). Tra le piccole la migliore ha un IF di 0,66, mentre la diciottesima ha un IF di 2,20. Tutto ciò senza contare i lavori “senza IF” che non fanno media.

  2. Gian Maria Varanini

    Concordo pienamente con la valutazione positiva dell’operazione e condivido, in particolare, quanto si osserva nell’articolo a proposito dei settori scientifico-disciplinari. E’ uno dei nodi cruciali della riforma dell’Università anche sotto il profilo didattico. La didattica di base, infatti, nelle attuali condizioni di accesso all’Università, può e anzi deve essere largamente svolta per ampi raggruppamenti, nei docenti dei vari settori scientifico-disciplinari sono intercambiabili. Mi riferisco, a titolo di esempio, all’area umanistica, ove “Fondamenti di filologia” o “Avviamento alla ricerca storica” potrebbero essere svolti da docenti di molti S.S.D. Si è dunque innescato un meccanismo positivo, che deve essere incentivato e migliorato anche nelle valutazioni dei Progetti di ricerca di interesse nazionale (finanziati dal MIUR), e che dovrebbe – appunto – essere spostato anche sul piano dell’organizzazione della didattica di base (che è ormai sempre più largamente scissa dalla ricerca).

  3. Gaetano Vecchione

    Gentile Professore,
    scorrendo la classifica dei settori disciplinari con un rating maggiore, ho notato la presenza di: matematica, fisica, chimica ecc.
    Se e’ vero che dovrebbero essere proprio le scienze esatte a nutrire la competitivita’ del nostro sitema economico industriale, come si sipega l’attuale crisi competitiva del sistema Italia soprattutto in ambito industriale? Colpa delle PMI? Che risultati ha prodotto in tal senso il CIVR? Grazie

    • La redazione

      “Grazie per il messaggio. La valutazione Civr suggerisce che la qualita’media della ricerca in Fisica, Chimica, Biologia, Scienze della Terra è piu’ alta che in molti altri settori. Assumiamo pure che sia possibile comparare i punteggi Civr tra aree disciplinari diverse (ho qualche dubbio in proposito). Rimane il fatto che esistono problemi seri anche in queste
      aree per quanto riguarda il finanziamento della ricerca (troppi pochi finanziamenti e distribuiti male) e sul reclutamento dei ricercatori migliori. Ne’ e’ testimonianza la fuga dei cervelli verso l’estero. Molte universita’ e laboratori di ricerca degli Usa, ad esempio, possono contare sulle energie intellettuali di italiani emigrati. Comunque, come Lei suggerisce, oltre ai problemi della ricerca esistono altri nodi struttrali non favorevoli all’innovazione in Italia: il basso livello di capitale umano nel paese, la (piccola) dimensione delle imprese, il loro carattere spesso familiare, la specializzazione settoriale (siamo poco presenti nelle aree di punta), la mancanza di intermediari finanziari specializzati nel finanziare le nuove imprese e l’innovazione, un mercato azionari ristretto, eccetera.
      Molti di questi temi sono gia’ stati discussi su Lavoce (si vedano incontributi sotto Innovazione e Ricerca.”

Lascia un commento

Non vengono pubblicati i commenti che contengono volgarità, termini offensivi, espressioni diffamatorie, espressioni razziste, sessiste, omofobiche o violente. Non vengono pubblicati gli indirizzi web inseriti a scopo promozionale. Invitiamo inoltre i lettori a firmare i propri commenti con nome e cognome.

Powered by WordPress & Theme by Anders Norén