Lavoce.info

Author: Giovanni Abramo

abramo Dirigente Tecnologo CNR, responsabile del Laboratorio di Studi sulla Ricerca e il Trasferimento Tecnologico dello IASI. Ha conseguito un Master of Science in Management all’MIT. Dal 1998 è anche associato presso l’Università di Roma Tor Vergata, con incarichi di docenza in materie gestionali nel corso di laurea in Ingegneria. E’ stato per lunghi anni consulente UNIDO in progetti di cooperazione allo sviluppo industriale. Dal 2005 i suoi interessi scientifici si sono focalizzati sulla valutazione della ricerca. È membro dell’editorial board delle due principali riviste del settore: Scientometrics e Journal of Informetrics.

Così la valutazione della ricerca non premia gli atenei migliori

La valutazione della qualità della ricerca 2004-2010 determina la ripartizione di una parte dei fondi tra i vari atenei. Ma l’approccio seguito per valutare i lavori dei ricercatori suscita qualche dubbio. E un metodo alternativo dà una “classifica” molto diversa. I programmi per il futuro.

Il nepotismo accademico tra mito e realtà

Si è diffusa la convinzione che un qualsiasi legame di parentela all’interno di un’università sia da etichettare come forma di nepotismo. Tanto che per limitare il fenomeno è stata anche approvata una legge. Ma è una norma discriminatoria perché l’evidenza empirica non giustifica i pregiudizi.

Valutare i professori, non gli atenei

I finanziamenti alle università saranno assegnati sempre più sulla base degli esercizi di valutazione. Che però continuano a considerare gli atenei nel loro complesso e non riescono dunque a raggiungere gli obiettivi di una allocazione efficiente delle risorse e dell’incremento di produttività. La soluzione passa inevitabilmente attraverso la valutazione individuale dei docenti, in modo da legare una parte della retribuzione al merito. Solo così si possono disincentivare i comportamenti opportunistici di chi antepone l’utilità personale a quella pubblica e premiare i migliori.

La risposta ai commenti

PER GLI STUDENTI SCETTICI

Supponiamo di ridistribuire in maniera casuale tutti i calciatori delle prime 90 squadre di calcio della Lombardia, a partire dalle Serie A e B e via via proseguendo per le divisioni minori. Cosa accadrebbe a Milan e Inter nel medio termine? Retrocederebbero in campionati di divisioni minori, la partecipazione in Champions League diventerebbe un miraggio, i calciatori di talento italiani e non migrerebbero verso altre squadre, gli spettatori abbandonerebbero gli stadi, i giovani più promettenti non si iscriverebbero alle loro scuole calcio, gli sponsor non supporterebbero più i due club. Mutatis mutandis, quella descritta è più o meno la situazione delle università italiane rispetto a quelle anglosassoni. L’’Italia ha bisogno di università che stanno all’’higher education come Milan, Inter, Juventus, Roma stanno al calcio.

MERITOCRAZIA E DEMOCRAZIA

Possono convivere? Da piccolo avrei voluto entrare nelle giovanili dell’’Inter, ma non ne avevo la stoffa. Qualcun altro c’’è riuscito e io ho trovato la mia realizzazione in un altro campo (non di calcio). L’’importante è che nel mio paese ci fosse innanzitutto una Inter e a me fossero date opportunità pari agli altri per potervi accedere. E’’ inutile pretendere università omogenee perché la selezione, dopo, la fa in ogni caso il mercato (quello reale) del lavoro.

FATTIBILITA’

Perché mai Harvard, Oxford, ecc. dovrebbero saper condurre una selezione efficiente dei docenti e noi no? Basta misurare il tasso di concentrazione di top scientist dell’’Università Vita-Salute S. Raffaele di Milano per realizzare che anche in Italia è possibile. La proposta di policy è percorribile perché farebbe felici molti, senza scontentare nessuno.

COSTO

La progressiva chiusura delle sedi universitarie distaccate e il continuo incremento del numero delle matricole rendono in ogni caso necessario un progressivo aumento della capacità produttiva delle attuali università. Il costo incrementale di nuove università, al netto di quello per l’’espansione, è quindi relativamente basso. Il ritorno socio-economico dell’’investimento è evidentemente altissimo. Sistema produttivo e amministrazioni locali (la Provincia autonoma di Trento si è già mossa in tal senso) dovrebbero adoperarsi tutti, insieme al governo, perché ciò si realizzi. Il più grande aiuto di stato legale che possa esser fatto al sistema industriale è realizzare la gemmazione di nuove top university dalle esistenti. Where there is a will, there is a way”

Costruiamo nuove università riservate ai bravi scienzati

In Italia non ha molto senso parlare di università migliori di altre. Ci sono semmai scienziati o gruppi di ricerca migliori di altri, indipendentemente dagli atenei cui appartengono. Distribuiti a macchia di leopardo, cosicché nessuno raggiunge quella massa di eccellenza critica necessaria per competere a livello internazionale. Stesso discorso vale per gli studenti più capaci. Si dovrebbe perciò favorire la nascita per gemmazione di nuove università, equamente distribuite sul territorio, verso le quali far migrare solo i professori più bravi.

CI VUOLE METODO PER VALUTARE LA RICERCA

Gli esercizi di valutazione della ricerca sono condotti in Italia con il sistema “informed peer-review”. Che ha però molti limiti di precisione, affidabilità, robustezza, funzionalità, costi e tempi di realizzazione. Difetti che invece non si ritrovano nel sistema di supporto alla valutazione della ricerca che si basa sui dati dell’Osservatorio della ricerca pubblica. Ed è paradossale che si valuti la ricerca ignorando i progressi fatti nelle metodologie di valutazione.

Non è tutto oro quello che luccica

I primi risultati del processo di valutazione della ricerca universitaria da parte del Civr e il paventato uso che se ne potrebbe fare ai fini dell’assegnazione delle risorse, impone una riflessione attenta. Associare una valutazione a una premiazione significa creare un sistema incentivante che influenza scelte, azioni, comportamenti e, inevitabilmente, risultati.

Risorse scarse e finanziamenti “eccellenti”

Attraverso la valutazione di un campione ristretto di prodotti di ricerca scelti dalle università, il sistema Civr perviene a una classifica di “eccellenza” degli atenei.
La prima domanda che occorre porsi è se risorse scarse vadano allocate alle università secondo un concetto più o meno assoluto e immutabile di eccellenza oppure secondo una più articolata serie di criteri strategici, variabili nel tempo e nello spazio. Ovvero, un’università è eccellente perché i suoi risultati sono conformi a un concetto dogmatico di eccellenza oppure perché raggiunge determinati obiettivi strategici?
Indipendentemente dal significato di eccellenza, l’allocazione di risorse scarse alle università dovrebbe essere effettuata in funzione dei rispettivi programmi di azione necessari per realizzarne la strategia. Il ruolo del Governo si estrinseca nel definire con chiarezza gli indirizzi politici nei settori di attività degli atenei; nel richiedere piani strategici alle singole sedi per verificarne l’allineamento con gli indirizzi politici e realizzare l’integrazione sinergica complessiva; nell’assegnare coerentemente le risorse necessarie; e nel controllare che gli obiettivi strategici siano effettivamente raggiunti.
Sul primo punto, il Consiglio europeo di Lisbona 2000 è un esempio eclatante cui riferirsi: non solo fissa gli indirizzi politici dell’Unione sulla ricerca, ma formula una missione, quantitativamente misurabile in un arco temporale definito. Sugli altri, un esempio è fornito dal “libero mercato” americano. Il Government Performance and Results Act del 1993 richiede a tutti i laboratori di ricerca pubblici una particolare attenzione all’impatto socio-economico delle attività intraprese per assolvere alle rispettive missioni istituzionali e di produrre tre documenti distinti: un piano strategico relativo a un periodo di cinque anni; un piano e un rapporto annuale di performance. Questo tipo di controllo (detto behavior control) è molto più stringente, e appropriato, dell’opposto modello fondato sul controllo dei risultati (outcome control), cui il sistema Civr può approssimativamente essere ricondotto.
La prospettiva strategica nell’allocazione delle risorse, a differenza del sistema di valutazione Civr, presuppone che le università possano avere obiettivi strategici diversi e, quindi, essere valutate in maniera non necessariamente uniforme. Inoltre, altrettanto importante è riconoscere che le università presentano una peculiarità organizzativa più unica che rara: i suoi membri operano contemporaneamente in due settori di attività, la formazione e la ricerca; addirittura in tre, con l’assistenza sanitaria, negli atenei attivi nelle scienze mediche. A seconda delle competenze distintive di ciascuna università, e dei bisogni contestuali derivanti dalla localizzazione e da altri fattori, potrebbe perciò rivelarsi opportuno differenziare l’enfasi sulle diverse attività o, in ciascuna di queste, perseguire obiettivi diversi o in diversa misura. All’interno della medesima attività, quale la ricerca, si potrebbe poi, privilegiare un’area disciplinare rispetto a un’altra, indipendentemente dal livello di conoscenza nell’area stessa; e potrebbe essere così in un’area geografica del paese e l’opposto in un’altra.
Una modalità di allocazione delle risorse fondata su sistemi rigidi di valutazione come quello proposto dal Civr, non solo non permette di rispondere alle molteplici e diverse esigenze che la complessità di un sistema-paese presenta, ma potrebbe rivelarsi addirittura disfunzionale.

Pubblicazioni contro brevetti

Proviamo a prefigurare l’efficacia di un sistema incentivante basato sulla valutazione Civr. Verosimilmente la reazione di ogni ateneo sarebbe quella di privilegiare nell’allocazione interna delle risorse i suoi champion, per mantenere o migliorare la propria posizione nella classifica nazionale. Ciò è sicuramente un bene, a meno che il champion non svolga ricerca in settori disciplinari non strategici o in cui non esistano imprese italiane in grado di coglierne le ricadute (una recente indagine ha mostrato che accade nel 28 per cento dei casi). Il personale di ricerca tutto, poi, aspirerebbe a diventare champion all’interno della propria università. E ciascun ricercatore tenderà perciò a codificare le nuove conoscenze generate in prodotti “certificati” a livello internazionale, quali gli articoli scientifici nelle riviste con impact factor più alto.
Siamo certi che sia di questo che il nostro paese ha bisogno? Negli anni 1995-2000, nelle università americane, a fronte di spese in ricerca aumentate del 22 per cento, le pubblicazioni scientifiche sono diminuite del 10 per cento; in Canada del 9 per cento, in Olanda del 5 per cento e nel Regno Unito dell’1 per cento. Viceversa, il numero dei brevetti depositati e concessi in licenza dalle università americane e canadesi è cresciuto nello stesso periodo, rispettivamente, del 220 e del 160 per cento.
Nel medesimo arco di tempo, l’Italia ha fatto registrare il più alto tasso di crescita annuale di pubblicazioni tra i paesi del G7, portandoci ai livelli di produttività scientifica di Stati Uniti (e di gran lunga superiore agli altri membri del G7). Si è però ampliato il gap nella produzione brevettuale e nel licensing. Nel 2002, in Italia, i brevetti di titolarità universitaria erano quattro ogni mille ricercatori, nel Regno Unito ventidue, mentre negli Stati Uniti già nel 1999 avevano superato la soglia di quaranta. Le università americane e canadesi concedono in licenza in media il 60 per cento dei brevetti depositati; quelle italiane il 13 per cento.
È stato empiricamente dimostrato che sono per lo più le grandi imprese, e non le piccole, a utilizzare le pubblicazioni scientifiche quali fonte di informazione per l’attività innovativa: con la struttura del nostro settore industriale, si può prevedere che a usufruire “dell’eccellenza” di risultati di ricerca così codificati sarà molto probabilmente la concorrenza straniera più che il sistema produttivo nazionale.
I criteri di valutazione Civr inducono, come è avvenuto negli altri paesi, un cambiamento nella codifica delle nuove conoscenze o, piuttosto, alimentano la tendenza attuale? Qual è il senso di rafforzare un incentivo che è già intrinseco nella comunità scientifica mondiale (ottenere il riconoscimento internazionale dei propri pari) e i cui esiti eccessivi (in concomitanza di una scarsa produzione brevettale) si rivelano controproducenti per l’impatto competitivo e lo sviluppo economico del nostro paese? Cosa accadrà, poi, a quel tipo di ricerca, già di per sé esigua, più finalizzata a soddisfare i bisogni specifici del nostro sistema paese che non a brillare nel firmamento della scienza internazionale?
Un’ultima riflessione meritano le implicazioni indirette di un sistema incentivante. I fondi attuali (di cui non si prevede un incremento) assicurano a malapena la sopravvivenza operativa, ridurli sotto una certa soglia per alcune università potrebbe implicare un ritorno complessivo netto negativo. Non è un motivo per non procedere, ma le cautele devono essere senz’altro maggiori, soprattutto se si considerano i beneficiari finali dell’attività di ricerca di un’università, quali le imprese che gravitano sul territorio, gli studenti e i pazienti. Un esercizio di valutazione, inoltre, non dovrebbe essere finalizzato solo a premiare i migliori, ma anche a capire perché alcune strutture sono meno efficienti di altre ed eventualmente intervenire con misure correttive, il che non si traduce sempre e necessariamente in un’allocazione di minori risorse.

Lo strumento di valutazione

In merito all’efficienza dello strumento di valutazione proposto mi limiterò solo ad alcune osservazioni di carattere generale.

· Le risorse finanziarie appaiono nei criteri di valutazione solo come output e non come input (la produttività del lavoro non viene normalizzata rispetto al capitale).

· Il processo di valutazione, sofisticato a valle, lo è molto meno a monte. Mentre gli esperti esterni valutano comparativamente prodotti afferenti al medesimo settore, la selezione interna avviene tra prodotti afferenti ad aree disciplinari diverse, il che non è affatto semplice. In più, la selezione interna potrebbe essere condizionata da fattori estrinseci alla qualità del prodotto, la posizione o il potere degli autori all’interno dell’organizzazione.

· È possibile che in un’area disciplinare, a parità di ricercatori, un’università che presenti n prodotti valutati eccellenti risulti migliore di un’altra con n prodotti eccellenti e i buoni.

· La dimensione di riferimento, nei quattro raggruppamenti delle classifiche di area, non è relativa agli addetti, bensì al numero di prodotti, scelti arbitrariamente da ciascuna università per area disciplinare. Pur volendo considerare la ripartizione dimensionale delle università per addetto, essa andrebbe legittimata dimostrando la presenza di rendimenti di scala costanti del lavoro all’interno di ciascuna classe, ma diversi per classe. A questo punto sarebbe anche lecito chiedersi, però, se esistano vantaggi di diversificazione (numerosità delle aree disciplinari nella singola università).

Il modello proposto dal Civr, con gli opportuni miglioramenti e integrato con misurazioni più o meno automatizzate di produttività a più ampio spettro, potrebbe rivelarsi uno strumento utile, seppur molto costoso, ai fini di un benchmarking tra istituzioni. Utilizzarlo, invece, quale strumento discriminante per l’allocazione delle risorse potrebbe essere, a mio avviso, iniquo, inappropriato e, forse, anche controproducente per il sistema-paese.

Powered by WordPress & Theme by Anders Norén