logo
GIOVEDì 2 OTTOBRE 2014


captcha *

1500

  1. Davide Faiella Rispondi

    L'indice H penalizza gli scienziati giovani, i quali non hanno ancora avuto il tempo di produrre molti lavori. Penalizza gli elementi potenzialmente più produttivi dato che le università preferiranno docenti più anziani, ma con indici più elevati. E come si sa i docenti più anziani vengono generalmente considerati meno produttivi. Aggiungendo poi che una parte dei finanziamenti agli atenei viene erogata a seguito della valutazione della ricerca(effettuata usando questi indici)mi sorge un dubbio:università con personale giovane e produttivo, ma poco considerato dagli indici verrebbero danneggiate a vantaggio di università con personale vecchio, poco produttivo ma con indici elevati?

  2. marco seeber Rispondi

    Buon giorno, sto concludendo un dottorato largamente focalizzato sull'analisi di metodi e strumenti di valutazione della ricerca. Dalla mia esperienza gli indicatori bibliometrici sono molto lacunosi, soprattutto se utilizzati da soli, come viene brillantemente sintetizzato da questo articolo (cha considera IF, ma anche h-index, m-index e via dicendo): citation statistics - joint committee on qualitative assessment of research (si trova facilmente da google) la tendenza a identificare nel numero, in quanto tale, un elemento oggettivante è sempre più diffusa e.. fuorviante. E' un pò come se per valutare la bellezza femminile ci limitassimo a peso, altezza, torace, vita e fianchi. un pò pochino, no? Usare i numeri per timore della soggettività del giudizio comporta rischi ancora maggiori. Le tecniche bibliometriche andrebbero sempre supportate da una robusta peer review.

  3. enrico Rispondi

    Lamberto, non confondere google con scholar google ! Qui si parla di articoli, non di siti. Inoltre anche concedendo che tu abbia 5 articoli ed in ogni articolo citi tutti gli altri (cosa alquanto difficile da fare, ed impossibile qualora l'editore non accetti citazioni ad articoli "submitted, in press, in preparation", ecc.), l'h index sarebbe 4. A meno che tu non riesca a scrivere un articolo che citi se stesso!

  4. Lamberto Manzoli Rispondi

    Scusate, a parte l'apprezzamento per il lavoro, che credo comunque in buona fede, ma se ho capito bene l'indice H è calcolato su 5 citazioni, ovunque esse siano in google? Quindi, sempre se ho capito bene, se io ho 5 siti e mi cito in tutti e 5, tutte le mie pubblicazioni hanno 5 citazioni! Se è così, tale indice è semplicemente ridicolo, e l'articolo è pura disinformazione. Peraltro, è stato ripreso da tutti i media, proprio complimenti. Ma non era più semplice prendere l'ISI? Inoltre, fare una classifica degli atenei sulla base di un indice con tali limiti - in parte correttamente elencati - e solo per i professori ordinari, non ha alcun senso, anzi, è profondamente sbagliato, si diffondono dati del tutto campati per aria.

  5. Francesco Billari Rispondi

    Ottimo articolo, complimenti agli autori. Iniziamo ad essere piu' trasparenti. Ho due domande 1) alcuni commenti hanno gia' notato che vi sono altre banche dati. Scopus ad esempio, ha una semplice interfaccia di calcolo di h e disegna anche un 'h graph' facilmente. Per aggiungere ad un lettore precedente, l'indice h su Scopus di Checchi e' 4, di Jappelli 11. Penso che comunque vi sia una correlazione elevata tra le banche dati, quelle pulite ma meno inclusive (ISI e Scopus) e quella sporca 'democratica' e accessibili (Google Scholar), ma bisogna fare i conti. L'aspetto principale e' che h dipende naturalmente dall'eta' (o meglio dall'anzianita' di ricerca dell'autore) soprattutto per ricercatori in fase di attivita'. 2) perche' fare il ranking usando la media e non la mediana (indice come si dice in statistica piu' 'robusto' rispetto al singolo outlier), visto il basso numero di osservazioni per ogni ateneo? Premetto che sono un docente Bocconi (anche se non nei settori considerati dall'articolo). In generale, mi pare che questi indicatori siano migliori nel segnalare criticita' per valori bassi che discriminare sui valori alti. Ma sono sensazioni.

  6. stefano marini Rispondi

    Sono uno studente di economia presso l'università politecnica delle marche. scrivo perché non credo che la mia facoltà si debba trovare in una posizione cosi bassa e dietro a tante altre facotà meno virtuose. L'indice h se ho capito bene si basa sulle citazioni, ma a questo punto non si rischia di andare a finire in un circolo vizioso di scambi di favori fra professori? Poi si dovrebbe guardare alla dimensione dell'ateneo. Se in un ateneo ci sono più professori è normale che ci sono piu possibilità che vengano citati gli stessi.

  7. Gianfranco Rispondi

    Ottimo lavoro veramente! Però sono d'accordo con chi critica il fatto che abbiate calcolato l'indice h a partire dai dati di Google Scholar invece di quelli forniti da ISI. Google include tutto quello che trova online, anche più versioni dello stesso working paper. Ne risulta avvantaggiato chi "fa tante cose" e le mette sul web rispetto a chi sceglie la qualità (riviste referate, magari internazionali). Per esempio, Daniele Checchi ha un h pari a 2 con ISI che diventa 16 con Google (8 volte tanto!). Jappelli invece, che ha ben altro CV, passa da 12 a 31. Sarebbe interessante confrontare i ranking dell'indice h costruiti con ISI e con Google Scholar. La mia impressione è che i due indicatori non siano molto lontani per le migliori Facoltà del mondo e invece possano anche essere molto diversi per alcune delle nostre.

  8. Giorgio R Rispondi

    Secondo il DL 180 il sorteggio sarà solo fra i Professori Ordinari, possiamo dedurre dal vostro lavoro che almeno per i concorsi come Professore Associato (ma forse anche per qualche 'Ricercatore') ci saranno valutatori che hanno meno pubblicazioni dei valutati? Torna quindi attuale l'articolo di Checchi "Commissari per caso". Ps: ma non si possono avere i nomi di quelli che hanno più di 20?

  9. Ivano (studente fedII Napoli) Rispondi

    A questo punto si potrebbero calcolare gli indici dei prof. di ogni dipartimento delle diverse università italiane, metterli a confronto con quelli dei loro colleghi di altre università universalmente accettate come le più prestigiose e pubblicarli nelle bacheche e nei siti internet dei loro dipartimenti. Forse si potrebbe anche, in modo simile, calcolare un indice che valuti le prestazioni dei singoli studenti (magari mettendo in correlazione i due indici, cercando di capire ad esempio se gli studenti più meritevoli sono allievi dei prof più ‘bravi’), stilando anche in questo caso delle classifiche e pubblicandole ad esempio sui siti dei diversi atenei, magari assegnando premi ai migliori studenti e ‘simpatici sfottò’ ai peggiori. Si potrebbe fare? Sarebbe utile?

  10. enrico Rispondi

    L'articolo è meritevole nel'intento. Un pò lacunoso nella tecnica adottata, come sottolineato da altri ricercatori. La più evidente lacuna sta nell'uso di scholar google. Molto meglio ISI. Poi sarebbe opportuno incrociare diversi indicatori bibliometrici e non solo uno. Ma la mia perplessità è la seguente. Gli autori sono a conoscenza che in UK proprio ieri Guardian e The Times hanno pubblicato le loro classifiche delle università inglesi, ordinate anche per dipartimenti? In UK la valutazione della ricerca (ma anche della didattica) è in uso da diversi anni, con metodi che si sono perfezionati negli anni. Governo e quotidiani stilano le loro classifiche indipendentemente, con criteri leggermente diversi tra loro. Allora non c'è proprio niente da inventare. Basterebbe adottare i criteri già in uso da molti anni in UK, no ? Ultima considerazione sull'indice h: bisognerebbe escludere le autocitazioni dal calcolo (queste possono impattare molto soprattuto per indice h molto basso).

  11. Markus Cirone Rispondi

    Controllo periodicamente Google Scholar (GS) per le mie pubblicazioni (fisica) e non mi sembra affidabilissimo, per due motivi. 1) Alcuni miei articoli hanno visto addirittura diminuire le citazioni: articoli prima considerati, di cui sono venuto a conoscenza proprio grazie a GS, sono poi scomparsi in modo apparentemente incomprensibile. Eppure quegli articoli esistono. 2) Il numero delle citazioni riportato da GS differisce da quello riportato da altre riviste. Insomma, GS dà forse un'idea di massima, ma per il numero preciso non lo ritengo totalmente affidabile.

  12. Nicola Limodio Rispondi

    Grandissimi! Finalmente si scopre chi lavora e chi no, i commenti precedenti presentano delle giustificazioni relativamente fondate, ma su tutti gli indicatori si può aver da ridire. Il GDP è un buon indicatore di benessere? Relativo o Assoluto? PPP oppure International $... insomma, qui c'è un dato che, forse approssimativo e grezzo, appare eccezionale (soprattutto innovativo). Quindi complimenti. PS. Io sono un Allievo della Scuola S.Anna di Pisa, ed è innegabile che qui i docenti diano tanto peso alla ricerca, e garantisco a chi scriveva precedentemente che l'argomentazione "sono-tutti-mainstream" o qualità delle pubblicazioni, opportunamente rilevate con un indicatore farebbe esplodere l'indicatore. Complimenti alla Voce!

  13. Aldo Rispondi

    Mi congratulo per l'ottima iniziativa. Ho forti perplessità circa l'uso di Google Scholar, che ho avuto modo di utilizzare per le discipline dell'ingegneria. Le fonti considerate (riviste, atti di convegno, etc.) non sempre corrispondono a criteri omogenei di qualità. Il numero di citazioni è talvolta poco indicativo o addirittura fuorviante: per numerosi articoli ho riscontrato un numero di citazioni inferiore a quello determinato dalla banca dati ISI. Dopo alcuni test effettuati su diversi database, applicati ad alcune discipline ingegneristiche, sono arrivato alla conclusione che l'unico database qualificato, "certificato" ed affidabile è quello dell'ISI.

  14. Luca Lo Sapio Rispondi

    La valutazione attraverso parametri e indici quantitativi della ricerca universitaria è non soltanto una possibilità virtuosa per agganciare l'erogazione dei fondi a strumenti di monitoraggio effettivo delle attività universitarie ma un dovere per incentivare il merito e gli stimoli. Il discorso che a volte viene prodotto su una presunta impossibilità di valutare la produttività e la ricerca nell'ambito delle facoltà umanistiche è a mio avviso un falso problema; che serva un sistema di valutazione flessibile e differenziato per ciascuna facoltà o tipologie di facoltà può essere vero ma che in assoluto valutare la ricerca, ad esempio in un corso di laurea come filosofia, equivalga a mercificare il sapere o a ridurlo a logiche di mercato mi sembra un discorso abbastanza debole. Anche una ricerca umanistica può essere valutata, va detto una volta per tutte! Si può valutare l'originalità del lavoro proposto, l'aggiornamento delle consultazionbi bilbiografiche, le finalità annesse al progetto di ricerca e la pertinenza di ciò che viene scritto.

  15. Giuseppe Di Liddo Rispondi

    Un indice così costituito però non considera la "ridondanza" tra diverse pubblicazioni e i tempi diversi che occorrono nelle varie discipline per scrivere un lavoro. Infatti da una breve sbirciata agli indici emergerebbe che gli economisti politici sono molto produttivi. In realtà se si volesse leggere l'insieme delle pubblicazioni di un economista politico si scoprirebbe come molto spesso i diversi articoli siano scarsamente innovativi l'uno rispetto all'altro e spesso gli autori scrivono diversi lavori che non sono altro che "diverse versioni di una stessa idea". Per un econometrico questo è più difficle, per uno statistico idem, per un matematico impossibile. Aggiungerei poi che Google scholar è un pessimo strumento di giudizio. Ad esempio: quante pubblicazioni ha Milton Friedman? 1.600 secondo Google Scholar. Ridicolo. Diviso per i suoi 94 anni di vita farebbe 17 pubblicazioni all'anno inclusa infanzia e vecchiaia. Se si considerano soli 60 anni di ricerca attiva diventerebbero 26 all'anno, cioè una ogni due settimane. Mi chiedo quando mangiasse, dormisse, insegnasse. Si commenta da se!

  16. Guido Giuliani Rispondi

    (1) La fonte Google Scholar non e' attendibile, perche’ l'H-index va calcolato sulle citazioni da pubblicazioni omologhe. Vanno qundi escluse le citazioni da congressi (spesso non peer-reviewed). Anche le citazioni a libri andrebbero escluse, poiche’ la divulgazione di risultati scientifici nuovi dovrebbe avvenire tramite journals e non “monografie”. (2) La significativita’ dell’H-index e’ piuttosto alta. Per esperienza personale (settore “photonics”, a cavallo tra fisica e ingegneria) l’H-index consente di discriminare tra i bravi pubblicatori di risultati di scarso interesse e gli scienziati che svolgono ricerca di impatto elevato. (3) E’ sorprendentemente basso il valore medio dell’H-index dei docenti considerati. Una indagine sugli H-index degli idonei dei concorsi dal 2002 in poi per posti di 1° e 2° fascia per il settore della fisica ha fornito valori medi intorno a 13-15, e distribuzioni simil-gaussiane centrate intorno ai valori medi. Pur considerando le dovute differenze nelle consuetudini e nelle strategie di pubblicazione e citazione delle diverse discipline, il confronto e’ stridente. Mi piacerebbe leggere qualcosa nel merito da parte dei docenti del settore.

  17. Gianluca Cubadda Rispondi

    Lavoro molto interessante ma basato, credo, sull'indice bibliometrico sbagliato. Ad esempio, se i tre lavori più citati di due autori hanno ottenuto 50, 40 e 3 pubblicazioni in un caso e 5, 4 e 3 pubblicazioni nell’altro, entrambi gli autori hanno un indice H pari a 3. Inoltre, le citazioni non sono corrette per l'età della pubblicazione e per il numero degli autori. Tra gli indici prodotti da "Publish or Perish", trovo molto più convincente lo "Age-weighted citation rate per-author". Infine, ritengo in questi confronti non si possa prescindere da una misura della qualità scientifica del canale editoriale che ospita il lavoro (Impact factor o simili). E’ facile produrre esempi di studiosi che esibiscono un discreto indice H su Google Scholar ma che sono privi di citazioni su archivi più affidabili quali Web of Science o Scopus.

  18. Amando Pasquali Rispondi

    Che gli economisti cerchino di applicare a sé gli strumenti che usano per valutare gli altri può apparire lodevole, ma il problema è semmai quello opposto, cioè far arretrare l'economia dopo che essa ha ormai invaso tutti i campi, a cominciare dalla politica, che ormai di fatto non esiste più. In 1.200 caratteri non si può esaurire l'argomento. Mi limito a ricordare come il principio alla base di questi ragionamenti (finanzio i ricercatori produttivi) abbia generato in diverse discipline ricerche, studi e persino "scoperte" che si sono rivelati in un secondo momento totalmente falsi, ma gli scienziati in questione non avevano alternative: o producevano un falso, o non potevano andare avanti nella ricerca. Poi, trattandosi di economia, h misura davvero la prodottuvità di un ricercatore o semplicemente la sua introduzione nelle alte sfere e il suo conformismo?

  19. Alessandro Figà Talamanca Rispondi

    Anche i matematici, in modo meno scientifico e completo, hanno svolto un'indagine sull'indice H. Ecco i risultati: "Per i matematici l'indice H assume valori molto bassi. Ad esempio in diversi settori MAT, per la maggioranza dei vincitori di concorsi di prima fascia degli ultimi 10 anni è minore o uguale a 4; nel 2006 due dei quattro vincitori della medaglia Fields (equivalene al Nobel) avevano indice H pari a 5; nel 2002 i due vincitori avevano indice 3 e 7, nel 1998 uno dei vincitori aveva indice 2. A causa di questi bassi valori l'indice H risulta poco discriminante e poco attendibile, varia bruscamente anche per poche citazioni, è facilmente modificabile, e il suo uso per la valutazione potebbe indurre distorsioni nei comportamenti dei matematici". E' interessante che risultati analoghi portino matematici e economisti a conclusioni così diverse. Forse perché in matematica è maggiore il consenso nazionale ed internazionale su che cosa sia valida ricerca. A questo proposito è illuminante la discussione che si è svolta in seno al "Panel" per le scienze economiche in occasione della VTR 2003-2006, sulla base della relazione di minoranza di Pasinetti.

  20. ugo della croce Rispondi

    Temo che la soglia di esclusione dall'indagine degli atenei sia fissata a 4 in modo arbitrario e comunque non giustificato.

  21. Galimberto Rispondi

    Avete un'idea precisa di quali dati entrano in Google Scholar e come funziona? In mancanza di questo.

  22. Bruno Stucchi Rispondi

    Qualche anno fa su una prestigiosa rivista scientifica fu pubblicato un (modesto) articolo proveniente dal CERN di Ginevra. Era firmato da piu' di mille "ricercatori". Forse era incluso anche l'elettricista che cambiava le lampadine bruciate. Suppongo che tutti i nostri mille abbiano poi incluso nel proprio curriculum anche quella pubblicazione. Il criterio delle citazioni incrociate funziona cosi'; il numero conta, non la qualita'.

  23. Giovanni Federico Rispondi

    Giusto per curiosità, perchè vi siete limitati ai settori P01-P06, omettendo P07-P11 (Economia aziendale), P12 (Storia economica) e P 13 (Merceologia)? Forse i risultati sarebbero interessanti. Non sarebbe male anche un confronto con l'indice h del Dipartimento di Economia di Harvard.

  24. daniele am. Rispondi

    Tuttavia mi permetto di evidenziare un aspetto secondo me rilevante. Tutti questi indicatori dovrebbero essere strettamente correlati tra di loro, o no? Se non è cosi il risultato dell'adozione di un indice piuttosto che un altro avrebbe una natura fortemente discrezionale in termini di allocazione dei fondi e si risolverebbe ben poco (immagino ad esempio che i rettori delle università più rilevanti politicamente, ad esempio quelle con più iscritti, possano fare lobbying per indurre il legislatore ad adottare l'indice a loro più favorevole). Tuttavia, ad esempio l'università di salerno, che ha avuto uno dei punteggi più alti al CIVR, è nella parte bassa delle vostra tabella. Magari potrebbe essere utile rifare le stesse tabelle utilizzando un criterio dimensionale e vedere qual'è la concordanza coi ranking del CIVR.

  25. Fabio D'Orlando Rispondi

    Faccio solo presente che l'h-index, se calcolato sul database di Google Scholar, è una misura alquanto imprecisa. Contrariamente a quanto pensano gli autori, Scopus (che non citano) e anche ISI Web of Science/Web of Knowledge (che citano) sono strumenti assai più raffinati. Tanto per dirne una, per aumentare il mio (piuttosto basso...) h-index calcolato con Google Scholar basta che metta on-line su SSRN, con un titolo diverso, un mio vecchio lavoro (anche già presente su SSRN, non se ne accorgono mica...) che cita altri miei lavori, e il gioco è fatto. E posso iterare il procedimento a piacere.

  26. Giorgio Rispondi

    Se si controlla su "ISI web of science" l'indice h del ministro Brunetta (professore a tor Vergata) si scopre che ha scritto dal 1990 ad oggi due articoli citati ciascuno 0 (ZERO) volte. Ovvero il suo indice h e' uguale a ZERO..... Chi e' il fannullone allora?

  27. Giovanni Gellera Rispondi

    Valutare l'operato di un professore o di un dipartimento sembra difficile, come fatto notare nell'articolo. L'indice h sembra uno strumento accettabile. Inevitabilmente tralascia alcuni aspetti come la trasmissione del sapere: scopo dell'universita' non e' solo produrre sapere, ma anche saperlo tramettere. Un professore (o un dipartimento) possono essere lodevoli anche solo per una puntuale trasmissione del sapere e quindi una spiccata capacita' didattica, che in questo indice verrebbe ignorata. Penso pero' che mezzi di valutazione come l'indice h non siano solo una mera "moda anglosassone", ma debbano essere utilizzati anche in Italia.