logo


  1. sergio benedetto Rispondi
    Invito coloro che hanno inserito commenti sull'articolo breve a leggere con attenzione l'articolo dettagliato accessibile "cliccando" sul rinvio del documento breve. Che poi nell'articolo di Roars, pur nella sua forma fumettistica, non fosse proposto un algoritmo alternativo, è semplicemente falso. Basta leggerlo, ammesso che si riesca ad arrivare alla fine senza cadere addormentati...
  2. Giuseppe De Nicolao Rispondi
    A commettere lo stesso “fatal error” dell’ANVUR è stato anche l’esercito USA, le cui metodologie di valutazione in Afghanistan sono state oggetto di severe critiche che, senza mezzi termini, parlano di “pseudoscienza” e “junk arithmetic”. «for many people the differences between pseudoscience and real science are hard to spot. […] This difficulty is the root cause of many of the flaws I have observed in operations assessment as practiced in Afghanistan. […] Using arithmetic on numeric metrics is optional, but the rules of arithmetic are not optional. [Note: The rules of arithmetic—including the fact that adding or averaging rank orders is nonsense—were established over two millenniums ago by, among others, Pythagoras and are taught in every elementary school worldwide] The following examples of junk arithmetic I encountered suffice to demonstrate the broader problem. […] Averaging ordinal numbers, such as rank orders, within an assessment process is just as nonsensical, and this kind of obvious error subjects the credibility of the assessment, and the command promoting it, to justifiable suspicion. […] The continued use of junk arithmetic and flawed logic robs decision makers of the most essential requirements that assessment is supposed to supply—sound, verifiable, and accurate information upon which to make life-and-death decisions. S. Downes-Martin, “Operations assessment in Afghanistan is broken: What is to be done“, Naval War College Review 2011 Autumn, pp. 103 – 125.
  3. Giuseppe De Nicolao Rispondi
    Confermo quanto scritto da Bertoletti: non era mia intenzione proporre una metodologia alternativa. Avendo sottoscritto la San Francisco Decl. on Res. Assessment, non ho motivo di escogitare algoritmi bibliometrici basati su indicatori screditati come l’IF o simili. Tra l’altro, l’algoritmo che mi è stato indebitamente attribuito travisa quanto scritto nel mio articolo. Il valore di 20 cit. non era una soglia di eccellenza, ma serviva solo come fattore di scala. Inutile ricorrere a simulazioni e confronti più o meno complicati, dato che il fatal error è concettuale. All’obiezione che, dopo tutto, sommare i percentile rank significa sottoporre i dati ad una trasformazione come tante altre (lineari o non lineari), ha già dato risposta B. Thompson: «It might be suggested that percentile ranks are “rubberized”, but that maybe they’re not “rubberized” a whole lot. The problem with this argument is that the distortions introduced by adding percentile ranks are entirely gratuitous. There simply is no reason to introduce these distortions. It would be one thing to accept the cost of a distortion if some greater good offset this penalty. But there is no such benefit establishing any balance against the distortions that percentile ranks unavoidably create. The only reason for using percentile ranks is ignorance, and it is questionable whether a defense of ignorance will be viable». Per ulteriori dettagli, rimando all’articolo appena pubblicato su Roars.
  4. Alberto Baccini Rispondi
    Mi sembra che si insegni fin dal primo anno dei corsi di economia che le funzioni di utilità ordinali non si possono sommare. Lo aveva scritto un ingegnere ai primi del ‘900. Dovremo riscrivere i manuali?
  5. Maurizio Tomasi Rispondi
    Se ho capito bene, la risposta del prof. Benedetto può essere riassunta così: anche se possono esserci storture nel metodo Acb, l'alternativa proposta da De Nicolao nel suo articolo è peggiore. Ma lo scopo dell'articolo di De Nicolao era di proporre un'alternativa? A me non sembra proprio. Piuttosto, l'articolo mi sembra avere l'obbiettivo di evidenziare i bizantinismi e gli errori logici del metodo Acb, che si è per giunta dimostrato estremamente complicato da applicare: la mia personale esperienza è che esso richieda di incrociare molti dati, da database diversi, e di fare una serie di conti e trasformazioni che richiedono coefficienti che all'epoca della compilazione della VQR non erano per giunta ancora disponibili. Questo articolo del prof. Benedetto non sembra dare una risposta chiara ad alcuno di questi problemi. Per un esercizio così importante come la valutazione degli enti di ricerca, occorrerebbero algoritmi chiari e di semplice attuazione: a me è parso assurdo, o meglio "Kafkiano", aver dovuto spendere UNA SETTIMANA INTERA (durante la quale non ho fatto ricerca!) per leggere i regolamenti, consultare i database e decidere quali articoli caricare nella VQR, quando a qualunque ricercatore sarebbero bastati 30 secondi per elencare gli articoli più importanti nel proprio curriculum!
  6. Umbe Rispondi
    Tutti gli algoritmi funzionano. Sono gli obiettivi che si vogliono raggiungere a definire la qualità di un algoritmo
  7. Paolo Bertoletti Rispondi
    1) il link al "recente articolo" pubblicato su Scientometrics non funzione 2) non mi sembra che l'articolo di Denicolao proponesse una metodologia alternativa