Slide dell'intervento di Giuseppe De Nicolao al convegno “Academic Freedom Today - Insights from Law, Philosophy, and Institutional Practice”, 6-7 dicembre 2018, Libera Università di Bolzano, https://academicfreedom.events.unibz.it/ _________ State-fostered immaturity? Kant, Galileo and the Grand Evaluator In 2017, the president of Anvur, the Italian agency for research evaluation, was asked if bibliometrics-based research evaluation could discourage innovative research. The answer was disconcerting, yet revealing: a scientific genius “will be rewarded twenty years from now, when he will become the most famous scientist in the world. In the meantime, he should be grateful that he maintained his academic position without being burnt alive. Frankly speaking, we are not all Galilei and Newton”. No less worrying is the creeping effect of research evaluation on the public use of reason by academics. Linking administrative actions such as hiring, career, funding and wages to the outcomes of centralized research evaluation can subtly impair academic freedom in fields such as health, environment, economics, education and research policy. These issues will be illustrated through the analysis of methods, outcomes and unintended effects of research evaluations run by Anvur.

1. State-fostered immaturity?
Kant, Galileo and the Grand Evaluator
Giuseppe De Nicolao
Università di Pavia

5. Outline
1. Dead scien,sts’ society
2. League Tables are fun(nnels)
3. The Egyp,an job
4. Unintended(?) consequences
5. The legend of the Great Evaluator
6. The Queen’s ques,on
7. Brecht’s Galileo

6. 1. Dead scien,sts’ society

7. Valutare le poesie ... determinare la
grandezza di una poesia
diventa una ques4one
rela4vamente semplice.
Se segniamo la
perfezione di una poesia
sull'asse orizzontale di un
grafico e la sua
importanza su quello
ver4cale, sarà sufficiente
calcolare l'area totale
della poesia, per
misurarne la grandezza.

8. Valutare le poesie
Escrementi!
Ecco cosa penso delle
teorie di J. Evans
Prichard.
Adesso voglio che
strappiate quella
pagina!

9. IMPACT FACTOR
#CITATIONS
Valutare la ricerca

11. Valutare la ricerca
«Si costruirà un indicatore simile all’indicatore IRD1 della
VQR 2004-2010. Prima della valutazione, verranno
calcolate, per ognuno degli SSD presenB nel DiparBmento,
la media e la deviazione standard del numero di
pubblicazioni, disBnte per categoria, per persona, inserite
dai DiparBmenB di tuD gli Atenei. Se il numero di
pubblicazioni per persona inserite dal DiparBmento per un
dato SSD [...] risulta inferiore al valor medio diminuito di 2
volte la deviazione standard, l'indicatore finale verrà
molBplicato per un peso inferiore a 1 che dipende dalla
distanza dal valor medio nazionale».

12. La valutazione in ambito umanis0co
Da: Federico Bertoni (UniBO)

13. Judgement vs measurement

14. 2. League Tables are
fun(nnels)

15. 17 luglio 2013
L’Italia entra
nell’Europa della
valutazione
S. Fantoni (presidente ANVUR): «il Paese possiede una
fotografia de#aglia(ssima e,sopra#u#o, cer(ficata della
qualità della ricerca italiana»
M.C. Carrozza (Ministro MIUR): «Con questa giornata,
l’università italiana entra nell’Europa della valutazione»

16. Area 9: Ingegneria Industriale e dell’informazione
Area 8b: Archite:ura
MESSINA 12
MESSINA 10
MILANO
POLITECNICO 16
MILANO
POLITECNICO 13
Messina ba)e Milano Politecnico 2-0

18. Ritenta e sarai più fortunato
2017: «una valutazione accurata, rigorosa e imparziale»

19. Giavazzi: «se io ho una figlia che va
all’università e deve decidere qual è
la migliore ... va sul sito dell’ANVUR
e le vede tu=e classificate»

20. Giavazzi: «se io ho una figlia che va
all’università e deve decidere qual è
la migliore ... va sul sito dell’ANVUR
e le vede tu=e classificate»

21. ma anche nella Fisica
succedono cose strane ...

22. VQR: Kore-Enna prima in Italia nella Fisica?
D. Checchi (ANVUR): «Assurdo ma è così»

24. Andrea Graziosi (ex presidente ANVUR) spiega le
classifiche VQR: «come se l'Anvur non avesse
spiegato perché quella graduatoria "non deve essere
impiegata in nessuna circostanza per rappresentare la
reale posizione di un Ateneo"»
News 3 http://unipv.waypress.eu/RassegnaStampa/LeggiArticolo.asp...
articolo - IntraNews 3 http://unipv.waypress.eu/RassegnaStampa/LeggiArticolo.asp...
Leggi articolo - IntraNews 3 http://unipv.waypress.eu/RassegnaStampa/LeggiArticolo.asp...
Questa graduatoria non è una graduatoria

25. Il genio della lampada: esaudisco i tuoi
desideri ma ....
• Non ammazzo
• Non posso far innamorare qualcuno di
qualcun altro
• Non posso assolutamente far resuscitare i
morti e ...

26. Il genio della lampada: esaudisco i tuoi
desideri ma ....
• Non ammazzo
• Non posso far innamorare qualcuno di
qualcun altro
• Non posso assolutamente far resuscitare i
morti e ...
• Non posso stilare classifiche degli
atenei scientificamente fondate

28. Geniale, vero?

29. ANVUR non è d’accordo

30. ANVUR: «Il caso non ha
dunque nulla a che fare
con i risulta2 della Vqr»

31. “braghe(one” per
coprire le vergogne
ORIGINALE
Di MICHELANGELO
VERSIONE
CENSURATA

32. VQR ORIGINALE
(AD “IMBUTO”)
ET VOILÀ!
L’IMBUTO
NON SI VEDE PIÙ!
PARTENDO DA
100 INVECE CHE
DA ZERO
SPARISCONO 22
ATENEI SU 56
“BRAGHETTONE”
CUCITO DA
BENEDETTO &
TORRINI
+
=
BRAGHETTONE
SE INDOSSI IL “BRAGHETTONE” L’IMBUTO NON SI VEDE PIÙ!
IL “BRAGHETTONE” LASCIA
SCOPERTI SOLO 34 ATENEI SU 56
FUNNEL PLOT

33. No, non ci vuole un genio:
sono cose arcinote

35. 1996

36. Funnel plots: example
SIZE
PERFORMANCE

37. «This funnel plot clearly reveals
the bulk of the institutions as lying
within the 95 per cent limits, and in
particular emphasises that there is
no basis for ranking the
hospitals. Four hospitals might
perhaps be further scrutinized as
having high rates, but no hospital
lies outside the 99.8 per cent
limits. Such a plot suggests there
may be little to be learnt by
seeking to understand reasons for
the variability»
League Tables vs Funnel Plots

38. Non tu' i valutatori sono miopi nei confron3 degli
imbu3. GEV 01 cambia la definizione di ateneo grande-
medio-piccolo: medaglia d'oro per università del
coordinatore (e due bronzi per quelle dei coordinatori
dei sub-GEV)

39. Ok, Spiegelhalter ci ha convinto:
le classifiche sono folklore.
Però, non si può fare a meno della VQR.
AltrimenA, come divido i soldi?
A pioggia?

40. Ok, Spiegelhalter ci ha convinto:
le classifiche sono folklore.
Però, non si può fare a meno della VQR.
AltrimenA, come divido i soldi?
A pioggia?
Beh, non farebbe molta differenza ...

41. Finanziamento
VQR-based vs "a pioggia"
Solo 16 atenei su 60 ricevono
premi o punizioni superiori al
milione di euro. La metà degli
atenei (30) si discosta in alto o
in basso rispe>o alla
distribuzione a pioggia per
meno di 500mila €.

43. ... mathema(cs employed as a
rhetorical weapon—an
intellectual creden(al to
convince the public that an idea
or a process is “objec&ve” and
hence be:er than other
compe(ng ideas or processes.
This is mathema&cal
in&mida&on. It is especially
persuasive because so many
people are awed by
mathema(cs and yet do not
understand it—a dangerous
combina(on.

44. A cosa serve la valutazione?

45. 3. The Egyp+an Job

47. «Siamo agli ultimi posti nelle
classifiche mondiali. Per questo
motivo presenteremo a novembre la
riforma dell’Università, [...]
Mi auguro di non dover più vedere in
futuro - conclude - la prima
università italiana al 174mo posto»

48. 16 se&embre 2010

49. ed ecco a voi
“the gold standard in interna/onal
university performance comparisons”

52. New York Times, November 14, 2010
Alexandria’s surprising prominence
was actually due to “the high
output from one scholar in one
journal” — soon iden;fied on
various blogs as Mohamed El
Naschie, an Egyp;an academic who
published over 320 of his own
ar9cles in a scien9fic journal of
which he was also the editor.

53. ma cosa c'entrano le classifiche con la
libertà accademica e con l'e3ca?

55. Twenty Ways
to Rise in the
Rankings!

56. Twenty Ways to Rise in the Rankings (1/3)
by Richard Holmes h=p://rankingwatch.blogspot.it/2013/12/twenty-ways-to-rise-in-rankings-quickly.html
1. Get rid of students. The university will therefore do be2er in
the faculty student ra5o indicators.
2. Kick out the old and bring in the young. Get rid of ageing
professors, especially if unproduc5ve and expensive, and hire
lots of temporary teachers and researchers.
5. Get a medical school. Medical research produces a
dispropor5onate number of papers and cita5ons which is good
for the ARWU publica5ons indicator.

57. 7. Amalgamate. What about a new mega university formed by
merging LSE, University College London and Imperial College? Or
a tres grande ecole from all those li?le grandes ecoles around
Paris?
9.The wisdom of crowds. Focus on research projects in those
fields that have huge mul9 - “author” publica9ons, parDcle
physics, astronomy and medicine for example. Such publicaDons
oGen have very large numbers of citaDons.
10. Do not produce too much. If your researchers are producing
five thousand papers a year, then those five hundred citaDons
from a five hundred “author” report on the latest discovery in
parDcle physics will not have much impact.
Twenty Ways to Rise in the Rankings (2/3)
by Richard Holmes h=p://rankingwatch.blogspot.it/2013/12/twenty-ways-to-rise-in-rankings-quickly.html

58. 18. Support your local independence movement. Increasing the
number of interna1onal students and faculty is good for both the
THE and QS rankings. If it is difficult to move students across
borders why not create new borders?
20. Get Thee to an Island. Leiden Ranking has a li>le known
ranking that measures the distance between collaborators. At
the moment the first place goes to the Australian Na1onal
University.
Twenty Ways to Rise in the Rankings (3/3)
by Richard Holmes h<p://rankingwatch.blogspot.it/2013/12/twenty-ways-to-rise-in-rankings-quickly.html

59. nota: nel Ranking QS, 50% del punteggio
deriva da un sondaggio reputazionale)

61. «It is essential that the academics you
contact understand the importance of
UCC improving its University world
ranking and that they complete the
questionnaire before April 12th 2013.»

62. «Si precisa che per
“nuovi contatti”
s’intendono contatti di
livello, capaci di
esprimere un parere
positivo nei confronti
di Sapienza»
6 febbraio 2017

63. 3. Unintended(?)
consequences

64. una "gola profonda" ci ha de1o che ...

65. La valutazione induce
comportamen2 opportunis2ci?
“... certamente sì. [...] Questo è un tema ampiamente
riconosciuto nella le3eratura sulla valutazione (Pawson,
Tilley, 1997: Weiss, 1998; Stufflebeam,2001; Stufslebeam,
Shinkfield, 2007; Pawson,2013). I soggeQ valutaR
ingaggiano un vero e proprio strategic game con
l’isRtuzione che valuta, cercando di volgere a proprio
vantaggio le regole (Strathern, 2000; Dahler-Larson,
2012; Alkin, 2013)”

66. Valutazione a pun-? Abbassa la qualità
“La soluzione ado-ata in paesi come Polonia e Repubblica Ceca
si è basata su una quan8ficazione spinta dei prodo; della
ricerça, ciascuno dei quali è stato trado-o in veri e propri pun8,
la somma dei quali cos8tuisce la base di ripar8zione delle risorse.
[...] Purtroppo, come era prevedibile, questo sistema ha generato
un vero e proprio mercato dei pun8, favorendo la proliferazione
di prodo% scien+fici di scarso valore ma alto punteggio. Questo
fenomeno era peraltro già stato iden8ficato da Diana Hicks in
Australia: dopo l'introduzionedi un sistema di incen8vi basato sul
numero di pubblicazioni indicizzate,il sistema aveva reagito
aumentandoil numero ma abbassando dras+camente la
qualità.”

67. GIFT AUTHORSHIP NELLA
VQR E NELL’ASN

68. • Su ques& aspe) l’esperienza personale degli ul&mi anni è
straordinaria.
• All'indomani della VQR nel mio ateneo un dire:ore di
dipar&mento, il cui posizionamento nel se:ore scien&fico era
molto debole, ha scri:o ai colleghi diprovvedere, in vista
della successiva valutazione, a inserire come co-autori coloro
che risultavano ina)vi, cioè con un numero di pubblicazioni
inferiore al richiesto.
• Per fare un altro esempio, all'indomani della uscita dei criteri
per l’Abilitazione scien&fica ho visto con i miei occhi la
tabellina di un se:ore concorsuale nella quale veniva fa:a la
lista dei lavori so:omessi a rivista o già acce:a&, con una
ripar&zione scien&fica dei casi nei quali agli autori (tu)
giovani) sarebbe stato chiesto di aggiungere il nome di un
altro prima della pubblicazione finale, il tu:o controllato da
un ben organizzato gruppo di professori ordinari.

69. Il miracolo della mol,plicazione:
mul$ple authorship

70. Funziona meravigliosamente ...
“se A e B prima scrivevano qua1ro lavori l’anno a firma singola,
se si accordano nel diventare coautori la loro produzione
raddoppia magicamente a o1o per anno. Anche qui l’esperienza
dire2a degli ul;mi anni è interessante: ho visto cv nei quali il
numero di ar;coli per anno triplica da prima a dopo
l'Abilitazione scien;fica nazionale. Nel mio se2ore nel quale il
numero medio di autori era tradizionalmente intorno a due, ho
visto recentemente ar;coli con sei e se1e firme, di cui qua1ro di
professori associa; (che nella vita si occupano di cose
completamente diverse) e due o tre di studen; di do1orato (tra
poco riapre la Abilitazione, meglio essere pron;).”

71. Coercive cita+on pianificata per la
promozione in serie A
“Nell’area di economia, come si ricorderà, nella classificazione
delle riviste scien5fiche non comparivano riviste italiane nella
fascia A, ai fini dell’Abilitazione scien5fica nazionale. [...]
L’ANVUR ha poi aperto una procedura, svoltasi per due volte,
finalizzata alla revisione periodica del giudizio sulle riviste. [...] Si
è poi venu* a sapere che una rivista di area aziendale aveva
organizzato la richiesta di revisione con ampio an5cipo,
circolando agli autori ar5colate istruzioni su come citare gli
ar5coli della rivista stessa. Organizzando cioè una forma di
coercive cita*on pianificata, con tanto di periodico
monitoraggio deirisulta5 su Google Scholar.”

72. Un livello di complessità ulteriore:
il gioco delle cricche
“Ad un livello di complessità ulteriore si colloca il gioco delle
clique: A, B e C si accordano in modo che A citi i lavori di B, B
quelli di C e C quelli di A, “regalando” reciprocamente citazioni
non necessarie dal punto di vista scientifico. Se i protagonisti
fossero solo A e B, il gioco verrebbe facilmente scoperto. Da tre
in su,identificare una clique è una faccenda più complicata. Così
può capitare di vedere articoli che si occupano di logistica che
citano articoli di management sanitario, i quali citano articoli di
di Customer Relationship Management che alla fine
misteriosamente ritengono fondamentale citare articoli di
logistica.”

73. Infine il classico salami slicing
invece di scrivere un solo ar.colo
complesso, si scrivono numerosi ar.cole2
più cor., corrisponden. alla c.d. unità
minima pubblicabile, al solo scopo di
mol.plicare il conteggio.

74. ma chi è la nostra
“gola profonda”?

75. Andrea Bonaccorsi:
Componente del
Dire4vo ANVUR
(2011-2015)

76. e cosa conclude?
“L'e$ca accademica di un tempo
avrebbe censurato in modo irreversibile
ques$ comportamen$”
ma oggi
“Credo che l’approccio
da ado9are sia diverso”

77. e cosa conclude?
“L'e$ca accademica di un tempo
avrebbe censurato in modo irreversibile
ques$ comportamen$”
ma oggi
“questo non dovrebbe in alcun modo stupire
o indignare gli scienzia$ sociali”

78. «La chiave non è quindi
abbandonare sistemi di
governo della complessità,
ma assumere il punto di
vista dello scienziato sociale
che cerca di an:cipare non
solo le conseguenzedire<e
della propria azione, ma
anche le conseguenze
dire<e e indire<e
dell’ada<amento dei
sogge> sociali alla propria
azione, e della loro
interazione successiva.»

79. Prevenire i comportamen. opportunis.ci?
C'est très facile!
• frac.onal coun.ng al posto del full coun.ng (il peso di una pubblicazione
viene frazionato in funzione del numero di coautori),
• analisi di discon.nuità (se il numero medio di coautori aumenta
improvvisamente si può chiedere de>agliatamente conto dei contribu.
individuali).
• codici e.ci e campagne di opinione che scoraggiano comportamen.
opportunis.ci.
• manuali sui metodi di valutazione che aumen.no il grado di consapevolezza
delle possibili manipolazioni.
• se in sede di ASN si giungesse a sanzionare comportamen. opportunis.ci
come quelli denuncia. sopra, si o>errebbe un forte effe>o, simbolico e
pra.co, di dissuasione.

80. «Non esiste, a mio modo di
vedere, una evidenza
empirica robusta sul fatto che
la valutazione o anche i
sistemi di publish or perish,
inducano nel lungo periodo
effetti distorsivi permanenti
sulla ricerca. […] »
(Bonaccorsi, 2015: 170)
«Non esiste, a mio modo di
vedere, una evidenza empirica
robusta sul faGo che la
valutazione o anche i sistemi di
publish or perish, inducano nel
lungo periodo effeI distorsivi
permanenJ sulla ricerca. […] »
(Bonaccorsi, 2015: 170)

81. «The apparent endemicity of bad research behaviour is
alarming … Na:onal assessment procedures, such as the
Research Excellence Framework, incen:vize bad prac:ces»
Na:onal assessment procedures, such as the
Research Excellence Framework, incen:vize bad
prac:ces»

82. Incen%vi perversi nell’accademia
“Na$onal assessment procedures, such as the Research
Excellence Framework, incen$vize bad prac$ces”

84. Ammettiamo di riuscire a sanzionare gli opportunisti.
Ma non corriamo il rischio di discriminare
un novello Galileo o Newton?
A. Graziosi (Presidente ANVUR): «quello lì avrà il
suo premio quando diventerà lo scienziato più
famoso del mondo tra vent’anni. Dovrà ringraziare
che nel fra<empo è rimasto ricercatore e non
l’hanno bruciato vivo. Cioè, francamente, non è che
siamo tu@ Galileo e Newton.»

85. 5. The Legend of the
Great Evaluator

86. […] nulla mai è stato per l’uomo e per la società umana più
intollerabile della libertà!
Si convinceranno pure che non potranno mai nemmeno essere
liberi, perchè sono deboli, viziosi, ine, e ribelli.
[…] Essi ci ammireranno e ci terranno in conto di dèi per aver
acconsen>to, me?endoci alla loro testa, ad assumerci il carico
di quella libertà che li aveva sbigoB> e a dominare su loro,
tanta paura avranno infine di essere liberi! Ma noi diremo che
obbediamo a Te e che dominiamo in nomeTuo. […]. E in
quest’inganno starà la nostra sofferenza, poichè saremo
costreB a men>re.

87. Ci saranno miliardi di pargoli felici e centomila
mar2ri che avranno preso su di sé la
maledizione di discernere il bene dal male. […]
Tu vedrai questo docile gregge ge?arsi al primo
mio cenno ad a@zzare i carboni arden2 del rogo
sul quale Ti brucerò per essere venuto a
disturbarci. Perchè se qualcuno più di tu@ ha
meritato il nostro rogo, quello sei Tu. Domani Ti
arderò. Dixi.

88. Gli ANVUR tapes

89. A. Graziosi: Io credo sia un’illusione penosa –
scusi il termine – immaginarsi che una
qualunque comunità in qualunque momento
riesca a vedere qual è la cosa innova>va che
si fa tra dieci anni. Cioè non ci vedo perché
non è innova>va, a quel punto. Banalmente,
non è innova>va. Cioè, Galileo Galilei non
[incomprensibile] scienzia>, altrimen> non
sarebbe Galileo Galilei, non sarebbe Newton.
Se parliamo davvero dell’eccellenza, la
becchi, se la becchi …

91. Sul documento ANVUR relativo ai criteri di
abilitazione scientifica nazionale.
Commenti, osservazioni critiche e proposte di
soluzione
approvato dal Consiglio Direttivo
il 25 luglio 2011

92. Due %pi di errore
• Gli errori che possono essere commessi con il criterio della mediana
possono essere di due 2pi, di segno opposto.
• [CONDANNA DELL’INNOCENTE] Il primo errore è di escludere persone
di valore che resterebbero al di so:o della mediana, ad esempio perché
deliberatamente pubblicano poco. La storia della scienza offre una ricca
aneddo2ca in tal senso. […] Va osservato poi che nessuno dei commen2
cri2ci è stato in grado di produrre evidenza su ampi gruppi di scienzia2
che sarebbero sta2 penalizza2 nella loro carriera dalla adozione del
criterio della mediana.
• [ASSOLUZIONE DEL COLPEVOLE] Siamo dunque al secondo 2po di
errore: che il criterio della mediana consenta di selezionare studiosi che
hanno solo prodo:o numerosi lavori, ma di bassa qualità. Questo
errore è più serio, sopra:u:o per le candidature alla abilitazione dei
giovani studiosi.

93. Scendiamo nel concreto
• Caso del professore di informa/ca che vuole studiare le
come i Big Data minacciano la democrazia, indagando al
confine con le scienze giuridiche, la sociologia, etc
• Ca;vo scienziato per Anvur (pubblica fuori se?ore o in
riviste che non stanno nel primo quar/le)
• Scoraggiato e punito. Se insiste – e non muore di fame –
tra 20 anni verrà apprezzato (forse)
• Ma questo /po di scommessa scien/fica è ciò di cui
avremmo bisogno adesso

94. Freedom?
We cannot afford it
If evalua5on does not
exists everything is
allowed

95. Andrea Graziosi (Vicepresidente ANVUR):
«Questo sistema - questo io lo dico senza
tema di smen2ta - è andato alla deriva, a par2re
dagli anni ’70-’80 [...] Sono aumentate le
università, sono decuplica2 i docen2, ad un certo
punto, grosso modo»
16 marzo 2016
Forum al MaBno di Napoli

96. Andrea Graziosi (Vicepresidente ANVUR):
«Questo sistema - questo io lo dico senza
tema di smen2ta - è andato alla deriva, a par2re
dagli anni ’70-’80 [...] Sono aumentate le
università, sono decuplica2 i docen2, ad un certo
punto, grosso modo»
16 marzo 2016
Forum al MaBno di Napoli

97. OPERATING
EXPENSES 2012
FONDO FINANZIAMENTO
ORDINARIO 2012
MILIARDIDIEURO
LE “OPERATING EXPENSES” DI HARVARD E YALE AMMONTANO AL 75%DEL FONDO
DI FINANZIAMENTO DELL’INTERO SISTEMA UNIVERSITARIO STATALE ITALIANO
TOTALE: ~ 33.000 STUDENTS TOTALE: ~ 1.600.000 STUDENTS

100. COME PREVISTO, LA TURCHIA
CI HA DAVVERO SUPERATO

102. L’ITALIA È
L’OTTAVO
“PRODUTTORE”
MONDIALE DI
CONOSCENZA
SCIENTIFICA

104. Pubblicazioni scien-fiche vs cos- dei migliori atenei di ogni nazione
(Da-: ARWU ranking)

105. Pubblicazioni scien-fiche vs cos-:
confronto tra campioni nazionali e atenei italiani
(Da-: ARWU ranking)
PENDENZA DELLA RETTE = PRODUTTIVITÀ
ATENEI ITALIANI:
MEDIAMENTE
PIÙ PRODUTTIVI

106. UK and Italy showed significant growth to rank fourth behind
the UK.
Figure 6.3 — Articles (Higher Education sector) per million USD HERD for UK and comparators,
2010-2014. HERD values are in 2010 prices. The 2014 HERD value for the US is extrapolated from the
OECD data. UK ranking in EU28 is amongst 22 (of 28) countries with available data. Higher Education
also engages in research. Source: Scopus and OECD MSTI 2015/2.
articles(highereducationsector)
permilliondollarsherd
0
2
4
6
8
10
12
14
16
18
20
2010 2011 2012 2013 2014
Canada
China
France
Germany
Italy
Japan
South Korea
UK
US
Russia
Pubblicazioni scien-fiche per MLN dollari

107. Figure 6.4 — Citations (Higher Education sector) per million USD HERD for UK and comparators,
2010-2014. HERD values are in 2010 prices. Each data point corresponds to articles published in the
year shown. That is, the data point for 2010-2014 corresponds to 2010 articles and citations to these
in the period 2010-2014, divided by 2010 HERD. UK ranking in EU28 is amongst 22 (of 28) countries
with available data. Source: Scopus and OECD MSTI 2015/2.
citations(highereducationsector)
permilliondollarsherd
0
20
40
60
80
100
120
140
160
180
2006-2010 2007-2011 2008-2012 2009-2013 2010-2014
Canada
China
France
Germany
Italy
Japan
South Korea
UK
US
Russia
Citazioni per MLN dollari

108. 6. The Queen's ques-on

110. «Why did
nobody
no*ce it?»
La domanda
della Regina

111. La domanda della regina (Elisabe1a)
• «Why did nobody no*ce it?» (Come mai nessuno si è
accorto di tu8o ciò?)
• A seguito del crollo della Lehman Brothers, la sovrana
d’Inghilterra rivolse la famosa domanda agli economis* della
London School of Economics,
• Il conformismo accademico indo8o da certe forme di
valutazione ha for* ricadute sulle poli*che economiche e
impedisce che emergano le soluzioni migliori. TuK i
consiglieri economici la pensano uguale, ma non c’è stato un
libero confronto di idee. Semplicemente, la scuola
dominante si autoriproduce e causa l’es*nzione delle altre

115. Non solo scienza economica …

116. Bibliometrics vs peer review:
do they agree?
Ovvero: cosa succede se il
valutatore fa anche lo scienziato?

117. Ma è lecito mescolare peer review
e bibliometria?

118. GEV01
GEV02
GEV03
GEV04
GEV05
GEV06
GEV07
GEV08
GEV09
GEV13
Conclusioni tu8e uguali

119. Facciamo uno zoom
sul Rapporto di
Area 09

120. Rapporto
di Area 09
ma la concordanza è più che adeguata o moderata?

121. Facciamo uno zoom
sul Rapporto di
Area 09
Mancano degli spazi.
Non è che il rapporto dell’area 09 (quella con la concordanza peggiore),
ha subito una correzione “last minute” per uniformarlo agli altri rapporB,
con una sosBtuzione che richiedeva più caraEeri?

123. Therefore:
‘‘the agencies that run these evaluations
could feel confident about using
bibliometric evaluations and interpret the
results as highly correlated with what they
would obtain if they performed informed
peer review’’ (Bertocchi et al. 2015)
Is this true?

125. Therefore:
“results of the analysis relative to the degree
of concordance and systematic difference
may be considered to validate the general
approach of combining peer review and
bibliometric methods” (Ancaiani et al. 2015)
Is this true?

126. Dal 2014 abbiamo tentato di
replicare l’esperimento
• ANVUR non fornisce i da< necessari
(mail 10/2/2014 a Presidente Fantoni)

127. Da# chiusi,
concordanza non replicabile

130. «K is always statistically different from zero, showing that there is a
fundamental agreement among the two distributions which may not be
attributed to mere chance, regardless of the weight used to calculate the
differences among the two distributions. The value of K ranges from 0.16
to 0.61 depending on the area and weights, being on average equal to
0.32, a value that is usually considered as ‘poor to fair’ in the literature
(Landis and Koch 1977).»

131. moderate
moderate
unacceptable
unacceptable
fair to good
Concordanza?

132. E negli altri GEV come va?

133. 1
2
3
4
5

134. Protocollo 5X5 vs. protocollo 4X4
valori bassi
di kappa non
pubblicati da
ANVUR

136. Errori inspiegabili nella replica di Ancaiani et al.
ERROR:
47.583?
Popula2on: 86.998
ERROR:
ERROR
7,597

138. ANVUR e la gius.ficazione della
poli.ca italiana per la ricerca
Why this extraordinary dissemina/on effort was produced by
scholars working for ANVUR?
Probably because the publica/on in scholarly journals represent
an ex-post jus/fica/on of the unprecedented dual system of
evalua/on developed and applied by ANVUR.
The metodology and results of the research assessment are
jus/fied ex-post by papers wriHen by scholars that have
developed and applied the methodology adopted by the Italian
government.
Moreover, the results of these papers cannot be replicated
because the data were not made available to scholars other than
those working for ANVUR.

139. Poli%ca vaccinale
Government prescribes a new mandatory vaccine in compliance with the
recommenda5on of a report issued by an agency such as the Food and Drug
Administra5on.
A couple of years a=er the mandatory adop5on, scholarly journals publish
ar5cles, authored by members of the FDA commi@ee that issued the report.
Although not declared, these ar5cles reproduce contents and conclusions of
the FDA report, thus providing a de facto – though ex post - scien5fic
jus5fica5on of the report itself.
When independent scholars ask data for replica5ng results, the agency does
not reply or, alterna5vely, denies the data alleging that they are confiden5al.
Fortunately, this is not the way health decisions are usually taken.

140. [CAESAR NON EST SUPRA GRAMMATICOS] Lo stato, nel saggio
sull’Illuminismo [di Kant], cerca di interferire nella ricerca o
presentando i propri agen8 come pari nella conversazione scien8fica o
usando dire<amente il proprio potere per imporre il primato di una
scuola di pensiero.
Al primo 8po di interferenza si può rispondere come il vescovo
Piacenzio rispose a Sigismondo del Lussemburgo, il quale, non
gradendo di essere corre<o per i suoi errori di la8no, si pretendeva
superiore alla gramma8ca perché imperatore del Sacro Romano
Impero: Caesar non est supra gramma;cos. […]
Se lo stato sceglie il secondo corno del dilemma, farà valutare la
ricerca offrendo l’uso della sua spada agli studiosi più propensi ad
assecondarlo. O<erremo, così …
Pievatolo su Bonaccorsi

141. … una scienza di stato che non solo conterrà
e imporrà - come nelle pagine più buie della
storia del Novecento - errori di stato, ma
sarà anche sistema:camente d’ostacolo a
ogni libero e serio diba<to scien:fico

142. 7. Brecht's Galileo

143. Vita di Galileo (Brecht)
• Anche un venditore di lana, per quanto abile sia ad
acquistarla a buon prezzo per poi rivenderla cara,
deve preoccuparsi che il commercio della lana
possa svolgersi liberamente. Non credo che la pra9ca
della scienza possa andar disgiunta dal coraggio.
• Se gli uomini di scienza non reagiscono
all'in9midazione dei poten9 egois9 e si limitano ad
accumulare sapere per sapere, la scienza può rimanere
fiaccata per sempre, ed ogni nuova macchina non sarà
fonte che di nuovi triboli per l'uomo.
• … così stando le cose, il massimo in cui si può sperare è
una progenie di gnomi inven1vi [=operatori della
ricerca], pron9 a farsi assoldare per qualsiasi scopo.