L’European Research Council (ERC) è stato fondato nel 2007 con lo scopo di finanziare ricerca di punta in Europa, in particolare ricerca ad alto rischio ma potenzialmente ad altissimo ritorno (high-risk/high-gain). Ricercatori di tutte le discipline possono applicare al programma per intraprendere ricerche alla frontiera della conoscenza, con il solo vincolo di dover lavorare in uno dei paesi dell’Unione Europea o in paesi associati. I ricercatori possono competere per quattro livelli, Starting, Consolidator e Advanced grant, in funzione della loro anzianità, e Synergy dove sono finanziate ricerche interdisciplinari presentate da due o tre Principal Investigator (PI). I progetti sono selezionati da commissioni di pari (peer review panels) sulla base dell’eccellenza del progetto e del PI che lo ha presentato. I progetti di ciascun livello sono divisi in 25 peer review panels, che fanno parte di tre macro-aree: Scienze della Vita, Scienze Fisiche e Ingegneria, Scienze sociali e umane. Dulcis in fundo, il livello di risorse messo a disposizione è altissimo, 13.1 miliardi di Euro per il periodo 2014-2020, che saliranno a circa 16 miliardi di Euro nel periodo 2021-2027. I progetti possono durare da quattro a cinque anni e ricevono fino a circa un milione di Euro l’uno per gli Starting grant, circa 2.5 milioni di euro per gli Advanced grant, e circa 15 milioni di Euro per i Synergy grant. D’avvero un programma modello: 1) scopo di alto livello, finanziare solo scienza che può produrre grandi avanzamenti (high risk-high gain), e quindi non scienza incrementale; 2) la selezione vuole essere puramente meritocratica; 3) grande quantità di fondi investiti nell’impresa. Per costruzione è un sistema che finanzia progetti di breve/medio termine.
Sulla base dei tre indicatori citati sopra l’ERC è probabilmente il modello di competition-driven science migliore al mondo, sicuramente lo è tra quelli di cui io abbia una qualche esperienza, e cioè tra quelli in funzione in Europa (incluso il Regno Unito) e negli Stati Uniti. Se vogliamo avere un’idea dell’impatto della scienza competition-driven, è quindi naturale chiedersi se gli alti scopi che sono alla base della costituzione dell’ERC siano stati poi effettivamente raggiunti, o comunque quale sia l’impatto sui paesi Europei di un investimento così cospicuo su ricerca di base. Che il sistema abbia prodotto alcune ricerche di altissimo livello, anche a livello di premio Nobel, è sicuro. Un esempio per tutti, la prima immagine di un buco nero super-massiccio ottenuta dal team vincitore di un ERC Synergy grant del 2015 (ne abbiamo discusso in dettaglio nel capitolo precedente). La domanda che ci si può però porre è se il sistema ERC sia riuscito e riesca nella maggior parte dei casi a finanziare scienza che può produrre grandi avanzamenti.
Il sistema ERC si basa sulla valutazione qualitativa dei progetti da parte di referee e di peer review panels. Di conseguenza, lo stesso ERC nel corso degli anni si è posto il problema di verificare quali siano i risultati del programma, sia da un punto di vista quantitativo che qualitativo, usando lo stesso approccio. Nel 2015 ERC pubblica il report, Comparative scientometric assessment of the results of ERC funded project[1], nel quale cerca di rispondere, in maniera quantitativa, a tre questioni fondamentali:
- Il sistema ERC basato sulla peer review è davvero in grado di selezionare i migliori candidati tra quelli che hanno sottomesso una proposta?
- I fondi investiti dall’ERC sui candidati vincenti hanno aiutato a migliorare la produzione scientifica e l’impatto dei ricercatori vincenti?
- Il sistema ERC funziona meglio o peggio di altri sistemi di finanziamento di ricercatori europei o statunitensi?
La prima domanda viene affrontata confrontando la produzione scientifica dei vincitori di un ERC con quella di chi ha presentato domanda ma non è stato selezionato. I ricercatori non selezionati sono divisi in due gruppi, quelli che hanno avuto accesso al secondo livello di selezione, e quelli che sono stati respinti direttamente al primo livello. In generale, il primo livello di selezione è effettuato dai peer review panels, sulla base di una presentazione della proposta sintetica, cinque pagine, e del curriculum vitae del ricercatore. Le proposte che passano questa prima selezione sono poi analizzate nella loro forma completa (15 pagine), sia da parte dei peer review panels che da parte di referee esterni esperti nella specifica materia trattata dalla proposta, individuati sempre dai peer review panels. Per quantificare la produttività scientifica dei ricercatori sono utilizzati diversi indicatori, il più rilevanti dei quali sono probabilmente l’Average of Relative Citation (ARC[2], e la percentuale dei lavori di ogni ricercatore che applica per un ERC tra il 5% dei lavori con il numero maggiore di citazioni (i lavori con l’impatto più grande). Analizzando i risultati degli anni dal 2007 al 2011 inclusi il risultato è che in media i vincitori di un ERC hanno sia ARC che una percentuale di lavori nel migliore 5% maggiore sia di chi è stato ammesso al secondo livello di selezione ma non finanziato, sia di chi è stato escluso direttamente al primo livello. Questo però non è vero per tutte e 25 le aree di ricerca in cui è diviso il programma ERC. Per sette aree di ricerca i ricercatori con la migliore produttività sono quelli esclusi al secondo livello e per una area addirittura quelli esclusi al primo livello (scienze sociali e umani, quinta area). Non posso non notare che l’area di ricerca che mi riguarda (Astronomia e Astrofisica, PE9) è tra quelle per le quali i ricercatori con la migliore produttività non sono i vincitori ma quelli esclusi al secondo livello di selezione.
La seconda domanda viene affrontata valutando la produzione scientifica dei vincitori di un ERC prima e dopo la vincita. Qui il risultato è assolutamente non scontato. Mentre il numero di lavori pubblicati dopo la vincita di un ERC grant è sempre maggiore di quelli pubblicati prima, l’ARC dei lavori pubblicati dopo la vincita non è significativamente maggiore dell’ARC dei lavori pubblicati prima. Solamente in una delle 10 aree in cui è divista la macro area di scienze fisiche e ingegneria l’ARC dei lavori dopo la vincita di un grant è maggiore di quello dei lavori precedenti. Lo stesso risultato si evince analizzando la percentuale dei lavori pubblicati dai vincitori tra il migliore 5% della particolare area. La conclusione che onestamente gli autori dello studio raggiungono e scrivono nelle conclusioni è che “… i dati bibliometrici non forniscono evidenza di un impatto significativo del finanziamento ERC sulla produzione scientifica dei vincitori sia da un punto di vista quantitativo che qualitativo”.
La terza domanda viene affrontata confrontando la produzione scientifica dei vincitori di un ERC con quella dei vincitori di grant da parte di altre agenzie ed enti di finanziamento europei e statunitensi. Il risultato è che la produttività dei vincitori di ERC nella macro-area Scienze Fisiche e Ingegneria è migliore di quella dei vincitori di grant della National Science Foundation (NSF) statunitense, mentre per la macro-area Scienze della vita la produttività dei vincitori di ERC è simile a quella dei vincitori di grant del National Institute of Health (NIH) statunitense, e minore di quelli dell’Howard Hughes Medical Institute.
Nel 2018 l’ERC ha pubblicato il rapporto Qualitative evaluation of completed projects funded by the ERC[3]dove si analizzano i risultati di 155 progetti ERC completati, e si vuole valutare se questi progetti hanno raggiunto lo scopo di produrre scienza di alto livello. I progetti sono stati valutati da pannelli di tre membri ciascuno, due dei quali avevano fatto precedentemente parte di peer review panels. Ai valutatori è stato chiesto di raggruppare i progetti in quattro categorie: 1) scientific breakthrough; 2) avanzamento molto significativo; 3) contributo incrementale; 4) nessun contributo apprezzabile. Il risultato globale è stato che il 25% dei progetti è stato valutato nel grado migliore, progetti che hanno prodotto veri e propri breakthrough nel loro campo, il 48 % nel secondo grado, progetti che hanno prodotto avanzamenti molto significativi, e il 26% nel terzo grado, risultati incrementali (il rimanente 1% non ha prodotto risultati apprezzabili). Ai valutatori e’ stato anche chiesto di rispondere ad altre nove domande, tra cui un paio mi sembrano molto interessanti, perché possono produrre informazioni anche per la discussione che seguirà: Q2) Sono stati in grado i risultati ottenuti di aprire nuovi campi di investigazione, oppure di formulare nuove domande aperte, o addirittura di provocare un cambiamento di paradigma (in sostanza l’indicatore che ho usato nel diagramma di Kalbach relativo all’impatto scientifico discusso nel capitolo precedente); Q6 il progetto in esame è davvero un progetto high-risk/high-impact?. Circa la prima domanda, quasi il 60 % dei progetti analizzati è stata valutato come capace di aprire nuove prospettive di ricerca nel particolare campo di applicazione, il 15% addirittura fino a un livello eccezionale. Circa la seconda domanda, poco più del 50% dei progetti analizzati è stato valutato nella categoria high-risk/high-gain. È interessante notare che una frazione significativa dei progetti valutati high-risk/high-gain (circa il 30%) ha prodotto risultati incrementali o addirittura nessun risultato. Come ci si può aspettare, se un progetto è rischioso per definizione può alla fine produrre anche un fallimento.
Nel complesso, i risultati del secondo rapporto analizzato sembrano essere in contraddizione con quelli del primo. Il 73% dei progetti analizzati è stato valutato come promotore di avanzamenti scientifici molto significativi. Che però, secondo il primo rapporto, non producono risultati che sono significativamente migliori di quelli raggiunti dai ricercatori prima della vincita del grant (e in diversi casi non sono migliori dei risultati raggiunti dai ricercatori che non arrivano a vincere un grant). Una differenza fondamentale tra i due rapporti è che il primo è basato su dati oggettivi, il secondo su dati soggettivi, per di più da parte di valutatori che nella maggior parte dei casi hanno fatto parte dei pannelli che hanno selezionato le proposte vincenti. Sembra naturale che una persona che ha valutato una proposta come vincente, poi voglia tenere il punto e non contraddirsi valutando poi i risultati come scadenti. Una valutazione più obiettiva potrebbe essere ottenuta arruolando valutatori dei risultati di progetti conclusi realmente indipendenti, completamente esterni sia ai peer review panels che al sistema ERC in generale.
E’ necessario sottolineare e commentare i risultati oggettivi del primo report. Per farlo, è utile contestualizzare il discorso e arricchirlo di qualche altro dato, sempre fornito da ERC stesso. Durante il ciclo Horizon 2020 (2014-2020) sono stati assegnati 7567 grants (mancano al totale solo gli advanced grants 2020, la ragione sarà chiara nel seguito). Di questi, 835 sono andati in Francia, 1208 in Germania, 1367 nel Regno Unito e 426 in Italia. Tradotto in Euro, significa che circa 1,4 miliardi di Euro sono andati in Francia, circa 2 miliardi sono andati in Germania, circa 2,3 miliardi di Euro sono andati in UK e solo 730 milioni di Euro sono venuti in Italia. Il differenziale con la Francia o la Germania, tra 700 milioni di Euro e un miliardo di Euro corrisponde piu’ o meno a tutti i fondi investiti in Italia da MIUR prima e dal MUR poi nei progetti PRIN. O circa 100-130 milioni di Euro l’anno, ovvero tra il 6% e il 10% del Fondo di Funzionamento Ordinario di tutti gli enti di ricerca in Italia.
Per non rischiare di parlare di cose che conosco poco mi limiterò a discutere solamente dati relativi alla macro-area di Scienze Fisiche e Ingegneria (PE) o alla sottosezione di Astronomia e Astrofisica (PE9). Dal 2007 al 2019 inclusi sono stati assegnati in PE un totale di 4418 grants, 2079 starting, 1003 consolidator, 1336 Advanced. Per PE9 i numeri sono 340 grants in totale, 139, starting, 92 Consolidator, 109 advanced. La tabella che segue riporta la divisione dei grant per nazione
| Italia | Francia | Germania | UK | Olanda | Spagna | Tot | |
| Proposte PE nel paese | 4638 | 4338 | 4931 | 6495 | 1844 | 3226 | 38818 |
| Vincitori PE nel paese | 261 | 643 | 603 | 796 | 334 | 252 | 4418 |
| % vincitori PE/ proposte | 5.6 | 14.8 | 12.2 | 12.2 | 7.6 | 7.8 | 11.4% |
| % vincitori PE nel paese | 5.9 | 14.6 | 13.6 | 18.0 | 7.5 | 5.7 | |
| Proposte PE9 nel paese | 296 | 375 | 384 | 782 | 161 | 200 | 2957 |
| Vincitori PE9 nel paese | 21 | 58 | 44 | 87 | 34 | 12 | 340 |
| % vincitori PE9 / proposte | 7.1 | 15.4 | 11.4 | 11.1 | 21.1 | 6.0 | 11.5% |
| % vincitori PE9 nel paese | 6.2 | 17.1 | 12.9 | 25.6 | 10.0 | 3.5 |
La prima costatazione che si può fare è molto ovvia. Il sistema ERC è davvero un sistema competitivo! In media solo 1 proposta su 9 riesce ad arrivare al finanziamento.
L’Italia è riuscita ad accaparrarsi solo il 5.9 % dei grant distribuiti in PE (6.2% in PE9), una frazione esattamente la metà della media, e circa 2-3 volte minore di quella di Francia, Germania e UK, e una frazione simile a quelle di Olanda e Spagna. Il numero totale di proposte sottomesse è stato però simile a quello di Francia e Germania, e solo poco minore a quello delle proposte UK. Il che è di per se una cosa rimarchevole, dato il minor numero totale di ricercatori in Italia rispetto a queste nazioni, vedi capitolo 3. Quindi, la probabilità che un ricercatore italiano ottenga un grant è circa un terzo rispetto al ricercatore Francese e la metà rispetto al ricercatore Tedesco o della Regno Unito. Numeri abbastanza simili si applicano al settore PE9.
E veniamo agli Advanced Grant 2020. In questa tornata nella categoria PE, Physics & Engineering sono stati assegnati 93 grant (da circa 2Meuro l’uno, quindi un totale di circa 180 milioni di euro. Di questi 93 Grant 18 sono andati in Germania, 14 in Francia e 17 nel Regno Unito. E in Italia? L’Italia non c’e’. ZERO grant italiani. Cioe’ mentre nei paesi citati sono confluite cifre dell’ordine di 20-30 milioni di euro, in Italia non è arrivato neanche un centesimo. Possibile?
In fisica in generale, e anche in astrofisica e fisica dello spazio l’impatto e la rilevanza della comunità italiana, misurato come articoli e citazioni su riviste con referee, è simile a quello dei ricercatori Francesi, e poco minore di quello dei ricercatori Tedeschi e del Regno Unito, certamente non di fattori 2-3. E’ necessario quindi spiegare in un altro modo la apparente minore capacità italiana di accedere ai finanziamenti ERC rispetto ai colleghi Francesi, Tedeschi e del Regno Unito. Ci sono almeno tre aspetti che vanno considerati a questo riguardo.
Il primo è che i numeri in tabella si riferiscono ai vincitori che eleggono come loro sede di ricerca una data nazione. E Il numero di vincitori italiani che elegge come sede di lavoro un istituto o università straniero è maggiore del numero di vincitori stranieri che elegge come sede un istituto o una università italiana. Ad esempio, nella lista Advanced Grant 2020 ci sono 6 italiani, che però hanno scelto una università o un istituto fuori dall’Italia per svolgere le loro ricerche. Questo fattore incide per circa il 20-50%, e quindi non spiega completamente differenze del 200-300%.
Il secondo elemento da considerare è la composizione delle commissioni di valutazione. Per fare un esempio, tra il 2008 e il 2019 ci sono state 12 commissioni di valutazione per il settore PE9 Avanced Grant per un numero complessivo di 145 “sedie” (da 11 a 13 membri per commissione per anno). Il numero complessivo di ricercatrici e ricercatori coinvolti è stato 57, solo 57 scienziati hanno contribuito a valutare 968 proposte e assegnare 109 grants nel corso di 12 anni. E tra questi 57 scienziati 7 sono italiani, ma solo tre lavorano in Italia, una frazione decisamente molto bassa.
Ma il dato più importante probabilmente è un altro. Il ricambio medio tra una commissione e la seguente è stato del 28%, cioè di circa 3 persone su una commissione di 11-12 membri. Le commissioni certamente si avvalgono di referees, ma solo dopo un primo step di selezione che viene appunto effettuato autonomamente dalle commissioni. Le proposte che raggiungono il secondo step sono in media tra il doppio e il triplo di quelle finanziate, quindi dato il rapporto tra proposte finanziate e sottomesse che circa uno a nove, la commissione in media rigetta al primo step la maggior parte delle proposte, tra il 65% e l’80%. Queste proposte sono viste solo dalla commissione, e sono analizzate nel dettaglio solo dai pochissimi membri della commissione che sono esperti della materia trattata nella proposta. E i referee sono scelti sempre dalle commissioni. In conclusione, tra poche e pochissime persone analizzano e giudicano le proposte, e queste persone sono state per lo più le stesse negli ultimi 12 anni (almeno per quello che riguarda gli advanced grant PE9). Un sistema che ricorda molto l’oligarchia. E in questo sistema evidentemente gli italiani non brillano particolarmente per capacità di vincere grant, comunque brilliamo molto meno dei nostri colleghi del regno unito o di Francia e Germania.
Quale che sia la ragione per cui i ricercatori italiani riescono a portare nei nostri istituti finanziamenti 2-3 volte minori dei colleghi di questi paesi quando sottomettiamo un numero analogo di proposte e quando l’impatto scientifico dei nostri lavori e sostanzialmente simile a quello dei nostri colleghi europei, mi sembra evidente che sia assolutamente necessario lavorare per ridurre ed eliminare questa penalità, che è utile ripetere si aggira tra le molte centinaia di milioni di euro e il miliardo di euro in 7 anni e che si aggiunge beffardamente al fatto che in UK, Francia e Germania il finanziamento nazionale per la ricerca è maggiore di quello italiano. Il problema è probabilmente di sistema, sia della nostra limitata capacità di far attivamente parte dell’oligarchia di cui sopra, sia della mancanza di supporto attivo ed efficace ai ricercatori che scrivono proposte (un supporto che specie nel Regno Unito è fortissimo, ed è forte anche in Francia e Germania). Investire di più e meglio per aumentare quantità e qualità del supporto alle proposte italiane sarebbe una strategia win-win sia per il Ministero dell’Università e della Ricerca, sia da parte delle Università e degli enti di ricerca, perché’ moltiplicando le entrate esterne potrebbero meglio e più efficientemente investire i limitati fondi interni (come avviene nel Regno Unito, vedi capitolo 2).
Che l’Italia paghi una grossa penalità (100-130 milioni di euro l’anno) nel contesto dei finanziamenti ERC è un fatto facilmente accertabile, basta guardare i numeri. Perché’ il MUR, le Università e gli enti di ricerca non intervengano con politiche efficaci per invertire la tendenza è molto più difficile da capire, non si possono usare semplicemente i numeri. Voglio lo stesso azzardare un paio di possibilità. Per quello che riguarda il MIUR prima e il MUR oggi è un fatto che i ministri che si sono succeduti negli ultimi 15 anni per vari motivi sono riusciti a rimanere nella posizione solo per poco tempo, uno o due anni. Mettere in pratica una politica nazionale efficace di supporto ai ricercatori richiede probabilmente molto più tempo. Purtroppo l’Università e la ricerca in Italia sono cenerentole del gran ballo della politica, e i problemi esposti in questo capitolo sono solo una parte di quelli che affliggono ogni neo ministro o ministra all’insediamento. Circa gli enti di ricerca non voglio parlare di quelli che non conosco direttamente e quindi posso esprimere un parere solo sull’INAF nel quale lavoro. Il supporto nella preparazione delle proposte è solo amministrativo, molto lontano come quantità e qualità da quello che succede negli istituti e nelle Università europee. Investire per creare un supporto adeguato è ovviamente possibile ma non è mai stato fatto con convinzione. Ma c’è di peggio. Quello che normalmente succede nel mio istituto e le future vincitrici e vincitori che lo indicano come istituto di riferimento in fase di proposta, poi una volta portato a casa il grant sistematicamente migrano verso una Università. Il motivo è banale, ed è la molto migliore possibilità di carriera nelle Università. E’ sicuramente vero che questo è un problema comune anche agli altri enti di ricerca italiani, ma pure vero che nel mio istituto non si è fatto sistematicamente nulla negli anni per attrarre i vincitori di ERC, non è semplice ma possibile, la realtà è che questa non è mai stata una priorità.
In tutti i casi, a prescindere dalla capacità o incapacità italica, volontà o disinteresse nostrano ad attrarre finanziamenti ERC, un maggiore ricambio delle commissioni valutatrici non può che essere utile, e quindi auspicabile, anche per garantire che temi di ricerca nuovi non vengano penalizzati da panel conservatori, e quindi che il sistema ERC davvero riesca a finanziare per lo più progetti high-risk/high-gain.
[1]https://erc.europa.eu/sites/default/files/document/file/ERC_Bibliometrics_report.pdf
[2]ARC, il numero di citazioni di ogni lavoro è normalizzato per la media del numero di citazioni ricevute da tutti i lavori dello stesso anno e dello stesso campo. L’ARC è quindi una misura dell’impatto di ogni lavoro, relativamente al sui campo
[3] https://erc.europa.eu/content/qualitative-evaluation-completed-projects-funded-european-research-council-2018
Prossima pubblicazione: 12 La tempesta perfetta: esiste una crisi del modello occidentale per la ricerca di base?