28 agosto 2011

RICERCA. Vera la crisi di fondi, ma non il “crollo” delle pubblicazioni scientifiche

Pubblicazioni scientifiche italiane dal 1996 al 2010 (Scimago 2011)Lo studio (consultabile qui nel testo completo) di C. Daraio e H. Moed sullo stato della ricerca scientifica in Italia pubblicato su Research Policy (“Is Italian science declining?”), e ripreso e rilanciato con tipica enfasi da Repubblica, a firma di Corrado Zunino, ha messo a rumore il mondo scientifico italiano facendo gridare allo scandalo anche noi (v. articolo precedente).

Ora, però, un pignolo ricercatore italiano abituato a controllare le valutazioni delle pubblicazioni scientifiche internazionali, messo in sospetto dall’anomalo dato, mai osservato prima, di un “crollo” improvviso del 20% in un anno nella produzione scientifica, è andato a riguardare i dati delle pubblicazioni sulle banche dati, e con i metodi più professionali. E che cosa ha scoperto? Che, pur essendo fondato il grido d’allarme sulla ricerca italiana, il dato esibito dalla Daraio o dalla Repubblica delle “12 mila pubblicazioni in meno in un anno” è semplicemente sbagliato. Un errore. Tutt’al più, meno d’un migliaio (876) di studi citabili in meno nel 2010 rispetto al 2009. E il ricercatore si spinge anche a ipotizzare come la studiosa italiana sia potuta cadere in questo errore. Naturalmente, pur condividendo in toto le consuete giuste lamentele sullo scarso appoggio dei Governi alla ricerca scientifica italiana, tiriamo un (piccolo) sospiro di sollievo: almeno il dato apocalittico del “crollo” improvviso degli studi pubblicati è inesistente. Basta vedere la tabella. Restano i gravi problemi di sempre, certo. E complimenti vivissimi al ricercatore che nel suo blog fornisce le prove della sua ricerca sulla ricerca. Lo riportiamo con orgoglio, pur con l’ausilio di una sola tabella, vista la lunghezza dell’articolo. L’articolo integrale della contro-ricerca è visibile qui. Un caloroso evviva ai ricercatori italiani e un grazie in particolare a De Nicolao!  NICO VALERIO

 

LA CONTRO-RICERCA DI DE NICOLAO
“Da circa un anno mi interesso di valutazione della produzione scientifica internazionale e non ho mai visto un calo del 20% in un anno della produzione scientifica di una nazione. Come osservato anche da Pietro Greco, una tale “catastrofe” è interpretata da molti come l’esito inevitabile di politiche miopi e fallimentari. Tuttavia, il dato è così anomalo e in contraddizione con le mie informazioni precedenti che non ho potuto fare a meno di procedere ad una verifica.

La fonte dei dati forniti dalla Daraio è il Web of Science (WoS) della Thomson Reuters. Insieme al database di Scopus (Elsevier), il WoS è la fonte standard da cui vengono ricavate le statistiche sulla produzione scientifica delle nazioni. Le due fonti non danno risultati identici e non c’è consenso condiviso su quale considerare più affidabile. Tuttavia, su dati aggregati esiste una forte correlazione tra i risultati forniti da Scopus e WoS. Per fare un esempio la scelta del database non influenza la classifica delle nazioni scientificamente più produttive. L’accesso ad entrambe le basi dati richiede un abbonamento. Per nostra fortuna, esiste un agenzia di “ranking scientifico”, SCImago che elabora dei veri e propri “Country Rankings” basati sui dati di Scopus e li rende liberamente consultabili in rete.

Ho svolto la mia verifica in tre passi.

Primo passo: confrontiamo le fonti. Prima di tutto ho consultato la scheda sui dati della produzione scientifica italiana messi a disposizione da SCImago. Per comodità riporto il grafico dei documenti scientifici dal 1996 al 2010 [qui non riportato. V. originale nel link, NdR] e la parte della tabella contenente i numeri dei documenti, dei documenti citabili e della percentuale mondiale.

Saltano all’occhio due cose:
1. Non c’è alcuna traccia di tracollo nel raffronto tra 2009 e 2008. Sia i documenti che i documenti citabili crescono dal 2008 al 2009, come pure la percentuale di documenti italiani sul totale mondiale che, anzi, raggiunge il massimo di tutti i tempi (3.41%). È interessante notare che sia i documenti che i documenti citabili sono sempre cresciuti dal 1998 in poi, con l’eccezione dei documenti citabili del 2010 (pari a 64.667) che sono inferiori a quelli del 2009 (pari a 65.543). Pur non essendo un tracollo, è forse un primo segno di frenata? Lasciamo per ora in sospeso la questione.

2. I numeri forniti da SCImago, la cui fonte è Scopus, sono decisamente maggiori di quelli della Daraio, che provengono da WoS. Per fare un esempio, nell’articolo di Repubblica si parla di 52.496 articoli nel 2008, mentre la tabella di SCimago riporta 62.393 documenti citabili. La discrepanza non è sorprendente in considerazione della diversa copertura dei due database, che però hanno una larga parte di dati in comune. Per quest’ultima ragione, un tracollo superiore al 20% in uno dei due database non può essere completamente invisibile nell’altro.

Il primo passo della verifica evidenzia un’anomalia apparentemente inspiegabile, dato che è per la prima volta che vedo due fonti come WoS e Scopus in stridente contraddizione tra di loro.

Secondo passo: l’origine dell’errore. Considerato l’esito del primo passo, ho voluto verificare il dato della produzione scientifica italiana relativo al 2009, che secondo l’articolo di Repubblica, evidenzierebbe un calo superiore al 20% rispetto all’anno precedente. Usufruendo dell’abbonamento del mio ateneo, mi sono collegato all’advanced search di WoS ed ho eseguito le seguente query: (CU=Italy) AND (PY=2009), restringendo i risultati ai seguenti tipi di pubblicazione: Article, Proceedings paper, Review, come indicato nella Table 1 dell’articolo di Daraio e Moed. Nella query, ho selezionato tutti i database disponibili, ovvero: Science Citation Index Expanded, Social Sciences Citation Index, Arts & Humanities Citation Index. A sorpresa, il risultato è stato quello visto sopra (v. tabella).

Il numero trovato è molto maggiore di quel “poco sopra quota 40 mila” citato da Repubblica. Se il mio risultato è esatto, non si può certo parlare di crollo rispetto al 2008 (52.496 documenti secondo Repubblica), dato che si rimane sopra i 50.000 documenti . Come è possibile? Ho sbagliato a interrogare WoS? Oppure ha sbagliato la Daraio? A mio favore gioca il fatto che un dato “stabile” del 2009 rispetto al 2008 elimina la stridente contraddizione con le statistiche di Scopus che non mostrano nessun tracollo.

Ammettiamo per un momento che il numero fornito da Repubblica sia sbagliato e cerchiamo l’origine dell’errore. Si noti che i database sono continuamente aggiornati. Se si ripetono le stesse queries a distanza di qualche giorno, si ottengono risposte lievemente diverse. L’ipotesi più semplice è che la Daraio abbia interrogato WoS quando i dati del 2009 non erano ancora completamente assestati. In tal modo, avrebbe paragonato i dati più o meno definitivi degli anni precedenti con un risultato solo parziale del 2009. Questa congettura prende forza se si legge quanto scritto a pagina 5-30 del rapporto Science and Engineering Indicators 2010  del National Science Board relativamente all’uso dei dati WoS:

“Previous editions reported data based on the year an article entered the database (tape year), not on the year it was published (publication year). NSF analysis has shown that, for the U.S. data, each new tape year file fails to capture from 10% to 11% of articles that will eventually be reported for the most current publication year; for some countries, the discrepancy is much larger. Here, data in the first section only (“S&E Article Output”) are reported by publication year through 2007, which contains virtually complete data for this and prior publication years”.

Pertanto:

1. C’è un ritardo di registrazione per cui l’ultimo anno disponibile nel database non comprende almeno il 10% degli articoli che a regime risulteranno pubblicati in quell’anno
2. Il National Science Board nel suo report del 2010, non usa i dati 2008 e 2009 perché ritiene assestati solo i dati fino al 2007.
Alla luce di ciò, nel 2011 dovremmo ritenere affidabili i dati bibliometrici fino al 2008.  È verosimile che anche i dati di Scopus vadano maneggiati con la stessa prudenza e, per tale ragione, l’assai lieve calo dei documenti citabili del 2010 rispetto al 2009 potrebbe scomparire quando i dati del 2010 diverranno definitivi.
Questo secondo passo ci mostra che il dato 2009 citato da Repubblica è fortemente sospetto, probabilmente perché estratto da un database non ancora assestato. Lo scopo del terzo passo sarà validare la congettura sull’origine dell’errore.

Terzo passo: verifica finale. Per convalidare la congettura che la Daraio abbia usato un dato non assestato è importante ricostruire la data in cui ha interrogato il database. In rete è disponibile una versione preliminare dell’articolo la quale è datata 14 dicembre 2010. Figure e tabelle (tranne una, relativa alle spese per ricerca e sviluppo) sono uguali a quelle dell’articolo in stampa su Research Policy. Inoltre, nella versione del dicembre 2010 è citata un’altra precedente versione, presentata in un convegno tenutosi nel luglio 2010. Sembra pertanto che i dati relativi al 2009 siano stati ottenuti tramite interrogazioni eseguite nel 2010, con alta probabilità di ottenere risultati parziali.

La verifica finale viene dal confronto con le statistiche delle altre nazioni. Infatti, l’uso di dati bibliometrici non ancora assestati dovrebbe introdurre un errore sistematico sul conteggio delle pubblicazioni 2009 di tutte le nazioni considerate. Per controllare, basta esaminare la Fig. 9 dell’articolo (C. Daraio, H.F. Moed, "Is Italian Science declining?"). Si noti che l'ultimo dato relativo al 2009 è nettamente inferiore a quello del 2008 per tutte le nazioni. Sul grafico [qui non riportato, NdR] nel caso di CH (Svizzera) e UK (Regno Unito) ho aggiunto delle frecce rosse per evidenziare l'anomalia.

Si vede immediatamente che per tutte le nazioni il numero di pubblicazioni per 1000 abitanti mostra un tracollo del dato 2009 rispetto a quello del 2008. Dato che non ci sono stati improvvisi incrementi della popolazione, il 2009 sarebbe un vero e proprio annus horribilis per tutta la ricerca europea. Fortunatamente, la realtà è diversa. Basta consultare le seguenti schede statistiche di SCImago: Francia, Germania, Paesi Bassi, Regno Unito, Spagna, Svizzera. Tutte queste nazioni aumentano la loro produzione scientifica dal 2008 al 2009. Anche le queries da me effettuate su WoS mostrano lo stesso risultato. Infatti, ora che ci troviamo oltre la metà 2011, i dati del 2009 cominciano ad essere un po’ più affidabili. L’Armageddon della scienza europea non è ancora arrivato.

Il terzo passo della mia analisi ha pertanto dimostrato che nella ricerca della Daraio c’è un errore nella raccolta dei dati che riguarda non solo le statistiche italiane, ma anche quelle delle altre nazioni europee considerate. Questo errore crea l’illusione di un crollo generalizzato della produzione scientifica internazionale, di cui non si trova traccia nei dati assestati.

Conclusione. La situazione della scienza (e dell’università) italiana è drammatica perché, a fronte di molti mali e di un cronico sottofinanziamento, è stata oggetto di una campagna denigratoria, a volte grottesca, che ha giustificato ulteriori tagli che la stanno strangolando con grave danno per il futuro del paese. Uno degli aspetti più gravi è stata la diffusione di dati e analisi fuorvianti, tesi a dimostrare che la ricerca italiana non occupa un posto di rilievo nel panorama internazionale. La realtà è diversa e l’articolo di Daraio e Moed ha il merito di ricordare alcune verità fondamentali già note a chi è correttamente informato. Diversa è la questione del “crollo” del 2009. Il presunto tracollo della produzione scientifica italiana è stato da molti interpretato come l’inizio dell’agonia di un malato stroncato dai maltrattamenti e dai salassi di medici incompetenti o peggio. Tuttavia, l’onestà intellettuale impone di dire che il tracollo denunciato nell’articolo di Repubblica è frutto di un’analisi errata. Denunciare gli errori della politica servendosi di notizie prive di fondamento aumenta la confusione e rischia di diventare un boomerang. Le dinamiche della produttività scientifica sono più lente e stiamo ancora sull’onda di una crescita dovuta ai tanti che hanno lavorato e lavorano con dedizione ed entusiasmo. Difficile dire se potrà durare a lungo.
GIUSEPPE DE NICOLAO

TABELLA. Italia: documenti, documenti citabili e percentuale mondiale (Fonte: SCImago, 23/08/2011).

JAZZ. Tre brani del grande compositore, arrangiatore e pianista Bobby Timmons, inventore di tanti stupendi brani dell’hard-bop. Che non è uno stile qualunque, ma è quello che per la prima volta rese popolare il jazz “in quanto musica d’arte”, cosa non riuscita al più puro be-bop. Timmons è ingiustamente poco noto oggi dal grande pubblico del jazz. Eccolo al pianoforte in trio con Sam Jones al basso e Jimmy Cobb alla batteria, in un primo brano (My Funny Valentine 5:00), e poi da solo al piano in un secondo (Dat Dere 5:27) e in un terzo brano (Soul Time 6:25).

Etichette: , ,

9 Comments:

Anonymous Anonimo said...

Grazie per aver dato visibilità alla mia analisi! Speriamo che la Repubblica rettifichi presto. La circolazione di dati "impazziti" disorienta l'opinione pubblica e rende impossibile qualsiasi discussione nel merito delle cose. Usare un dato sbagliato per recriminare sui tagli ("vedete come avete ridotto la ricerca") fa perdere credibilità e rischia di rivelarsi un boomerang.

Giuseppe De Nicolao

28 agosto 2011 alle ore 15:24  
Blogger Nico Valerio said...

Sono d'accordo. Complimenti, di nuovo. In quanto alle rettifiche... io intanto invierei poche righe di lettera al giornale con il link.Le lettere sono più lette di un eventuale breve articoletto in 16.a pagina.

28 agosto 2011 alle ore 17:22  
Blogger sally brown said...

secondo me hai centrato la questine: "tipica enfasi da repubblica".
I giornalisti dovrebbero fare il lavoro critico che fa il certosino de nicolao, invece fanno quello che faccio io: copiaeincolla.
quanto alle rettifiche, di repubblica non ci spererei. non ne hanno il tempo, sono già su un altro copiaeincolla!!
ole/.)


PS: ormai le notizie si trovano sui blog e non più sui quotidiani.

30 agosto 2011 alle ore 20:17  
Blogger Nico Valerio said...

CHI HA FORNITO I DATI A “REPUBBLICA”?
Ma l'episodio sta avendo una coda inquietante, che quasi si colora di giallo... Leggete che cosa il bravo De Nicolao risponde sul suo blog (citato sopra, nell'articolo) ad un certo Mario che aveva scritto: "Ma è una cosa ridicola! Una ricercatrice pubblica un articolo bufala smentito in pochissimo tempo (…). Quante pubblicazioni spazzatura di questo genere vengono pubblicate ? Quale sarà la conseguenza per la Daraio ? A me sembra che la credibilità di tutto il sistema della ricerca sia pressoché nulla…"

Risponde De Nicolao dapprima con una bellissima premessa molto razionale e liberale sul valore della scienza, che potrebbe essere scolpita nel marmo; ma poi rivelando qualcosa che cambia tutto il panorama della vicenda:

"Non esistono sistemi esenti da errori. La credibilità non deriva da una (presunta) infallibilità, ma dalla capacità di emendare gli errori commessi. È fondamentale che ci sia la possibilità di contraddittorio pubblico, in primo luogo sulle riviste scientifiche. In questo caso, essendoci un clamoroso lancio giornalistico di una notizia infondata era necessario rettificare con la massima rapidità.
Nel caso specifico, la genesi della bufala vede la corresponsabiltà di più attori. Il giornalista di Repubblica, Corrado Zunino, non ha verificato a sufficienza un crollo clamoroso che appare inverosimile a chiunque sia consapevole dei meccanismi che regolano la produttività scientifica. Tuttavia, Zunino non può essersi inventato i numeri che cita nel suo pezzo. Chi gli ha fornito i numeri del crollo dal 2008 al 2009? La domanda è più che legittima, visto che Cinzia Daraio in una sua recente lettera a Pietro Greco prende le distanze da Repubblica:

“I dati contenuti nella ricerca “Is Italian Science Declining?” (pubblicata a firma mia e di Henk Moed sull’autorevole rivista internazionale peer reviewed
“Research Policy”) non indicano affatto un crollo delle pubblicazioni scientifiche italiane nel corso del 2009. Aggiungo che in tutto il paper non esistono dati relativi a cali di pubblicazioni del 22,5% attribuiti erroneamente al nostro studio [..]
I dati del nostro paper si riferiscono ad un database aggiornato al primo semestre del 2010 (non a caso, i primi risultati sono stati presentati ad una conferenza nel luglio dello stesso anno). Come sanno bene gli addetti ai lavori (e ovviamente fra questi i lettori della rivista Research Policy), in generale qualsiasi dato riferibile all’ultimo anno disponibile è soggetto a successive integrazioni, e dunque non viene mai preso in considerazione in termini assoluti.”

Ora, è vero che nell’articolo della Daraio i dati citati da Zunino non sono presenti in forma numerica, ma è altrettanto vero che quei dati sono presenti in forma grafica nella Fig. 9 (divisi per 1000 abitanti). Insomma, se qualcuno avesse fornito a Zunino i numeri del “crollo” e il giornalista avesse voluto fare un controllo sul paper scientfico, pur senza trovarvi annunci catastrofici, avrebbe avuto conferma del crollo dalla Fig. 9 (senza nessun avvertimento circa la natura provvisoria di quei dati). È anche vero che Zunino, se avesse controllato con attenzione, avrebbe dovuto sentire puzza di bruciato perché tutte le nazioni calavano bruscamente dal 2008 al 2009. Quanto meno, il senso della notizia avrebbe dovuto essere diverso: non “Italia maglia nera” ma “crisi europea”.
Ripeto comunque la domanda a Zunino: da dove ha preso i numeri del crollo che risalgono palesemente ad interrogazioni dei database effettuate più di un anno fa? Se è stata la Daraio a fornirli, perché l’ha fatto se, come dice nella sua lettera, è sempre stata consapevole che non erano dati affidabili?
GIUSEPPE DE NICOLAO

2 settembre 2011 alle ore 21:33  
Blogger sally brown said...

io continuo a pensare che si tratti di pura e semplice superficialità, che ormai investe tutti gli aspetti del nostro quotidiano e si riflette in modo esemplare nell'informazione: recentemente in un programma di approfondimento è stata data la "notizia" che in svizzera è lecito sparare ai gatti. L'ancorwoman haa letto la cosa cosa una certa ironia velata di caustico sarcasmo campanilistico commentando: pensare che in Italia il gatto è considerato un animale socievole. Ora, tolto il fatto che anche l'uomo è ritenuto un animale "sociale", bisogna realmente approfondire per capire che la svizzera( che di difetti ne ha tanti) non ha sdoganato la caccia al gatto ma ha semplicemente autorizzato gli organi competenti, e sottolineo organi competenti, ad adottare misure anche drastiche per tutelare una specie felina minacciata nella sua esistenza da un altra specie simile.
E' tanto difficile essere attendibili? E' tanto difficile pensare che poi alla fine la gente (utente finale) si fa il pari e il dispari?

ole/.)

3 settembre 2011 alle ore 11:12  
Anonymous A.Caras said...

Al di là del grave errore commesso nella pubblicazione, mi pare le regressioni del grafico (Fig. 9) evidenzino in maniera chiara che in termini di pubblicazioni per abitante siamo agli stessi livelli di Francia, Germania e Spagna (che hanno un quoziente di ricercatori per abitante molto più alto e molte più risorse) ed abbiamo recuperato in pochi anni un gap che sino agli anni 90 era molto forte. Per essere deglio sfaccendati c’è la caviamo piuttosto bene…

18 settembre 2011 alle ore 00:22  
Blogger Nico Valerio said...

L'autore dell'articolo su Repubblica ricostruisce su http://www.repubblica.it/rubriche/la-scuola-siamo-noi/2011/10/06/news/ricerca-22808073/
l'infelice vicenda, si difende a denti stretti, e rivela un dato essenziale che attribuisce la responsabilità principale al comunicato dell'Ufficio Stampa dell'Università di Bologna...

L'ho sempre detto e scritto: gli equivoci e gli errori della divulgazione spesso partono dal... manico!

7 ottobre 2011 alle ore 13:50  
Blogger Nico Valerio said...

Ecco, infine, come chiarimento finale, che davvero spiega quasi tutto, il commento al blog di De Nicolao del Pro-Rettore dell'Università di Bologna:

"Rispondo alle domande del Professor De Nicolao sulla vicenda che tanto appassiona il web. Ma prima di fare questo ringrazio Corrado Zunino per la paziente e accurata ricostruzione della vicenda che ha aiutato anche noi a ritrovare il bandolo della matassa. Ebbene sì. Un collaboratore a tempo determinato del nostro ufficio stampa ha inviato, in pieno agosto e senza averlo sottoposta ad alcun vaglio, un comunicato stampa con allegata una tabella di dati che richiedevano di essere interpretati e non utilizzati tal quale. Un errore quindi, non c’è dubbio, non una “bufala”, ma tale comunque da generare una serie di reazioni a catena. Ce ne scusiamo con quanti sono stati coinvolti, non ultima Cinzia Daraio il cui lavoro è stato posto all’indice. Rimane la constatazione tutta accademica e forse interessante del come un errore di comunicazione di una notizia altrimenti esatta possa generare, se riverberato dal web, uno tzunami nel “villaggio globale”.
Dario Braga Prorettore alla Ricerca dell’Università di Bologna

15 ottobre 2011 alle ore 15:39  
Anonymous Anonimo said...

L'Università come laureificio baronale e di casta, famigliare e parentale di dottori inutili ovvero come centro di ricerca a disposizione delle imprese del territorio in cui insiste?

A quando una Università dell'Olio e dell'Olivo?

A quando una Università della Pasta e del Pane?

A quando una Università delle Mozzarelle e dei Formaggi?

Pare sia arrivata l'ora di uscire dalla convegnistica ed entrare nel vivo della produzione agro-alimentare supportata e garantita dalla ricerca universitaria.

Altrimenti, questi laureifici baronali possiamo anche chiuderli e risparmiare un sacco di denari dei contribuenti.

http://www.ilcittadinox.com/blog/universita-produttivita-una-difficile-conciliazione.html

Gustavo Gesualdo
alias
Il Cittadino X

5 ottobre 2012 alle ore 17:35  

Posta un commento

<< Home