La valutazione è parte integrante del processo di comunicazione scientifica. Non solo: i criteri adottati hanno un profondo impatto su come si scrive e dove si scrive. In area Open Access si discute molto anche di questo. Va considerato in via preliminare che le misure bibliometriche vengono fornite in banche dati vendute da editori commerciali, nate per altri scopi, e facilmente manipolabili (Falagas, ME, Alexiou VG. The top ten in journal impact factor manipulation. Archivum immunologiae et therapiae experimentalis, 2008 Jul-Aug;56(4):223-6; Brembs, Björn, et al. Deep Impact: Unintended consequences of journal rank, Frontiers in Human Neuroscience, 2013, 291, 7)

Che il sistema attuale non sia perfetto lo dimostrano

  • studi sui comportamenti adattivi messi in atto dai ricercatori, che tendono a pubblicare solo su argomenti “di moda”, o a pubblicare premturamente articoli con dati non solidi solo perché pressati da scadenze amministrative, o ancora a ripubblicare più volte, o ancora a scegliere canali rapidi quale l’articolo su rivista, snaturando la “bibliodiversità” di aree quali le umanistiche che tradizionalmente utilizzavano la monografia, dai tempi di redazione decisamente più lunghi (Castellani, Tommaso, Emanuele Pontecorvo and Adriana Valente. “Epistemological Consequences of Bibliometrics: Insights from the Scientific Community.” Social Epistemology Review and Reply Collective 3, no. 11 (2014): 1-20)
  • studi sulle distorsioni provocate dall’uso indiscriminato di misure quantitative (Casadevall, A. and Fang, C. Causes for the Persistence of Impact Factor Mania, mBio vol. 5 no. 2 e00064-14)
  • studi sull’alta correlazione fra l’Impact factor della rivista e il numero di ritrattazioni: se la scienza diventa competizione, allora si fa di tutto pur di pubblicare nelle sedi più prestigiose, compreso falsificare i dati (Fang, F. C., Steen, R. G., and Casadevall, A. (2012). Misconduct accounts for the majority of retracted scientific publications. Proc. Natl. Acad. Sci. U.S.A. 109, 17028–17033)
  • studi sull’incremento esponenziale del numero di ritrattazioni: il blog Retraction Watch ne lista quotidianamente
  • studi di riproducibilità dimostrano come in molte discipline questa tenda a zero o venga impedita dalla mancata disponibilità dei dati (Van Noorden, Richard. Sluggish data sharing hampers reproducibility effort, Nature News, June 3, 2015; Reproducibility project in Psychology; The Reproducibility initiative…)

La Royal Society britannica, stigmatizzando una scienza “ossessionata dalla misurazione”, afferma che con gli attuali criteri di valutazione basati sul prestigio delle riviste stiamo devastando una intera generazione di giovani scienziati, poiché «Not only are we failing to provide the right incentives, we are actually providing perverse ones» (Royal Society, The future of scholarly Communication, 2015, 7).

Misurare la qualità con i numeri è impresa ardua; la San Francisco Declaration on Research Assessment (DORA), firmata da oltre 12.000 ricercatori e 600 istituzioni, propone di bandire l’uso di misurazioni fondate sulle riviste (es. Impact factor) nella valutazione della ricerca. Il Research Excellence Framework (REF) britannico, da molti considerato modello di esercizio di valutazione nazionale, non utilizza più indicatori bibliometrici ma solo “expert review” e valuta tre aspetti dei prodotti della ricerca presentati: il rigore e la solidità scientifica ; l’impatto reale sulla società; la vitalità e sostenibilità.

L’uso delle Altmetrics (metriche alternative, aperte) può essere complementare, e serve a dare una visione prospettica dell’impatto di un lavoro: considera quanto circola un lavoro sui social media, su Twitter, sui blog… streaming

Il recente rapporto di SPARC Europe Better ways to evaluate research and researchers sostiene che bisogna misurare ciò che si vuole migliorare, e propone quindi l’interessante concetto della “metrica meno sbagliata”, ovvero una formula che aggregando diverse misure dia pesi diversi a diversi indicatori e che tenga conto ovviamente non solo delle citazioni e delle metriche alternative ma anche per esempio del grado di coinvolgimento nella comunità (quante revisioni, in quanti comitati editoriali).