Clicca qui per scaricare

Per i Big Data nella ricerca valutativa: una proposta operativa per la gestione del matching prodotto-revisore nella VQR
Titolo Rivista: RIV Rassegna Italiana di Valutazione 
Autori/Curatori: Lorenzo Barbanera, Federica Floridi, Federica Fusillo 
Anno di pubblicazione:  2017 Fascicolo: 68 Lingua: Italiano 
Numero pagine:  17 P. 103-119 Dimensione file:  354 KB
DOI:  10.3280/RIV2017-068007
Il DOI è il codice a barre della proprietà intellettuale: per saperne di più:  clicca qui   qui 




Moving from some critical issues that characterized the management of the product-reviewer matching in the VQR 2011-2014 this article proposes an operational solution that allows improving the consistency of the attribution process, by bringing the gap between the reviewer’s skills and the evaluand. This is achieved through the use of text analysis techniques applied to big corpora, made by the publications/abstracts of the actors involved. The paper is structured as follows: an introduction about the use of Big Data in the context of the Italian university system evaluation; then, the main problems faced in the last VQR exercise will be presented; finally, a textual analysis procedure, designed to provide univocal labels, both for the products under review and for those belonging to referees, will be presented in the last paragraph.
Keywords: Big Corpora; Big Data; Evaluation of Quality Research; Content Analysis; Textual Analysis; Peer Review.

  1. Amico A. e D’Alessandro A. (2016). Strategie di gestione e analisi di grandi basi di dati amministrativi: l’utilità di trasformare dati sincronici in vettori diacronici. Sociologia e Ricerca Sociale, 109: 127-142., 10.3280/SR2016.10901DOI: 10.3280/SR2016.10901
  2. Agnoli M. S. (1992). La costruzione delle variabili tra rilevazione e analisi dei dati: il caso dei sondaggi, in Marradi A., Gasperoni G., a cura di, 1992, Costruire il dato 2. Vizi e virtù di alcune tecniche di raccolta delle informazioni, Milano: Angeli.
  3. Angoli M. S. (2016). L’arte intellettuale al cospetto dei big data. Sociologia e Ricerca Sociale, 109: 7-17., 10.3280/SR2016-10900DOI: 10.3280/SR2016-10900
  4. Anvur (2017a). Valutazione della qualità della ricerca (VQR 2011-2014). Rapporto finale di Area (GEV 14).
  5. Anvur (2017b). Valutazione della qualità della ricerca (Vqr 2011-2014). Rapporto finale di Area (GEV 14). Appendice A-Criteri per la valutazione dei prodotti di ricerca.
  6. Anzera G., Fasanella A., Liani S., Martire F. e Palmieri M. (2016). L’auto-valutazione della produzione di una comunità scientifica: una proposta metodologica. RIV-Rassegna Italiana di Valutazione, 64: 112-131., 10.3280/RIV2016.06400DOI: 10.3280/RIV2016.06400
  7. Aragona B. (2016). Big data o data that are getting bigger? Sociologia e Ricerca Sociale, 109: 42:53., 10.3280/SR2016-10900DOI: 10.3280/SR2016-10900
  8. Battistin E., Checchi D. e Verzillo S. (2014). La riforma di decentramento dei concorsi universitari in Italia. RIV-Rassegna Italiana di Valutazione, 58: 51-79., 10.3280/RIV2014-05800DOI: 10.3280/RIV2014-05800
  9. Benvenuto G., Decataldo A. e Fasanella A., a cura di (2012). C’era una volta l’università? Analisi longitudinale delle carriere degli studenti prima e dopo la grande riforma. Acireale-Roma: Bonanno. Bolasco S. (2013). L’analisi automatica dei testi. Fare ricerca con il text mining. Roma: Carocci.
  10. Bruschi A. (1999). Metodologia delle scienze sociali. Milano: Mondadori.
  11. Crane D. (1965). Scientists at major and minor university. A study of productivity recognition, American sociological review, 30: 699-714.
  12. Crane D. (1967). The gatekeepers of science. Some factors affecting the selection of articles in scientific journals, American sociologist, 2: 195-201.
  13. Della Ratta-Rinaldi F. (2007). L’analisi testuale computerizzata. In: Cannavò L. e Frudà L., a cura di, Ricerca sociale, Tecniche speciali di rilevazione, trattamento e analisi. Roma: Carocci editore.
  14. Di Franco G. (2011). Tecniche e modelli di analisi multivariata. Milano: FrancoAngeli.
  15. Faggiano M. P. (2016). L’analisi del contenuto di oggi e di ieri. Testi e contesti on e off line. Milano: FrancoAngeli.
  16. Fasanella A e Di Benedetto A. (2014). Luci ed ombre nella VQR 2004-2010: un focus sulla scheda di valutazione peer. Sociologia e ricerca sociale, 104:59-84., 10.3280/SR2014-10400DOI: 10.3280/SR2014-10400
  17. Hillard R. (2012). It’s time for a new definition of big data (-- http://www.infodrivenbusiness.com/post.php?post=012/03/18/its-time-for-a-new-definition-of-big-data/).
  18. Hoiat M., Gonnella J. S., Caelleigh A. S. (2003). Impartial judgment by the “gatekeepers” of science: fallibility and accountability in the peer review process. Advances in health science education, 8: 75-96.
  19. Kitchin R. (2014). The data revolution. Big data, open data, data infrastructures and their consequences. London: Sage.
  20. Laney D. (2001). 3D Data management: controlling data volume, velocity and variety, MetaGroup (https://blogs.gartner.com/doug-laney/files/2012/01/ad949-3D-Data-Mana-gement-Controlling-Data-Volume-Velocity-and-Variety.pdf).
  21. Lazer et al. (2009). Computational Social Science. Science, 323: 721-723.
  22. Lee C. J., Sugimoto C. R., Zhang G. e Cronin B. (2013). Bias in Peer Review. Journal of the American Society for Information Science and Technology, 1: 2-17.
  23. Losito G. (1993). L’analisi del contenuto nella ricerca sociale. Milano: FrancoAngeli.
  24. Mahoney M. J. (1977). Publication prejudices: an experimental study of confirmatory bias in the peer review system. Cognitive therapy and research, 1: 161-175., 10.1007/BF0117363DOI: 10.1007/BF0117363
  25. Marradi A. (1993). Fedeltà di un dato, affidabilità di una definizione operativa. Rassegna Italiana di Sociologia, 1: 55-96.
  26. Marz V., Warren J. (2012). Big Data: principles and best practices of scalable realtime data system. New York: Meap Edition.
  27. Mauceri S. (2003). Per la qualità del dato nella ricerca sociale. Strategie di progettazione e conduzione dell’intervista con questionario. Milano: FrancoAngeli.
  28. Mayer-Schonberger V, Cukier K. (2013). Big Data: a revolution that will change how we live, work and think. London: John Murray.
  29. Wenneras C., Wold A (1997). Nepotism and sexism in peer review. Nature, 387: 341-343.

Lorenzo Barbanera, Federica Floridi, Federica Fusillo, in "RIV Rassegna Italiana di Valutazione" 68/2017, pp. 103-119, DOI:10.3280/RIV2017-068007

   

FrancoAngeli è membro della Publishers International Linking Association associazione indipendente e no profit per facilitare l'accesso degli studiosi ai contenuti digitali nelle pubblicazioni professionali e scientifiche