Relativity of citation performance and excellence measures: from cross-field to cross-scale effects of field-normalisation - HAL-SHS - Sciences de l'Homme et de la Société Accéder directement au contenu
Chapitre D'ouvrage Année : 2006

Relativity of citation performance and excellence measures: from cross-field to cross-scale effects of field-normalisation

Relativité des performances de citation et des mesures d'excellence: des effets de champs aux effets d'échelle dans la normalisation par domaine scientifique

Résumé

As citation practices strongly depend on fields, field normalisation is recognised as necessary for fair comparison of figures in bibliometrics and evaluation studies. However fields may be defined at various levels, from small research areas to broad academic disciplines, and thus normalisation values are expected to vary. The aim of this project was to test the stability of citation ratings of articles as the level of observation --- hence the basis of normalisation --- changes. The study was conducted on articles in the full SCI range, for publication year 1998 with a 4-year citation window. Citation ratings have been observed at the five embedded levels of a realistic structure of the scientific production based on ISI subject categories and their aggregates at various scales: all science, large academic discipline, sub-discipline, speciality and journal. Correlations on this empirical set have been benchmarked against two fictitious sets keeping the embedded aggregates of articles, with a redistribution of citation figures to emulate either a totally ordered or a random structure of science, expected to give a "worst case" and a "best case" for the stability of normalised citation indicators. Among various normalisation methods, we selected a simple ranking method (quantiles), based on the citation score of the article in each particular aggregate (journal, speciality, etc.) it belonged to at each level. The results show that: (a) the average citation rankings of articles substantially change with the level of observation (b) observation at the journal level is very particular, the results differ greatly in all test circumstances from all the other levels of observation. The comparison of the emirical set (c) the lack of cross-scale stability is confirmed when looking at the distribution of individual trajectories of articles across the levels; (d) when considering the top-cited fractions, a standard measure of excellence, it is found that the contents of the 'top-cited' set is completely dependent on the level of observation. The instability of impact measures should not be interpreted in terms of lack of robustness but rather as the co-existence of various perspectives each having their own form of legitimacy. A follow-up study will focus on the micro levels of observation and will be based on a structure built around bibliometric groupings rather than conventional groupings based on ISI subject categories.
La stabilité est mesurée selon trois approches : la comparaison globale inter-niveaux des scores des articles (corrélations de rangs) ; les trajectoires individuelles des articles sur les 5 niveaux ; la survie des tranches "d'excellence" sur les 5 niveaux. Les corrélations globales obtenues sur la structure empirique sont comparées à celles de deux structures modèles qui conservent les différents agrégats d'articles, mais répartissent les données de citation dans une distribution soit totalement ordonnée, soit totalement aléatoire. Ces modèles constituant respectivement le "pire" et le "meilleur" des cas pour la stabilité des indicateurs de citation normalisés doivent borner les résultats empiriques. Les résultats montrent que : (a) les rangs de citation moyens des articles varient sensiblement avec le niveau d'observation, (b) le niveau journal est très particulier, les résultats diffèrent considérablement de ceux des autres niveaux, quelles que soient les modalités de test, (c) le manque de stabilité aux différentes échelles est confirmé par l'examen de la distribution des trajectoires individuelles des articles, (d) les tranches d'articles les plus cités, base de mesures classiques d'excellence, ont un contenu dépendant complètement du niveau d'observation. L'instabilité des indicateurs de citation normalisés ne devrait pas etre interprétée en termes de manque de robustesse mais plutôt comme la nécessaire co-existence de points de vue également légitimes. La suite de ce travail portera sur l'observation au niveau micro et sera fondée sur une structure construite sur des agrégats bibliométriques plutôt que sur les classements conventionnels à partir des "subject categories" de l'ISI.
Fichier non déposé

Dates et versions

hal-02818584 , version 1 (06-06-2020)

Identifiants

  • HAL Id : hal-02818584 , version 1
  • PRODINRA : 12211

Citer

Michel Zitt, Elise Bassecoulard Zitt, Suzie Ramanana-Rahary. Relativity of citation performance and excellence measures: from cross-field to cross-scale effects of field-normalisation. Evaluations of individual scientists and research institutions. A selection of papers reprinted from the journal Scientometrics, 1, Akadémiai Kiado, 2006, Scientometrics Guidebooks Series, 963-05-8440-9. ⟨hal-02818584⟩

Collections

INRA INRAE
10 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More