¿Se ajustan las ventanas fijas de citación a las velocidades de maduración del impacto de las revistas científicas?

73 INVESTIGACIÓN BIBLIOTECOLÓGICA, Vol. 30, Núm. 68, enero/abril, 2016, México, ISSN: 0187-358X. pp. 73-89 Artículo recibido: 1 de noviembre de 2013. Artículo aceptado: 9 de marzo de 2015. * Universidad de La Laguna, Tenerife, España. [email protected] ** Universidad de Las Palmas d e Gran Canaria, Gran Canaria, España. pdo rta@dm c . ulpgc.es ¿Se ajustan las ventanas fijas de citación a las velocidades de maduración del impacto de las revistas científicas? María Isabel Dorta González * Pablo Dorta González ** Resumen Los distintos campos científicos presentan prácticas de citación diferentes. Por ello, los indicadores bibliométricos basados en citas necesitan ser normalizados para permitir comparaciones entre campos. En este trabajo se analizan más de 600 revistas de ocho categorías jcr. Los resultados obtenidos indican que la velocidad de maduración del impacto varía considerablemente de una categoría a otra. El tiempo transcurrido hasta que la distribución de citas alcanza su máximo oscila entre 2 y 5 años, de ahí que el comienzo y finalización de la ventana de citación tengan un efecto determinante sobre el factor de impacto. Algunas revistas son penalizadas por el factor de impacto a 2 años y favorecidas por el de 5 años, y viceversa. Sin embar- 74 INVESTIGACIÓN BIBLIOTECOLÓGICA, Vol. 30, Núm. 68, enero/abril, 2016, México, ISSN: 0187-358X, pp. 73-89 go, existen factores de impacto con ventanas variables de citación que producen, en términos generales, medidas de tendencia central más próximas. Palabras clave: Evaluación de revistas; Indicador bibliométrico; Análisis de citas; Factor de impacto de revistas; Ventana de citación; Tiempo de maduración del impacto. Abstract Do fixed citation windows match impact maturation rates of scientific journals? María Isabel Dor taGonz ález and Pablo DortaGonzález Scientific fields employ distinct citation practices. As such, bibliometric indicators based on citations need to be standardized to allow comparisons between fields. This paper examines more than six hundred journals in eight jcr categories. Results indicate that impact maturation rates vary considerably from one category to another. The time elapsed until the citation distribution reaches a maximum oscillates between two and five years; hence the opening and closing of the citation window is crucial to the impact factor. Some journals are penalized by the two-year impact factor and benefited by the five-year impact factor, and the reverse situation was also found. Nonetheless, there are impact factors of variable citation windows that produce closer measures of central tendency. Keywords: Journals Assessment; Bibliometric Indicator; Citations Analysis; Journal Impact Factor; Citation Window; Impact Maturity Time. Introducción Durante décadas se ha aceptado el factor de impacto (fi) de las revistas como un indicador válido para su evaluación. Sin embargo, cada vez hay más argumentos en contra del uso del factor de impacto como único criterio de comparación (Waltman y Van Eck, 2013). El factor de impacto a 2 años, publicado por Thomson Reuters en el Journal Citation Reports (jcr), es el número medio de referencias a cada revista 75 ¿SE AJUSTAN LAS VENTANAS FIJAS DE CITACIóN A LAS VELoCIDADES DE MADURACIóN... en el año actual con respecto a los ítems citables publicados en esa revista durante los 2 años previos (Garfield, 1972). Desde su formulación se han criticado algunas decisiones arbitrarias, como la definición de “ítems citables”, el hecho de centrarse exclusivamente en los 2 años previos, etc. (Bensman, 2007; Moed et al., 2012), dando lugar a diversas modificaciones (Althouse et al., 2009; Bornmann y Daniel, 2008). Como respuesta, Thomson Reuters incorporó en 2007 tres indicadores que emplean una ventana de citación de 5 años: el factor de impacto a 5 años, el eigenfactor score y el article influence score (Bergstrom, 2007). Sin embargo, no existen diferencias significativas entre los rankings de revistas que emplean 2 y 5 años (Leydesdorff, 2009), si bien en muchos casos los impactos obtenidos usando 5 años son mayores a los que se obtienen con 2 años (Rousseau, 2009). Estos indicadores son útiles para comparar revistas del mismo campo; sin embargo, no lo son al comparar revistas de diferentes campos científicos. Este problema procede de la evaluación institucional, ya que en los centros de investigación trabajan, con frecuencia, científicos con formaciones muy diversas (Leydesdorff y Bornmann, 2011; Van Raan et al., 2010; Wagner et al., 2011). Los diferentes hábitos de publicación y citación provocan que sea necesario normalizar los indicadores bibliométricos basados en citas antes de comparar las revistas. Existen patrones estadísticos que permiten la normalización del factor de impacto. Garfield (1979) propone el término potencial de citación, basado en el número promedio de referencias, para justificar las diferencias sistemáticas entre los campos científicos. En biomedicina, por ejemplo, son comunes los listados con más de 50 referencias, mientras que en matemáticas el estándar está por debajo de 20 referencias (Dorta-González y Dorta-González, 2013a). Estas diferencias son consecuencia de los diversos hábitos de citación y afectan la probabilidad de ser citado. El promedio de referencias se ha empleado frecuentemente en la literatura para justificar las diferencias entre campos (Leydesdorff y Bornmann, 2011; Moed, 2010; Zitt y Small, 2008). Sin embargo, el número promedio de referencias no se encuentra entre las variables que explican en mayor medida la varianza del factor de impacto (Dorta-González y Dorta-González, 2014). Por ello, es necesario considerar algunas otras fuentes de varianza en el proceso de normalización, como el crecimiento del campo, el ratio de referencias a revistas jcr, el ratio de referencias jcr a la ventana de citación y la proporción entre documentos citantes y citados. Dadas estas importantes diferencias en las prácticas de citación, es una cuestión prioritaria el desarrollo de indicadores bibliométricos que permitan comparaciones significativas entre campos científicos (Waltman y Van Eck, 2013). 76 INVESTIGACIÓN BIBLIOTECOLÓGICA, Vol. 30, Núm. 68, enero/abril, 2016, México, ISSN: 0187-358X, pp. 73-89 Tradicionalmente, la normalización de las diferencias entre campos se ha basado en algún sistema de clasificación de revistas. En esta aproximación, cada publicación pertenece a uno o más grupos, y el impacto se calcula de forma relativa a las otras publicaciones del mismo grupo. La mayor parte de los esfuerzos para clasificar revistas en campos científicos se ha centrado en las correlaciones entre los patrones de citación. Este es el caso, por ejemplo, de las categorías de revistas jcr. En este sentido, Egghe y Rousseau (2002) proponen el factor de impacto agregado, que considera todas las revistas de una categoría como una única meta-revista. Sin embargo, el campo de muchas revistas es difícil de determinar con precisión, y algunas de ellas se asignan a dos o más categorías. Además, la delimitación de los campos científicos, o sus especialidades, es un problema no resuelto en bibliometría, ya que estas delimitaciones son difusas en cada momento y se desarrollan dinámicamente en el tiempo. Por esta razón, la clasificación de un sistema dinámico en términos de categorías fijas puede llevar a error, porque el sistema de clasificación se define según el histórico, mientras que la dinámica de la ciencia es evolutiva (Leydesdorff, 2012: 359). Se ha propuesto recientemente la idea de normalización por la fuente, que ofrece un enfoque alternativo a la normalización por el campo. En esta aproximación, la normalización se realiza con base en las revistas citantes. La calidad de una revista es un concepto complejo, multidimensional, difícil de ser recogido en una sola métrica (Moed et al., 2012: 368). Esto ha provocado la aparición de muchos indicadores, tales como el factor de impacto con recuento fraccional (Leydesdorff y Bornmann, 2011), el factor de audiencia (Zitt y Small, 2008), el factor de impacto normalizado por la fuente (Moed, 2010), el factor de impacto normalizado por el tópico (Dorta-González et al., 2014), el sjr del grupo Scimago (González-Pereira, Guerrero-Bote y Moya-Anegón, 2009) y el índice de área central (Egghe, 2013; Dorta-González y Dorta-González, 2010, 2011), por citar algunos de ellos. Sin embargo, aunque todos estos indicadores tienen utilidad, ninguno recoge adecuadamente las diferencias en relación con la velocidad de maduración del impacto. Como se mencionó, en la literatura al respecto se han considerado factores de impacto con ventana de citación fija (de entre 2 y 5 años). Hasta donde alcanza nuestro conocimiento, no existen trabajos donde se analicen indicadores en los que la variable sea el año de comienzo y finalización de dicha ventana de citas. De esta forma, el objetivo principal de este trabajo es estudiar cómo afecta el año de comienzo y finalización de la ventana de citación sobre el indicador de impacto, para lo cual se comparan los factores de impacto de 2 y 5 años (que emplean ventanas fijas) con otros obtenidos para ventanas variables. 77 ¿SE AJUSTAN LAS VENTANAS FIJAS DE CITACIóN A LAS VELoCIDADES DE MADURACIóN... El propósito que se persigue con esta nueva metodología es recoger las diferencias entre campos, ajustando el año de comienzo y la amplitud de la ventana de citación a la velocidad de maduración de las citas en cada campo. Para ello, se presenta una aplicación empírica con 600 revistas de 8 categorías jcr y se comparan entre sí 5 indicadores. Ventana de citación y velocidad de maduración del impacto Un indicador de impacto para revistas es una medida del número de veces que los artículos publicados en cierto periodo censal citan los artículos publicados durante alguna ventana de citación previa. La velocidad de maduración del impacto de una revista está relacionada con el tiempo que transcurre desde la publicación de un volumen de la misma hasta el año en que su distribución de citas alcanza el máximo. Ventanas de citación de 2 y 5 años El factor de impacto a 2 años de Thomson Reuters considera un periodo censal de un año y usa los 2 años previos como ventana de citación. Como un promedio, este indicador se basa en dos elementos: el numerador, que es el número de citas en el año actual a ítems publicados en una revista en los 2 años previos, y el denominador, que es el número de ítems citables publicados en esos dos mismos años (Garfield, 1972). Los ítems publicados incluyen los ítems citables, pero también editoriales, noticias, correcciones, etc. De forma similar, el factor de impacto a 5 años considera un periodo censal de un año y usa los 5 años previos como ventana de citación. Si es el número de ítems citables en el año t de la revista i y el número de veces en el año t que los volúmenes del año t-j de la revista i son citados, se define el factor de impacto a n años, para el año t de la revista i, como: De forma particular se tienen los factores de impacto a 2 y 5 años: 78 INVESTIGACIÓN BIBLIOTECOLÓGICA, Vol. 30, Núm. 68, enero/abril, 2016, México, ISSN: 0187-358X, pp. 73-89 y El potencial de citación es una fuente de varianza en el factor de impacto a n años. Este potencial depende del campo científico y está determinado por la frecuencia y la rapidez con la que los autores citan otros trabajos, además de la profundidad con la que dicho campo está cubierto por la base de datos considerada. De esta forma, el potencial de citación es una medida de la actualidad y popularidad del campo (Moed et al., 2012). Los campos más populares tienden a atraer a muchos autores con un interés compartido, por lo que los desarrollos en estos campos avanzan rápidamente. Los artículos se publican en un número limitado de revistas de gran visibilidad y los autores tienden a citar los trabajos más recientes de sus colegas. Estos campos suelen tener un factor de impacto a 2 años mucho más alto (Moed et al., 2012). De esta manera, no existe un valor de n óptimo para todas las revistas y campos. En algunos casos, con 2 años se obtiene una buena medida del impacto, pero en otros son necesarios 3 o más años. Ventana de citación de 3 años El indicador de impacto de Elsevier Scopus considera también un periodo censal de un año, aunque usa los 3 años previos como ventana de citación. El numerador es el número de citas en el año actual a los ítems publicados en una revista en los 3 años previos, y el denominador es el número de ítems que han pasado revisión por pares (artículos, revisiones y actas de congresos) y han sido publicados en ese mismo lapso. Sin embargo, esta ventana de citación intermedia no es una solución al problema, ya que en algunos casos el máximo de la distribución de citas se alcanza antes de los 3 años, mientras que en otros casos dicho máximo se alcanza mucho después. Ventana de citación completa Además de la varianza dentro de cada año, la varianza interanual se puede reducir usando todas las citas, es decir, empleando la ventana de citación completa en lugar de aquella con los últimos n años. Sin embargo, este modelo no mejora al que emplea la ventana de los n años previos (Leydesdorff y Bornmann, 2011: 228). 79 ¿SE AJUSTAN LAS VENTANAS FIJAS DE CITACIóN A LAS VELoCIDADES DE MADURACIóN... Ventana de citación con año de comienzo y amplitud variables Un indicador de impacto para revistas es, como ya dijimos, una medida del número de veces que los artículos publicados en cierto periodo censal citan los artículos publicados durante alguna ventana de citación previa. Sin embargo, la amplitud óptima de la ventana de citación puede variar tanto entre campos como con el tiempo. Por tanto, a pesar de que durante décadas se han considerado ventanas de citación fijas, no hay evidencias en la literatura que justifiquen su idoneidad con respecto a las ventanas de citación variable. Un problema que no ha sido resuelto adecuadamente en bibliometría es la correcta delimitación entre campos o especialidades, debido a que dichas delimitaciones son difusas en cada momento y se desarrollan dinámicamente en el tiempo. Por esta razón no es recomendable seleccionar una ventana de citación en relación con la categoría temática de la revista. Los investigadores, en aquellos campos en los que el impacto madura más rápidamente, hacen un “consumo” inmediato de la producción científica, esto es, una rápida difusión y citación. Esto sucede, por ejemplo, en biomedicina y ciencias de la computación. Por el contrario, el “consumo” de la producción científica es más lento en los campos donde el impacto madura más lentamente, como en matemáticas y economía. No existe un tiempo de maduración óptimo que sea válido para todas las revistas. La elección de una ventana de citación variable, en lugar de una fija de 2, 3 o 5 años, se basa en la evidencia empírica de que en muchos campos las citas no han alcanzado aún su valor máximo transcurridos 2 años, mientras que en otros campos dicho máximo se alcanza mucho antes de los 5 años. Por lo tanto, la aplicación de una ventana variable es el compromiso óptimo para que aquellos campos en los que el impacto madura lentamente puedan alcanzar sus citas máximas, sin penalizar aquellos otros en los que el impacto madura con mayor rapidez. La Figura 1 muestra la distribución de citas de cuatro revistas diferentes. Las revistas A y C pertenecen a un campo en el que el impacto madura rápidamente, mientras que las revistas B y D pertenecen a un campo en el que el impacto madura lentamente. Dado que el número de citas es el numerador en la fórmula de impacto, si todas ellas tienen el mismo tamaño (han publicado el mismo número de artículos en los últimos años), entonces A tiene mayor impacto que C y B tiene mayor impacto que D. Sin embargo, ¿qué revistas tienen mayor impacto: A o B, C o D? 80 INVESTIGACIÓN BIBLIOTECOLÓGICA, Vol. 30, Núm. 68, enero/abril, 2016, México, ISSN: 0187-358X, pp. 73-89 Figura 1. Distribución de citas para revistas en campos de impacto rápido (A con mayor impacto que C) y lento (B con mayor impacto que D) Definimos el factor de impacto con ventana de comienzo en j y finalización en k, para el año t de la revista i, como: Por simplicidad emplearemos la notación FIj,k, entendiendo que la revista y el año están fijados. Por ejemplo, FI3,4 representa el factor de impacto con ventana de comienzo en 3 y finalización en 4, esto es, considerando las citas a artículos de entre 3 y 4 años de antigüedad. En la Figura 1 pueden observarse varios factores de impacto con diferentes comienzo y finalización en la ventana de citación. obsérvese que FI1,2 y FI1,5 coinciden con los factores de impacto a 2 y 5 años de Thomson Reuters. Definimos el tiempo de maduración del impacto en el año t de una revista i como el número de años que transcurren desde t hasta aquél en el que se alcanza el impacto máximo. En la Figura 1 se observa cómo el tiempo de maduración del impacto de las revistas A y C es de 2 años, mientras que el tiempo de maduración del impacto de las revistas B y D es de 6 años. La velocidad de maduración del impacto es, por tanto, muy superior en el caso de las revistas A y C. Métodos y materiales En la aplicación empírica estudiamos que la ventana de citación, para el indicador de impacto, produce una distribución de datos más próxima entre campos científicos en relación con sus medidas de centralidad y variabilidad. 81 ¿SE AJUSTAN LAS VENTANAS FIJAS DE CITACIóN A LAS VELoCIDADES DE MADURACIóN... Los datos bibliométricos utilizados se han obtenido de la versión online del Journal Citation Reports (jcr) de 2011, durante la primera semana de noviembre de 2012. La base de datos jcr está gestionada por Thomson Reuters (Philadelphia, usa) y se encuentra disponible en www.webofscience.com. En el jcr, los expertos de Thomson Reuters asignan las revistas a una o más categorías de acuerdo con las revistas citantes y citadas. Dichas categorías se consideran como campos o especialidades de la ciencia. En el análisis comparativo hemos considerado aleatoriamente una categoría de revista de cada uno de los 8 clusters obtenidos por Dorta-González y Dorta-González (2013a, 2013b). Esto se ha hecho en orden de obtener revistas con diferencias significativas en los hábitos de publicación y citación. En los trabajos mencionados se analizaron todas las categorías temáticas en los índices de revistas Science Citation Index Expanded y Social Science Citation Index. De entre los 8 clusters identificados, 6 incluyen un número significativo de categorías. Dos de ellos son considerablemente amplios, con más del 25% de las categorías cada uno de ellos, que incluyen las ciencias físicas y de la vida (matemáticas, física, química, ingeniería y biomedicina). Los 2 clusters siguientes contienen aquellas áreas de ciencias sociales que usan en menor medida los métodos matemáticos (educación, sociología, lengua y derecho). Finalmente, los 2 últimos clusters incluyen, en general, las ciencias de la vida con un componente social más importante, y aquellas ciencias sociales que usan en mayor medida métodos matemáticos (psicología, economía y empresa). En este trabajo se ha considerado un total de 618 revistas. Las categorías y el número de revistas son: Astronomy & Astrophysics (56); Biology (85); Ecology (134); Engineering, Aerospace (27); History & Philosophy of Science (56); Mathematics, Interdisciplinary Applications (92); Medicine, Research & Experimental (112); Multidisciplinary Sciences (56). Resultados y discusión La Tabla 1 incluye una muestra de 24 revistas, seleccionadas aleatoriamente de entre las más citadas en las 8 categorías jcr. Esta tabla contiene las citas en el año 2011 de ítems y el número de publicaciones en el periodo 20062010. Nótese las importantes diferencias en el número de publicaciones y en las citas entre las revistas y los campos. Esta varianza en los datos incide de manera directa en la variabilidad de los factores de impacto. En particular, se observa un incremento exponencial en el número de publicaciones en plos one y reducciones lineales en ann ny acad sci y life sci. 88 INVESTIGACIÓN BIBLIOTECOLÓGICA, Vol. 30, Núm. 68, enero/abril, 2016, México, ISSN: 0187-358X, pp. 73-89 Dorta-González, P.; Dorta-González, M. I.; Santos-Peñate, D. R. y Suárez-Vega, R. (2014), “Journal topic citation potential and between-field comparisons: The topic normalized impact factor”, en Journal of Informetrics, 8 (2), 406-418. Egghe, L. (2013), “Theoretical justification of the central area indices and the central interval indices”, en Scientometrics, 95 (1), 25-34. y Rousseau, R. (2002), “A general framework for relative impact indicators”, en Canadian Journal of Information and Library Science, 27 (1), 29-48. Frandsen, T. F. y Rousseau, R. (2005), “Article impact calculated over arbitrary periods”, en Journal of the American Society for Information Science and Technology, 56 (1), 58-62. Garfield, E. (1972), “Citation analysis as a tool in journal evaluation”, en Science, 178 (4060), 471-479. (1979), “Is citation analysis a legitimate evaluation tool?”, en Scientometrics, 1 (4), 359-375. González-Pereira, B.; Guerrero-Bote, V. P. y Moya-Anegón, F. (2009), “The sjr indicator: A new indicator of journals’ scientific prestige”, en Journal of Informetrics, 4 (3), 379-391. Leydesdorff, L. (2009), “How are new citation-based journal indicators adding to the bibliometric toolbox?”, en Journal of the American Society for Information Science and Technology, 60 (7), 13271336. (2012), “Alternatives to the journal impact factor: I3 and the top-10% (or top-25%?) of the most-highly cited papers”, en Scientometrics, 92 (2), 355-365. y Bornmann (2011), “How fractional counting of citations affects the Impact Factor: Normalization in terms of differences in citation potentials among fields of science”, en Journal of the American Society for Information Science and Technology, 62 (2), 217-229. Moed, H. F. (2010), “Measuring contextual citation impact of scientific journals”, en Journal of Informetrics, 4 (3), 265-277. ; Colledge, L.; Reedijk, J.; Moya-Anegon, F.; Guerrero-Bote, V.; Plume, A. y Amin, M. (2012), “Citation-based metrics are appropriate tools in journal assessment provided that they are accurate and used in an informed way”, en Scientometrics, 92 (2), 367-376. Rousseau, R. (2009), “What does the Web of Science five-year synchronous impact factor have to offer?”, en Chinese Journal of Library and Information Science, 2 (3), 1-7 Van Raan, A. F. J.; Van Leeuwen, T. N.; Visser, M. S.; Van Eck, N. J. y Waltman, L. (2010), “Rivals for the crown: Reply to opthof and Leydesdorff”, en Journal of Informetrics, 4 (3), 431-435. Wagner, C.; Roessner, J. D.; Bobb, K.; Klein, J.; Boyack, K.; Keyton, J.; Rafols, I. y Börner, K. (2011), “Approaches to understanding and measuring interdisciplinary scientific research (idr): A review of the literature”, en Journal of Informetrics, 5 (1), 14-26. 89 ¿SE AJUSTAN LAS VENTANAS FIJAS DE CITACIóN A LAS VELoCIDADES DE MADURACIóN... Waltman, L. y Van Eck, N. J. (2013), “Source normalized indicators of citation impact: an overview of different approaches and an empirical comparison”, en Scientometrics, 96 (3), 699-716. Zitt, M. y Small, H. (2008), “Modifying the journal impact factor by fractional citation weighting: The audience factor”, en Journal of the American Society for Information Science and Technology, 59 (11), 1856-1860. Para citar este artículo como revista electrónica: Dorta González, María Isabel y Pablo Dorta González. 2016. “¿Se ajustan las ventanas fijas de citación a las velocidades de maduración del impacto de las revistas científicas?”. Investigación Bibliotecológica: Archivonomía, Bibliotecología e Información. 68: 73-89. Aquí se agrega la dirección electrónica (Consultado el día-mes-año) Para citar este artículo tomado de un servicio de información: Dorta González, María Isabel y Pablo Dorta González. 2016. “¿Se ajustan las ventanas fijas de citación a las velocidades de maduración del impacto de las revistas científicas?”. Investigación Bibliotecológica: Archivonomía, Bibliotecología e Información. 68: 7389. En: Aquí se agrega el nombre del servicio de información y la dirección electrónica (Consultado el día-mes-año)