Indicador bibliométrico basado en el índice h

Revista Española de Documentación Científi ca, 33, 2, abril-junio, 225-245, 2010 ISSN: 0210-0614. doi: 10.3989/redc.2010.2.733 225 Indicador bibliométrico basado en el índice h Pablo Dorta-González*, María Isabel Dorta-González** Resumen: El índice h se ha convertido en uno de los indicadores bibliométricos más empleados para estimar el éxito del trabajo realizado por un investigador y predecir el impacto de su producción en el futuro. Esto se debe principalmente a dos razones. En primer lugar, a su simplicidad, dado que se trata de un único indicador que combina producción e impacto, y puede ser determinado fácilmente por cualquier investigador. En segundo lugar, a que elimina los sesgos provocados por las colas de la distribución de citas. Sin embargo, este indicador presenta limitaciones al discriminar entre investigadores con diferentes hábitos de publicación, penalizando a aquellos más selectivos, que no destacan por el número de publicaciones pero sí por el alto número de citas recibidas, frente a los grandes productores. En este trabajo se proponen soluciones que consideran las citas de aquellos artículos que pueden contribuir, con una alta probabilidad, a incrementar el valor del índice h en el futuro. Palabras clave: Índice h, análisis de citas, indicadores bibliométricos, evaluación científi ca. Bibliometric indicator based on the h-index Abstract: The h index has become one of the most widely used bibliometric indicators for estimating the success of researchers and predicting the impact of their work in the future. This is mainly due to its simplicity, since it is a single indicator that combines production and impact, and can easily be determined by any researcher. It also eliminates the bias caused by the long tail of citation distribution. However, this indicator has limitations, in that it fails to discriminate between researchers with different publishing habits and, as a result, it penalizes those with a more selective output characterized by a relatively low number of frequently cited documents, as opposed to authors with a high number of publications. This paper proposes a solution that would take into consideration the citations of those publications with a high probability of increasing the future h index values. Keywords: h-index, citation analysis, bibliometric indicators, scholarly evaluation. * Departamento de Métodos Cuantitativos en Economía y Gestión. Universidad de Las Palmas de Gran Canaria, Gran Canaria, España. Correo-e: [email protected]. ** Departamento de Estadística, Investigación Operativa y Computación. Universidad de La Laguna. Tenerife, España. Correo-e: [email protected]. Recibido. 22-6-09; 2.ª versión: 29-9-09; aceptado: 21-10-09. PABLO DORTA-GONZÁLEZ, MARÍA ISABEL DORTA-GONZÁLEZ 226 Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733 1. Introducción La investigación científi ca tiene gran infl uencia en el desarrollo económico y social de los países. Sin embargo, los recursos que pueden destinarse a esta actividad son limitados. La demanda de incremento en su fi nanciación ha originado la necesidad de evaluar la actividad científi ca y sus resultados, siendo uno de los más directos las publicaciones científi cas. El objetivo de los indicadores bibliométricos es el análisis cuantitativo y cualitativo de dichas publicaciones, a partir del número de artículos y el número de citas que estos reciben (impacto), y entre sus principales aplicaciones se encuentra el área de Política Científi ca. Los indicadores clásicos, como el número de artículos, el número total de citas y el promedio de citas por artículo, de forma individual, no refl ejan satisfactoriamente el éxito de la carrera profesional de un investigador. Además, no son robustos, en el sentido que se ven muy afectados tanto por los artículos poco citados como por aquellos anormalmente muy citados, no representativos de la actividad normal del investigador ya que podrían deberse a éxitos puntuales o grandes colaboraciones. El índice h (Hirsch, 2005) es un interesante indicador que estima el número de trabajos importantes publicados por un investigador, incrementando la exigencia a la vez que aumenta su valor. Se trata de un indicador robusto que considera al mismo tiempo aspectos cuantitativos y cualitativos o de visibilidad. Existe correlación entre el índice y el éxito de un investigador apreciado por sus pares (Hirsch, 2005) y tiene, además, valor predictivo del éxito futuro (Hirsch, 2007). No obstante, también presenta algunas limitaciones. Aunque este indicador ha demostrado su utilidad para detectar a los investigadores más destacados en un área, existen evidencias empíricas de que no discrimina entre los situados en niveles intermedios, y penaliza a los selectivos frente a los grandes productores (Costas y Bordons, 2007a, b). Al comparar las carreras profesionales de dos científi cos de un mismo campo, surgen dudas entre aquellos casos con valores similares de h en los que las curvas de citas se cortan. Esto es debido a que algunos investigadores presentan más altos niveles de citas al comienzo de la curva y más bajos al fi nal. En estos casos, es preciso establecer criterios que permitan discriminar que distribuciones de citas corresponden a carreras más consolidadas y constantes. Por tanto, el problema que tratamos de resolver es el siguiente: ¿Cómo discriminar entre dos investigadores con valores similares de h y curvas de citas que se cortan? En este trabajo se propone un indicador de entorno, basado en el índice h, que considera la zona intermedia de la distribución de citas. El apartado 2 está dedicado a describir los principales indicadores bibliométricos empleados en la evaluación de la carrera profesional de un investigador, prestando especial atención a aquellos índices tipo h. En el apartado 3 se describen los indicadores de entorno y en el 4 se muestra un ejemplo de su aplicación práctica. Finalmente, el apartado 5 se dedica a conclusiones y consideraciones fi nales. Indicador bibliométrico basado en el índice h Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733 227 2. Indicadores bibliométricos para la evaluación de investigadores 2.1. Indicadores de producción e impacto Existe consenso en admitir que los artículos son el resultado más directo de la investigación, especialmente cuando se consideran aquellas revistas en las que existe un sistema de selección que garantiza la calidad y originalidad de los trabajos. Aunque el juicio de expertos ha demostrado ser el método más apropiado para valorar la calidad de las aportaciones al área de los artículos, el sistema presenta algunas limitaciones, como el carácter subjetivo y su elevado coste. En este contexto, los indicadores bibliométricos representan indicios objetivos de calidad, que pueden complementar al juicio de expertos. Los indicadores bibliométricos más empleados se basan en el recuento de las publicaciones y las citas recibidas por los trabajos publicados, así como el impacto de las revistas de publicación. El número de publicaciones (Np), es un indicador cuantitativo que no valora la calidad del contenido. Es evidente que no todas las publicaciones tienen la misma importancia, ni suponen la misma contribución al avance científi co. En la búsqueda de indicadores cualitativos, capaces de valorar estos aspectos, se han propuesto el número total de citas (Nc) que reciben los trabajos, el promedio de citas por artículo (nc = Nc / Np), el factor de impacto de la revista de publicación y la posición relativa de la revista en los listados temáticos, ordenados por factores de impacto, del Journal Citation Reports (JCR), atendiendo a la base de datos ISI-Web of Science de Thomson Reuters. Sin embargo, se ha observado que algunas publicaciones que reúnen criterios de calidad atendiendo a la opinión de expertos, apenas reciben citas. La razón es que el número de ci tas depende de su calidad, pero también de otras variables entre las que fi gura el prestigio del autor y/o la institución, la actualidad del tema, la lengua empleada y la revista de publicación, que condicionan la mayor o menor difusión del trabajo. Por esta razón, los indicadores basados en el número de citas lo que miden es el impacto, infl uencia o visibilidad de la investigación, que es un indicador indirecto de la calidad. El factor de impacto (a dos años) de una revista es el número medio de citas de los trabajos publicados en los dos años naturales anteriores. Este indicador fue propuesto por Garfi eld para evaluar exclusivamente las revistas de investigación. Quienes defi enden su aplicación en la evaluación de los investigadores, justifi can este procedimiento en base a la creencia que aquellas revistas con mayores factores de impacto exigen mejores manuscritos, lo cual es en parte cierto al comparar trabajos del mismo campo cuando los factores de impacto de las revistas son signifi cativamente diferentes. Sin embargo, la aplicación a investigadores que trabajan en distintos campos no es directa, dado que el factor de impacto depende de parámetros bibliométricos que no tienen que ver con la calidad como, por ejemplo, el número medio de referencias bibliográfi cas en las revistas del área. Por otra parte, las mejores revistas publican muchos trabajos de escaso PABLO DORTA-GONZÁLEZ, MARÍA ISABEL DORTA-GONZÁLEZ 228 Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733 éxito y, a la inversa, muchos trabajos de gran éxito se publican en revistas que no están en los primeros puestos de los listados por factor de impacto. Es bien conocida la regla 80/20, que indica que el 80 % de las citas de muchas revistas son obtenidas por el 20 % de los trabajos. Además, no existe correlación entre el factor de impacto de una revista y el número de citas de un trabajo concreto de esa revista, por lo que no puede emplearse el factor de impacto para predecir el éxito de los artículos. Como consecuencia, existe un rechazo generalizado a evaluar la calidad de un trabajo por el factor de impacto de la revista (Nature, 2005), sobre todo cuando determinar las citas reales de los trabajos está al alcance de cualquier investigador. En la valoración de las publicaciones científi cas se puede tener en cuenta, además, algunos aspectos como el número de páginas publicadas, en ocasiones normalizadas por el promedio de caracteres, y el número de autores de cada trabajo. Sin embargo, el número de páginas es signifi cativo sólo cuando se consideran artículos publicados en revistas de gran prestigio (blue ribbon o top journals), en las que la extensión de los artículos refl eja el esfuerzo realizado por los investigadores. Además, es conocido que existen hábitos de publicación distintos en los diferentes campos de especialidad, y que algunas revistas establecen límites estrictos al número de páginas de cada artículo, mientras que otras no lo hacen. 2.2. Indicadores tipo h Como se ha comentado, el procedimiento para valorar la excelencia de un investigador, sin recurrir a la evaluación por pares, consiste en el análisis de la frecuencia de las citas de sus trabajos. La suma de todas las citas recibidas por los trabajos publicados por un autor refl eja, en muchos casos, el éxito de su carrera científi ca. Sin embargo, en ocasiones, algunos éxitos puntuales acumulan un alto porcentaje del total de citas de un investigador. Además, las grandes colaboraciones introducen sesgos muy importantes, al recoger muchas citas pero derivadas del trabajo de un gran número de investigadores. Para corregir estos sesgos, Hirsch propone un nuevo indicador. Un investigador tiene un índice h cuando h de sus publicaciones han recibido al menos h citas cada una, y el resto tiene h o menos citas por trabajo (Hirsch, 2005). Este indicador estima el número de trabajos importantes publicados por un investigador, incrementando la exigencia a la vez que aumenta su valor, y proporciona una cota inferior h2 del número total de citas Nc. El valor de Nc es generalmente mucho mayor que h2 (entre 3 y 5 veces según ha estimado el propio Hirsch) ya que esta cantidad subestima las citas de los artículos más citados e ignora los artículos con menos de h citas. Hirsch argumenta que Nc puede ser infl ado por un pequeño número de importantes éxitos que podrían deberse al efecto de la coautoría. Sin embargo, el índice h es robusto, en el sentido que no se ve afectado ni por aquellos artículos no citados (o poco citados) ni por uno o varios artículos anormalmente muy citados. Indicador bibliométrico basado en el índice h Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733 229 El índice h ha sido extensamente estudiado (ver revisión de Bornmann y Daniel, 2007) y tiene importantes propiedades matemáticas (Glänzel, 2006). Sin embargo, también presenta importantes limitaciones, algunas de las cuales se indican a continuación, junto con algunas variantes que han surgido en los últimos años para intentar resolverlas. • Depende del área y del número de colaboradores (es size-dependent). No es adecuado, por tanto, para comparar investigadores de diferentes áreas científi cas, lo que se explica por los distintos hábitos de publicación y citación según el campo. El número de citas depende de dos parámetros bibliométricos que son diferentes entre campos y que no tienen que ver con la calidad, como son el promedio de referencias y autores por trabajo. El primero de estos sesgos puede corregirse dado que el h máximo en cada campo está fuertemente correlacionado con los factores de impacto de las primeras revistas del área, lo que permite estimar un h de referencia en cada especialidad (Imperial y Rodríguez-Navarro, 2007). Una alternativa es el índice b (Bornmann y otros, 2007) que indica el número de artículos incluidos en el 10 % de los más citados en su campo, determinados a partir de los percentiles ISI-ESI, por ejemplo. El segundo sesgo puede reducirse con un indicador complementario h1, que se obtiene al dividir por el número medio de autores de esos artículos (Batista y otros, 2006), e indicaría el número de artículos que un investigador podría haber publicado en solitario a lo largo de su carrera con al menos h1 citas. • Correlaciona con el número de publicaciones. Muestra una alta correlación positiva con el número total de citas y de documentos de los investigadores (Cronin y Meho, 2006; Saad, 2006; Van Raan, 2006), por lo que tiende a favorecer a los que cuentan con carreras científi cas más dilatadas y tiene menos validez entre aquellos con un bajo número de publicaciones. Para diferenciar entre investigadores activos e inactivos y poder comparar investigadores en distintas etapas de su carrera, se ha propuesto la tasa de crecimiento h' (t) (Rousseau y Ye, 2008). A diferencia de Nc(t), que es una función cuadrática, Hirsch (2007) ha estimado empíricamente que h(t) = a · t es una función lineal del tiempo. De esta manera, es posible tomar como elemento de comparación la tasa de crecimiento a = h/t, siendo t los años transcurridos desde la publicación del primer artículo. Una alternativa es calcular el índice h para un determinado período de tiempo, en lugar de toda la vida profesional de un investigador. • No considera todas las citas de los artículos más citados (highly cited papers). Estos trabajos contribuyen al índice h de un determinado autor, pero el número de veces que son citados no infl uye sobre su valor. Esto es debido a que al estimar el éxito de un investigador por el índice h se desprecian las colas de la distribución de citas. Estas colas corresponden a aquellas publicaciones que se alejan del impacto promedio, ya sea porque han sido muy citadas (cola superior), o porque apenas lo han sido (cola inferior). El PABLO DORTA-GONZÁLEZ, MARÍA ISABEL DORTA-GONZÁLEZ 230 Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733 índice g (Egghe, 2006) considera todas las citas de los g artículos más citados, y viene a representar un promedio de citas entre estos g artículos. Ordenados los artículos de forma decreciente del número de citas que reciben, g es el mayor valor de forma que los primeros g artículos tienen, en su conjunto, al menos g2 citas. Sin embargo, como indica Hirsch, una cola superior pesada puede corresponder a trabajos con muchos autores en grandes líneas de investigación que generan muchas citas. Una cola inferior pesada indica un gran número de publicaciones de escaso impacto, lo que podría indicar sobreproducción. • Perjudica a los investigadores selectivos, aquellos con producción moderada pero de gran impacto, frente a los grandes productores, aquellos con una gran producción pero de impacto moderado (Costas y Bordons, 2007a,b). Además, no es consistente (Waltman y Van Eck, 2009), debido a que el efecto de la incorporación de un nuevo trabajo con un número determinado de citas puede ser diferente entre investigadores, incrementando el valor de h en unos casos y dejándolo igual en otros. En este trabajo se proponen los indicadores de entorno, un complemento del índice h que trata de aumentar la consistencia del indicador sin favorecer a los grandes productores frente a los selectivos. 3. Indicadores de entorno 3.1. Formulación matemática Dadas las publicaciones de un autor en orden decreciente del número de citas, sea Np el número total de publicaciones de un autor y ci el número de citas recibidas por la publicación i ( c1 ≥ c2 ≥ ... ≥ CNp). Sea Nc j = Σj i = 1ci las citas agregadas de las j publicaciones más citadas, Nc = ΣNp i = 1ci las citas totales y nc = Nc /Np el promedio de citas por artículo. La representación del número de citas frente a la posición en la lista (i, ci) da lugar a la distribución de citas, mientras que la línea que une estos puntos es la curva de citas. El índice es el mayor número entero que cumple ch ≥ h, es decir, h = máx 再i ∈ Z : ci ≥ i冎 Geométricamente, es la parte entera del punto de intersección de la curva de citas con la bisectriz del primer cuadrante. Esto signifi ca que el autor tiene h trabajos con al menos h citas cada uno. El índice h proporciona una cota inferior H = h2 del número total de citas, no incluyendo el volumen de citas en las colas de la distribución de citas: cola superior «U» de artículos más citados y cola inferior «L» de artículos menos citados. Obsérvese que se tienen las siguientes relaciones: Indicador bibliométrico basado en el índice h Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733 231 N c = H + U + L, U = Nc h – H, L = Nc – Nc h El peso relativo de las colas de la distribución de citas viene dado por Nc/H. De acuerdo a las estimaciones de Hirsch, podemos decir que si Nc/H < 3 la distribución tiene colas poco pesadas, mientras que si Nc/H > 5 la distribución tiene colas muy pesadas. El índice h benefi cia a aquellos investigadores que presentan colas menos pesadas. Esto es debido a que a medida que aumenta el peso relativo de la cola, la proporción de citas consideradas en el cálculo de este índice es menor. Perjudica de manera considerable a aquellos investigadores con una relación de colas U/L elevada. Cuando U/L > 1, el peso de la cola superior es mayor que el de la cola inferior, lo que podría indicar que se trata de un investigador selectivo. Cuando sucede lo contrario, esto es U/L < 1, la relación entre las colas podría indicar que nos encontramos ante un investigador gran pro ductor. El índice g es el mayor número entero que cumple g2 ≤ Nc g, es decir, g = máx 冦 i ∈ Z 冒 Nc i i ≥ i 冧 = máx再i ∈ Z/Nc i ≥ i2冎 Este indicador considera todas las citas de los g artículos más citados y representa un promedio de citas entre estos g artículos. En este caso, se incluye la cola superior de citas U, por lo que g ≥ h y garantiza una cota inferior de citas G = g2 ≥ H. La mediana «m» de la distribución de citas corresponde a aquella publicación que deja a cada lado aproximadamente la mitad de las citas, es decir, m = mín 冦 i ∈ Z/Nc i ≥ Nc 2 冧 La tabla I resume la notación empleada y describe algunos indicadores bibliométricos en función del porcentaje de citas representadas. La tabla II y la fi gura 1 muestran, para dos ejemplos, diferentes medidas que describen la forma de la curva de citas. Además, estos ejemplos ponen de manifi esto que el índice h correlaciona menos con el juicio de los expertos en Ciencias Sociales que en otras Ciencias Experimentales. En general, los índices h en Ciencias Sociales son muy inferiores a los de otras Ciencias. Así, mientras en Biología y Biomedicina el h máximo es del orden de 150, en Física es del orden de 100 (Hirsch, 2005) y en Economía de 50. Como se ha indicado en el apartado 2, el h máximo en cada campo está fuertemente correlacionado con los factores de impacto de las primeras revistas del área, lo que permite estimar un h de referencia en cada especialidad hR = 16 + 11 · f, donde f es el factor de impacto promedio de las primeras revistas del área (Imperial y Rodríguez-Navarro, 2007). La categoría «Economics» del JCR 2007 incluye PABLO DORTA-GONZÁLEZ, MARÍA ISABEL DORTA-GONZÁLEZ 232 Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733 191 revistas, que presentan grandes diferencias entre factores de impacto. Aunque el mayor es 4,190, tan sólo doce superan el 2, por lo que se ha optado por tomar la media de los factores de impacto de las doce primeras revistas de la categoría, cuyo resultado es 2,958, para el cálculo del h de referencia internacional. Para el cálculo del h de referencia nacional se ha tomado la única revista española TABLA I Notación y descripción d e algunos indicadores bibliométricos Indicador Descripción Citas representadas % de citas NpNº de publicaciones — — i = 1, ..., Np Índice publicación en orden decreciente del nº de citas —— ciCitas publicación i—— Nc j = j Σ i = 1 ciCitas agregadas hasta j—— Nc h Citas de los h más citados H + U H + U Nc 100 Nc = Nc Np Total citas H + U + L100 nc = Nc Np Promedio citas por publicación — — HCuadrado de citas de Hirsch h 2h2 Nc 100 UCola superior más citados Nc h – H Nc h – H Nc 100 LCola inferior menos citados Nc – Nc h = Nc – H – U 冢 1 – Nc h Nc 冣 100 GCuadrado de citas de Egghe g 2g2 Nc 100 U + LTotal colas Nc – H 冢 1 – H Nc 冣 100 hÍndice hH H Nc 100 gÍndice gG G Nc 100 mMediana 1 2 Nc50 U L Relación de colas — — Nc H Peso relativo de las colas — — Indicador bibliométrico basado en el índice h Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733 233 TABLA II Indicadores bibliométricos de J. E. Stiglitz y E. S. Phelps según Web of Science (octubre, 2008) Indicador J. E. Stiglitz E. S. Phelps Valor % citas Valor % citas Np164 — 58 — Nc12.016 100 2.125 100 nc73,27 — 36,64 — h50 — 20 — g108 — 46 — m950 550 Nc h 10.132 84,3 1.982 93,3 H2.500 20,8 400 18,8 U7.632 63,5 1.582 74,4 L1.884 15,7 143 6,7 G11.664 97,1 2.116 99,6 U + L9.516 79,2 1.725 81,2 U L 4,05 — 11,06 — Nc H 4,81 — 5,31 — FIGURA 1 Distribución de citas de J. E. Stiglitz y E. S. Phelps según Web of Science (octubre, 2008) 0 200 400 600 800 1.000 1.200 121416181101121141161 Artículo i 58 164 Np 1.9821431.5824002.12554620Phelps 10.1321.8847.6322.50012.016910850Stiglitz LUHNcNc h mgh Cita ci Stiglitz Phelps Bisectriz PABLO DORTA-GONZÁLEZ, MARÍA ISABEL DORTA-GONZÁLEZ 240 Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733 TABLA III Artículos, citas, índices «h» e indicadores de entorno para una muestra de 16 investigadores en SSCI Grupo Autor Rango art. SSCI Artículos Citas Índice hH2003 = H0 Indicadores de entorno 2003 [1. er año, 2008] 2003 2008 2003 2008 2003 2008 H1H2H3H2008 1 1. Baca-García, E. [1998, 2008] 17 38 23 199 2 9 4 16 — — 81 2. Ferrando, P. J. [1995, 2008] 28 48 35 155 3 7 9 19 23 — 49 3. Gil-Alana, L. A. [2000, 2008] 28 65 30 142 3 6 9 22 24 — 36 4. Haro, J. M. [1992, 2008] 18 85 105 733 4 15 16 54 80 101 225 5. Moral, P. [1990, 2008] 25 31 233 396 7 11 49 81 93 104 121 6. Moreno, D. [1996, 2008] 13 29 27 128 3 7 9 12 21 — 49 7. Ortiz, T. [1983, 2008] 16 29 31 114 3 7 9 21 27 — 49 8. Sosvilla-Rivero, S. [1998, 2008] 17 29 18 93 2 5 4 10 — — 25 2 9. Alonso, J. [1990, 2008] 48 118 925 2.708 17 26 289 323 430 460 676 10. Borrell, C. [1995, 2008] 31 78 178 855 8 19 64 86 104 124 361 11. Calvo, M. G. [1985, 2008] 36 57 353 874 10 16 100 119 136 151 256 12. Lobo, A. [1978, 2008] 44 62 649 1.505 16 23 256 302 357 383 529 13. Matute, H. [1994, 2008] 21 32 250 562 9 13 81 97 111 129 169 14. Salamero, M. [1983, 2008] 32 58 297 1.109 10 19 100 127 149 154 361 15. Tobena, A. [1978, 2008] 27 34 471 884 14 18 196 261 295 315 324 16. Vieta, E. [1992, 2008] 39 108 263 1.200 9 23 81 109 125 139 529 Total 440 901 3.888 11.657 Correlaciones Grupo H0H1H2H3Ln(H0)Ln(H1)Ln(H2)Ln(H3) H2008 1 0,431 0,709 0,827 — 0,534 0,758 0,851 — 2 0,665 0,638 0,689 0,688 0,597 0,605 0,646 0,646 1 + 2 0,852 0,850 0,844 0,744 0,848 0,860 0,866 0,737 Indicador bibliométrico basado en el índice h Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733 241 FIGURA 6 Impacto y diagramas de dispersión producción-impacto para una muestra de 16 investigadores en SSCI 0 500 1.000 1.500 2.000 2.500 3.000 Baca-García Ferrando Gil-Alana Haro Moral Moreno Ortiz Sosvilla-Rivero Alonso Borrell Calvo Lobo Matute Salamero Tobena Vieta Nc 2003 Nc 2008 a) 8 1 7 63 2 4 10 5 13 9 12 15 11 14 16 0 200 400 600 800 1.000 0 5 10 15 20 25 30 35 40 45 50 Np Nc Nc 2003 b) 13 15 123 4 10 14 16 12 9 5 11 87 6 0 500 1.000 1.500 2.000 2.500 3.000 0 20406080100120 Np Nc Nc 2008 c) PABLO DORTA-GONZÁLEZ, MARÍA ISABEL DORTA-GONZÁLEZ 242 Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733 FIGURA 7 Diagramas de dispersión para una muestra de 16 investigadores en SSCI n = 16; r = 0,882; p < 0,001 024681012141618 h2003 30 25 20 15 10 5 0 h2008 a) n = 16; r < 0,851; p < 0,001 500 400 300 100 0 Hj 0100200300400500600700 H2008 b) H0H1H2H3 7 6 5 4 3 2 1 0 Ln(Hj) 0100200300400500600700 800 H2008 c) n = 16; p < 0,001 Ln(H0); r = 0,848 Ln(H1); r = 0,860 Ln(H2); r = 0,866 Ln(H3); r = 0,737 Indicador bibliométrico basado en el índice h Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733 243 res de entorno refl ejan las diferencias existentes en la distribución de citas de los autores, estimando mejor el valor de h2008. Finalmente, en la fi gura 7 se observa cómo existe correlación lineal alta entre h2003 y h2008 ( r = 0,882). El coefi ciente de determinación es r2 = 0,779, es decir, h2008 es explicado en un 78 % por h2003. La correlación es signifi cativa por encima del 99 % de seguridad. También puede observarse que existe correlación no lineal (exponencial) entre Hj y H2008. En el modelo log-lineal todas las correlaciones son altas, signifi cativas por encima del 99 % de seguridad, y aumentan hasta H2. Esto indica que el mejor estimador para este ejemplo es H2. Hay que tener en cuenta que para H3 la correlación está calculada en relación a diez datos exclusivamente, dado que el indicador no está defi nido para el resto de los casos. 5. Conclusiones El índice h es un indicador bibliométrico que trata de medir el éxito de la carrera profesional de un investigador sólo con una parte del volumen total de publicaciones y citas. El hecho de no considerar toda la producción e impacto corrige ciertas situaciones anómalas derivadas de grandes colaboraciones o éxitos puntuales, que pueden no ser signifi cativas de la carrera profesional en su conjunto. Sin embargo, como se ha puesto de manifi esto en este trabajo, en ciertas ocasiones, dos distribuciones de citas muy diferentes pueden dar lugar a un mismo índice h. En estos casos, no es posible distinguir entre ambos investigadores, por ejemplo, entre un investigador con pocos trabajos muy citados y otro con muchos trabajos de escaso impacto. Además, los bajos niveles de producción y citas en áreas como las Ciencias Sociales, se traducen en índices signifi cativamente inferiores a los de otras áreas, por lo que la cota inferior del volumen de citas garantizadas por el indicador es menor y su capacidad para discriminar se ve reducida. Esta es una de las razones por las que el índice correlaciona menos con el juicio de los expertos sociales. En este trabajo se ha propuesto un complemento al índice h, los indicadores de entorno, en relación a distinguir de entre un grupo de investigadores con valores similares de h, aquellos con una carrera más consolidada y constante. Estos indicadores de entorno consideran, por un lado, las citas de aquellos artículos que con mayor probabilidad pueden contribuir a incrementar el valor de h en el futuro, dado que están más próximos al núcleo de artículos considerados por el índice h, y por otro, aquellas citas que formarán parte de h2 en el momento en que h aumente de valor. Como se ha puesto de manifi esto en el ejemplo, este indicador tiene mayor poder de discriminación al considerar un volumen mayor de citas, y corrige un problema descrito en la literatura que indica que el índice h benefi cia a los grandes productores frente a aquellos más selectivos. Este sesgo se ve reducido con el indicador de entorno al incluir un volumen de citas adicional mayor en el caso de los autores selectivos. PABLO DORTA-GONZÁLEZ, MARÍA ISABEL DORTA-GONZÁLEZ 244 Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733 La principal difi cultad en la aplicación práctica del indicador de entorno, en la evaluación del personal investigador, radica en la necesidad de estimar adecuadamente el radio del entorno que mejor describe la forma de la distribución de citas de la población objeto de estudio. Dicho radio debe estimarse empíricamente. En el ejemplo mostrado, donde hay un grupo con h relativamente bajo, este radio es de dos artículos alrededor del índice h. Sin embargo, entendemos que es necesaria una aplicación empírica más exhaustiva que proporcione los valores de referencia del entorno en función del h de los investigadores. Finalmente, nos gustaría puntualizar que el indicador de entorno no pretende ser sustituto sino complemento del índice h, especialmente en aquellos procesos de evaluación del personal investigador donde puedan existir dudas razonables. 6. Bibliografía Batista, P. D.; Campiteli, M. G.; Kinouchi, O., y Martinez, A. S. (2006): Is it possible to compare researchers with different scientifi c interests?, Scientometrics, v. 68, nº 1, 179-189. Bornmann, L., y Daniel, H. D. (2007): What do we know about the h Index?, Journal of the American Society for Information Science and Technology, v. 58, nº 9, 1381-1385. Bornmann, L.; Mutz, R., y Daniel, H. D. (2007): The b index as a measure of scientifi c excellence. A promising supplement to the h index?, Cybermetrics, v. 11, nº1, paper 6. Costas, R., y Bordons, M. (2007a): Una visión crítica del índice h: algunas consideraciones derivadas de su aplicación práctica, El profesional de la información, v. 16, nº 5, 427-432. Costas, R., y Bordons, M. (2007b): The h-index: advantages, limitations and its relation with other bibliometric indicators at the micro-level, Journal of Informetrics, v. 1, nº 3, 193-203. Cronin, B., y Meho, L. I. (2006): Using the h-index to rank infl uential information scientists, Journal of the American Society for Information Science and Technology, v. 57, nº 9, 1275-1278. Egghe, L. (2006): Theory and practise of the g-index, Scientometrics, v. 69, nº 1, 131-152. Glänzel, W. (2006): «On the h-index. A mathematical approach to a new measure of publication activity and citation impact», Scientometrics, v. 67, nº 2, 315-321. Hirsch, J. E. (2005): An index to quantify an individual’s scientifi c research output, Proceedings of the National Academy of Sciences, v. 102, nº 46, 16569-16572. Hirsch, J. E. (2007): Does the h index have predictive power?, Proceedings of the National Academy of Sciences, v. 104, nº 49, 19193-19198. Imperial, J., y Rodríguez-Navarro, A. (2007): Usefulness of Hirsch’s h-index to evaluate scientifi c research in Spain, Scientometrics, v. 71, nº 2, 271-282. Nature editorial (2005): Ratings games, Nature, v. 436, nº 7053, 889-890. Rousseau, R., y Ye, F. Y. (2008): A proposal for a dynamic h-type index, Journal of the American Society for Information Science and Technology, v. 59, nº 11, 1853-1855. Indicador bibliométrico basado en el índice h Rev. Esp. Doc. Cient., 33, 2, abril-junio, 225-245, 2010. ISSN: 0210-0614. doi:10.3989/redc.2010.2.733 245 Saad, G. (2006): Exploring the h-index at the author and journal levels using bibliometric data of productive consumer scholars and business-related journals respectively, Scientometrics, v. 69, nº 1, 117-120. Van Raan, A. F. J. (2006): Comparisons of the Hirsch-index with standard bibliometric indicators and with peer judgment for 147 chemistry research groups, Scientometrics, v. 67, nº 3, 491-502. Waltman, L., y Van Eck, N. J. (2009): A taxonomy of bibliometric performance indicators based on the property of consistency, http://repub.eur.nl/publications/index/229666761/