Una sistematización de los instrumentos de medida de la calidad de la investigación

Working Papers on Operations Management . Vol 3, Nº 1 (28-45) ISSN: 1989-9068 28 Una sistematización de los instrumentos de medida de la calidad de la investigación (A systematization of instruments to measure the quality of research) Carmen Medina-Lopez1, Juan A. Marin-Garcia2, Rafaela Alfalla-Luque3 1 GIDEAO Research Group. Departamento de Economía Financiera y Dirección de Operaciones. Universidad de Sevilla. Avda. Ramón y Cajal, 1. 41005. Sevilla. España. [email protected] 2 ROGLE. Dpto. de Organización de Empresas. Universidad Politécnica de Valencia. Camino de Vera S/N 46021 Valencia. [email protected] 3 GIDEAO Research Group. Departamento de Economía Financiera y Dirección de Operaciones. Universidad de Sevilla. Avda. Ramón y Cajal, 1. 41005. Sevilla. España. [email protected] Abstract: Dada la necesidad creciente de aportar evidencias sobre la calidad de la investigación desarrollada y el impacto que las publicaciones tienen en el entorno profesional y académico, se hace necesario que el investigador conozca las diferentes herramientas que existen. El objetivo de este trabajo es sistematizar y revisar los principales recursos que proporcionan indicios de calidad de la investigación realizada y que son actualmente aceptados por la comunidad científica-académica. (Given the need to provide proof of the quality of research done and the impact that publications have in the professional and academic environment, researchers increasingly need to become acquainted with the different tools that exist. The objective of this paper is to systematize and review the main resources that give indications of the quality of research that are currently accepted by the scientific-academic community.) Keywords: investigación; calidad; ranking de revistas; bases de datos (research; quality; scientific journals rankings; databases) 1. Introducción En los últimos años el desarrollo de la carrera docente e investigadora está sujeto a la superación de una sucesión de evaluaciones y/o acreditaciones que obligan a los investigadores a demostrar la calidad del trabajo desarrollado. Un claro ejemplo, en el contexto español, es el RD 1312/2007 de 5 de octubre (BOE de 6 de octubre) que regula el proceso de acreditación nacional para el acceso a los cuerpos docentes universitarios, tanto laboral como funcionario a que se refiere la Ley Orgánica 6/2001, de 21 de diciembre, de acuerdo con los estándares internacionales evaluadores de la calidad docente e investigadora. A esto se une el aumento de la presión ejercida sobre los investigadores por las instituciones que los financian para incrementar la difusión de los resultados alcanzados (Day, 2007). Dada la necesidad creciente de aportar evidencias sobre la calidad de la investigación desarrollada y el impacto que las publicaciones tienen en el entorno profesional y académico, el investigador debe conocer las diferentes herramientas que existen para tal fin. La calidad de la investigación es un concepto complejo y difícil de medir. Para ello se están empleando indicadores que proporcionan indicios calidad como, por ejemplo, los índices de impacto relativo o el número de citas. El objetivo de este trabajo es sistematizar y revisar los principales recursos que proporcionan indicios de calidad de la investigación realizada y que son actualmente aceptados por la comunidad científica-académica. No es objeto de este Working Papers on Operations Management . Vol 3, Nº 1 (28-45) ISSN: 1989-9068 29 trabajo debatir hasta que punto estos instrumentos miden realmente la calidad de la investigación desarrollada. Los autores de este trabajo, en los diferentes procesos de acreditación en los que se han encontrado inmersos, han identificado que los recursos necesarios para ello suelen estar dispersos y que, normalmente por desconocimiento de su existencia, algunos de ellos no se usan. Además, en las búsquedas bibliográficas realizadas, no se detectaba ningún trabajo que presentase dicha información sobre recursos de forma unificada y sistematizada. Por ello, el presente trabajo ha buscado cubrir dicho gap, a través de un proceso de búsqueda y sistematización de los recursos que presentan indicios de calidad de la investigación. Para la recopilación de los recursos aquí presentados se ha realizado una búsqueda sistemática de los instrumentos que las agencias de acreditación consideran válidos, tanto a nivel nacional (ANECA) como regional (ACAP, AGAE, AQU, AVAP, ACSUG,…). Además, se han revisado los recursos reconocidos por diversas instituciones educativas y de investigación de prestigio nacionales e internacionales, y se ha indagado en los recursos ofrecidos en las bibliotecas universitarias. Igualmente, se ha intercambiado información con colegas en jornadas y congresos. Este trabajo puede resultar de gran utilidad para aquellos investigadores que deban someterse a procesos de acreditación o de defensa de su curriculum investigador, de forma que les ahorre el esfuerzo de identificación de los principales recursos disponibles. Sin embargo, se debe señalar que, debido al constante desarrollo de indicadores de calidad de la investigación, podría existir algún recurso reciente que pudiera no estar considerado en el presente trabajo. 2. Sobre la evaluación de la docencia e investigación Dado el interés que suscita la discusión propuesta, sería conveniente realizar algunas reflexiones al respecto. Hussain (2011) al analizar el uso, entre las escuelas de negocios de Reino Unido para evaluar la investigación y asignar recursos, del ranking de revistas Academic Journal Quality Guide propuesto por la Association of Business Schools’ (ABS), afirma que: “The problem is that, once a particular rating list overtakes all others to become the ‘industry standard’, then its ratings cease to be merely one viewpoint among many regarding a journal’s perceived quality and become, de facto, the journal’s actual rating. This shift from quality estimation to quality determination is worrying regardless of how carefully the … ratings are assessed, and places enormous power in the hands of the guide’s editors to shape the futures of individuals, institutions and subject areas.” Este mismo razonamiento es aplicable a índices de impacto u otros instrumentos que nos ayudan a establecer indicios de calidad. En la medida en la que un instrumento se establece como el principal o único a considerar por la comunidad científica para evaluar la investigación realizada, se está perdiendo riqueza y diversidad en las perspectivas de análisis, y, en consecuencia, en la investigación que los investigadores van a realizar. En esta línea, Casati et al. (2007) argumentan que el actual modelo de revisión y publicación de trabajos está obligando a emplear una gran cantidad de tiempo y recursos a los investigadores que deben esforzarse en “vender” sus investigaciones para lograr su publicación, en lugar de emplear ese tiempo en hacer mejores investigaciones. Por otra parte, se debe tener en cuenta que cualquier instrumento empleado para medir la calidad de la investigación tendrá sus limitaciones. Así, respecto a los índices de citas, y en relación a las revistas de Business, Hussain (2011) señala que éstas no han estado Working Papers on Operations Management . Vol 3, Nº 1 (28-45) ISSN: 1989-9068 30 tradicionalmente bien cubiertas por las bases de datos con las que se calculan los índices de impacto, por lo que dichos índices no siempre son adecuados para evaluar este área. Existen trabajos que analizan la adecuación de los diferentes índices de calidad, indican cómo se calculan y muestran sus limitaciones. En esta línea, Togia y Tsigilis (2006) al analizar las principales limitaciones en el cálculo y aplicación del factor de impacto JCR señalan que: “Quality of scientific journals is a multi-faceted concept that should not be assessed only on the basis of a purely bibliometric indicator such as the impact factor (Lluch, 2005). Apart from the serious technical limitations inherent in the calculation of the impact factor mentioned above, the equation of a journal’s quality with the number of citations it receives over a certain period of time cannot be justified (Buela-Casal, 2004). Quality is much more associated with features such as originality, creativity, validity and so on (Buela-Casal, 2004). Even under the assumption that the impact factor can measure journal quality, the journals compared should belong to the same scientific field, be published in the same language and in the same country, and have similar form and structure (Kaltenborn & Kuhn, 2004; Manske, 2004). Only if these conditions are satisfied could comparisons on the basis of the impact factor be meaningful. According to Manske, a much better insight into a journal’s value and its impact on the scientific community could possibly be acquired through the investigation of the reading behavior of its readers. Such a study revealed that impact factors did not reflect the extent to which scientific journals are used by experts (Manske, 2004).” Encontramos en la literatura otros trabajos que permiten conocer diversos instrumentos de medida de la calidad. Por ejemplo, Cabezas-Clavijo y Delgado-López-Cózar, (2012) y Delgado-López-Cózar et al. (2012) analizan si es adecuado usar Google Académico para evaluar las revistas científicas de Ciencias Sociales y Jurídicas españolas, proporcionando para ellas los índices H y G. Por su parte, González-Pereira, B.; Guerrero-Bote, V.P. y MoyaAnegón, F. (2010) presentan el indicador SJR desarrollado para Elsevier Scopus. Harzing (2010) muestra cómo emplear el software Publish or Perish para hacer un análisis de citas eficaz. Moed (2010) presenta el indicador SNIP desarrollado por CWTS para Elsevier Scopus. Torres-Salinas (2010) presenta la Clasificación Integrada de Revistas Científicas (CIRC) y West (2010) analiza el índice de impacto Eighenfactor desarrollado con datos de la Web of Knowledge. Las fortalezas y debilidades de los diferentes indicadores nos lleva a plantear la necesidad de combinar diversos instrumentos de cada tipo para lograr compensar las posibles limitaciones y, así, ampliar la variedad de perspectivas de análisis de lo que se entiende por una investigación de calidad. 3. Sistematización de los recursos e indicios de calidad Teniendo en cuenta el objetivo de este trabajo, se comenzará presentando una sistematización de las principales fuentes de recursos para la evaluación de la calidad de la investigación, realizando, para cada uno de ellos, una breve descripción (Tabla 1). Para facilitar la localización de los indicios de calidad se ha considerado de interés presentarlos también ordenándolos en función del recurso concreto. Así, la tabla 1 se ha desagregado en 8 tablas (Tabla 2 a 9) distinguiendo si dichos recursos sirven para justificar la calidad de:  Revistas (índices de impacto relativo, de difusión, H y G (Tabla 2), posición en clasificaciones y rankings realizas por instituciones de prestigio (Tabla 3), presencia en determinadas bases de datos (Tabla 4), y herramientas de análisis/comparación de revistas (Tabla 5)). Working Papers on Operations Management . Vol 3, Nº 1 (28-45) ISSN: 1989-9068 31  Artículos (número de citas recibidas (Tabla 6) y calidad de la revista en la que se publica).  Libros (número de citas y reseñas recibidas, difusión y calidad de la editorial) (Tabla 7).  Investigador (calidad de su producción científica en global y pertenencia a institución de prestigio) (Tabla 8). Por último, se ha considerado de interés presentar los diferentes recursos que permiten al investigador generar un perfil que resume la información que de él recoge cada recurso (Tabla 9). Working Papers on Operations Management . Vol 3, Nº 1 (28-45) ISSN: 1989-9068 32 Tabla 1. Principales recursos para justificar la calidad de la investigación ordenados por fuente (orden alfabético) Fuente Descripción y recurso/s que proporciona Ámbito Vínculo web CEFAGE  Center for Advanced Studies in Management and Economics of the Universidade de Évora (CEFAGE-UE)  CEFAGE-UE journal ranking: abarca las áreas de economía y gestión de empresas. Clasifica las revistas en 6 categorías. El ranking se establece teniendo en cuenta los rankings de nueve instituciones del área de gran prestigio.  Además proporciona vínculos de interés como bases de datos bibliográficas, índices de impacto y rankings de revistas. Internacional http://www.cefage.uevora.pt/en/links/revistas_ cientificas_rankings CIRC  Clasificación integrada de revistas científicas: clasificación de revistas científicas de Humanidades y Ciencias Sociales. Internacional http://epuc.cchs.csic.es/circ/index.html CWTS (datos de SCOPUS)  Índice de impacto de revistas: Source Normalized Impact per Paper (SNIP). Internacional http://www.journalindicators.com/Default.asp x http://www.journalmetrics.com/ DIALNET  Portal bibliográfico de acceso libre y gratuito. Pretende dar visibilidad a la literatura científica hispana.  Para revistas: proporciona información y algunos indicios de calidad (clasificación CIRC, bases de datos que la recogen, …).  Para libros: Indica catálogos donde esté indexado el libro y reseñas. Internacional http://dialnet.unirioja.es/ DICE  Proporciona información sobre indicadores de calidad de las revistas españolas de Humanidades y Ciencias Sociales: Evaluadores externos; Bases de datos en las que aparece indexada; Valoración de difusión internacional; Apertura exterior de los autores; Internacionalidad de las contribuciones; Criterios Latindex cumplidos; Categoría ANEP; Categoría ERIH; Categoría CARHUS. España http://dice.cindoc.csic.es/ DOAJ  Directorio de revistas open access, exige determinados requisitos de calidad a las revistas para su inclusión. Internacional http://www.doaj.org/doaj?func=home ECONLIT  Base de datos con acceso a los trabajos en función de la suscripción.  Citas recibidas por publicaciones. Internacional http://www.aeaweb.org/econlit/index.php EIGENFACTOR.O RG (datos de WoK)  Índice de impacto de revistas: Eigenfactor. Internacional http://www.eigenfactor.org/ ERIH  Clasifica revistas (principalmente de humanidades) en 4 categorías según su ámbito de difusión geográfico y su influencia en los investigadores. Internacional http://www.esf.org/researchareas/humanities/erih-european-referenceindex-for-the-humanities.html Working Papers on Operations Management . Vol 3, Nº 1 (28-45) ISSN: 1989-9068 33 Fuente Descripción y recurso/s que proporciona Ámbito Vínculo web Google Académico Google Libros  Indica citas de trabajos (no es muy fiable). Realizando la búsqueda de un trabajo se pueden consultar las citas recibidas según este buscador.  Si el investigador se da de alta en “mis citas”, puede gestionar y hacer un seguimiento de las citas que reciben sus trabajos. Se accede desde Google Académico, en opción “mis citas”  Para libros: indica catálogos donde esté indexado el libro y reseñas (buscar título del libro y la palabra reseña) Internacional http://scholar.google.es/ http://scholar.google.com/intl/en/scholar/citati ons.html http://books.google.es/ Harzing.com  Journal Quality List: Listado que agrupa algunos de los rankings de revistas más importantes a nivel internacional.  Publish or Perish: software que encuentra y analiza citas académicas y genera índice H de autor. Busca en Google Académico eliminando duplicados. Internacional http://www.harzing.com/index.htm http://www.harzing.com/jql.htm http://www.harzing.com/pop.htm IN-RECS  Índice de impacto de revistas.  Listado del 1% de autores y artículos más citados.  Listado de instituciones más productivas (por citas).  Índices H y G de revistas de Ciencias Sociales según Google Académico (2001-10). España http://ec3.ugr.es/in-recs/ http://hdl.handle.net/10481/20235 IRESIE  Base de datos con acceso a los trabajos sobre educación iberoamericana. Internacional http://www.iisue.unam.mx/iresie/ ISOC (CSIC)  Repertorio de revistas del CSIC, especializada en Ciencias Sociales y Humanidades. España http://bddoc.csic.es:8080/inicioBuscarSimple. do;jsessionid=0E698AA29FF5EF77E6074793 98457FA2?tabla=revi&bd=ISOC&estado_for mulario=show LATINDEX  Base de datos en la que se indexan revistas.  Establece hasta 36 criterios para determinar la calidad de una revista. Internacional http://www.latindex.unam.mx/ MIAR  Índice de difusión (ICDS). Este índice busca medir cuantitativamente la visibilidad de las publicaciones periódicas en Ciencias Sociales en función de su presencia en distintos tipos de bases de datos.  Informa de la presencia, o ausencia, de la revista en los repertorios utilizados en el cálculo de la puntuación ICDS, junto al enlace web a la fuente de información utilizada.  Facilita enlaces a repertorios consultables en línea, que permiten completar en tiempo real la información sobre la identidad y difusión de la revista, pero que no han sido explotados en MIAR. Internacional http://bd.ub.es/miar/ Working Papers on Operations Management . Vol 3, Nº 1 (28-45) ISSN: 1989-9068 34 Fuente Descripción y recurso/s que proporciona Ámbito Vínculo web N orwegian Register of Scientific Journals & Publishers  Catalogo de revistas científicas. Las clasifica en 2 categorías de calidad (1 normal, 2 alta). Internacional http://dbh.nsd.uib.no/kanaler/?search=advance d Rebiun  Catálogo de todas las universidades españolas. Se puede ver la difusión de los libros. Internacional http://www.rebiun.org RECYT-FECYT  Repositorio Español de Ciencia y Tecnología de la Fundación Española de Ciencia y Tecnología: es una plataforma para el alojamiento de revistas científicas españolas de calidad contrastada.  Proporciona información sobre la revista, su editorial y las bases de datos en las que se indexa. España http://recyt.fecyt.es/ Red Jasper's Center for Journal Ranking (CJR)  Índices de calidad de revistas: Journal influence index (JII) y Paper influence index (PII)  Emplea el índice PII para establecer un ranking. International http://www.journalranking.com/ranking/web/content/intro.html REDALYC  Base de datos con acceso a los trabajos.  Accediendo a la revista informa de su indexación en otras bases de datos. International http://redalyc.uaemex.mx/ RESH Sistema de información que integra indicadores de calidad para las revistas científicas españolas de Ciencias Sociales y Humanidades. Recoge:  Identificación y cumplimiento de los criterios de calidad editorial de las Agencias de Evaluación ANECA y CNEAI y del Sistema de Información LATINDEX para revistas científicas.  Medida de difusión: bases de datos en las que se indexa cada revista.  Indicador de Calidad según Expertos (ICE).  Índice de impacto: tasa de citación. Dicha tasa es el resultado de dividir el número de citas recibidas por las revistas en el último quinquenio por el número de trabajos publicados en dichas revistas en ese mismo quinquenio. En el caso de Ciencias Sociales y Jurídicas se ha utilizado el quinquenio 2005-2009, y en Humanidades el quinquenio 2004-2008. España http://epuc.cchs.csic.es/resh/ SCIMAGO (datos de SCOPUS)  Índice de impacto de revistas y países: Scimago Journal & Country Rank (SJR).  H-index para cada revista.  Clasificación en cuartiles.  Índice de impacto de instituciones: SIR. Internacional http://www.scimago.es/ http://www.journalmetrics.com/ Working Papers on Operations Management . Vol 3, Nº 1 (28-45) ISSN: 1989-9068 35 Fuente Descripción y recurso/s que proporciona Ámbito Vínculo web SCOPUS  Base de datos en la que se indexan revistas: SCOPUS  Citas recibidas por autores y publicaciones: búsqueda de trabajo o en campo referencias  Índice de impacto del investigador: H-index (en perfil del autor)  Herramienta de análisis de revistas: Journal Analyzer (en analytics) Internacional http://www.scopus.com/home.url SPI  SPI (Scholarly Publishers Indicators): herramienta que mide el prestigio de las editoriales científicas de Ciencias Sociales y Humanidades en general y por especialidades según expertos españoles España http://epuc.cchs.csic.es/SPI/ranking.html ULRICHSWEB  Proporciona información completa sobre revistas, su editorial y las bases de datos en las que se recogen los contenidos de las mismas y en las que están indexadas. Permite acceso a contenidos de las revistas aunque depende de la suscripción de la que se disponga. International http://ulrichsweb.serialssolutions.com/login WEB OF KNOWLEDGE (WoK) THOMSOM REUTERS (antes ISI)  Índice de impacto de revistas: Journal Citation Reports (JCR)  Clasificación en cuartiles  Citas recibidas por autores y publicaciones: cited reference search  Base de datos en la que se indexan revistas: Web of Science. Consultar Master Journal List.  Perfil del investigador: MyResearchID  Índice de impacto del investigador: H-index (en MyResearchID) Internacional http://www.accesowok.fecyt.es/ http://www.isiwebofknowledge.com/ Worldcat  Catalogo de libros  Reseñas de libros Internacional http://www.worldcat.org/ Working Papers on Operations Management . Vol 3, Nº 1 (28-45) ISSN: 1989-9068 36 Tabla 2. Índices de calidad relativa de revistas Recurso Fuente Comentarios Ámbito Vínculo web Journal Citation Reports (JCR) WoK Mide la frecuencia con que los artículos de una revista por un período de 2 años se han citado en el siguiente año. Se consulta en el portal de WoK, en recursos adicionales, herramientas de análisis JCR Es el índice de impacto con más prestigio. Internacional http://www.accesowok.fecyt.es/ Eigen factor EIGENFACTO R.ORG El Eigenfactor de una revista es una estimación del porcentage de tiempo que los usuarios de las bibliotecas consultan una revista. Para su cálculo se emplea la WoK. Internacional http://www.eigenfactor.org/ Scimago Journal Rank (SJR) SCIMAGO SNIP mide el peso de las citas en function del total de citas de un determinado campo. Este índice trata de compensar el menor valor que alcanzan áreas especializadas en el índice de impacto tradicional, por el hecho del menor volumen de investigación realizada. Este índice se está posicionando bien y está comenzando a ser reconocido. Para su cálculo se emplea SCOPUS. Internacional http://www.scimago.es/ http://www.journalmetrics.com/ Source Normalized Impact per Paper (SNIP) CWTS SJR mide el impacto teniendo en cuenta tanto el número de citas recibidas como la importancia o prestigio de las revistas donde se han realizado las citas. Este índice se está posicionando bien y está comenzando a ser reconocido. Para su cálculo se emplea SCOPUS Internacional http://www.journalindicators.com/Default.aspx http://www.journalmetrics.com/ Índice de impacto de revistas IN-RECS Es un índice bibliométrico que ofrece información estadística a partir del recuento de las citas bibliográficas con el fin de determinar la relevancia, influencia e impacto científico de las revistas españolas de ciencias sociales, de los autores que publican en las mismas y de las instituciones a que estos se adscriben. España http://ec3.ugr.es/in-recs/ Índices H y G IN-RECS De manera complementaria a la información de In-Recs, esta web presenta los índices H y G de las revistas de Ciencias Sociales españolas según Google Scholar (2001-2010) España http://ec3.ugr.es/in-recs/ http://hdl.handle.net/10481/20235 Working Papers on Operations Management . Vol 3, Nº 1 (28-45) ISSN: 1989-9068 43 Tabla 8. Recursos para justificar la calidad global del trabajo desarrollado por el investigador Recurso Fuente Comentarios Ámbito Vínculo web H-index WoK Índice de calidad del investigador. Disponible en MyResearchID Internacional http://www.accesowok.fecyt.es/ http://www.researcherid.com H-index SCOPUS Índice de calidad del investigador, se consulta en el perfil del investigador Internacional http://www.scopus.com/home.url H-index Publish or Perish de Harzing.com Software que encuentra y analiza citas académicas y genera índice H de autor. Busca en Google Académico eliminando duplicados Internacional http://www.harzing.com/index.htm http://www.harzing.com/jql.htm http://www.harzing.com/pop.htm Scimago Country Rank (SIR) SCIMAGO (emplea datos de SCOPUS) Índice de impacto de instituciones. Permite justificar la calidad de la institución a la que pertenece el investigador Internacional http://www.scimago.es/ Tabla 9. Recursos que resumen el perfil del investigador Recurso Comentarios Ámbito Vínculos web MyResearchID Requiere el alta del investigador para crear su perfil. Resume las publicaciones del investigador en WoK, aparecen las citas recibidas, Hindex, se puede gestionar la firma empleada; ... Se puede acceder desde WoK. Internacional http://www.researcherid.com Perfil del investigador de SCOPUS Resume las publicaciones del investigador en SCOPUS, aparecen las citas recibidas, Hindex, se puede gestionar la firma empleada; ... Internacional http://www.scopus.com/home.url Google académico / Mis citas Resume la información que Google académico recoge el mismo, aparecen las citas recibidas, Hindex, se puede gestionar la firma empleada; corregir la referencia de los trabajos, ... Internacional http://scholar.google.es/ Working Papers on Operations Management . Vol 3, Nº 1 (28-45) ISSN: 1989-9068 44 4. Conclusiones Este trabajo recoge, a fecha de su publicación, los principales recursos disponibles para la evaluación de la calidad investigadora, organizados en función de diferentes criterios para facilitar su uso. Pretende servir de guía a los investigadores que tienen que enfrentarse a la ardua tarea de justificar la calidad de sus investigaciones, facilitándoles una clasificación sistemática de los principales recursos disponibles. Por tanto, presenta una aplicación clara y directa para docentes e investigadores en procesos de evaluación o acreditación. No obstante, al encontrarnos ante un campo abierto y muy dinámico, en el que continuamente se están desarrollando y actualizando instrumentos y rankings, siempre se debe tener presente la aparición de nuevos recursos adicionales a los aquí presentados. Ello supone la principal limitación del presente trabajo. 5. Referencias Buela-Casal, G. (2004). Assessing the quality of articles and scientific journals: Proposal for weighted impact factor and a quality index. Psychology in Spain, Vol. 8, pp. 60–76. Cabezas-Clavijo, A.; Delgado-López-Cózar, E. (2012). ¿Es posible usar Google Scholar para evaluar las revistas científicas nacionales en los ámbitos de Ciencias Sociales y Jurídicas? El caso de las revistas españolas. EC3 Working Papers, Vol. 3, No. 23 de abril. Consultado el 11/06/2012. Disponible en http://hdl.handle.net/10760/16888 Casati, F.; Giunchiglia, F.; Marchese, M. (2007). Publish and perish: why the current publication and review model is killing research and wasting your money. ACM Ubiquity, Vol. 8. DOI: http://dx.doi.org/10.1145/1217821.1226695. Day, A. (2007). How to get research published in journals. England: Gower Publishing Limited. Delgado-López-Cózar, E.; Marcos Cartagena, D., Cabezas-Clavijo, A.; Jiménez-Contreras, E. y Ruiz-Pérez, R. (2012). Índice H de las revistas españolas de Ciencias Sociales según Google Scholar (2001-2010). Consultado el 11/06/2012. Disponible en http://hdl.handle.net/10481/20235 González-Pereira, B.; Guerrero-Bote, V.P.; Moya-Anegón, F. (2010). A new approach to the metric of journals’ scientific prestige: The SJR indicator. Journal of Informetrics, Vol. 4, No. 3, pp. 379-391. http://dx.doi.org/10.1016/j.joi.2010.03.002 Harzing, A.W. (2010) The Publish or Perish Book. Published by Tarma Software Research Pty Ltd, Melbourne, Australia. Hussain, S. (2011). Food for Thought on the ABS Academic Journal Quality Guide. Accounting Education, Vol. 20, No. 6, pp. 545-559. Kaltenborn, K. F.; Kuhn, K. (2004). The journal impact factor as a parameter for the evaluation of researchers and research. Revista Española de Enfermedades Digestivas, Vol. 96, pp. 460–476. Lluch, J. (2005). Some considerations on the use of the impact factor of scientific journals as a tool to evaluate research in psychology. Scientometrics, Vol. 65, pp. 189–197. Manske, P. R. (2004). The impact of the impact factor. The Journal of Hand Surgery, Vol. 29A, pp. 983–986. Moed, H.F. (2010) Measuring contextual citation impact of scientific journals. Journal of Informetrics, Vol. 4, No. 3, pp. 265-277. http://dx.doi.org/10.1016/j.joi.2010.01.002 Togia, A.; Tsigilis, N. (2006). Impact factor and education journals: a critical examination analysis. International Journal of Educational Research, Vol. 45, pp. 362-379. Working Papers on Operations Management . Vol 3, Nº 1 (28-45) ISSN: 1989-9068 45 Torres-Salinas, D.; Bordons, M.; Giménez-Toledo, E.; Delgado-López-Cózar, E.; JiménezContreras, E.; Sanz-Casado. E. (2010). Clasificación integrada de revistas científicas (CIRC): propuesta de categorización de las revistas en ciencias sociales y humanas. El profesional de la información, Vol. 19, No. 6, pp. 675-683. Consultado el 11/06/2012. Disponible en http://epuc.cchs.csic.es/circ/epi_n19.pdf West, J.D. (2010). Eigenfactor: ranking and mapping scientific knowledge, PhD Dissertation. University of Washington. Consultado el 11/06/2012. Disponible en http://octavia.zoology.washington.edu/people/jevin/Documents/Dissertation_JevinWest.pdf