Prisioneros de la Bibliometría. Contra lo cuantitativo como sistema de evaluación de la actividad investigadora

29/6/2014 Prisioneros de la Bibliometría. Contra lo cuantitativo como sistema de evaluación de la actividad investigadora institucional.us.es/ambitos/ Fernando Quirós Universidad Complutense de Madrid [email protected] Resumen Este artículo analiza el sistema de evaluación de la investigación científica en España, refiriéndose específicamente a la investigación en el campo las ciencias de la información. El autor critica la preeminencia de las metodologías cuantitativas y el sistema de evaluación de los investigadores y las revistas científicas. Critica igualmente el uso de los productos de Thomson Reuters, Reed Elsevier y Google y propone la creación de un sistema nacional y publico para la evaluación de la actividad investigadora. Palabras clave España, CNEAI, bibliometría, factor de impacto, Thomson Reuter, Elsevier, Google, evaluación de la ciencia, análisis cuantitativo, análisis cualitativo, Web os Science, Scopus, Google Scholar Metrics, Latindex, DICECINDOC. Abstract This article discusses the system of evaluation of scientific research in Spain, specifically referring to the research in the field of the information sciences. The author criticizes the eminence of quantitative methodologies and the system of evaluation of researchers and the scientific journals. Equally critical the use of the products of Thomson Reuters, Reed Elsevier and Google and proposes the creation of a national system and public for the evaluation of research activity. Keywords Spain, Spanish National Commission for the Evaluation Research Activities, bibliometrics, impact factor, Thomson Reuters, Elsevier, Google, evaluation of the science, quantitative analysis, qualitative analysis, Web os Science, Scopus, Google Scholar Metrics, Latindex, SAID-CINDOC. 1. PRESENTACIÓN Cada mes de diciembre las universidades públicas españolas se agitan. Es tiempo de sexenios. La Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) hace sonar sus tam tam y ante ella acuden cientos de profesores e investigadores para una evaluación de su trabajo sexenal que ya no es voluntaria, como lo era antaño. La evaluación tiene un efecto inmediato en la remuneración y en la carga docente del profesorado. Gracias al tándem Wert/Gomendio no tener un “sexenio vivo” puede suponer que las obligaciones docentes de un profesor se multipliquen por dos ( a mas categptía del profesor más horas de docencia). En este artículo vamos a ocuparnos de la ingrata tarea que para un investigador de la comunicación de masas, social si se prefiere, supone obtener el adecuado reconocimiento de su trabajo. Todo ello por las siguientes razones: una acientífica división de los campos temáticos por la CNEAI; una nada clara metodología de selección de los miembros de los comités asesores de cada campo que deviene en discriminación; un sistema de evaluación basado en la simple comunicación de resultados; una aceptación irreflexiva de las mediciones de citas como criterio casi exclusivo de la evaluación del investigador y de la calidad de las revistas científicas. Proponemos una radical modificación de este estado de cosas (1). 2. UN CAMPO MINADO: EL ‘CAMPO 7’ DE LA CNAI. 1/12 La actividad investigadora de los profesores contratados doctores, profesores titulares y catedráticos, especializados en ciencias de la información y/o de la comunicación no ha merecido un lugar propio para la CNEAI desde su fundación. Estamos diluídos en el Campo 7, donde sí se reconoce la especificidad de la sociología, las ciencias políticas y de la administración, las ciencias del comportamiento y las ciencias de la educación pero no la de las ciencias de la información. No deja de ser curioso que, en la “sociedad de la información”, los especialistas en su estudio somos evaluados por sociólogos, psicólogos, politólogos y pedagogos. Esto supone que todo un sexenio sometido a la CNEAI, por un investigador de la comunicación de masas puede ser juzgado, por ejemplo, por un Catedrático de Métodos de la Investigación y Diagnóstico en Educación; un Catedrático de Psicología Evolutiva y de la Educación; un Catedrático de Psicobiología; una Catedrática de Metodología de las Ciencias del Comportamiento; un Catedrático de Ciencia Política y de la Administración; un Catedrático de Sociología: un Catedrático de Didáctica de la Matemática, etc… sin presencia de ningún experto en comunicación. A todos hay que presuponerles tanta honradez y buena voluntad cono desconocimiento de las áreas de conocimiento “Periodismo” y “Comunicación Audiovisual y Publicidad”. Campo minado. Es preciso un reconocimiento claro de la identidad específica de cada una de las ciencias que integran las ciencias sociales, de forma que la investigación comunicativa tenga el mismo reconocimiento que la de la sociología, la ciencia política y de la administración, las ciencias del comportamiento y de la educación. Asimismo urge sustituir los actuales comités asesores por comités de expertos formados por catedráticos de cada área de conocimiento. El trabajo de un doctor en ciencias de la información no puede ser evaluado por un doctor ajeno a su área de conocimiento, salvo en el caso de expertos extranjeros que con titulaciones diferentes, tengan sin embargo su campo de trabajo en la comunicación. 3. EL IMPERIO DE LAS CITAS Desde que se implantó el sistema de evaluación por sexenios la CNEAI se decantó por el seguidismo de lo anglosajón, tanto en el sistema de evaluación del impacto de una publicación como en las bases de datos o registros que se tendrían en cuenta de forma preferente. Aceptó siempre la preeminencia de los repositorios anglosajones privados que aplican la bibliometría a la evaluación de la ciencia en todos los campos. Con ello, renunció a crear un sistema nacional público que usase criterios cualitativos. La aplicación de los mismos criterios a las ciencias sociales y humanas de los sistemas de medición estandarizados para la física, la matemática, la biología o la química vició desde el principio la investigación comunicativa forzándola a escoger el camino del empirismo al fijar como criterio de calidad de las revistas que sus artículos comunicasen resultados de investigación. Luego escogió que el conteo de citas, mediante algoritmos más o menos complejos fuese el criterio preferente en la evaluación. La calidad de un artículo fue medida dividiendo el número de citas que cada trabajo recibe en un periodo determinado por el número de artículos publicados. La sentencia de Leonardo: “Ninguna investigación merece el nombre de ciencia si no pasa por la demostración matemática”, aplicada a las ciencias de la información es una boutade y por eso tampoco admitimos que la bibliometría (aplicar métodos matemáticos y estadísticos a toda la literatura de carácter científico y a los autores que la producen, con el objetivo de estudiar y analizar la actividad científica) sirva para medir la calidad de la investigación en nuestro campo. En todo caso es una herramienta que proporciona datos adicionales a la imprescindible evaluación cualitativa. Nada más. La CNEAI ha diseñado un sistema en el que: 1º) Se da preeminencia a los índices de calidad que evalúan las contribuciones y las revistas en las que se publican teniendo como criterio preferente (en la práctica casi exclusivo) los índices de la Web of Science. 2º) Se admiten también, pero subordinados a los anteriores, Scopus o Google Scholar Metrics o los aplican sus criterios como IN-RECS, y sistemas que tienen en cuenta la difusión de las revistas y el cumplimiento por éstas de una serie de requisitos, como los de Latindex o DICE-CINDOC. 3º) No se tienen en cuenta las contribuciones publicadas en revistas no indexadas o se consideran en 2/12 extrañísimas ocasiones 4º) El papel de los expertos queda limitado por la discrecionalidad del presidente de la CNEAI que puede decidir su consulta y la petición al interesado del texto completo de su contribución. Desde la academia, destacadas figuras de las ciencias sociales y las humanidades criticaron la elección de los índices Iternational Scientific Institute (ISI) al Campo 7 de la CNEAI concluyendo la imposibilidad de utilizar estas bases de datos como criterio de calidad” Maltrás, Quintanilla y Vidal, (1998:147). Tal y como señalan, Arriaga y Orellana (1999), El propio legislador vino a reconocer implícitamente las limitaciones de esos instrumentos al afirmar: “No obstante, en diversos ámbitos científicos correspondientes a este Campo[3], la base de datos mencionada es incompleta en el entorno europeo y la Comisión Nacional podrá ampliar estos listados reconociendo la calidad de otras revistas”. Sin embargo, en la normativa vigente, este reconocimiento de las limitaciones geográficas y temáticas del JCR viene muy matizado por el hecho de que, de todas formas, se exige que “Como norma general, para obtener una evaluación positiva las cinco aportaciones del curriculum vitae abreviado deberán cumplir lo descrito en los puntos anteriores y, al menos, una de ellas cumplir lo prescrito en el punto 2”. Es decir, aunque se reconoce que dichas bases de datos son inadecuadas, aún así se sigue requiriendo que al menos alguna publicación esté incluida en la misma, en lo que se nos antoja una contradicción (¿si no es adecuada por qué seguir utilizándolo como criterio imperativo?). Quince años despúes la CNEAI no sólo no había rectificado, sino que había remarcado su preferencia por los índices de la Universidad Filadelfia, ahora gestionados en la Web of Science. En la convocatoria de 2103, la más reciente, leemos: 3. Entre las aportaciones se valorarán preferentemente: a)Los artículos en revistas de reconocida valía, aceptándose como tales las recogidas en los listados por ámbitos científicos en el «Subject Category Listing» del «Journal Citation Reports (Social Science Citation Index)» y del «Journal Citation Reports (Science Citation Index)» del «Web of Knowledge (WoK)». Y luego, 5. Con carácter orientador, se considera que para obtener una evaluación positiva en las áreas de Sociología, de Ciencia Política y de la Administración, de Ciencias de la Educación, y de Comunicación y Periodismo al menos una de las aportaciones debe ser un libro de difusión o referencia internacional que cumpla los criterios señalados anteriormente; o bien al menos dos de las aportaciones deben ser artículos publicados en revistas que cumplan los criterios del apartado 3.a); Sostenella y no enmendalla. En vez de “al menos una”, “al menos dos”. Pero, en otros sectores académicos los criterios gustan y mucho. Medición tras medición, los bibliómetras se muestran encantados con este edtado de cosas. Revistas como El profesional de la Información o la Revista Española de Documentación Científica publican constantemente artículos dedicados a las bondades y el rigor de las técnicas de medición. Por ejemplo: Delgado y Cabezas (2012); Delgado, Robinson-García y Torres-Salinas,2012b); Torres-Salinas (2009,2013); Torres-Salinas y Jimenez-Contreras (2010); Túñez (2012) y en general todos los integrantes del Grupo EC3. Cuentan, además, con la inestimable alabanza y colaboración de algunos directores de revistas de comunicación que figuran en la Web of Science, en Scopus o en Google Sholar Metrics o en las tres. Por ejemplo, Revista Latina de Comunicación Social (RLCS) se ocupa con cierta frecuencia de la producción científica en ciencias de la información de ella misma o de otras revistas, utilizando y alabando las técnicas de citación (López-Ornelas, 2010; Martínez-Nicolás y Saperas-Lapiedra, 2011; Roca-Correa y Torre-Ayllán, 2012). Por su parte, Comunicar dedicó su dossier a estos temas en su número 41, correspondiente al segundo semestre de 2013. Dese luego vista la cantidad de artículos, la repetición de los autores (solos o formando equipo) y las revistas en que publican está claro que se garantizan un buen resultado en los índices de citación, a base de contar las maravillas de los índices bibliométricos. ¿Qué ha pasado? ¿Qué ha producido esta alabanza coral? Podemos explicarlo evocando una escena de la 3/12 película de Peter Weir y Tom Shulman, El Club de los Poetas Muertos (1989), aquella en que el histriónico Mr. Keatin pide a uno e sus alumnos que lea la introducción que para un manual de poesía había escrito J. Evans Pritchard, doctor en Filosofía: Entender la Poesía, por J Evans Pritchard, doctor en Filosofía. Para entender fondo la poesía debemos antes familiarizarnos con su métrica, su rima y figuras retóricas, y luego hacernos dos preguntas: una, ¿con cuanto talento se ha conseguido el objetivo del poema? y dos ¿qué importancia tiene dicho objetivo? La pregunta uno mide la perfección del poema. La pregunta dos su importancia. Y una vez estas preguntas están contestadas determinar la grandeza resulta una tarea relativamente fácil. Si la medida de perfección de un poema se coloca en la horizontal de una gráfica y su importancia se marca en la vertical, entonces, calculando el área total de un poema, tendremos la medida de su grandeza. Un soneto de Byron puede puntuar mucho en la vertical pero sólo lo normal en la horizontal. Un soneto de Shakespeare, por otra parte, medirá mucho en la horizontal y en la vertical, dando un área masiva total que nos demostrará que el poema es realmente grande. Al ir viendo los poemas de este libro practiquen este método de medición. Al aumentar su habilidad para evaluar los poemas de esta manera también aumentará su disfrute y comprensión de la poesía. Mr. Keatin ordena a sus alumnos arrancar toda la introducción de Pritchard y, cuando éstos lo hacen, un primer plano nos muestra lo que había debajo de la costra de la medición: Poesía. Esto es precisamente lo que pasaría si arrancásemos la costra que sobre la actividad científica en nuestras ciencias han ido formando los bibliómetras a partir del texto de Garfield (1972), “Citation Analysis as a Tool in Journal Evaluation” y de su “Impact Factor”y de otros que han ido apareciendo después para taponar las muchas vías de agua que se abrieron desde muy pronto en los tres índices principales del “Journal Citation Report (JCR)”. Vano intento: todos los sistemas de evaluación alternativos parten de la creencia de que lo más citado es lo más importante. Ese fue el hilo conductor que llevó a Larry Page y Sergey Brin a crear el “Page Rank” en el que se basaron luego : Carl Bergstrom (creador del “Eigenfactor”); Félix Moya-Anegón (creador del “Scimago Journal Rank”); Henk Moed creador del “Source Normalized Impact per Paper”); Jorge E. Hirsch (creador del “H-Index”) y Leo Egghe (creador del “G-Index”). Esto es lo que miden los indicadores en cuestión: INDICADOR ¿QUÉ MIDE? Impact factor de JCR Mide la frecuencia con que los artículos de una revista por un período de 2 años se han citado en el siguiente año. Eigenfactor Número de veces que los artículos publicados en los cinco años pasados y que han sido citados en el presente año. JR (Scimago Journal Rank) Índice de impacto semejante al JCR pero elaborado a partir de la base de datos de SCOPUS. Analiza las citas durante un período de tres años. SNIP (Source Normalized Impact per Paper Frecuencia con la que los autores citan otros documentos, y la inmediatez del impacto de la cita Article influence score Depende del Eigenfactor: mide la influencia de los artículos de una revista en los cinco años siguientes de su publicación. Índice de inmediatez Mide el número de artículos publicados en un año y citados ese mismo año H‐index Analiza el número de publicaciones citadas y el número de citas que han tenido. G‐Index Semejante al H‐Index, pero da más relevancia a los artículos que tienen un alto número de citas. Todos estos índice son verdaderos sofismas y además son imperfectos. La infalibilidad de los algoritmos ha sido puesta en entredicho en muchísimas ocasiones. A título de ejemplo Nederhof y Zwaan, (1991); Nederhof et al., (1989); Bellavista et al, (1997). 4/12 En 2002, un editorial de la revista Nature denunció inexactitudes y errores graves a la hora de aplicar el factor de impacto del JCR. Luego se han ido sucediendo las denuncias, hasta el punto de que una búsqueda simple en internet arrojará decenas de artículos muy críticos con este indicador, sobre todo por la “ingeniería” de los editores para mejorar sus índices, la autocitas y las comunidades de citas León-Sarmiento, 2007). Burla burlando, lo mismo puede decirse de las otras bases de citación. Así el Grupo EC3 mostró que tanto Google Citations como Google Scholar Metrics eran fácilmente manipulables y apostaron por los otros dos sistemas. En el espcio de muy pocos meses los autores comenzaron a modificar su posición. (Delgado et al 2012a,2012b). Paras nosotros, sea cual sea el sistema que se utilice, lo realmente importante es esto: la cuantificación de citas no sirve para medir de forma adecuada, la ciencia que se basa en el prestigio sino que es, eminentemente, una manera de evaluar la popularidad de una revista científica .Decía Mark Twain que “existen mentiras verdades y estadísticas” y nosotros añadimos que la evaluación de la investigación es algo demasiado serio como para dejarlo en manos solamente de los bibliómetras. Hay que invertir el procedimiento, de forma que la indexación por citas pase a ser el criterio de menos importancia. El criterio prioritario para la evaluación de la actividad investigadora debe ser cualitativo y comprender obligatoriamente la lectura de los manuscritos, luego la revista en la que se publica y luego el número de citas que recibe. Es decir, proponemos aplicar los criterios al revés de como se ha hech hasta ahora. Tienen que ser los expertos del área de conocimiento correspondiente, los que establezcan la originalidad del trabajo, su interés para el campo científico en el que se inscribe y sobre todo la aportación teórica o práctica que cada trabajo supone. En ningún caso debe considerarse primero la revista, impresa electrónica, en la que se ha publicado porque el artículo es bueno, regular o malo por sí solo. Una vez establecido esto podemos considerar si el trabajo ha sido publicado en una revista de calidad, y a este respecto deberían considerarse como preferentes las bases de datos internacionales, regionales o nacionales basadas en la calidad y difusión de las revistas antes que en las citas. Los criterios de Latindex y los de DICE-CINDOC que utiliza los del primero en su metodología, bastan para saber si una revista tiene calidad o no la tiene. Finalmente, ahora sí los investigadores tendrán un tercer nivel de mejora si su trabajo ha sido publicado en una revista indexada en INRECS, Google Scholar Metrics, Scopus o la Web of Science. 4. UN SISTEMA PIRAMIDAL DE REVISTAS El sistema de evaluación por citación deviene en un sistema piramidal de revistas. Para De Pablos (2014) “Por lo general, las revistas suelen empezar en los cimientos; después empiezan a figurar en alguna de las 32 bases especializadas, ascienden a alguna de las nueve bases multidisciplinares y, por fin, podrán llegar a la zona de las cuatro bases de la cumbre, las bases de citas”. Y la cumbre es lo que delimita si una revista es o no un “revista fuente”. A su vez, las “revistas más citadas” son las que citan las “revistas fuente”. Vamos, que no existe vida fuera de la Web of Science, Scopuso GSM. Torres-Salinas (2013), por su parte, considera que ese sistema piramidal que delimitan los índices de impacto lo que hace es crear un ideal clima de competitividad ya que (…) las revistas indizadas en las grandes bases internacionales (él se refiere solo al JCR) porque dado que son las que más se van a tener en cuenta para una evaluación positiva del investigador, reciben muchos originales por lo que tienen, por tanto, tasas de rechazo más elevadas (…) y al contar con más originales los editores tienen más donde seleccionar y más posibilidades de contar con los mejores artículos del área, que suelen ser los más citados, por tanto los que más reconocimiento reciben y por tanto alcanzan un IF más elevado. Entonces, para el caso de las revistas españolas de Periodismo y Comunicación Audiovisual y Publicidad, el investigador debe enviar sus artículos, en primer lugar a las cinco que figuran en el JCR: Comunicar, Comunicación y Sociedad, Estudios sobre el mensaje periodístico (en el SSCI) y L’Atalante e Historia y Comunicación social (en el A&HCI).Si añadimos Scopusentran la Revista Latina de Comunicación Social y Signa. Dado que son muchos los investigadores que quieren publicar en esas revistas, éstas rechazarán muchos originales y con ello conseguirán mejorar sus índices de impacto, su prestigio etc… Ver cuadro. 5/12 REVISTA JCR 2013 SCOPUS 2013 GOOGLE SCHOLAR METRICS 2008-2012 INRECS 2011 Estudios Sobre El Mensaje Periodístico 72 88 4 4 Comunicación y Sociedad 69 97 6 3 Comunicar: Revista Científica Iberoamericana de Comunicación y Educación 56 75 1 1 Signa: Revista de la Asociación Española de Semiotica 142 15 Historia y Comunicación Social * 120 15 14 Revista Latina de Comunicación Social 118 2 2 Making of: Cuadernos de Cine y Educación 18 Secuencias: Revista de Historia del Cine 17 Atalante ** 16 Archivos de la Filmoteca 16 Comunicació. Revista de Recerca i d’Anàlisi 16 Mediaciones Sociales 14 21 Anuario Electrónico de Estudios en Comunicación Social. “Disertaciones” 13 Anàlisi: Quaderns de Comunicació i Cultura 12 8 Comunicación y Pedagogía: Nuevas Tecnologías y Recursos Didácticos 12 Ambitos: Revista Internacional de Comunicación 11 12 Comunicación y Hombre: Revista Interdisciplinar de Ciencias de la Comunicación y Humanidades 10 15 Comunicación: Revista Internacional de Comunicación Audiovisual, Publicidad y Estudios Culturales 10 22 Doxa Comunicación: Revista Interdisciplinar de Estudios de Comunicación y Ciencias Sociales 9 7 Pensar la Publicidad: Revista Internacional de Investigaciones Publicitarias 9 18 CIC: Cuadernos de Información y Comunicación 8 16 Icono14. Revista Científica de Comunicación y Tecnologías Emergentes 8 11 Trípodos.Com: Revista Digital de Comunicació 7 5 Zer: Revista de Estudios de Comunicación 5 6 Telos: Cuadernos de Comunicación e Innovación 3 10 6/12 Fuente: Revista Comunicar. http://www.revistacomunicar.com/ * En Arts & Humanities Citation Index (A&HCI),** En Arts & Humanities Citation Index (A&HCI). Para el JCR es bueno que el número de revistas de cada área se reducido. Aplicando la Ley de Bradford sostienen que La literatura básica de una disciplina científica se publica en revistas con gran relevancia, que definen el núcleo de la ciencia que tratan, y las de poca relevancia, que interesan a otras disciplinas. Por tanto, sería poco práctico e innecesario indexar a todas las revistas del mercado, porque sólo un reducido número de revistas publica la mayor parte de los resultados científicos importantes. (Herrán, A. de la y Villena, J.L. 2012). En realidad lo que se produce es el “efecto Mateo ”: por el hecho encontrarse en los listados de las tres grandes bases anglosajonas de citas son calificadas como las mejores, resultan más beneficiadas, están sobrevaloradas y con frecuencia eclipsan al resto. Al mismo tiempo las revistas que no están en estas bases pueden entrar en un proceso de marginación y ser percibidas como las peores por n o estar en los primeros lugares de la clasificación. Es desde luego un efecto perverso porque además se produce lo mismo con el prestigio profesional de los investigadores. Y aquí volvemos a insistir en que si se utilizan los criterios de calidad y difusión de las revistas antes que el de las citas el campo se abre. Es sorprendente que contando en España con la herramienta Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas (DICE-CINDOC), la CNEAI, en vez de asumir sus metodología y sus listados como preferentes, se decante por el Journal Citation Report de la WoS. El DICE es fruto de un acuerdo entre el Consejo Superior de Investigaciones Científicas (CSIC) y la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA).El Grupo de Investigación de Evaluación de Publicaciones Científicas (EPUC) gestiona esta herramienta que para las revistas de ciencias sociales tiene estos sus criterios: Evaluadores externos: se ha considerado que las revistas cumplen este parámetro cuando explicitan en sus ejemplares que en la selección de originales para publicación, éstos se someten de manera sistemática a un informe de expertos externos a la entidad editora de la revista y a su consejo de editorial. Estos informes son la base de la toma de decisiones sobre su publicación o no, que corresponde en última instancia al Consejo de Redacción de la revista y a la Dirección de la misma. Bases de datos: se considera que una revista está cubierta por una base de datos cuando su presencia no es ocasional. Si la revista ha estado sistemáticamente cubierta por una base de datos y no ha incorporado registros con posterioridad al año 2000, se ha considerado que la base de datos ha dejado de cubrir la revista, aunque antes haya estado cubierta. Puesto que las bases de datos son dinámicas e incluyen y excluyen revistas constantemente, EPUC realizará una actualización de la presencia de revistas en bases de datos cada dos años. No obstante, si un editor tiene constancia de que su revista ha sido incluida en alguna base de datos y puede justificarlo, EPUC podrá incorporarla a DICE. El listado de bases de datos con el que trabaja EPUC puede consultarse aquí Valoración de la difusión: este indicador está relacionado con la presencia de las revistas en bases de datos. A cada revista se le asigna una puntuación en función de las bases de datos en las que esté indizada. El valor de este indicador oscila entre 0 y 16 (puntuación máxima). Este indicador pretende tener en cuenta dos variables que se dan en la difusión de revistas en bases de datos: el carácter más o menos selectivo de las mismas y su especialización temática. Hay bases de datos mucho más selectivas que otras a las que es difícil acceder, por lo que estar presente en ellas tiene a priori más valor. Por otra parte, la cobertura temática de las bases de datos también hace que tenga un valor diferente para cada revista estar en unas bases de datos o en otras. Puede consultarse más información sobre este indicador aquí Apertura exterior de los autores: se estima que se cumple este criterio si al menos un 50% de los trabajos publicados a lo largo de un año son de autores cuyas instituciones de trabajo son ajenas a la entidad editora. Internacionalidad de las contribuciones: se indica el porcentaje de contribuciones en un año en las que, al menos, un autor es extranjero. Mediante este indicador se pretende medir el interés que la revista tiene para 7/12 autores extranjeros y su grado de internacionalidad en este sentido. Número de criterios Latindex: se indica el número de criterios de calidad editorial que cumple cada revista según el sistema Latindex (www.latindex.org) Este sistema establece 33 criterios de calidad para las revistas impresas y 36 para las revistas electrónicas. Las revistas que cumplen más de 25 criterio s están incluidas en el Catálogo Latindex. La cuestión no es que este sistema o el de Latindex no se utilizan, porque si se admiten. La cuestión es que están postergados frente al JCR y. aunque parecen equiparados en el BOE, la práctica nos dice que Scopus se utiliza por encima. Es decir, lo que proponemos es hacer lo mismo que lo que ya hemos propuesto para la evaluación de las contribuciones de los investigadores: invertir el orden. Se consideran revistas de calidad reconocida, de forma preferente, las de los listados de DICE-CINDOC. 5. LA POCA ATENCIÓN A LAS CIENCIAS SOCIALES Y LA CUESTIÓN DEL IDIOMA UNIVERSAL DE LA CIENCIA. La WoS, Scopus y Google Scholar Metrics responden al estilo de la literatura científica en inglés. Las tres presentan graves lagunas a la hora de ofrecer una selección amplia de revistas en español en todos los campos, tanto de ciencias de la naturaleza o puras como humanas y sociales. Parten de esta idea general expresada en la Web of Science: El inglés es el idioma universal de la ciencia en este momento de la historia. Es por esta razón que Thomson Reuters se centra en las revistas que publican texto completo en inglés o, cuando menos, la información bibliográfica en Inglés. Hay muchas revistas incluidas en el Web of Science que sólo publicar su información bibliográfica en Inglés con texto completo en otro idioma. Sin embargo, en el futuro, es evidente que las revistas más importantes de la comunidad internacional de investigación publicará texto completo en inglés. Esto es especialmente cierto en el campo de las ciencias naturales. Por esta razón, tanto el Science Citation Index (SCI), como el Social Science Citation Index (SSCI) y el Arts & Humanities Citation Index (A&HCI), los tres índices de la WoS, están sesgados idiomática y geográficamente hacia los países angloparlantes y de forma especial hacia los Estados Unidos. Además, “es bastante notorio que las revistas que publican en inglés muy, pero muy rara vez citan artículos publicados en otro idioma” y “las posibilidades de lograr publicar un artículo en inglés, en ciertas áreas, puede ser hasta trece veces más que las existentes en idioma español”.(León-Sarmiento, 2007: 292-293). En Scopus y en Google, aunque éste abre un poco más el campo, ocurre prácticamente lo mismo. El panorama para los investigadores españoles de la comunicación es desolador. Cuando el Grupo EC3 creó el Índice de Impacto de Revistas Españolas de Ciencias Sociales (IN-RECS) lo hizo tomando teniendo en cuenta que : 1) Prácticamente la totalidad de los investigadores españoles de estas disciplinas publican habitualmente sus trabajos en revistas españolas, mientras que es escaso el número de autores que publican en revistas extranjeras. 2) El 70% de las citas recibidas por trabajos publicados por investigadores españoles en revistas extranjeras son realizadas por investigadores españoles. De ellas el 40% corresponde a citas emitidas por revistas españolas indizadas las bases de datos de Thomson Scientific. Téngase en cuenta que en dichas bases de datos sólo se indizan 72 revistas españolas de un total de 8900. 3) Entre el 70 y el 90% de las citas que reciben las revistas españolas en las bases de datos ISI son emitidas por revistas españolas. 4) En líneas generales, los trabajos originados en el seno de las Ciencias Sociales atraen fundamentalmente la atención de los entornos donde los descubrimientos se producen. Su destino es el consumo de las comunidades científicas nacionales ya que es una investigación muy influenciada por las peculiaridades culturales, donde prima lo contextual, predominan los problemas de corte local y se adopta una orientación 8/12 aplicada. El IN-RECS apareció así como un índice español que tenía presentes las peculiaridades de la investigación de la ciencia social española. La población de revistas creció hasta 23 y las fuentes de la se extraían los datos era, entre otras DICE-CINDOC y Latindex. Era un índice bibliométrico y para nosotros insuficiente, pero colocado detrás del análisis cualitativo de las contribuciones científicas hubiera sido un elemento muy adecuado para crear un sistema nacional y público de evaluación de la actividad investigadora. Liberados de la estrechez anglosajona, su imposición idiomática y sus desde por las ciencia sociales hubiésemos podido pensar en un sistema distinto. Sin embargo los criterios de la CNEAI se mantuvieron inamovibles en su genuflexión permanente ante los índices del JCR. ¿Por qué? ¿No hay calidad nuestras revistas? No se entiende muy bien cómo se puede tomar los repositorios anglosajones como fuentes fundamentales a la hora de enjuiciar la labor investigadora de los países latinos dadas estas limitaciones por lo que deberían ser sustituidos en el campo de las ciencias sociales y las humanidades por otros de carácter netamente hispano. Quizá para ciencias de la naturaleza o exactas suponga un buen escaparate de la situación científica mundial, pero en el ámbito de la Comunicación especialmente es ampliamente deficitario. (Capdevilla y del Valle, 2011:13). 6. PRIVADO Y CON ÁNIMO DE LUCRO El último de los aspectos que queremos abordar aquí es quiénes son los dueños de los sistemas de evaluación de revistas. Por decisión de la CNEAI y de otros organismos públicos similares, en España y en otros países, se ha entregado la investigación científica a intereses privados, llegando incluso a pagar las licencias de uso. Es desde luego el caso español donde, a través de la FECYT se gestionan las licencias de la Web of Science y de Scopus. Google, por el momento, es de acceso libre. Pero el hecho a destacar es que son empresas privadas. Thomson Reuters es la propietaria de la WoS, Scopus pertenece a Reed Elsevier y no hay que especificar nada sobre los dueños de Google Scholar Metrics. Un sistema de evaluación de la producción científica y de las revistas que la publican y difunden construido y regido por empresas privadas tiene fundamentalmente las características de una empresa privada: la producción de bienes y servicios con ánimo de lucro Puesto que la producción y las ventas están inseparablemente unidas a la rentabilidad, siguiendo la lógica del mercado, persigue el objetivo de producir y buscar los máximos ingresos. Así pues, estas empresas dedicadas a la evaluación de la ciencia de propiedad y gerencia privada velara por los intereses y las necesidades de aquellos que les procuran ganancias. La primera pregunta que surge es ¿son empresas especializadas independientes?. NO, las tres son parte de grandes corporaciones de la industria cultural, mediáticas y científica: Thomson Reuters es una empresa, con sede en Nueva York, nacida de la fusión en 2007 del grupo canadiense The Thomson Corporation y la agencia de noticias británica Reuters. La empresa declaró en 2013 ingresos por valor de 9.885 billones de euros. The Thomson Corporation ya era una de las empresas más grandes del mundo en la provisión de servicios especializados. Reuters era y es la primera agencia de información económica del mundo y la segunda en cuanto a agencia tradicional. Opera en los campos de las finanzas, los servicios jurídicos, la sanidad, la ciencia y los medios de comunicación. Reed Elsevier es una empresa, con sede en Londres, nacida de la fusión en de la británica Reed International y a holandesa Elsevier en 1993. Ambas eran especialmente fuertes en el sector de revistas especializadas antes de la fusión. La empresa declaró en 2013 unos ingresos por valor de 7.106 billones de euros. Opera en los sectores de la prensa, la edición de libros, las revistas científicas y la exhibición. Google es una empresa, con sede en California (Mountain View) nacida en 1995.Es uno de los grandes gigantes de Internet. En 2013 declaró unos ingresos de 45046 billones de euros. Además de su negocio original (el motor de búsqueda), opera en los siguientes campos: Publicidad (el mayor vendedor en Internet), software de publicidad para operadores de sitios web, correo electrónico, sistemas operativos, navegadores etc… Segunda pregunta: ¿tienen estas corporaciones actividades empresariales que puedan ser objeto de sus 9/12