Una propuesta metodológica para la realización de búsquedas sistemáticas de bibliografía

Working Papers on Operations Management Vol 1, Nº 2 (13-30) ISSN: 1989-9068 13 UNA PROPUESTA METODOLÓGICA PARA LA REALIZACIÓN DE BÚSQUEDAS SISTEMÁTICAS DE BIBLIOGRAFÍA. (A methodological proposal for the systematic literature review) Carmen Medina-López1, Juan A. Marín-García2 y Rafaela Alfalla-Luque1, 1 Dpto. Economía Financiera y Dirección de Operaciones. F.CC. Económicas y Empresariales de Sevilla. Universidad de Sevilla 2 ROGLE. Dpto. de Organización de Empresas. Universidad Politécnica de Valencia. Camino de Vera S/N 46021 Valencia. [email protected] Abstract: This paper pretend to be a guide to the systematic literature review useful to know a particular field of study, develop a theoretical framework and establish the appropriate hypothesis on which to focus research. To this end we have sought to specify the actions to take in different phases, which have been defined in five steps to follow in this process: identifying the field of study and analysis period, selection of sources of information, conducting the search (what, where and how), management and treatment of search results and analysis of results. Each of them have been described in detail and exemplified on the basis of our experience. Due to the importance of the systematic review on research, papers like the presented here, help to perform this activity while improving efficiency and increasing the quality of the results. Palabras clave: metodología, búsqueda bibliográfica, revisión sistemática de la literatura, investigación sobre docencia, dirección de producción y operaciones Resumen: El presente trabajo pretende ser una guía para la realización de búsquedas sistemáticas de bibliografía que sirvan para conocer en profundidad un determinado campo de estudio, desarrollar un marco teórico y establecer las hipótesis adecuadas sobre las que centrar la investigación. Con tal objetivo hemos buscado concretar las acciones a realizar en diferentes fases, que han quedado definidas en cinco etapas a seguir en este proceso: identificación del campo de estudio y del período a analizar, selección de las fuentes de información, realización de la búsqueda (qué, dónde y cómo), gestión y depuración de los resultados de la búsqueda y análisis de los resultados. Cada una de ellas han sido descritas con detalle y ejemplificadas sobre la base de nuestra propia experiencia. Dada la importancia que la búsqueda sistemática de bibliografía tiene en la investigación, resultan de interés trabajos como el que presentamos, que ayudan a realizar esta actividad mejorando la eficiencia en tiempo e incrementando la calidad de los resultados obtenidos. Keywords: methodology, systematic literature review, educational research, production and operations management. 1. Introducción La búsqueda sistemática de bibliografía es una de las primeras fases en toda investigación, pues ello va a permitir conocer en profundidad nuestro campo de estudio, desarrollar un marco teórico y establecer las hipótesis adecuadas sobre las que centrar la investigación. Working Papers on Operations Management Vol 1, Nº 2 (13-30) ISSN: 1989-9068 14 También podría ser la metodología a emplear en un estudio empírico, por ejemplo, si el objetivo es el análisis de las publicaciones para establecer el estado del arte en un determinado tema (estudios bibliométricos). Se puede definir como un proceso en fases que implica la identificación de los trabajos publicados (y no publicados, como los documentos de trabajo -working papers-), procedentes de fuentes secundarias, sobre la materia de interés; la evaluación de estos trabajos en relación con el problema de investigación planteado y la documentación de este trabajo (Sekaran y Boggie, 2010). Cuando nos enfrentamos a esta tarea debemos ser meticulosos en el trabajo a desarrollar, pues de ello va a depender la calidad de los resultados obtenidos. Sin embargo, cuando se realiza esta actividad no siempre conocemos en profundidad las distintas fases a seguir y la problemática a la que nos enfrentamos. Este conocimiento nos permitiría desarrollar esta tarea de manera más eficiente y asegurar la calidad de los resultados obtenidos. Por ello, desde una perspectiva práctica, en este trabajo pretendemos mostrar al investigador los pasos fundamentales que se deben seguir en el desarrollo de una búsqueda sistemática de bibliografía. 2. Objetivos y metodología El objetivo del presente trabajo es servir de guía para la realización de búsquedas sistemáticas de bibliografía. Para ello vamos a describir las diferentes fases que es necesario realizar en este proceso. Este artículo es un trabajo teórico de apoyo a la investigación. Sin embargo, como si de un estudio de casos se tratara, hemos impregnado la disertación teórica con el resultado de nuestra propia experiencia en la realización de búsquedas sistemáticas de bibliografía. Por tanto, se establecen las diferentes fases a cubrir tratando de aportar siempre la perspectiva práctica. Este trabajo queda estructurado de la siguiente forma. El próximo apartado se centra en el estudio de las fases del diseño de la metodología de revisión bibliografía. Las primeras fases serán la identificación del campo de estudio y la selección del material a revisar. A continuación, pasaremos a describir el proceso de búsqueda para terminar con el análisis de los artículos obtenidos y los resultados. Terminaremos realizando unas consideraciones finales. 3. Fases a seguir en una revisión bibliográfica sistemática A continuación pasamos a detallar las distintas fases que es necesario desarrollar en el proceso de búsqueda sistemática de bibliografía. Hemos de incidir en la importancia de documentar todo el proceso, a través de la realización de un documento de ruta, en el que se detalle claramente las actividades realizadas y los resultados de cada una de las fases. Eso será fundamental para tener información del proceso realizado y para solventar cualquier duda que se pueda plantear durante y, posteriormente, a la revisión bibliográfica realizada. El esquema seguido en este apartado podemos sugerirlo como guión para dicho documento de ruta. Las fases a desarrollar se representan en la Figura 1. En los próximos subapartados nos detendremos en el análisis de cada una de ellas. Working Papers on Operations Management Vol 1, Nº 2 (13-30) ISSN: 1989-9068 15 Figura 1: Fases del proceso de revisión bibliográfica 3.1. Identificación del campo de estudio y del período a analizar La primera de las actividades a desarrollar es la identificación del campo de estudio que buscamos analizar. Esta es una etapa inicial en todo proceso de investigación científica, que derivará en la detección del problema de investigación, los objetivos generales y específicos, y la delimitación del marco teórico. Además de una definición que nos sirva de referencia, debemos acotar con precisión aquello que realmente deseamos estudiar. Definir correctamente el campo de estudio es un elemento esencial para delimitar adecuadamente la revisión bibliográfica a desarrollar. Una definición demasiado amplia puede llevarnos a obtener mucha información para procesar. Una definición demasiado concreta implicará que podemos dejar fuera información de interés. El adecuado equilibrio entre ambas vendrá dado por la exactitud con la que definimos los contenidos clave que nos han de llevar a la selección o rechazo de los trabajos que vayamos encontrando. Como veremos más adelante, en búsquedas a través de bases de datos, dichos contenidos se traducirán en palabras clave (keywords) que definirán nuestro criterio de búsqueda. El éxito de la misma y la eficiencia en tiempo vendrá dada, entre otras, por la adecuada selección de dichas palabras clave. En el caso que nos va a servir de ejemplo el campo de estudio sobre el que vamos a realizar la búsqueda sistemática de bibliografía es la enseñanza universitaria y la metodología docente relacionadas con la Dirección de Producción/Operaciones (Production/Operations Management). Nuestro objetivo será establecer el estado del arte de la investigación en docencia en Dirección de Producción/Operaciones (DPO) a través de un estudio bibliométrico de revistas de Dirección de Producción/Operaciones, Management y Docencia. Una vez seleccionado el campo de estudio se ha de plantear la profundidad temporal con la que se desea realizar el estudio, es decir, el período de tiempo a cubrir en el análisis. Si Working Papers on Operations Management Vol 1, Nº 2 (13-30) ISSN: 1989-9068 16 estamos realizando una evolución histórica, tendremos que remontarnos a la fecha de inicio de las teorías o conceptos a analizar. Si deseamos un estado del arte actual podemos remontarnos unos 5-15 años, ello va a depender del propio carácter estático o dinámico de los conceptos tratados y de lo novedoso del tema. Así, en el ejemplo comentado anteriormente, hemos establecido un período de análisis de 15 años, pues deseamos conocer la evolución de los temas tratados, así como el avance en metodologías docentes utilizadas en los últimos años. 3.2. Selección de las fuentes de información Una vez establecido el campo de estudio debemos considerar las diferentes fuentes de las que tomar la información. Dadas las características de la investigación que se va a desarrollar, una revisión bibliográfica, las fuentes empleadas son de carácter secundario. Entre las fuentes de información de carácter secundario existe una amplia variedad. Es el investigador el que debe decidir la necesidad de acudir a las diferentes opciones posibles, no siendo siempre necesario abordar todas ellas, aunque, sin duda, la variedad de fuentes consultadas enriquecerá el trabajo realizado. Serán la naturaleza y objetivos de la investigación desarrollada los que definan la combinación de fuentes que es necesario utilizar. En concreto, podemos optar por:  Revistas Las revistas científicas y profesionales proporcionan una fuente básica y actualizada de conocimiento. Las bases de datos a través de Internet (ABI/Informs, ISI, Scopus, Econlit,…) hacen cada día más cómoda la consulta, como analizaremos en el apartado 3.3. Sin embargo, el elevado número de revistas existentes en algunos campos hace necesario, en ocasiones, delimitar aquellas en las que nos vamos a centrar y justificar la elección adecuadamente. Esto tiene especial importancia cuando se realiza un artículo de revisión (review article), buscando establecer el estado del arte sobre un tema, o un estudio bibliométrico (bibliometric study) que analice el contenido de las publicaciones respecto a un área de interés. Para la selección de revistas a analizar tenemos diferentes alternativas que nos van a permitir centrarnos en aquellas de mayor interés para la comunidad científica. En este sentido, debemos tener presente algunos elementos que nos pueden ayudar en la selección: ○ Artículos que han analizado la relevancia de las revistas del campo de estudio en cuestión. En ocasiones encontramos investigaciones previas que marcan la importancia de determinadas revistas en una disciplina. Esta es un criterio clásico para avalar la selección realizada. Por ejemplo, para el campo de la Dirección de Operaciones, encontramos diferentes trabajos que analizan la calidad y relevancia de las revistas. Por ejemplo, los de Barman et al. (1991 y 2001), Soteriou et al. (1999), Vokurka (1996), Goh et al. (1997), Pilkington y Liston-Heyes (1999) y Olson (2000). ○ Artículos bibliométricos que han realizado un análisis de los artículos publicados en una selección de revistas. Al estar dicha selección justificada por los autores, el investigador puede asumir una cierta calidad para dicho grupo de revistas. Sobre todo, en la medida que el estudio bibliométrico esté publicado en una revista relevante para la materia. Por ejemplo, estudios que analizan artículos de DO de revistas relevantes en esta disciplina serían, entre Working Papers on Operations Management Vol 1, Nº 2 (13-30) ISSN: 1989-9068 17 otros: Amoako-Gyampah y Meredith (1989), Chase (1980), Meredith et al. (1989), Swamidass (1991), Pannirselvam et al. (1999), Flynn et al. (1990), Scudder y Hill (1998), Prasad et al. (2000), Rungtusanatham et al. (2003), Slack et al. (2004), Burgess et al. (2006) o Machuca et al. (2007). ○ Factores de impacto (impact factor) y bases de datos. Cada día es más habitual medir el valor de la revista por el índice de impacto que ésta presenta. Se establece, normalmente, la situación de la revista asignándola a un determinado cuartil en función de su índice de impacto (por eso se habla de revista de primer cuartil (las de mayor impacto), segundo cuartil,...). El índice de impacto más reconocido a nivel internacional es el otorgado por ISI Web of knowledge (WOK) [http://www.accesowok.fecyt.es/], aunque cada día toma mayor fuerza el establecido por Scimago [http://www.scimago.es/]. A nivel nacional el más usado en España es el obtenido en INRECS [http://ec3.ugr.es/in-recs/]. Estar incluida en una base de datos reconocida (ISIWoK, Scopus, ABI/Informs, Emerald, Dialnet,…) da relevancia a las revistas y justifica la búsqueda realizada. Sin embargo, estos índices no siempre reflejan la importancia real que una revista tiene para su comunidad. Por ejemplo, una revista de Administración de Empresas en general (Management) suele tener mayores impactos que una revista dirigida a un colectivo más específico. Por eso es importante depurar los factores de impacto con los resultados obtenidos del análisis de las fuentes mencionadas anteriormente, para no olvidar ninguna revista clave para el área. ○ Ranking de revistas elaboradas por instituciones como departamentos, universidades, agencias de evaluación (ANECA, AGAE,…),… que delimitan la importancia de cada revista asociándola a un determinado nivel. Por ejemplo, el ERA Journal Ranking List [http://www.arc.gov.au/era/era_journal_list.htm].  Actas de congresos El estudio de las actas de congresos tiene especial relevancia debido a que muestran casi en “tiempo real” las líneas de investigación presentes y en desarrollo, permitiendo proyectar las cuestiones que serán publicadas en las revistas durante los próximos años. Es muy útil cuando se realizan agendas de investigación y se buscan las tendencias futuras, así como cuando se trabaja en áreas de investigación emergentes sobre las que todavía no existen muchas publicaciones. En la disciplina de DPO encontramos trabajos como los de Filippini (1997), Karlsson and Ahlström (1998) o Pannirselvam et al. (1999) que han analizado las aportaciones a congresos, estudiando el estado de la investigación en este campo y su evolución respecto a estudios previos y a las publicaciones en revistas en esos mismos periodos.  Tesis Las tesis doctorales son una fuente de información importante, que suele contener una detallada revisión de la literatura y amplios contenidos sobre un área determinada. Además, las tesis doctorales en curso son una clara muestra de las líneas de investigación presentes y futuras. Algunos trabajos han analizado la evolución de un determinado campo de estudio a través del análisis de las tesis doctorales que se han desarrollando (Meredith y Amoako-Gyampah, 1990). Bases de datos como ABI/Informs también incorporan tesis doctorales. En el contexto nacional podemos encontrar la base de datos de Teseo gestionada por el Ministerio de Educación y Working Papers on Operations Management Vol 1, Nº 2 (13-30) ISSN: 1989-9068 18 Ciencia [https://www.educacion.es/teseo]. En otras bases de datos, como ABI/Informs, también encontramos referencias de tesis doctorales.  Libros Los libros y manuales de texto permiten obtener información relevante y amplia sobre un área de interés. Pueden ofrecer un punto de partida muy útil sobre una materia, aunque la incorporación de nuevos temas es más lenta que en otras fuentes como revistas o actas de congresos. El análisis de los libros de texto permite conocer la evolución de un campo de estudio. Por ejemplo, Parson y Globerson (1987) analizaron los libros de texto de dos períodos, a principios de los 70 y entre 1984 y 1987, obteniendo como resultado un estudio de contenidos que permitía conocer la evolución de la DPO en ese período.  Internet La información que se puede obtener a través de Internet es enorme y puede ser muy útil. Sin embargo, en ocasiones, dicha información puede no estar validada y contrastada. En consecuencia, no siempre puede ser adecuado utilizar la información que obtenemos si no proviene de una fuente contrastada. Para ayudarnos en la evaluación de la calidad de la información encontrada en Internet podemos consultar Cooke (2001) o páginas web de universidades como la de la Universidad de Berkeley que muestran una guía para facilitar dicha evaluación [http://www.lib.berkeley.edu/instruct/guides/evaluation.html]. Por otra parte, herramientas como Google Scholar permiten identificar publicaciones académicas, libros, tesis, etc. de editoriales, universidades y otras organizaciones educativas.  Otras fuentes: informes, reportajes, estudios, periódicos… Otras fuentes diversas como, por ejemplo, organismos públicos, empresas, etc. pueden permitirnos obtener información de utilidad sobre el campo de estudio analizado. Los periódicos aportan información actual en tiempo real, siendo muy útiles para conocer la situación de empresas, sectores o industrias. En el estudio bibliométrico que nos sirve de ejemplo, la selección de revistas de DPO y Administración de Empresas (Management) se ha realizado tomando las revistas que estaban indexadas en “Journal Citation Reports” del ISI Web of Knowledge y que eran utilizadas en todos los estudios bibliométricos y sobre relevancia de las revistas en DPO analizados, así como el ranking de la Bath School of Management (2004), que había sido referenciado en trabajos previos. A ellas se añadieron dos revistas españolas, Cuadernos de Economía y Dirección de Empresas (CEDE) y Universia Business Review (UBR), recientemente incorporadas a ISI-Wok. El resultado implicó la revisión de 45 revistas. Como se puede observar, en nuestro criterio de selección hemos utilizado cuatro de las fuentes mencionadas, en concreto:  artículos sobre relevancia y calidad de las revistas de DPO (Barman et al. (1991 y 2001), Vokurka (1996), Goh et al. (1997), Pilkington y Liston-Heyes (1999), Soteriou et al. (1999) y Olson (2005))  investigaciones bibliométricas previas (Amoako-Gyampah y Meredith (1989), Flynn et al. (1990), McCutcheon y Meredith (1993), Goh et al. (1996), Malhotra y Kher (1996), Young et al. (1996), Babbar y Prasad (1998), Scudder y Hill (1998), Working Papers on Operations Management Vol 1, Nº 2 (13-30) ISSN: 1989-9068 19 Pannirselvam et al. (1999), Donohue y Fox (2000), Prasad et.al. (2000), Prasad y Babbar (2000), Alfaro Tanco y otros (2001), Alfalla y Medina (2009), Hsieh y Chang (2009), Piercy, Caldwell y Rich (2009), Holsaple y Lee-Post (2010))  ranking de instituciones (Bath School of Management (2004))  factores de impacto (representados por la pertenencia de la revista al ISI-WoK). Por otra parte, en nuestro estudio únicamente buscamos artículos, no tuvimos en cuenta ni trabajos en congresos, ni tesis doctorales ni otras fuentes. Uno de los motivos para ello es que nos interesaba consultar referencias de calidad contrastada por un proceso de “evaluación ciega por pares”. Otro motivo es que necesitábamos poder acceder a los textos completos de las referencias seleccionadas. En ese sentido, las fuentes más fáciles de localizar son los artículos de revistas académicas. Si la universidad de un investigador no está suscrita a estas revistas, siempre se puede solicitar por préstamo interbibliotecario (con un coste de entre 4 y 10 euros por artículo). Los libros suelen ser también bastante accesibles vía préstamo, aunque no es tan rápido, y no siempre está garantizado que se pueda localizar el libro buscado (y puede salir un poco más caro que una separata de revista, dependiendo de dónde venga el transporte). Las comunicaciones a congresos suelen ser más difíciles de conseguir, pues no es habitual que los organizadores cuelguen en la web, con acceso libre, los textos completos de las comunicaciones y, en los casos que lo hacen, los servidores no suelen mantenerse y, pasados dos o tres años desde la finalización del congreso, es prácticamente imposible que los enlaces estén activos. Por último, las tesis doctorales son difíciles de conseguir (al menos las españolas) si no se puede contactar directamente con el autor del trabajo, o si éste no la ha depositado en biblioteca con autorización para consulta fuera de la misma o la ha colgado en la web con acceso libre. 3.3. Realización de la búsqueda (qué, dónde y cómo) Para establecer nuestra estrategia de búsqueda, una vez identificados el campo de estudio, el periodo de tiempo a analizar y seleccionadas las fuentes de información, debemos determinar los criterios de búsqueda a emplear y si realizaremos la búsqueda de manera manual o automática, decidiendo, además, dónde se va a realizar la búsqueda (url de revistas, bases de datos,...). En el caso de optar por desarrollar la búsqueda de manera automática tendremos que concretar la sintaxis de la estrategia de búsqueda. Por último, tanto si la búsqueda se realiza de manera manual como automática, es conveniente desarrollar una prueba piloto que nos ayude a depurar y mejorar la estrategia de búsqueda establecida. 3.3.1. Criterios de búsqueda El primer paso a realizar es establecer los criterios de selección que nos permitan filtrar las referencias de interés para el objetivo que perseguimos (campo de estudio y periodo a analizar). Se trata de hacer explícitas las reglas de decisión que debemos seguir. En nuestro caso, los criterios que hemos seguido para seleccionar manualmente un articulo son: que trate de Educacion Universitaria o Metodología Docente y, al mismo tiempo, que se centre en Operations Management (OM), Production and Operations Management (POM) o Service Operations Management (SOM) o sus temas afines. Los temas afines que hemos considerado son: Logistics / Supply Chain, JIT/Just in Time/Lean, MRP/ERP, Quality, Process Management, Layout, Project Management, Capacity Management, Time Study, Inventory and Warehouses, Production Planning, Schedulling/Sequencing, Product, Localization, Maintenance, Forescasting. Working Papers on Operations Management Vol 1, Nº 2 (13-30) ISSN: 1989-9068 20 Al definir los criterios también podemos poner las condiciones que NO deben cumplir las referencias seleccionadas. Es decir, las condiciones que harían que una referencia sea excluida de la selección. Por ejemplo, en nuestro caso, descartamos: Management Science (si no se centra en ninguno de los temas de OM, POM o SOM); Transversal Skills (communication - writting-oral-, critical thinking, tamwork); Statistics; Operations Research; todas las actividades docentes en Ingenierias que no sea Industrial Engineering (Ingeniero de Organización Industrial en España) o Industrial Management (por ejemplo, Civil, Naval, Informática,...). 3.3.2. Selección manual o automática Una vez tenemos claros los criterios de selección, podemos decidir si hacer un vaciado automático o manual de referencias. En principio, el procedimiento automático presenta las ventajas de ser mucho más rápido, cómodo y libre de errores. Una búsqueda automática nos asegura que los resultados cumplen las condiciones impuestas por la estrategia de búsqueda establecida. Sin embargo, es conveniente hacer una prueba piloto de la estrategia de búsqueda para depurarla y detectar posibles errores, como se detalla más adelante en este trabajo. Otro aspecto que debemos tener en cuenta es que, al correr estrategias de búsqueda de manera automática, el proceso funciona como una caja negra que nos arroja unos resultados, pero no nos da información sobre el material que se ha descartado. Cuando se está haciendo una búsqueda manual, se interpretan los criterios, surgen dudas que precisan de reflexión o aclaraciones o se descubren términos que no se habían tenido en cuenta. Todo ello ayuda a depurar y mejorar la estrategia de búsqueda. Si hemos optado por una estrategia automática para buscar, por ejemplo, artículos de revistas o de congresos indexados, es importante comprobar desde qué fecha están indexadas las referencias de las diferentes fuentes seleccionadas en las bases de datos donde hemos decidido realizar la búsqueda. Esto no es algo trivial o evidente pues ninguno de los proveedores habituales (WOK, ScienceDirect/Scopus/Sciverse, Business Source Premier, ABI/ProQuest, Emerald,...) muestra advertencias si alguna de las fuentes no está registrada en el periodo de búsqueda incluido como criterio. Precisamente, uno de los criterios para elegir un proveedor de bases de datos es el periodo de indexación del conjunto de fuentes que nos interesa. En este sentido, conviene indicar que el conjunto de revistas indexadas varía en cada uno de los proveedores. Más o menos hay un 60-70% de solape entre pares de proveedores. Por ejemplo, un 60% de las revistas de la WOK están a su vez registradas en ScienceDirect y un 70% de lo que hay en ScienceDirect está en Business Source Premier. Estas cifras son aproximadas y cambiantes, pues los proveedores van incorporando o dando de baja a diferentes fuentes según sus normas particulares. Otros criterios para elegir una base de datos son, que nuestra universidad tenga suscrito el acceso a la misma y, por último, si la base de datos ofrece los textos completos de las referencias (ScienceDirect/Scopus/Sciverse, Business Source Premier o ABI/ProQuest) o si sólo proporciona los “metadatos” -Título, autor, resumen y palabras clave- (WOK). No obstante, en favor de la WOK debemos señalar que ofrece el protocolo SFX, por medio del cual se puede consultar, aunque sea de manera indirecta, si una referencia concreta está accesible o suscrita por nuestra universidad (siempre que estemos accediendo desde la intranet de nuestra universidad, pues el protocolo comprueba la IP del ordenador para establecer los privilegios de suscripción). Algunos de los proveedores de contenido más conocidos son (Marin-Garcia, 2008):  ISI Web Of Knowledge advanced search: http://www.accesowok.fecyt.es/ Working Papers on Operations Management Vol 1, Nº 2 (13-30) ISSN: 1989-9068 21  ScienceDirect/SCOPUS/Sciverse http://www.sciencedirect.com/  EBSCOhost Business Source Premier: http://web.ebscohost.com/ http://www.ebsco.com/  ABI/ProQuest: http://www.proquest.com/enUS/catalogs/databases/detail/abi_inform.shtml  Emerald: http://www.emeraldinsight.com/  InformaWolrd: http://www.informaworld.com  LexisNexis Academic: http://www.lexisnexis.com/hottopics/lnacademic/ Debemos señalar que la mayoría de proveedores de contenido proporcionan bases de datos que recogen referencias relativas a diversos tipos de fuentes (artículos científicos, informes, noticias de periódicos o revistas sectoriales, etc.). Sin embargo, hay situaciones donde no se puede evitar la búsqueda manual. Por ejemplo, cuando determinadas fuentes no están indexadas en ninguna base de datos, cuando sólo están indexados determinados periodos, o cuando están indexadas en unas bases de datos cuyas posibilidades de búsqueda son demasiado limitadas para los objetivos de la revisión. En nuestro caso, la revista Cuadernos de Economía y Dirección de Empresas, es un ejemplo de revista que tuvimos que filtrar manualmente, porque la WOK sólo tenía indexado desde el año 2009 y el motor de búsqueda de la web de la propia revista no permitía aplicar nuestra estrategia de búsqueda. Cuando se realiza una búsqueda manual, hay que garantizar que la persona que está haciendo el filtrado mantiene la atención y no comete ningún error en la selección (por ejemplo, prescindir de algún criterio, interpretar de manera diferente los criterios, saltarse algún ejemplar o alguna referencia, etc.). Por todo ello, la consulta automática presenta ventajas evidentes sobre los métodos manuales, sobre todo cuando se están utilizando estrategias de búsqueda complejas. En consecuencia, siempre que sea posible, aconsejamos la realización de consultas automáticas. 3.3.3. Sintaxis de la estrategia de búsqueda Cuando decidimos que vamos a realizar una búsqueda de referencias automática, es necesario convertir los criterios de búsqueda en instrucciones interpretables por los buscadores de las bases de datos. Para ello se utiliza una sintaxis determinada. Aunque cada proveedor tiene sus detalles particulares (que se recomiendan consultar para ajustar la sintaxis de nuestra estrategia de búsqueda), hay determinadas convenciones que son válidas para casi todo ellos. Concretamente, los comentarios que siguen son válidos para: ISI Web Of Knowledge advanced search, ScienceDirect/SCOPUS/Sciverse, EBSCOhost Business Source Premier y ABI/ProQuest. Los operadores básicos de la sintaxis son AND, OR y NOT: ● And - combina los términos de búsqueda de modo que cada referencia seleccionada los contenga todos. ● Or - combina los términos de búsqueda de modo que las referencias seleccionadas contengan al menos uno de ellos. ● Not - excluye términos, de modo que ninguna referencia seleccionada puede contenerlos. Working Papers on Operations Management Vol 1, Nº 2 (13-30) ISSN: 1989-9068 28 ○ Técnicas empleadas para recabar la información: observación/cuestionario/entrevistas/... ○ Técnicas de análisis de datos empleadas: descriptivas, explicativas,... ● Principales resultados. ● Conclusiones. ● Referencias: cuántas y cuáles. Puede dar una idea de qué trabajos son considerados de referencia por los autores. En la medida que vayamos a desarrollar un análisis cualitativo de los resultados obtenidos sería de interés que más de un investigador revisase y clasificase cada uno de los trabajos para evitar posibles sesgos. 4. Conclusiones El presente trabajo pretende servir de guía para la realización de búsquedas sistemáticas de bibliografía. Con tal objetivo hemos buscado concretar las acciones a realizar en diferentes fases, cada una de las cuales han sido descritas con detalle y ejemplificadas sobre la base de nuestra propia experiencia. Para concluir, nos gustaría señalar la importancia de ser metódico en el trabajo realizado, pues ello nos permitirá eficiencia, en términos de tiempo, y calidad de los resultados obtenidos. Igualmente, resulta vital mantener actualizado el documento de ruta, lo que nos facilitará la justificación de la revisión bibliográfica desarrollada y nos facilitará la organización del trabajo y la coordinación con los diferentes investigadores involucrados en el estudio. 5. Referencias Alfalla-Luque, R. y Medina-López, C. (2009). Supply Chain Management: Unheard of in the 1970s, core to today’s company. Business History, Vol. 51, No. 2, pp. 201–220. Alfaro Tanco, J.A., Alvarez Gil, M.J. y Montes, M.J. (2001). Gestión de la Cadena de Suministros: evolución y tratamiento en el ámbito de la Dirección de Operaciones. Actas XI Congreso Nacional de ACEDE, Zaragoza. Amoako-Gyampah, K. y Meredith, J.R. (1989). The Operations Management Research Agenda: An Update. Journal of Operations Management, vol. 8, nº. 3, August, pp. 250-562. Babbar, S. y Prasad, S. (1998). International Purchasing. Inventory Management and Logistics Research. An assessment and agenda. International Journal of Operations and Production Management, 18 (1), pp. 6-36. Barman, S., Hanna, M.D. y LaForge, R.L. (2001). Perceived relevance and quality of POM journals: a decade later. Journal of Operations Management, 19 (), pp. 367-385. Barman, S., Tersine, RlJ. y Buckley, M.R. (1991). An Empirical Assesment of the Perceived Relevance and Quality of POM-Related Journals by Academicians. Journal of Operations Management, 10 (2), pp. 194-212. Bath School of Management (2004). Journal ratings list. University of Bath, Bath (UK). Burgess, K., Singh, P.J., y Koroglu, R. (2006). Supply chain management: A structured literature review and implications for future research. International Journal of Operations and Production Management, 26 (7): pp. 703-729. Chase, R.B. (1980): A Classification and Evaluation of Research in Operations Management. Journal of Operations Management, vol. 1, nº. 1, pp. 9-14. Working Papers on Operations Management Vol 1, Nº 2 (13-30) ISSN: 1989-9068 29 Donohue, J.M. y Fox, J.B. (2000). A multi-method evaluation of journal in the decision and management sciences by US academics. Omega International Journal of Management Science, 28 (), pp 17-36. Filippini, R. (1997): Operations management research: some reflections on evolution, models and empirical studies in OM. International Journal of Operations and Production Management, vol. 17, nº. 7, pp. 655-670. Flynn, B., Sakakibara, S., Schroeder, R., Bates, D. y Flynn, E. (1990): Empirical research methods in operations management. Journal of Operations Management, vol. 9, nº. 2, pp. 250-284. Goh, C., Holsapple, C.W., Johnson, L.E. y Tanner, J.R. (1997). Evaluating and classifying POM journals. Journal of Operations Management, 15 (2-May), pp 123-138. Goh, C.H., Holsapple, C.W., Johnson, L.E. y Tanner, J. (1996). An Empirical Assessment of Influences on POM Research. Omega International Journal of Management Science, 24 (3), pp. 337-345. Hsieh, P. & Chang, P. (2009). An assessment of world-wide research productivity in production and operations management. International Journal of Production Economics, 120 (2), pp 540-551. Holsapple, C., & Lee-Post, A. (2010). Behavior-based analysis of knowledge dissemination channels in operations management. Omega, 38(3/4), pp 167-178. Karlsson, C., & Ahlström, P. (1998). The history of thought in operations management: A European perspective. Plenary presentation at POMS Conference, Orlando, Florida. Machuca, J.A.D., González-Zamora, M.M. y Aguilar-Escobar, V. G. (2007). Service Operations Management research. Journal of Operations Management, 25 (3), pp 585-601. Kher, M.H. (1996). Institutional research productivity in production and operations management. Journal of Operations Management, 14 (), pp 55-77. Marin-Garcia, J. A. (2008). Guía de investigación para el desarrollo de la carrera del profesorado: organización de empresas (volumen 13). Valencia: Editorial de la Universidad Politécnica de Valencia. McCutcheon, D.M. y Meredith, J.R. (1993). Conducting case study research in operations management. Journal of Operations Management, 11 (), pp 239-256. Meredith, J.R y Amoako-Gyampah, K. (1990): “The Genealogy of Operations Management”, Journal of Operations Management, vol. 9, nº. 2, pp. 146-167. Meredith, J.R., Raturi, A., Amoako-Gyampah, K. y Kaplan, B. (1989): Alternative Research Paradigms in Operations. Journal of Operations Management, vol. 8, nº. 4, Oct., pp. 297326. Olson, J. E. (2005). Top-25-business-school professors rate journals in operations management and related fields. Interfaces, 35 (4), pp 323-346. Pannirselvam, G.P., Ferguson, L.A., Ash, R.C. y Siferd, S.P. (1999): Operations management research: un update for the 1990's. Journal of Operations Management, vol. 18, pp. 95-112. Parsons, R. y Globerson, S. (1987): Content Modification in Operations Management. Operations Management Review, vol. 5, nº. 3, pp. 1-10. Piercy, N., Caldwell, N., y Rich, N. (2009). Considering connectivity in operations journals. International Journal of Productivity and Performance Management, 58(7), pp. 607-631. Prasad, S. y Babbar, S. (2000): International Operations Management Research. Journal of Operations Management, vol. 18, pp. 209-247. Prasad, S., Babbar, S. y Calis, A. (2000): International Operations Management and Operations Management research: a comparative analysis. OMEGA, vol. 28, pp. 97-110. Working Papers on Operations Management Vol 1, Nº 2 (13-30) ISSN: 1989-9068 30 Pilkington, A. y Liston-Heyes, C. (1999). Is production and operations management a discipline? A citacion/co-citation study. International Journal of Operations and Production Management, 19 (1), pp. 7-20. Rungtusanatham, M.J., Choi, T.Y., Hollingworth, D.G., Wu, Z., y Forza, C. (2003). Survey research in operations management: Historical analyses. Journal of Operations Management, 21 (4), pp. 475-488. Scudder, G.D. y Hill, C.A. (1998): A Review and Classification of Empirical Research in Operations Management. Journal of Operations Management, vol. 16, pp. 91-101. Sekaran, U. y Boggie, R. (2010): Research methods for business. A skill building approach. Ed. Wiley, Chichester, UK. Slack, N., Lewis, M., & Bates, H. (2004). The two worlds of operations management research and practice: Can they meet, should they meet? International Journal of Operations and Production Management, 24 (4), pp. 372-387. Soteriou, A., Hadjinicola, G. y Patsia, K. (1999). Assessing production and operations management related journals: the European perspective. Journal of Operations Management, 17, pp. 225-238. Swamidass, P.M. (1991): Empirical Science: New Frontier in Operations Management Research. Academy of Management Review, vol. 16, nº. 4, pp. 793-814. Vokurka, R.J. (1996). The Relative Importance of Journal Used in Operations Management Research. A Citation Analysis. Journal of Operations Management, 14 (4), pp. 345-355. Young, S.T., Baird, B.C, y Pullman, M.E. (1996). POM research productivity in U.S. business schools. Journal of Operations Management, 14 (1), pp. 41-53.