Revisión meta-analítica de la literatura como guía para la investigación

39 REVISIÓN META-ANALÍTICA DE LA LITERATURA COMO GUIA PARA LA INVESTIGACIÓN Jorge Arenas Gaitán Rosario García Cruz RESUMEN Los investigadores tienen acceso cada vez a mayores fuentes bibliográficas. Estas nuevas oportunidades deben ser aprovechadas con una adecuada metodología. Una solución adecuada en el ámbito de la Administración de Empresas y el Marketing es la revisión meta-analítica de la literatura. Esta técnica permite comprobar si un determinado hecho ha sido suficientemente contrastado, al tiempo que sirve como una estupenda guía en el desarrollo de la investigación. A lo largo del presente trabajo se incluye un resumen de una aplicación a modo de ejemplo. PALABRAS CLAVES: Revisión de la Literatura, Revisión Meta-analítica, Meta-análisis. ABSTRACT Nowadays the researchers have access to bigger bibliographical sources. These new opportunities must be been useful with a suitable methodology. A solution adapted in the areas of the Management and Marketing is the analytical review of the literature. This tool allows verifying if a hypothesis has been sufficiently tested, at the time that it serves as an excellent guide in the development of a research. An example is included in the present paper. KEY WORDS: Meta-Analysis, Literature Review, Analytical Review of the Literature. 1. INTRODUCCIÓN El meta-análisis es una técnica cada vez más empleada. Se empezó a aplicar en la década de los setenta en las ciencias sociales (Schmitdt y Hunter, 1977; Rosenthal, 1976; Smith y Glass, 1977). Sin embargo, actualmente con el desarrollo de las tecnologías de las comunicaciones y de las bases de datos electrónica, los investigadores tienen acceso a una cantidad ingente de información. Atendiendo a Sánchez-Meca (1999, p.173) “en una época caracterizada por el crecimiento exponencial de la producción científica, las denominadas revisiones de la investigación constituyen el eslabón imprescindible entre el quehacer científico del pasado y del futuro, estableciendo el punto de partida de nuevas investigaciones. Tradicionalmente, las revisiones de la investigación se han caracterizado por carecer de una pauta sistemática en la toma de decisiones a lo largo del proceso, así como por la ausencia de referentes cuantitativos en la valoración de los resultados. De ahí la denominación de revisiones narrativas o cualitativas, donde, tras el estudio de las investigaciones más relevantes con relación a un determinado tema, el revisor expone su particular visión del estado de la cuestión. Frente a esta práctica habitual, CITIES IN COMPETITION 40 durante las dos últimas décadas ha surgido el meta-análisis como una nueva metodología cuyo propósito es dotar a las revisiones de la investigación del rigor, objetividad y sistematización necesarios para alcanzar una fructífera acumulación del conocimiento científico. Uno de los aspectos claramente diferenciadores del meta-análisis respecto a las revisiones narrativas es su carácter cuantitativo”. El meta-análisis ofrece importantes ventajas para el investigador, aunque debe utilizarse teniendo en cuenta sus posibles limitaciones (Rosenthal y DiMatteo, 2001). Sin embargo, como señalan Ramírez y García (2004) entre ambos extremos, la revisión narrativa y el meta-análisis, encontramos diversos autores que realizan una revisión sistemática de determinado fenómeno a partir de los estudios realizados, aunque sin exigir todos los requisitos necesarios para un meta-análisis. Ejemplos de estos estudios son Hedges y Olkin (1980), Chetty y Hamilton (1993), Zou y Stan (1998), Lai y Mahapatra (1997), Klaus et al. (2000), Navarro (2000) y Croasdell et al. (2003). Si bien los autores citados denominan a su método de trabajo meta-análisis, creemos conveniente llamarlo revisión meta-analítica para diferenciarlo del anterior. En el fondo, tanto la revisión meta-analítica como el meta-análisis no son más que propuestas metodológicas para la revisión de un área de la literatura científica publicada y determinar cuantitativamente el grado en que un hecho particular ha sido replicado adecuadamente. A diferencia de los estudios primarios, en un metaanálisis los datos son los resultados de los estudios, convenientemente transformados a una métrica común que permita su integración y comparación cuantitativa (Sánchez-Meca, 1999). De este modo, el metaanálisis aumenta el conocimiento mediante la clarificación y síntesis de los hallazgos aparecidos hasta la fecha en la literatura. Por ello se ha ganado un gran reconocimiento como una herramienta indispensable para integrar el conocimiento generado por un gran número de estudios sobre un tópico. Sin embargo, un metaanálisis va más allá de cuantificar lo que una revisión narrativa podría revelar. Supera las dificultades asociadas a estudios individuales, como errores muestrales, errores de medida, y restricciones en el rango, para permitir al analista sintetizar los hallazgos de los estudios primarios y testar hipótesis que no pudieron ser resueltas en estos estudios (Eden, 2002). Sin embargo, además de ayudar al investigador en la integración y significación de los trabajos existentes en la literatura, un adecuado meta-análisis ofrece una visión magnifica del campo de investigación desarrollado. Dicha imagen permite identificar las semejanzas y diferencias entre las investigaciones anteriores (Rosenthal y DiMatteo, 2001). Nuestra experiencia nos señala que los resultados de este análisis suponen una estupenda guía en el desarrollo posterior de trabajos teóricos, pero sobre todo de nuevas investigaciones empíricas. Es en este último uso donde se enmarca nuestro trabajo. Nuestro objetivo es ofrecer una propuesta para obtener y tratar la información con el propósito de realizar una revisión sistemática de la literatura que ofrezca una visión completa del estado de la cuestión de un determinado tópico, y sirva además de soporte a la toma de decisiones de investigador en su tarea. Esta es precisamente nuestra principal aportación, ya existe trabajos donde se describe las técnicas para la revisión meta-analítica de la literatura, a lo que queremos añadir su uso como una guía en el desarrollo de la investigación. Para lograr este objetivo, el resto del trabajo se estructura del siguiente modo. En primer lugar se describe la metodología propuesta para realizar una revisión meta-analítica de la literatura. Una vez conocida la técnica, se describirá, a modo de ejmplo, una revisión meta-analítica realizada en el campo del Marketing Relacional, contrastando sus resultados con los obtenidos en el desarrollo de la investigación empírica realizada con posterioridad. Finalmente se recogen las principales conclusiones obtenidas. NOTES ON UNIVERSITY TEACHING METHODOLOGIES AND EXPERIENCES 41 2. EL MÉTODO DE LA REVISIÓN META-ANALÍTICA Como se ha mencionado anteriormente, tanto el meta-análisis como la revisión meta-analítica de la literatura son propuesta metodológicas para la revisión de un área de la literatura científica publicada. Dada su naturaleza resulta especialmente importante la existencia de unas normas generales que deben seguirse a lo largo de todas sus fases. Aunque existe cierta flexibilidad en su aplicación, en todo momento se debe ser consciente de las posibles amenazas contra la validez y fiabilidad de las decisiones adoptadas en el proceso. Haciendo explícitas todas las decisiones, cualquier metaanálisis puede ser valorado objetivamente, e incluso replicado, por otros investigadores desde una perspectiva científica (Sánchez-Meca, 1999). En la elaboración de un metaanálisis se pueden distinguir varias etapas, tal como se expone en la Figura 1: 1º Fase: Formulación del problema: la primera fase del proceso es delimitar la relación conceptual que se pretende estudiar a través de la literatura disponible, definiendo las variables y los conceptos implicados. Son precisas sus diversas operativizaciones, que pueden encontrarse en los estudios empíricos. Estas definiciones operativas constituyen un criterio importante para decidir la inclusión, o no, de los estudios. 2º Fase: Búsqueda de la literatura: Tras la formulación del problema, el paso siguiente consiste en localizar los estudios empíricos que han tratado la relación conceptual. La información recogida en los resultados de dichos estudios sirve de materia prima en el desarrollo de la revisión meta-analítica. Sarabia Sánchez (1999, p.73) en relación al papel del investigador frente a la información indica que “el elemento básico de la investigación es la información. Investigar es, entre otras cosas, obtener datos, y tratarlos para obtener información distinta. Por ello el investigador no ha de ser concebido como alguien que la maneja como si un puzzle se tratase, sino quien decide cómo obtenerla, qué hay que hacer con ella, cómo hay que tratarla y guardarla y, finalmente, a quién y por qué hay que entregársela”. Es decir, es labor del investigador el realizar una profunda y completa revisión de la literatura anterior, decidiendo qué trabajos deben incorporarse y cuales han de ser rechazados. Para ello Rosenthal y DiMatteo (2001) ya señalan que no vale con leerse sólo algunas de las partes de los artículos, sino que el desarrollo adecuado de esta metodología fuerza a crear una cierta intimidad con los datos de las publicaciones existentes. Actualmente se ha simplificado mucho la búsqueda de literatura con el desarrollo de las bases de datos disponibles por Internet (ABI-Inform, Elsevier ScienceDirect, Business Source Premier, etc...). Sin embargo, ninguna base de datos contiene todas las revistas, todos los artículos, y mucho menos todas las investigaciones desarrolladas sobre un tópico. Por ello resulta conveniente que el investigador realice a priori un listado de las principales revistas dentro de su campo de trabajo, para que sean revisadas y peinadas exhaustivamente. Al mismo tiempo es posible realizar búsquedas de artículos en las bases de datos comentadas. Y de modo complementario se pueden emplear otros métodos, como son las búsquedas ascendentes, y mayoritariamente descendentes, a partir de las referencias de los artículos y trabajos recogidos con anterioridad. Realizar toda esta tarea de un modo sistemático es la forma de asegurarnos que la revisión meta-analítica cuenta con la materia prima apropiada. CITIES IN COMPETITION 42 Figura 1: Fases de la Revisión Meta-Analítica 1º Fase: Formulación del Problema 2º Fase: Búsqueda de la literatura 3º Fase: Codificación de las Variables 4º Fase: Análisis Estadístico e Interpretación 3º Fase: Codificación de las variables: Consiste en definir las características de los estudios que supuestamente pueden afectar a los resultados y, en consecuencia, explicar la variabilidad interestudios. También en esta fase es preciso definir el índice del tamaño del efecto, que es el indicador que representa el resultado de los estudios de la investigación. En este sentido, Rosenthal (1976) proponía como resultado de los estudios el nivel de probabilidad p, obtenido de la prueba estadística aplicada, aunque actualmente no se aplica por representar una información parcial del resultado de un estudio (Sánchez-Meca, 1999, p.180). 4º Fase: Análisis Estadístico e Interpretación: Tras la formulación de los objetivos e hipótesis anterior y de los tamaños del efecto y variables registradas en cada estudio primario, se aplican técnicas estadísticas específicamente diseñadas para tratar los datos metaanalíticos así, se abordará el estudio del tamaño del efecto medio (representación gráfica de la distribución de los resultados, tendencia central de los efectos, su variabilidad y significación estadística) y la búsqueda de características que corrijan la variabilidad de los tamaños del efectos, mediante la aplicación de ANOVA (variables moderadoras cualitativas), análisis de regresión simple (variables moderadoras cuantitativas) y regresión múltiple, para la formulación de modelos explicativos del tamaño del efecto a partir de las variables moderadoras relevantes. Tal y como recoge Navarro (2000), dado que no todos los estudios presentan tamaños muestrales, técnicas estadísticas, etc., similares, y con el objeto de no realizar exclusivamente una aproximación narrativa a la literatura, resulta adecuada utilizar la aproximación propuesta por Zou y Stan (1998). Consiste en utilizar un híbrido entre el metaanálisis y la descripción narrativa, de forma que se superen los inconvenientes de ambos métodos. En concreto, dentro de las técnicas de metaanálisis se empleará la propuesta por Hedges y Olkin NOTES ON UNIVERSITY TEACHING METHODOLOGIES AND EXPERIENCES 43 (1980). Básicamente, está técnica consiste en la suma de los estudios que reportan resultados positivos, y por otro lado los negativos, sobre cada una de las relaciones estudiadas. Debe tomarse un valor crítico, que estará en función del número total de trabajos analizados. Por ejemplo, para un intervalo de entre 10 y 15 estudios se tomaría un valor crítico de 4, 5 si se alcanzan los 20 trabajos, y 6 para 30 investigaciones (Zou y Stan, 1998; Hedges y Olkin, 1980; Chetty y Hamilton, 1993). Tabla 20: Enfoque Metaanalítico de Hedges y Olkin (1980) OBJETIVO Sintetizar los resultados de un conjunto de estudios empíricos, para estimar un efecto tamaño indicativo de la fortaleza de la asociación entre una variable independiente y otra dependiente. CONDICIONES NECESARIAS 1. Totalizar para cada factor o variable independiente, el número de estudios que ofrecen una relación significativa (positiva o negativa) o no significativa. 2. Número de estudios no inferior a diez. TAMAÑO DEL EFECTO En general, la probabilidad de que una variable independiente este relacionada significativamente (positiva o negativamente) con otra dependiente será más elevada cuanto mayor sea el número de estudios, que en la dirección planteada, se obtiene una relación significativa con la variable dependiente. HIPÓTESIS NULA No existe efecto significativo sobre la variable dependiente. CONTRASTE DE HIPÓTESIS Se rechazará la hipótesis nula si el número de estudios cuya relación es significativa, en la dirección correspondiente (positiva o negativa), superar un valor crítico que depende del total de estudios analizados para esa relación. 4 estudios para 10 estudios analizados. 5 estudios para entre 15 y 20 estudios analizados. 6 estudios para 30 estudios, etc. (Hedges y Olkin, 1980; Chetty y Hamilton, 1993). Fuente: Navarro (2000) 3. APLICACIÓN AL ESTUDIO DEL ÉXITO DE LAS ALIANZAS ESTRATÉGICAS Al igual que Navarro (2000), la revisión de la literatura se ha realizado en los siguientes pasos: 1. Presentar los estudios empíricos sometidos a revisión, para los que se han analizado algunas características como el país donde se han desarrollado, el tamaño muestral empleado, la población objetivo, las técnicas estadísticas aplicadas, etc. 2. Estimaremos el número de estudios que ofrecen una relación significativa (positiva o negativa) o no significativa, entre cada para de variables relacionadas en el modelo propuesto. 3. Siguiendo las indicaciones de Hedges y Olkin (1980) y Chetty y Hamilton (1993), los tamaños del efecto de cada variable independiente sobre la dependiente. Serán diez el número mínimo de estudios a partir del cual se considera significativo el tamaño del efecto estimado de la variable independiente sobre la dependiente. CITIES IN COMPETITION 44 4. Se rechazará la hipótesis nula, es decir, se admitirá que existe una relación significativa cuando al menos el 50% de los estudios analizados manifiesten una asociación significativa en la dirección correspondiente (positiva o negativa), entre la variable independiente y la dependiente. 5. Se empleará una descripción narrativa para facilitar la interpretación del efecto de cada variable independiente sobre la dependiente. 6. Se presentarán las conclusiones de la revisión realizada. La aplicación que a continuación se resume como ejemplo ha sido tomada de Arenas (2004). En este caso el tópico abordado son los determinantes del éxito de las alianzas estratégicas internacionales. Dentro de este marco, se ha acotado la investigación basándonos en el modelo propuesto por Hunt, Lambe y Wittmann (2002) para estudiar el impacto de la variables relacionales sobre el éxito de la alianza. Gracias a ello, están identificadas las variables, sus relaciones, y se genera un conjunto de hipótesis que explican el modelo propuesto. En este punto hay que resaltar que Hunt, Lambe y Wittmann (2002) se limitan a proponer un modelo, sin su posterior comprobación empírica. Figura 2: Modelo de Éxito de Alianzas Estratégicas (Hunt, Lambe y Wittmann, 2002): Aspectos Relacionales CTR NORMAS OPORT COMUN COMPRO CONFI COOP EXITO H 1 H 2 H 3 H 4 H 5 H 7 H 6 H 10 H 8 H 9 H 11 Para cada una de las hipótesis que aparecen en el modelo se han realizado una revisión meta-analítica de la literatura siguiendo los pasos anteriormente descritos. Por ejemplo, la primera hipótesis (H1), la relación entre los NOTES ON UNIVERSITY TEACHING METHODOLOGIES AND EXPERIENCES 45 Costes de Término de la Relación y el Compromiso Relacional mostrado por los socios, la revisión metaanalítica fue la siguiente: 3.1. Ejemplo de Revisión Meta-Analítica de la Relación entre las Variables Costes de Término de la Relación y Compromiso Relacional 1º Fase: Formulación del problema. Para estudiar la relación entre los costes provocados por el término de la relación y el compromiso relacional es necesario partir de la conceptualización de ambos elementos. Las definiciones en las que está basado el análisis han sido recogidas de la literatura. Concretamente, la conceptualización del compromiso relacional está basada en las aportaciones de Anderson y Weitz (1992), Morgan y Hunt (1994) y Gundlach, Achrol y Mentzer (1995), y se considera como una creencia o deseo que tienen las partes sobre la continuidad de la relación a largo plazo, aunque para ello los participantes se vean obligados a realizar sacrificios a corto plazo. Por otro lado, la definición del concepto de costes de término de la relación está basada en Anderson y Weitz (1992), Morgan y Hunt (1994) y Dwyer, Schurr y Oh (1987). Los costes de término de la relación Morgan y Hunt (1994) los definen como todas las pérdidas procedentes de la terminación, de la búsqueda de alternativas, los gastos de disolución y los costes de las inversiones. Se incluyen los costes financieros obvios, las pérdidas debido a la clientización, los costes de encontrar alternativas, pero también se incluyen los costes psicológicos, emocionales, y el estrés físico en de los individuos responsables (Dwyer, Schurr y Oh, 1987). La cuestión que se aborda es cómo los costes esperados por las empresas a la ruptura de una relación debido a las inversiones económicas, financieras, de personal, tiempo, y otros recursos hacia la relación llevan a que estos perciban como importante la actual relación, y así se genera compromiso con la relación. Este razonamiento queda resumido en la siguiente hipótesis: H1: Existe una relación positiva entre los costes de término y el compromiso en los intercambios relacionales. 2º Fase: Búsqueda de la literatura: Tal como se ha expuesto anteriormente, después de la formulación del problema, el siguiente paso consiste en localizar los estudios empíricos que han tratado la relación conceptual. Para ello partimos de peinar un listado de revistas (Tabla 2) del máximo prestigio internacional, y de las actas de los principales congresos nacionales de nuestra área. CITIES IN COMPETITION 46 Tabla 21: Listado de Fuentes Iniciales para la Búsqueda de Bibliografía Revistas California Management Review European Journal of Marketing Harvard Business Review Internacional Marketing Review Investigaciones Europeas de Dirección y Economía de la Empresa Journal of Business Research Journal of International Business Studies Journal of International Marketing Journal of Marketing Journal of the Academy of Marketing Science Revista de Economía y Empresa Revista Española de Investigación de Marketing ESIC Revista Europea de Dirección y Economía de la Empresa Strategic Management Journal The Journal of Business Strategy Congresos Encuentros de Profesores Universitarios de Marketing Congresos de AEDEM Congresos de ACEDE Jornadas Hispano-Lusas de Gestión Científica De modo paralelo se obtuvieron trabajos mediante el uso de tres bases de datos disponibles en Internet a través del portal de la Universidad de Sevilla: ABI-Inform, Elsevier ScienceDirect y Business Source Premier. La identificación de los trabajos relativos al compromiso ha sido relativamente sencilla. Sin embargo, para localizar aquellas investigaciones sobre los costes de término de la relación ha sido más dificultoso debido a que mayoritariamente los trabajos se enfocaban en cuestiones parciales del concepto planteado. En este caso hemos tenido que recurrir a la búsqueda los trabajos a través de las expresiones “inversiones idiosincrásicas” y “activos idiosincrásicos”. Finamente, se han utilizado otros métodos de búsqueda, como son las búsquedas ascendentes, y mayoritariamente descendentes, a partir de las referencias de los artículos y trabajos recogidos con anterioridad. 3º Fase: Codificación de las variables Como resultado de los dos pasos anteriores se ha logrado identificar un total de diecisiete investigaciones empíricas que abordan la relación entre compromiso y costes de término de la relación. Estos trabajos han sido codificados y tabulados de modo que se recoja toda la información necesaria. NOTES ON UNIVERSITY TEACHING METHODOLOGIES AND EXPERIENCES 47 Tabla 22: Metaanálisis, Costes de Término de la Relación y Compromiso Relacional Autores Enfoque Teórico Muestra Sector, Empresa; Nación Técnica Estadística Signo de la Relación ¿Es Significativa? Hipótesis Anderson y Weitz (1992) Marketing Relacional 417 diadas 11 unidades de negocios que aparecen en cinco corporaciones de Fortune 500 Sistema de Ecuaciones resulto por Regresión Mínimos Cuadrados positiva sí H3, H4, H5, y H6 Blumberg (2001) Teoría Costes de Transacción 92 cuestionarios Multisectorial, Acuerdos cooperación tecnológica, Holanda Análisis Multivariante positiva sí H2 Celly, Spekman y Kamauff (1999) Análisis Costes de Transacción 163 encuestas Asociados a la Asociación Nacional Estadounidense de Gestores de Compras Análisis de Regresión positiva sí Goodman y Dion (2001) Marketing Relacional 675 encuestas Distribuidores de alta tecnología; Estados Unidos Análisis de Correlaciones y Análisis de Regresión positiva sí H7 Guilliland y Bello (2002) Varios 314 cuestionarios Distribuidores Industriales, Estados Unidos Modelo de Ecuaciones Estructurales positiva sí H5 y H6 Gundlach, Achrol y Mentzer (1995) Marketing Relacional 130 técnicas de laboratorio Regresión Múltiple positiva sí H6 Jap y Ganesan (2000) Análisis Costes de Transacción 1457 encuestas a distribuidores de un mismo fabricante Productos Químicos, Estados Unidos Análisis de Regresión positiva sí H2 Joshi y Stump (1999b) Análisis Costes de Transacción, Marketing Relacional 168 encuestas Canadá, Asociados en la Asociación de Gestores de Compras de Canadá ERLS (estimación mínimos cuadrática ponderada elíptica) positiva no H1 a H10 Kim y Oh (2002) Tª Institucional 283 distribuidores de USA y 171 de Japón Distribución, Estados Unidos y Japón Lisrel positiva si H1b Morgan y Hunt (1994) Marketing Relacional 204 miembros de la NTDRA Vendedores y Distribuidores de Neumáticos; Estados Unidos Modelo de Ecuaciones Estructurales (LISREL) positiva sí H1 Patterson y Smith (2001) Marketing Relacional 155 encuestas Sector Servicios en Tailandia Análisis Factorial, Análisis de Regresión positiva sí H6 Ruyter, Moorman y Lemmink (2001) Marketing Relacional 491 cuestionarios Distribuidores de Copiadoras VHV Análisis Parcial de Variables Observables (PRELIS) con LISREL 8 positiva sí H6 y H7 Sarkar, Aulakh, y Cavusgil (1998) Marketing Relacional 68 cuestionarios Constructoras, Multinacional Modelos de Ecuaciones Estructurales positiva no H3 Sharma y Patterson (2000) Marketing Relacional 201cuestionar ios a empresas medianas clientes de Sector Bancario, Australia Análisis de Regresión, y Análisis de Regresión por Sub-grupos positiva sí H3a, H3b, H4, H5, CITIES IN COMPETITION 54 4. CONCLUSIONES Como se ha comprobado, entre la revisión narrativa y el meta-análisis, la revisión meta-analítica de la literatura supone una herramienta interesantísima en el ámbito de las Ciencias Sociales, y más concretamente en las áreas de Administración de Empresas y de Marketing. Dicha herramienta, ante las dificultades que generan las importantes diferencias entre las investigaciones con respecto a muestras empleadas, técnicas estadísticas o información publicada, nos permite superarlas con la flexibilidad de las revisiones narrativas. Al mismo tiempo, ofrece una metodología sistemática y un marcado carácter cuantitativo, en la línea ofrecida por el meta-análisis. Sin embargo, tenemos que ser conscientes que los resultados obtenidos a través de la revisión meta-analítica no tienen el carácter generalizador de los ofrecidos en por un meta-análisis. La principal aportación de la revisión meta-analítica de la literatura es permitirnos evaluar si una determinada hipótesis ha sido ya suficientemente tratada en la literatura anterior. Sin embargo, de modo complementario nos ofrece una visión bastante completa de las características más significativa del estado de la cuestión de un tópico determinado. Por ejemplo, en la aplicación que hemos señalado a modo de ejemplo hemos recogido cuales son los enfoques teóricos más adecuados para abordar la problemática que nos ocupa. Un aspecto importante es que los resultados nos han permitido evaluar la adecuación de una muestra, mediante la comparación con las aportadas por las investigaciones anteriores. Del mismo modo, los resultados de la revisión meta-analítica nos señalan las técnicas estadísticas usadas con mayor frecuencia dentro de esta línea de investigación. De alguna forma, todos estos elementos caracterizan y definen a las investigaciones desarrolladas sobre el tópico objeto de estudio. Y dicha descripción debe servir de guía al investigador para la toma de decisiones. Además, los resultados y conclusiones obtenidas en la revisión meta-analítica sirven para la fundamentación de las posteriores investigaciones empíricas. Los resultados obtenidos en esta última se asemejan la los proporcionados en la revisión meta-analítica. Además, dicha revisión es un estupendo soporte para explicar los resultados tanto positivos como negativos. 5. BIBLIOGRAFÍA14 ARENAS GAITÁN, J. (2003) “La Influencia de los Aspectos Relacionales en el Éxito de las Alianzas Estratégicas Internacionales”, Tesis doctoral no publicada, Departamento de Administración de Empresa y Marketing, Universidad de Sevilla. CROASDELL, D. T.; JENNEX, M.; YU, Z. Y CHRISTIANSON, T.; CHAKRADEO, M.; MAKDUM, W. (2003) “A Meta-Analysis of Methodologies for Research in Knowledge Management, Organizational Learning and Organizational Memory: Five Years at HICSS”. Proceedings of the 36th Hawaii International Conference on System Sciences (HICSS’03). EDEN, D. (2002) “Replication, Meta-Analysis, Scientific Progress, and AMJ´s Publication Policy”, Academy of Management Journal, Vol.45, Nºº5, pp.841-846. HEDGES, L.V. y OLKIN, I. (1980) “Vote-counting Methods in Research Synthesis”, Psychological Bulletin, Vol.88, Nº2, pp.359-69. KLAUS, H.; ROSEMANN, M. y GABLE, G.G. (2000). “What is ERP?”. Information Systems Frontiers, Vol. 2, n° 2, pgs. 141-162. LAI, V. S. y MAHAPATRA, R. K. (1997). ”Exploring the research in information technology implementation”. Information & Management, n° 32, pgs. 187-201. NAVARRO GARCÍA, A (2000) “Modelización de la Performance de Exportación: Una Aplicación a las Denominaciones de Origen Vitivinícolas Españolas”, Tesis doctoral no publicada, Departamento de Administración de Empresa y Marketing, Universidad de Sevilla. RAMIREZ CORREA, P. y GARCÍA CRUZ, R. (2004) “El Meta Análisis como Instrumento de Investigación en la Determinación y Análisis del Objeto de Estudio”, Actas de los XVI Encuentros de Profesores Universitarios de Marketing, pp.341-357. ROSENTHAL, R. (1976) Experimenter Effects In Behavioural Research, Irvintong, Nueva York. ROSENTHAL, R. (1991) “Meta-Analytic Procedures for Social Research” (Rev.Ed.), Sage, Newbury Park. 14 No se han incluido las notas bibliográficas recogidas en el ejemplo, apartado tercero. Lógicamente están disponibles para cualquier investigador que nos la solicite. NOTES ON UNIVERSITY TEACHING METHODOLOGIES AND EXPERIENCES 55 ROSENTHAL, R. y DIMATTEO, M.R. (2001) “Meta-Analysis: Recent Developments in Quantitative Methods for Literature Reviews”, Annuals Reviews of Psychology, vol.52, pp.59-82. SÁNCHEZ-MECA, J. (1999) “Metaanálisis para la Investigación Científica”, en SARABIA SÁNCHEZ, F.J. (1999) “Metodología para la Investigación en Marketing y Dirección de Empresas”, Ediciones Pirámide, Madrid. SARABIA SÁNCHEZ, F.J. (1999) “Construcción de las Escalas de Medida”, en Sarabia Sánchez, F.J. (1999) “Metodología para la Investigación en Marketing y Dirección de Empresas”, Ediciones Pirámide, Madrid. SCHMIDT, F.L. y HUNTER. J.E. (1977) “Development of a General Solution to the Problem of Validity Generalization”, Journal of Applied Psychology, 62, pp.529-540. SMITH, M.L. y GLASS, G.V. (1977) “Meta-analysis of Psychotherapy Outcome Studies”, American Psychologist, 32, pp.752-760. ZOU, SH. y STAN, S. (1998) “The determinants of export performance: A review of the empirical literature between 1987 and 1997”, International Marketing Review, Vol.15, Nº5, pp.333-356.