La calidad de la encuesta

Papers 48, 1996 127-146 - - La calidad de la encuesta Juan Javier Sánchez Carrión Universidad Complutense de Madrid. Departamento de Sociologia IV. 28023 Madrid. Spain Resumen El articulo hace una reflexión sobre la bondadJcalidad de la encuesta contem~lándola con un triple ojo escrutador: técnico, metodológico y epistemológico. El ojo técnico busca 10s posibles errores cometidos en su implementación. El oio metodológico mira la pertinencia de la la uti- - lización de la encuesta. Y el ojo epistemológico mira la encuesta después de haber contestado previamente a una pregunta clave: ¿para qué sirve la investigación?, ¿para explicar la realidad social, para comprender 10s fenómenos sociales o para transformar el objeto de estudio? Los tres niveles estan relacionados en orden jerárquico, de manera que la respuesta que demos al epistemológico influye en el metodológico, y éste a su vez en el técnico. Palabras clave: encuesta, calidad, metodologia, errores. Abstract. The quality ofsurvey This article reflects upon the quality of the survey, contemplating with a triply scoutinizing eye, according to technical, methodological and epistemological perspectives. 'rhe technical eye searches for possible errors committed during implementation. The methodological eye views the pertinence of the use of the survey. And rhe epistemological eye views the survey after having previously answered a key question: what is the purpose of research? Is it to explain social reality, to understand social phenomenon, or to transform the object of study? The 3 levels are related in hierarchical order, in a way in which the answer we give to the episthemological question influences methodology, and this in turn influences the technical aspect. Key words: survey, quality, methodology, errors. Sumario 1. Contexto problemático de la encuesta 4. Errores en la implementación 2. Marco epistemológico de la 3. Pertinencia metodológica/ epistemológica de la encuesta 128 Papers 48, 1996 Juan Javier Sinchez Carri611 1. Contexto problemático de la encuesta En este articulo se inicia una reflexión sobre la calidad de la encuesta, abriendo una via de estudio de esta técnica que la contemple en toda su complejidad. Se trata de ofrecer un esquema tentativo con el que abordar el estudio de la encuesta, que habrá que ir rellenando de contenido en trabajos posteriores -que incluso pueden cuestionar la bondad del esquema-. Asi como desde 10s practicantes de otras técnicas de investigación ha habido una mayor preocupación por las implicaciones teórico-metodológicas de su trabajo .-en nuestro país hay toda una corriente de sociólogos, cuya figura más representativa es Jesús Ibáñez, dinamizadores de la reflexión metodológica en la sociologia, tanto cuantitativa como cualitativa-, es mi opinión que desde el lado de 10s practicantes de la encuesta se ha dado una mayor autocomplacencia con nuestro trabajo, quizá como resultado de la hegemonia de esta técnica en la investigación social y de la propia dificultad tecnológica que está implícita en su utilización, y cuyo conocimiento prácticamente agota las capacidades de aprendizaje de sus practicantes. Cualquiera que sea la razón, el hecho cierto es que la reflexión metodológica que se realiza desde el lado de 10s practicantes de la encuesta o es escasa o, cuando se produce, cada vez está mis centrada en la discusión de 10s aspectos que aquí voy a llamar tecnológicos, y que tienen que ver con las condiciones en las que se realiza, pero sin entrar en grandes problemas relativos a su pertinencia o al papel que cumple en la investigación social. El resultado de la situación descrita en el párrafo anterior es que la reflexión metodológica se ha quedado casi en exclusiva en manos de 10s filósofos de la ciencia, en general desconocedores de las técnicas que se utilizan en la investigación social, o de personas que no utilizan la encuesta como herramienta regular de su trabajo, y que superada una fase defensiva frente al imperialismo de la encuesta, y ({debilitado el enemigov, terminan siendo 10s únicos que le dan un papel dentro de un esquema general de reflexión sobre el proceso de investigación social. Como hipótesis subyacente a la realización de este trabajo sostengo que el mayor enemigo de la encuesta es la propia ceguera de quienes la utilizan acriticamente, amparándose en la hegemonia de un modela de investigación positivista, en el que la encuesta encontró sus mayores, pero no únicas, glorias. El camino a seguir, como si de un tránsfuga honrado se tratase, es el de recuperar la encuesta como técnica, conociendo bien sus posibilidades y limitaciones (conociendo bien el oficio), para ponerla al servicio de un modelo de investigación que conciba el proceso investigador como construcción y no s610 desvelamiento de la ccrealidad socialn. El titulo del articulo habla de la calidad de la encuesta, y como ocurre siempre que se piensa en la calidad de algo, 10 primer0 que hay que decir es desde qué perspectiva se procede a la evaluación. En nuestro caso disponemos de un h.iple ojo escrutador, que nos permite acercarnos a contemplar todos 10s problemas que afectan al proceso de investigación de la realidad social basado en la La calidad de la encuesta Papers 48, 1996 129 ttcnica de la encuesta. Ante 10s múltiples problemas que acechan al investigador que hace uso de esta ttcnica, se trata de tener listo un ojo que permita ver la encuesta en su pluridimensionalidad técnica, metodológica y epistemológica: un ojo con componentes técnicos, metodológicos y epistemológicos. El ojo técnico El ojo técnico ha de buscar 10s posibles errores que se cometen en la implementación de la encuesta. Este ojo no duda de la pertinencia de esta técnica para estudiar el tema en cuestión, pero busca 10s errores que se hayan podido deslizar en su utilización. Por ejemplo, un requisito de la encuesta es que la muestra sea representativa de la población de la que se extrajo. Si no se cumple este requisito, quizá porque, entre otras circunstancias, haya gente que no responde a la encuesta, 10 mis probable es que las estimaciones que hagamos estén sesgadas. Igual ocurre si las personas al informar, por ejemplo, de su edad tienden a quitarse afios. También en este caso estimaremos sesgadamente la edad de la población a la que trata de representar la muestra. Independientemente de que todas las personas contesten y 10 hagan con exactitud, puede ocurrir que también se cometan errores a la hora de analizar 10s datos obtenidos, quizá debido a que no se utiliza la técnica apropiada, por ejemplo: si se utilizan técnicas de análisis que hacen supuestos no cumplidos por 10s datos disponibles. En todos estos casos, por motivos distintos, se están cometiendo errores a la hora de utilizar la encuesta: en el primer caso por no disponer de toah la información, en el segundo por tener mala información y en el tercer0 por analizar mal la información obtenida. El ojo metodológico El ojo rnetodológico realiza su trabajo antes que el ojo técnico y se pregunta por la adecuación de la encuesta a la dimensión del objeto que estamos estudiando -objeto, por 10 demás, definido teóricamente-. Por ejemplo, si queremos conocer 10s motivos por 10s que la gente hace determinadas cosas (comprar, votar, etc.), probablemente la encuesta no sea la ttcnica mis adecuada y haya que recurrir a otro tip0 de técnicas/metodologias cualitativas (entrevista en profundidad, grupo de discusión, etc.) más pertinentes. Si nuestro objetivo es conocer el comportamiento de 10s individuos, la ttcnica de la encuesta puede ser una ttcnica idónea. La primera responsabilidad del ojo metodológico es decidir si la opción que hacemos es la más acertada para, posteriormente, supervisar que todas las técnicas que se utilizan en la investigación se adecuen al método seleccionado -de la encuesta como ttcnica a la encuesta como método-. Podria darse el caso de que el ojo técnico certificase la calidad de la muestra que se ha utilizado en una encuesta, mientras que el rnetodológico cuestionara la pertinencia de haber realizado dicha encuesta. Alfonso Orti (19) sistematiza esta pluridimensionalidad del objeto de investigación, que él denomina ((niveles y procesos constituyentes de la realidad social)), distinguiendo entre diferentes niveles: el nivel de 10s c(hechos)), forma- 130 Papers 48, 1996 Juan Javier Sánchez Carri6n do por todo aquello que ccacontece y se hacen; el nivel de 10s ((discursos)), en el que entraria todo 10 que ((se dice, se expresa o significa en la interacción social)); y el nivel o ccreino de las motivaciones)), en el que se plantearia el ccporqué de la interacción social: su sentido y su intencionalidad o finalidad, consciente o no consciente)). A cada uno de estos niveles de la realidad social le corresponderia un modelo metodológico diferente: estadístic0 (del cua1 la encuesta seria la técnica paradigmática) para estudiar el nivel de 10s hechos; modelo lingiiistico para estudiar 10s discursos, y modelo heurístic0 (apoyado en el psicoanálisis y la teoria de la racionalidad) para conocer acerca de las motivaciones. El ojo epistemológico El ojo epistemológico reflexiona sobre el papel de la encuesta y, mis en general, de la investigación: ¿para quésirve la investigación que estamos haciendo? Para ciertas tradiciones de la sociologia, basadas en la obra de Durkheim, la investigación ha de servir para explicar la ccrealidad social)), que se presenta conformada por un conjunt0 de cchechos sociales)). Otras tradiciones, con antecedentes en Weber, entienden que con la investigación hemos de ser capaces de comprender el sentido que para 10s propios individuos tiene su actuación, traducida en forma de ccdiscursosa. Por último cabe una tercera posibilidad, con paternidad en Marx, que se plantea como objetivo del conocimiento la mnsformación de la realidad objeto de estudio. A este nivel epistemológico se plantean preguntas sobre la naturaleza del objeto investigado (aquello sobre 10 que se investiga), del sujeto investigador (aquel que investiga) y de la relación entre ambos. Si, tal como pienso, el objeto de la investigación es de naturaleza reflexiva -reflexiona sobre 10 que se hace con (dice de) él e incluso utiliza esta información para orientar su actuación en el mundoy el sujeto de naturaleza subjetiva (como diria Jesús Ibáñez, s610 se es objetivo para la caza), de identidadparcial a la del objeto investigado y sobredeterminado en sus posibilidades de plantearse preguntas sobre la realidad social por las circunstancias materiales que rodean su existencia, con la investigación 10 que se hace no es conocer/reproducir la realidad (el objeto investigado), sino contribuir a su construcción en el propio acto de investigación. Esta labor constructora lleva a enfocar la investigación como un elemento transformador-constructor-definidor de la realidad antes que instrumento que sirve para su explicación (en términos de porcentaje de varianza explicada de la variable objeto de estudio) o su comprensión (en términos del sentido que tengan sus actos para el propio objeto investigado). Los tres niveles que acabo de sefialar se integran en un todo, el proceso de orientación del investigador en el mundo, con diferentes niveles de responsabilidad -a la manera que el operari0 de una fábrica es menos responsable que el director, y éste que el duefio de la empresa: el primero pone la técnica, que por definición es aséptica; el segundo pone el método, desde el que se justifica la pertinencia de aquella, y el tercer0 define 10s objetivos, que informan - La didad de la encuesta Papers 48, 1996 131 todo el proceso anterior-inferior. Cada uno de 10s niveles -técnico, metodológico y epistemológicotiene que dar respuesta a una pregunta diferente, ordenada temporal y jerárquicamente: al cómo responde el técnico, al que el metodólogo y al para quéel epistemólogo. La respuesta que demos a cada uno de 10s niveles determinará la respuesta que demos a 10s niveles inferiores. Por ejemplo, imaginemos que asumimos el papel transformador de la investigación -frente a una concepción reproductora-. Si esto es así, malamente dirernos que hemos cometido un error (de naturaleza técnica) a la hora de utilizar una encuesta para medir mediante una escala alguna característica de 10s entrevistados, sujeta a transformación-construcción en el mismo acto de investigación; por el contrario habrá que introducir la idea de efecto del instrumento de medida en 10s resultados, modificando completamente el enfoque de la investigación: ya no se trata de encontrar el instrumento ((neutro)) que permita conocer la ccverdad)), sino de conocer nuestro instrumento con el fin de conseguir-construir 10s efectos deseados, o simplemente de entender 10s efectos que se producen. Con este marco de reflexión es con el que debe de abordarse el estudio de la calidad de la encuesta. Entendiendo que hay problemas técnicos, e incluso metodológicos, que son susceptibles de encontrar solución mediante el recurso a un modelo estándar de actuación (más o menos formalizado según el tip0 de metodologia de que se trate). Pero también entendiendo que hay otros problemas de naturaleza epistemológica para 10s que no hay una respuesta definitiva, siendo responsabilidad del investigador la toma de partido por una u otra opción, sabiendo que con la respuesta que dé (cestará descubriendo su juego, sus cartas y su estrategia)), de manera que tal exhibición pueda servir ((para potenciar las posibilidades de jugar, 61 y sus contendientes)) (Ibáñez, 1985: 2-3). 2. Marco epistemológico El valor heurístic0 de cualquier investigación no se puede entender sin una definición previa de cua1 es la naturaleza del objeto que se pretende investigar -en este caso un objeto sociológico-, del sujeto que investiga y de la relacidn que existe entre ambos. De manera esquemática abordamos aquí estos problemas. La explicación que se haga de estos aspectos determinará la naturaleza de las técnicas que se utilice y su papel en la investigación social. Desde una perspectiva epistemológica 10 primer0 que hay que decir es para qué sirve la investigación --en este caso la encuesta-. La respuesta ingenua de un hipotético interlocutor seria que para conocer la realidad social. La sencillez de dicha respuesta es más aparente que real, puesto que a tal respuesta enseguida se le superponen nuevas preguntas, en particular dos: a) ¿Que es la realidad social? Dicho técnicamente, ¿cuál es la naturaleza del objeto con el que trabaja el sociólogo? b) 2Qué es conocer? Dicho técnicamente, jcómo se valida el conocimiento cientifico? 132 Papers 48, 1996 Juan Javier Sánchez Carri611 Sobre el objeto de la sociología El objeto de la sociologia es la realidad social, entendida tanto como ccrealidad real)), independientemente de 10 que el10 sea, como su apariencia --si es que se puede hacer tal diferencia-, en la medida que tanto una como otra influ~en en el resto de la realidad o, como diria Beltrán, parodiando la famosa frase, parece que erróneamente atribuida en exclusiva a W.I. Thomas, son ccreales en sus efectes)) (A.C., 199 1 : 15); la frase en cuestión dice asi: ccsi 10s hombres definen las situaciones como reales éstas son reales en sus consecuencias)~, y según Lamo de Espinosa y otros, 1994, pertenece a Thomas y Swayne, 1928. Esta definición pragmática de 10 que es la realidad social (realidad más apariencia) tiene la ventaja de que soslaya el problema ontológico de definir 10 que realmente sea y remite directamente a un problema epistem~ló~ico, que consiste en explicar cómo la ((conocemos)). Definida la realidad social como objeto de la sociologia, el paso siguiente es decir cuál es la naturaleza de esta realidad, y si tiene alguna diferencia con las realidades que estudian otros investigadores. Entiendo que 10 especifico de la realidad social, y que al mismo tiempo la diferencia de otras realidades físiconaturales, es, por un lado, su carácter reflexivo: 10s hombres (objeto de investigación) reflexionan sobre 10 que 10s investigadores dicen de ellos, cosa que no cabe esperar de las plantas -tal como señala Lamo de Espinosa: cciqué pasaria si las plantas leyeran libros de botinica?)) (A.C. 1990: XI)-; por otro lado, en la realidad social estudiada se encuentran tanto el objeto como el sujeto de la investigación: salvo que se produzca una escisión epistemológica entre ambos, objeto y sujeto comparten identidad. Decimos que el objeto de la sociologia es de naturaleza reflexiva, en dos de 10s sentidos en 10s que utilizan este concepto Lamo de Espinosa y otros (1994): 10s actores pueden saber que se les está investigando, y a partir de este conocimiento modificar sus comportamientos, actitudes, etc.; igualmente, 10s actores investigados a su vez investigan, con el fin de orientarse en el mundo, para 10 cua1 puede que utilicen las teorias que sobre ellos mismos han escrit0 otros investigadores. Estos aspectos de la reflexividad han sido reconocidos por 10s sociólogos, bajo conceptos tales como 10s de ccprofecias que se cumplen a si mismas)) (seIf-f;.l&llingprophecies, según Merton, 1964) y tenidos en cuenta a la hora de la investigación, recomendando técnicas que se denominan no obstrusivas (unobscrusive meaurement), con las que se pretende que el objeto (persona) investigado no sea consciente de esta circunstancia (Webb y otros, 1966). La importancia de este tip0 de reflexividad es que cuestiona la capacidad predictiva de cualquier teoria, modificando el esquema tradicional de predicción, basado en una predicción ajena a la influencia que tal predicción tiene sobre el objeto predicho. Por ejemplo, Lamo y otros ponen un ejemplo de David Riesman, quien mostraba que después de la publicación del libro de Thorstein Veblen sobre la Teoria de la clase ociosa, en 1899, ccalgunos de 10s ricos, sientiéndose bajo presión, y a medida que 10s esloganes del libro se filtraban en la conciencia popular, aceptaron el libro como una guia de 10 que no se La calidad de la encuesta Papers 48, 1996 133 - - debia hacer)) (Riesman, 1960: 17, citado por Lamo y otros, 1994: 630). Si Veblen tratase de confirmar la bondad de su teoria, jcon qd se encontraria? De ser cierto el comentari0 de Riesman, su teoria habria fallado, podriamos decir del puro éxito que tuvo, en la medida que modificó el comportamiento de las personas investigadas. La importancia de 10s párrafos anteriores es enorme, porque cuestiona desde el lado del objeto de la investigación -posteriormente veremos el problema del lado del sujetoun principio básico de la epistemologia positivista, que separa sujeto y objeto de la investigación, atribuyendo al primer0 el estudio del segundo, de naturaleza distinta a aquél. Frente a este principio de escisión entre sujeto y objeto, la naturaleza reflexiva del objeto sociológico obliga a reconocer la necesidad de incorporar la teoria (el sujeto) como un elemento mis que explica el comportamiento de 10s individuos, uniendo de esta manera sus destinos. Ya no se trata de conocer un objeto exterior, que una razón instrumental intentará manipular hasta la saciedad (a la manera que se manipula la naturaleza), sino de reconocer que, antes que un acto de conocimiento, 10 que la sociologia hace es contribuir a la construcción de la realidad social en el mismo acto de estudiarla. El reconocimiento de esta situación de reflexividad social obliga a darle una solución, puesto que hace insostenible el mantenimiento de 10s supuestos positivistas de la ciencia, que han informado e informan gran parte de la investigación que se realiza en el ámbito de la sociologia. Un intento de alternativa es la creación de 10 que Coleman, utilizando uno de 10s posibles usos del concepto, llama una ciencia social de segundo orden que tome en cuenta la influencia que tiene en la realidad la ciencia social de primer orden (A.C., 1990). Se trata de hacer una sociologia que estudie la influencia de la sociologia en la realidad. Se parte de la aceptación de que una sociologia S,, afecta a la realidad: SI -> Realidad social y 10 que se propone es una sociologia S2 que tenga en cuenta este hecho: S* -> (S1 -> Realidad social) La idea parece interesante, si no fuera porque inmediatamente se nos ocurre por qué no pensar en una sociologia de tercer orden que explique la influencia de la sociologia de segundo orden, y asi sucesivamente, en una cadena infinita de sociologias. Emilio Lamo y colegas se dan cuenta de este problema al sefialar que no hay razones (ca priori para interrumpir la reflexividad donde él (Nagel o Coleman, indistintamente) la interrumpe y cabe preguntarse qué ocurriria si C2 (el equivalente a nuestro S2) pasara a ser conocido por 10s actores, dando asi lugar a la necesidad de un nuevo conocimiento C3 tal que C, -> (CC -> RS) 134 Papers 48, 1996 Juan Javier Sánchez Carri6n Y por supuesto, esto de nuevo, ad infinitarn)) (A.C., 1994: 612) -Jesús Ibáñez, que ha estudiado en profundidad este problema, hablaria de una cascada transfinita de reflexividades (A.C., 1994: XIV)-. A partir del reconocimiento de la inevitabiliddddel recurso a una sociologia de órdenes superiores, que dé cuenta de cómo la sociologia de primer orden influye en la realidad, 10s autores citados tienen que admitir la imposibilidad de esta tarea, reconociendo su incapacidad para encontrar una solución al problema, salvo que se produzca un cambio ((de las reglas del juego, en este caso las reglas del juego cientifico)) (A.C., 1994: 612) -cccuando algo es necesario e imposible, hay que cambiar las reglas de juego)), diria Jesús Ibfiez (1994: XV) refiriéndose a este mismo problema-. Los autores cifran el cambio de reglas en el propósito de cambiar 10 que ellos consideran el enfoque tradicional de la investigación, con el fin de estudiar la influencia de la ciencia social (variable independiente) en la sociedad (variable dependiente), ((para indagar cómo esta ciencia (la sociologia) es capaz de alterar la sociedad que trata de captar neutralmente y ello, a menudo, sin saberlo. Es decir, que analicemos cuáles son las consecuencias no intencionadas de la acción social investigadora)) (A.C., 1994: 632). En el caso de Coleman, Lamo de Espinosa y colegas han visto muy bien la insostenibilidad de la solución que propone. En su propio caso soy yo el que entiende que no han captado todo el calado que tiene el problema de la reflexividad, como se desprende de la solución teórica (dedicar más o menos atención a tal o cual tema, a sujeto u objeto de la investigación), y no epistemológica, que ellos mismos proponen. Se trata de seguir adelante con su razonamiento constructivista -en definitiva ese es el gran merito de la teoria de la reflexividadpara aceptar la identidad parcial de sujeto y objeto de la investigación, rompiendo la escisión en la que les ha mantenido toda la tradición científica, tanto natural como social, dominante en las sociedades occidentales desde 10s tiempos de la Ilustración. Está bien que se reconozca la naturaleza reflexiva del objeto y el papel determinante del sujeto de la investigación, pero todo el10 parece insuficiente si no se va hacia el reconocimiento de la identidad parcial existente entre ambos, en un proceso totalizador que tenga como principio de validación no la teoria (de un sujeto sobre un objeto), sino las prácticas sociales (en las que ambos participan). En las siguientes páginas se trata de justificar esta propuesta de solución al problema de la reflexividad. Sobre el sujeto de h sociologia Si el objeto de la sociologia es reflexivo -((s610 es objetivo en la medida que es objetivo para la cazan (Ibáííez, 1994: 19)-, el sujeto es subjetivo. Si esto fuera cierto, y yo pienso que 10 es, desapareceria del vocabulario cientifico una palabra maldita, junto a todos sus derivados: 10 objetivo, la objetividad, tras la que se escudan todo tip0 de actos terribles. El sujeto que investiga no s610 influye en (construye) la realidad que dice estudiar, sino que influye en él mismo, en la medida que forma parte de esa misma realidad. Su estatus económico, profesional, etc. puede ser distinto al del objeto investigado, pero no asi su natu- La calidad de la encuesra Papers 48. 1996 135 raleza ontológica. jCómo distinguir al investigador que estudia las condiciones de vida de 10s trabajadores de estos mismos trabajadores, si no es por su pretensión de situarse fuera (por encima) de 10s mismos? 2Acaso sus conclusiones no le van a afectar, para bien o para mal? Desde el momento en que al investigar el investigador se investiga a si mismo, jcómo se puede hablar de objetividad en el proceso del conocimiento?, jcómo se puede hablar de objetividad en un contexto en el que ni objeto ni sujeto son objetivos? Esta idea contraria a la objetividad choca con 10s planteamientos, tanto de Durkheim como de Weber, que son 10s autores que han aparecido repetidas veces como paradigmáticos del pensamiento sociológico y sus diferentes orientaciones metodológicas, y que plantean el problema de la objetividad en torno al tema de 10s valores (juicios de valor) del investigador y su influencia en la investigación. Durkheim acepta la existencia de juicios de valor por parte del investigador, 10 que le resta objetividad a la hora de estudiar la realidad social, pero entiende que se trata de una circunstancia pasajera, atribuible a la juventud de la investigación social, si la comparamos con las matemáticas o las ciencias fisico-quimicas. Con el tiempo la sociologia llegará a este estado de madurez intelectual, en el que se hará posible la primera de sus reglas metodológicas: tratar 10s hechos sociales como cosas (Durkheim, 1977). Como muy bien seiiala Lucien Goldman, el optimismo cartesiano de Durkheim y su poc0 interés por 10s problemas de 10s valores y las ideologias se explican por la cctradición optimista de una burpesia -a la que el autor representaba-, que todavia habia sido poc0 sacudida por el desarrollo de un proletariado que le pudiera oponer su propia visión socialista)) (A.C., 1966: 40-4 1). En el caso de Weber, las ideologias, 10s juicios de valor y la presencia del sujeto en la investigación tienen un papel mucho mis relevante que en Durkheim -de hecho, el tema de 10s valores es central para la sociologia de Weber-. Para Weber 10s valores existen, pero solamente intervienen en la investigación en el momento de la elección y la construcción del objeto de investigación; una vez hechas estas elecciones resulta posible estudiar10 de manera objetiva e independiente de 10s juicios de valor. Por 10 tanto, existen m61tiples posibilidades, todas válidas, de selección del objeto cientifico, sin que en la selección esté implicito ningún criteri0 valorativo. El hecho de que se utilicen metodológicamente unos valores no implica su validez, tan solo nos dicen de su existencia (Beltrán, 1988: 31-32). Si se da por supuesta la identidad parcial de sujeto y objeto de la investigación (véase Ibáííez, sobre El regreso delrujeto, 1994), tal como se hace en esta exposición, el paso siguiente, y para mi de mayor interés, es determinar la naturaleza de este sujeto de investigación. En primer lugar, se trata de un sujeto reflexivo, en la medida que comparte naturaleza con su objeto de investigación. En segundo lugar, el sujeto de la investigación es un sujeto cuya capacidad de conocer viene determinada, no solo por su capacidad técnica, sino por 10s limites de su conciencia (Lukács, 1975). La idea de conciencia posible, asociada a 10s conceptos de determinismo económico y papel de las clases sociales, me parece central en la investigación I 142 Papers 48, 1996 Juan Javier Sdnchez Carri6n error medio drático o error total de muestreo (sobre 10s errores de muestreo véase Sánchez Carrión, 1995). Errores de cobertura Errores de no observación Errores de no respuesta Errores de muestreo I Errores de medicidn Mayor interés que 10s errores de no observación reciben 10s errores de medición: las diferencias que se dan entre 10s (supuestos) verdaderos atributos de 10s entrevistados y 10s resultados que se obtienen al tratar de conocerlos utilizando la técnica de la encuesta. A este nivel se plantean dos enfoques de investigación distintos, dependiendo de 10s supuestos epistemológicos que haga cada investigador. Un enfoque posible, que es el que subyace a la práctica regular de la encuesta, parte de unos supuestos epistemológicos que atribuyen real& objetiva a las caracteristicas de 10s individuos y que confia en la neutrali& del instrumento técnico utilizado, capaz asi de captar esa realidad. Desde esta perspectiva, 10s errores de la encuesta son verdaderos errores, y se producen cuando no mide 10 que hay que medir: el individuo tiene un valor de 8,O en una variable (por ejemplo, la valoración que tiene de su profesor de estadística) y la encuesta nos da un 7,7. Puesto que el 8 tiene un valor de realidad, si la encuesta llega a la obtención de otro número, el10 es debido a que hemos cometido algún error. A este enfoque se le puede poner el nombre de realista, y es uno de 10s pilares del método positivista de investigación. Desde un enfoque distinto al del párrafo anterior, al que se puede llamar constructivista, se empieza por dudar de que haya habido un error en la encuesta, puesto que no está claro que el individuo tenga realmente un valor de 8, independientemente de cuál sea el proceso de medición. Frente a la idea de una realidad objetiva, medible con las herramientas del investigador (en este caso, la . encuesta), se plantea la idea de una realidad socialmente construida, en este caso por el investigador y las herramientas que utiliza, que actuarian como elementos que introducen información en la sociedad y no como elementos que sirven para obtenerla. Desde esta perspectiva, 10s errores de las técnicas se reconvierten en efectos de las técnicas, queridos o no queridos por el investigador. La consecuencia de que se adopte una perspectiva realista o constructivista -con todas las matizaciones que quepa hacer en el continuun definido por esas dos perspectivas, que actúan como poloses fundamental, puesto que determina el curso que debe seguir la investigación por encuesta, situada en una encrucijada, por la pretensión que tienen muchos de sus practicantes de seguir manteniendo la ficción de que es posible desarrollar un instrumento neutro, con el que descubrir la verdad. Pensemos s610 en un problema como el de dar o no dar incentivos a 10s entrevistados: a partir de una concepción realista se plantea toda una polémica en torno a la pertinencia de esta práctica, alegando su posible efecto distorsionador sobre las respuestas que dan 10s entrevistados. Es cierto que si se paga a 10s entrevistados, este hecho determina 10 que contestan, pero no menos cierto es que si no se les paga, también La calidad de la encuesta Papers 48, 1996 143 este hecho influye en sus respuestas, puesto que ninguna de las dos situaciones es la ((natural)) y ((neutra)), frente a la cual la otra introduciría distorsión en las respuestas. Mi opinión es que, no s610 10s dos supuestos sobre 10s que se trata de sustentar la técnica de la encuesta, realismo social y neutralidad de la técnica, no están justificados, sino que además están entorpeciendo el desarrollo de la encuesta -a la manera que el modelo de sociedad capitalista entorpece actualmente el desarrollo de la humanidad-. Lo que para muchos investigadores son efectos no queridos (por ejemplo, por dar incentivos o utilizar una u otra formulación de las preguntas de 10s cuestionarios), y por 10 tanto efectos perversos de la encuesta, que hay que eliminar para que esta técnica alcance su plenitud -algo que se desvela como imposible-, en realidad son parte consustancial a la encuesta, y s610 aceptando esta realidad, que libere a la técnica de la carga metodológica y epistemológica positivista que la acompaiia, podrá realmente progresar. Lo que unos (realistas) calificarán como un error de la técnica, que infravalora la realidad, otros (constructivistas) 10 calificarán como un efecto de la técnica, que tiende a infravalorar-sobrevalorar resultados obtenidos con otra técnica. Para 10s primeros habrá un absolut0 (la verdad), que actuará de estándar de comparación -en este planteamiento se mueve toda la teoria clásica de la medida-, mientras que 10s segundos se plantearán problemas de relatividad -10 cua1 no impide el consenso en unos procedimientos de trabajo ajustados a unos estándar de calidad-. En 10 sustantivo hay coincidencia en descomponer 10s elementos de la encuesta, con el fin de estudiar 10s erroreslefectos que se producen en torno de ellos: se podrá tener diferencias a la hora de valorar la influencia del método de recogida de la información (entrevistas cara a cara o telefónica) en 10s resultados, pero está claro que hay que considerar este factor si queremos comprender la información que se ha obtenido en una encuesta. Según Groves (1987), 10s errores pueden aparecer debido a: a) la influencia que tiene el entrevistador sobre el entrevistado (su forma de actuar, de vestir, etc.), 6) la naturaleza de las preguntas del cuestionario (su formulación, el orden en el que aparecen las alternativas de respuesta, etc.), c) la actuación del entrevistado a la hora de contestar a las preguntas que se le formulan (quizá no tiene interés en decirnos la verdad, trata de agradar, etc.) y d) a la influencia del modo de recoger la información de las personas estudiadas (cuestionario postal, entrevista telefónica, etc.). Debido a que es mis fácil estudiar este tip0 de errores que 10s de no observación (que por definición son difíciles de observar), la literatura est5 llena de estudios en 10s que se analiza la influencia de todos estos factores que acabamos de enumerar, mientras que son menores 10s estudios del primer tipo. Errores en torno al entrevistado Errores de medición Errores en torno al entrevistador Errores en torno al instrumento Errores en torno al método 144 Papers 48, 1996 Juan Javier Sánchez Carrión Errores de postrnedición A estos dos tipos de errores aún cabria afiadir un tercero, verdaderamente error y no efecto, relacionado con el procesamiento de la información que se obtiene en la investigación y su posterior análisis. Ya no se trata de que 10s datos sean parciales (referidos a una muestra) e inseguros (con errores de observación), sino que ahora hay que afiadir el hecho de que todos 10s datos obtenidos tienen que ser tratados informática y estadísticamente, con el fin de sacar conclusiones. El procesamiento corresponde a la fase que va desde el momento en que se han cumplimentado 10s cuestionarios (soporte de recogida de la información) hasta que se realizan 10s análisis definitivos (regresión, tablas de contingencia, etc.). Se trata de una etapa muy delicada, dado que en las encuestas se trabaja con miles de observaciones (n casos por p variables) -y a veces, millones-. En estas circunstancias la grabación de esta información y su edición (editing) es todo un proceso industrial, sometido a optimización y control. A tal fin existen procedimientos estándar de grabación y validación de 10s datos -especialmente en 10s grandes centros estadisticosque sirven para realizar todo este proceso (véase Villán Criado y Bravo Cabria, 1990). Básicamente, esta etapa de procesamiento comprende la grabación, la depuración de errores y la transformación de 10s datos. En la grabación se trata de garantizar que la matriz de datos con la que se realizarán 10s análisis refleja fielmente 10s resultados obtenidos con 10s cuestionarios. La depuración se suele hacer para detectar c6digos inválidos (por ejemplo, la pregunta tiene dos alternativa5 de respuesta, 1 y 2, y en la matriz aparece un 4) y para detectar inconsistencias en las respuestas de 10s entrevistados (O en la grabación de 10s datos): si la persona dice tener diez afios (variable edad) no puede contestar que tiene carnet de conducir (variable permiso). La transformación pretende poner 10s datos ccguapos)) para el análisis: por ejemplo, tenemos la variable edad en afios e interesa utilizarla agrupando las edades en intervalos; o, quizá, en diferentes preguntas se indaga sobre la posesión de diferentes objetos y queremos construir un índicede posesión de objetos, que nos diga en una sola variable el número total de objetos poseídos por cada individuo. Errores de procesamiento Errores de postmedición Errores de anáiisis Después de que 10s datos están listos, hay que analikarlos. También a este nivel se presentan múltiples posibilidades de cometer errores. Si se trata de datos muestrales, el primer0 de ellos es su incumplimiento de 10s supuestos especificados en el modelo de anáiisis utilizado (quizá la muestra es pequefia, la población no es normal, y el test es paramétrico). A nivel del anáiisis también se pueden cometer errores si el nivel de medición de 10s datos no se corresponde con las exigencias de la técnica que se va a emplear (por ejemplo, 10s datos son ordinales y la técnica utilizada exige información interval). Los orde- La calidad de la encuesta Papers 48, 1996 145 .. . ~- nadores y la utilización de paquetes informático-estadisticos en la investigación social han facilitado el análisis que se hace de la información obtenida, en la medida que simplifican totalmente cálculos que antiguamente exigian un esfuerzo muy considerable, pero esa misma facilidad de obtener resultados instantáneamente y sin apenas esfherzo también ha creado las condiciones para que investigadores inexpertos realicen toda suerte de anáíisis estadisticos con una ignorancia casi absoluta de 10 que están haciendo. Bibliografia ALWN, D. (1991). ((Research on survey data quaiityu. SociologicalMethods and Research, vol. 20, 1: 3-30. BELTRÁN, Miguel (1988). Ciencia y Sociologíá. Madrid: Centro de Investigaciones Sociológicas. - (1 99 1). La Realidad Social. Madrid: Tecnos. BIEMER, Paul; GROVES, Robert; LYBERG, Lars; MATHIOWETZ, Nancy SUDMAN, Seymour (1991). Measurement Errors in Surveys. Nueva York: John Wiley & Sons. BRADBURN, Norman M.; DANIS, Catalina (1984). ((Potentia1 contributions of cognitive research to survey questionnaire designn. En Jabine, T. y otros. Cognitive Aspects of Survey Methodology. Building a Bridge between Disciplines. Washingon: National Academy Press. COLEMAN, James S. (1990). Foundations ofSocial Theory. Boston: Harvard University Press. DURKHEIM, Emile (1977). Las Reglas del Método Sociológico. Buenos Aires: Editorial la Plé~ade. GOLDMAN, Lucien (1966). Sciences Humaines et Philosophie. Paris: Editions Gonthier. - (1975). Marxismo y Ciencias Humanas. Buenos Aires: Amorrortu. GOLDSTEIN, Harvey (1 987). Multilevel Models in Educational and Social Research. Londres: Griffin. GROVES, R.M. (1987). ((Research on survey data quality)). Public Opinion Quarter4 vol. 51, 3: 156-172. - (1989). Survey Errors and Survey Costs. Nueva York: John Wiley & Sons. IBAÑEZ, Jesús (1 985). Del Algoritme al Sujeto. Perspectiuas de la Investigación Social. Madrid: Siglo XXI. - (1994). El Regreso del Sujeto. Madrid: Siglo XU. Journal of Oficial Statistics (1992). Volumen dedicado a la calidad de la encuesta. Vol. 8, núm. 1 y 3. Publicado por el Instituto de Estadística Sueco. LAMO DE ESPINOS'A, Emilio (1990). La Sociedad ReJlexiva. Sujeto y Objeto de Conocimiento Sociológico. Madrid: Centro de Investigaciones Sociológicas. ho DE ESPINOSA, Emilio; GONZ~EZ GARCÍA, José Maria; TORRES ALBERO, Cristóbal (1 994). La Sociologia del Conocimiento y de la Ciencia. Madrid: Aiianza Universidad Textos. LUKÁCS, Georg (1975). Historia y Conciencia de Clase. Barcelona: Grijalbo. MARX, Carlos (1970). Contr@ución a la Crítica de la Economia Política. Madrid: Aiberto Corazón Editor. - (1974). La Ideologia Alemana. Barcelona: Grijalbo. 146 Papers 48, 1996 Juan Javier Sdnchez Carrión MERTON, Robert K. (1964). Teoria y Estructura Sociales. México: Fondo de Cultura Económica. MILLS, C. Wright (1961). La Imaginación Sociológica. México: Fondo de Cultura Económica. ORT~, Alfonso. ((El proceso de investigación de la conducta como proceso integral: complernentariedad de las técnicas cuantitativas y de las prácticas cualitativas en el análisis de las drogodependencias)). En Las dr~~odependencias: perspectiuas sociológicas actuales. Madrid: Colegio Nacional de Doctores y Licenciados de Ciencias Políticas y Sociologia. PATERSON, L.; GOLSTEIN, H. (1991). ((New statistical methods for analysing social structures: an introduction to multilevel models,. British Educational Research Journal17: 387-394. PAWSON, Ray (1 989). A Measure for Measure. A Manifesto for Empirical Sociology. Londres: Routledge. RIESMAN, David (1960). Thorstein Vebíen: a Critica1 Interpretation. Nueva York: Scribner. SANCHEZ CARRION, Juan Javier (1 995). Manual de Análisis de 10s Datos. Madrid: Alianza Universidad Textos. TANUR, Judith; FIENBERG, Stephan E. (1992). cccognitive aspects of suwey: yesterday, today and tomorrow)). Jornalof Oficial Stadistics, vol. 8, 1: 5-17. TUKEY, J. (1977). ExploratoY Data Analysis. Reading, Mass: Addison-Wesley. VILLAN CRIADO, Ildefonso; BRAVO, Ma Soledad (1990). Procedimiento de Depuración de Datos Estadisticos. Cuaderno núm. 20. Vitoria: Instituto Vasco de Estadística. WEBB, Eugene; CAMPBELL, Donald T.; SCHWARTZ, Richard D.; SECREST, Lee (1966). Unobstrusive Measures. Chicago: Rand McNally. WEBER, Max (1979). Economia y Sociedad. México: Fondo de Cultura Económica.