El grupo de discusión como técnica de recogida de información en la evaluación de la docencia universitaria

Revista Fuentes 5 - 2004 EL GRUPO DE DISCUSIÓN COMO TÉCNICA DE RECOGIDA DE INFORMACIÓN EN LA EVALUACIÓN DE LA DOCENCIA UNIVERSITARIA Mª José Mayorga Fernández y Juan Carlos Tójar Hurtado Métodos de Investigación y Diagnóstico en Educación. Universidad de Málaga RESUMEN: En este trabajo se utiliza el grupo de discusión como técnica cualitativa para descubrir aspectos clave sobre evaluación de la docencia universitaria, sus consecuencias, implicaciones. El grupo de discusión se formó con 6 profesores universitarios competentes en el tema (más un coordinador), con el objetivo de obtener un panorama ilustrativo, y al mismo tiempo suficientemente enriquecedor, que permitiese profundizar en aquellas cuestiones de interés. Se describe minuciosamente el proceso de investigación, reuniendo los resultados en ocho categorías de análisis. De los resultados se deducen relevantes conclusiones en torno a la percepción de la evaluación del profesorado desde el punto de vista de los profesionales evaluados y algunas claves para la elaboración de indicadores así como otras categorías de análisis que permitan profundizar, con el uso de otras técnicas complementarias, en las cuestiones clave de la evaluación del profesorado. ABSTRACT: In this paper the discussion group is used as qualitative technique to discover the key aspects on evaluation of the university teaching, its consequences and implications. The discussion group was formed with 6 university teachers (plus one coordinator), with the objective of obtaining an illustrative and, at the same time, sufficiently rich panorama that allows to deepen in the questions of interest. It is described the research process minutely, gathering the results in eight analysis categories. Of the results, outstanding conclusions are deduced around the perception of the teacher evaluation from the point of view of the evaluated professionals and some keys for the elaboration of indicators and other analysis categories that allow deepening, with the use of other complementary techniques, in the key questions of teacher evaluation. 1. INTRODUCCIÓN El trabajo que a continuación se presenta forma parte de una investigación más amplia realizada en la Universidad de Málaga (Mayorga, 2003) centrada en la evaluación de la docencia universitaria. Tanto en las sociedades modernas, como en las antiguas, los seres humanos han convivido en grupos sociales; la pertenencia a un grupo o a otro se ha visto influenciada por una serie de variables como han podido ser la raza, la ideología, determinadas características personales,... pero “el grupo no es ni bueno ni malo; es simplemente un reflejo de las capacidades humanas”(Krueger, 1991:23). En el ámbito científico, el grupo de discusión se puede considerar como un tipo especial de grupo, con unas características específicas y un objetivo claramente delimitado. Revista Fuentes 5 - 2004 Siguiendo con Krueger, se podría definir como una conversación planeada, diseñada para obtener información de un área definida de interés, en un ambiente permisivo, distendido. Cuando en una investigación se plantea un grupo de discusión, la finalidad que se pretende es obtener amplia información, mediante una técnica en la que el entrevistador intervenga lo menos posible, y deje un margen de actuación a las personas implicadas “hay que subrayar que el grupo de discusión es una vía para conocer y no una finalidad” (Callejo, 2001: 22). Entre los propios participantes van complementando el diálogo y proporcionando información precisa y rigurosa, aportando opiniones sobre los aspectos de la conversación que ellos consideran más destacables. En el caso del grupo de discusión “el dispositivo de producir datos es un artefacto lingüístico. Conviene tener en cuenta que el significado no está contenido en el signo; es construido y negociado socialmente. El significado de una expresión está caracterizado por el uso que hacemos de ella; el signo no contiene dentro un significado, sino que hay que remitirse a los marcos de interpretación dentro de los que cobrará sentido, es decir, a las actividades interpretativas de los sujetos”(Castro, 2001: 441). Mediante esta técnica se pudo obtener información en profundidad, muy valiosa e ilustradora de aspectos claves sobre evaluación del profesorado que estaban en el discurso social de un grupo de profesores universitarios. La información obtenida fue de gran utilidad para elaborar indicadores de evaluación y sirvió asimismo de guía para la construcción de otros instrumentos de recogida de información. 2. CARACTERÍSTICAS DEL GRUPO DE DISCUSIÓN Los grupos de discusión, en los últimos tiempos, se están empleando con asiduidad en programas televisivos, pero en este caso se le otorgó de un carácter más sistemático y riguroso. El grupo de discusión es una técnica cualitativa, muy similar a la entrevista. Donde se plantea una línea argumental dirigida por un entrevistador o moderador, pero orientada a un grupo de personas, que van a debatir esa línea argumental. Se podría señalar que "los grupos de discusión constituyen una modalidad de entrevista en grupo" (del Rincón et al., 1995: 318). Para la puesta en práctica de esta investigación no se partió de un grupo de discusión como tal, según la definición: “reunión de personas, entre seis y diez, previamente desconocidas entre sí, que hablan de un tema bajo la dirección de otra persona” (Callejo, 2001: 21), debido a que los participantes en el grupo ya se conocían y entre ellos las relaciones eran distendidas e incluso de amistad y confianza. Respecto al diseño del grupo de discusión se tuvo en cuenta: las características de los participantes, es decir, se decidió, debido a la disponibilidad de tiempo, realizarlo con personas que mantenían colaboración profesional, de tal forma que existiera confianza, desde el principio; así no era necesario realizar varias sesiones introductorias para que se conocieran y fuese estableciéndose el rapport adecuado. Simplemente se planteó una sesión de discusión, a la cual los sujetos acudieron sin un conocimiento previo pormenorizado del guión, de tal forma que no llevasen ideas predeterminadas, ni elaboradas ex profeso para sus intervenciones. No se realizaron más sesiones debido a que al tratarse temas muy concretos se podía llegar a la redundancia en la discusión. Revista Fuentes 5 - 2004 Entre los participantes existía cierta homogeneidad y al mismo tiempo heterogeneidad. Homogeneidad debido a que todos ellos poseían la misma categoría profesional, prácticamente todos eran del mismo sexo, e ideología,... Y heterogeneidad debido a que cada uno enfocaba el tema de la evaluación desde su propio perfil profesional, así como desde sus experiencias personales, “pues, el intercambio lingüístico sólo es posible desde la percepción de ciertas diferencias, que hacen tomarse el esfuerzo de presentarse al otro y de intentar persuadirlo”(Callejo,2001: 80). Los grupos de discusión son una técnica muy valiosa para obtener material cualitativo sobre las percepciones, motivaciones, opiniones y actitudes de los participantes, además, y lo más importante, es que “el grupo de discusión presenta un clima de naturalidad en el que los participantes son influidos por, e influyen en, el resto de los participantes, al igual que sucede en la vida real”(Krueger, 1991: 35). Toda persona desarrolla su “entre privado” en sociedad, opinando y escuchando las opiniones de los demás, debido a que es fruto de una “identidad colectiva” (Callejo, 2001).Identidad que le va a permitir la convivencia en el grupo, regulando sus intervenciones y haciendo que el nivel de realismo en las conversaciones sea mayor. Se podría considerar que el diseño por el que ha pasado esta experiencia ha sido el siguiente: 1.- Planteamiento de objetivos y elaboración de la guía de preguntas. 2.- Selección de los participantes: determinación de las características que iban a reunir, así como selección de los mismos. 3.- Selección del moderador. 4.- Determinación del lugar y fecha 5.- Adiestramiento del moderador 6.- Desarrollo del grupo de discusión 7.- Recopilación, trascripción y análisis de la información 8.- Conclusiones 3. MUESTRA Para el grupo de discusión se seleccionó una muestra, mediante un muestreo de tipo intencional, de profesores de Universidad de Málaga; porque "la muestra representativa de la población no se extrae de forma aleatoria(como en la encuesta estadística) sino de forma intencional: seleccionando a las personas según la relación que estas guarden con el objeto de estudio" (Rubio y Varas, 1997: 336). Siendo el criterio de selección que estuviesen vinculados, de manera profesional y científica, con el tema de la evaluación educativa. En total participaron 6 profesores más el coordinador o moderador, además del investigador que, simplemente, se encargó de registrar la información. Revista Fuentes 5 - 2004 Se decidió que ése fuera el número total de participantes, porque el tamaño del grupo de discusión viene determinado por ser “lo suficientemente pequeño como para que todos tengan la oportunidad de exponer sus puntos de vista y lo suficientemente grande como para que exista diversidad en dichos puntos de vista” (Krueger,1991: 33). Al plantearse un tema conocido por todos, y un número reducido de participantes todos tendrían oportunidades de hablar y expresar sus opiniones libremente, sin adherirse a las opiniones de los demás, aunque no estuviesen de acuerdo con las mismas. Cada profesor se le asignó unas siglas para su identificación en la trascripción, siendo éstas las siguientes: Profesor X: (Coordinador) Profesor A Profesor B Profesora C Profesor D Profesor E Profesor F Todos los profesores asistieron de manera voluntaria, sin estar sometidos a ningún tipo de coacción, la asistencia fue motivada por el interés en el tema de discusión, “los estímulos se encuentran en el interés por el tema que se va a discutir, las gratificaciones por trabajar en la reunión, las palabras del moderador de la reunión, el placer por la conversación, etc.,… Estímulos que, en la medida de lo posible, han de controlarse o,al menos, tenerse en cuenta” (Callejo, 2001: 70). Este grupo de discusión lo constituyeron cinco profesores, que impartían clases en la Universidad de Málaga, y una profesora, que impartía clases en la una Universidad Argentina. Todas estas personas, pertenecían al ámbito educativo, por lo que tenían conocimiento de qué es la evaluación institucional, y concretamente la evaluación de la docencia, así como su puesta en práctica. Además, al existir relaciones de amistad entre ellos se pudo desarrollar un diálogo distendido y abundante en referencias personales. 4. PROCEDIMIENTO DE RECOGIDA DE INFORMACIÓN La primera cuestión que hay que plantearse en cualquier investigación son los fines que se persiguen. En este caso el objetivo general que presidía la manera de proceder era la búsqueda de aspectos clave sobre evaluación de la docencia universitaria, sus consecuencias, implicaciones,... en profesores universitarios competentes en el tema, para obtener un panorama ilustrativo, y al mismo tiempo suficientemente enriquecedor, que permitiese profundizar en aquellas cuestiones de interés. Posteriormente para trabajar con un grupo de discusión se tiene que configurar la línea argumental o guión que se va a desarrollar en la sesión o sesiones de discusión. Es Revista Fuentes 5 - 2004 determinante que el guión y los objetivos estén estrechamente conectados, debido a que en ellos se va a fundamentar el resto de la investigación. A partir del guión se determinó la selección de los entrevistados, del moderador, así como el estilo de la entrevista, e incluso el escenario tanto temporal como espacial que se iba a utilizar (Castro, 2001). La línea argumental estaba compuesta por 5 preguntas generales, de carácter abierto. En algunas de esas preguntas se aconsejaba al moderador los aspectos que se podían ir trabajando; en ningún momento se pretendió que fuesen preguntas cerradas que tuviesen que ser contestadas como tal, sino que respondían, más bien, a la estructura de una entrevista individual semi-estructurada. Debido a las habilidades y destrezas con que contaba el moderador en la dirección de grupos de discusión, no fue necesario un periodo largo de adiestramiento, sino simplemente, una sesión para que se pusiera en contacto con el tema de investigación y conociese en profundidad cada uno de los aspectos que se requerían con respecto a la información. La guía de preguntas se muestra en la tabla nº1; como se puede apreciar son preguntas abiertas, dentro de un contexto y con una finalidad determinada. Ordenadas con un sentido lógico, de lo general a lo particular. Guía de preguntas Grupo de Discusión 1.- ¿Qué quiere decir evaluación del profesorado? Aspectos a tratar: - ¿Quién y cómo tendrían que llevarla a cabo? - ¿Cuál creen que es la finalidad de esa evaluación? Y ¿Cuál es la que debería ser? 2.- ¿Cómo definirían a un buen profesor? 3.- Posibilidades de conseguir a través de la formación a un buen profesor Guía de preguntas Grupo de Discusión 1.- ¿Qué quiere decir evaluación del profesorado? Aspectos a tratar: - ¿Quién y cómo tendrían que llevarla a cabo? - ¿Cuál creen que es la finalidad de esa evaluación? Y ¿Cuál es la que debería ser? Revista Fuentes 5 - 2004 2.- ¿Cómo definirían a un buen profesor? 3.- Posibilidades de conseguir a través de la formación a un buen profesor Tabla nº 1: Guía de preguntas semi-estructuradas Para recopilar la información procedente del grupo de discusión, se contactó con todos los profesores implicados, para poder tener conocimiento de su disponibilidad horaria. En segundo lugar, se concretó una cita, en un lugar, día y hora a la que todos y cada uno de ellos pudieran acceder; el grupo de discusión se puso en práctica en un tiempo y espacio neutral, para no perjudicar a nadie en su labor docente. El lugar elegido fue un seminario de la Facultad de Ciencias de la Educación de la Universidad de Málaga. En él se disponía de los recursos materiales necesarios para poner en acción este tipo de técnicas, como es por ejemplo, una mesa alargada en la que todos los profesores se pudieran sentar cómodamente, situándose el moderador en una posición intermedia, y colocándose el resto de los participantes a su discreción junto al moderador,... Dicho seminario era un lugar de trabajo al que todos esos profesores tenían acceso, por lo cual todos se sintieron cómodos durante la aplicación de la técnica. El moderador fue la persona encargada de tomar la iniciativa en el tema de conversación así como de reconducir el diálogo, intentando ejercer la menor directividad posible; porque “el grupo de discusión tiende a configurarse formalmente cerca de la espontaneidad y la no directividad; pero quienes hayan tenido ocasión de observar o incluso moderar alguna reunión de grupo de discusión habrán percibido la existencia de directividad. Incluso puede interpretarse directividad desde el silencio del moderador” (Callejo, 2001: 17). Efectivamente, el moderador ejerció el rol de la autoridad, por ello su simple presencia se podría entender como un cierto control, aunque en este caso, dicho control fue leve, debido a que el coordinador también mantenía relaciones cordiales con el resto de los participantes. El investigador se situó de tal forma que estuviera delante de la ventana, y en un lugar, en el que pudiera recopilar no sólo los comentarios de los distintos profesores, sino también verles directamente. Para la grabación se empleó una cámara V8 digital. El investigador permaneció como observador independiente, es decir, no participando en ningún momento de la conversación; el coordinador era el encargado de reconducir el tema, y plantear las cuestiones que eran de interés. Cuestiones que habían sido seleccionadas previamente, de tal forma que el moderador simplemente introducía el tema de discusión y se limitaba a reconducir y analizar la situación, “uno de los elementos del grupo de discusión es que no hay presiones del moderador para que el grupo alcance un consenso. En lugar de ello, su atención se concentra en comprender los procesos mentales seguidos por los participantes cuando desarrollan los temas de interés” (Krueger, 1991: 36). El moderador se puede considerar como el motor del grupo de discusión (Canales y Peinado, 1994), debido a que tiene que presentar el tema como relevante y de interés incitando a los participantes a que intervengan en la conversación, y haciendo que se implique, hay que presentar el tema de tal forma que provoque en los participantes una reacción (Callejo, 2001). Revista Fuentes 5 - 2004 El grupo de discusión duró 2 horas. Una vez grabada la información, se pasó a la trascripción de la misma, mediante un procesador de texto. En este proceso se tardó aproximadamente unas 21 h y 45´. En el período de registro de información se superó con creces la finalidad planteada por esta técnica de investigación, es decir, generar ideas sobre una temática concreta. El grupo de discusión se desarrolló en un ambiente relajado, como ya se ha comentado, a pesar de que existieron posturas divergentes. Los profesores actuaban con total naturalidad, y la conversación se desarrolló de manera fluida, dinámica,... de tal manera, que la intervención del coordinador se limitó a reconducir la conversación, siguiendo el guión preestablecido de antemano, en momentos puntuales. 5. ANÁLISIS DE LA INFORMACIÓN PROCEDENTE DEL GRUPO DE DISCUSIÓN “El análisis del discurso es la búsqueda de un sentido. Un discurso no tiene único sentido. Tiene varios. El que busca el investigador concreto vendrá dado por los objetivos concretos de la investigación” (Callejo, 2001: 148). Para que la información adquiera un significado y resulte de interés para la investigación, tendrá que ser sometida a un análisis. Para dicho análisis, las fases por las que ha pasado la información han sido las siguientes: 1.- Trascripción 2.- Clasificación en categorías relevantes 3.- Descripción 4.- Interpretación Una vez trascrita la información, ésta fue codificada asignando un número a cada línea, de tal forma que al incluir una cita textual en el análisis se tuviera en cuenta, tanto el profesor que la decía, como su localización dentro del texto, incluyendo el número de la línea de inició y de finalización, así como el número de página en el que se encontraba. La trascripción es fundamental debido a que gracias a ella se puede profundizar en la información y no dejar nada en el recuerdo. “El análisis profundo es prácticamente imposible sin trascripción, pues es la base material para aplicar la obsesión del método analítico, por estandarizado o personalizado que sea éste, aun cuando el excedente de obsesión analítica siempre es personal” (Callejo, 2001: 145). Para analizar la información, además de ordenarla en el texto, se incluyó un sistema de categorías que permitió focalizar la información a recopilar. Se consideraron un total de 8 categorías, siendo éstas las siguientes: 1.- Características de la evaluación docente: C.A. 2.- Agentes implicados en la evaluación docente: A.D. Revista Fuentes 5 - 2004 3.- Modalidades de evaluación docente: M.D. 4.- Aspectos a tener en cuenta en la evaluación: A.E. 5.- Razones para realizar una evaluación docente: R.D. 6.- Dificultades presentes en la evaluación docente: Df.E. 7.- Características del buen profesor: C.B.P. 8.- Competencias fundamentales del buen profesor: Cmp.B.P. Tradicionalmente se han empleado los grupos de discusión como técnica para obtener información descriptiva y exploratoria, fundamentalmente, en base a los temas relevantes considerados en cualquier investigación, y fundamentada con citas textuales según la opinión de los diferentes profesionales que han participado. A pesar de ello, esa información descriptiva dio paso a un análisis más profundo, es decir la descripción dio lugar a la interpretación. Y por tanto, a un análisis de la interacción, de la conversación, para conocer las posturas y puntos de vista de cada uno de los participantes en el grupo de discusión. Los participantes negociaban una visión de las cosas, mediante una negociación de identidades, considerándose esa identidad como “una negociación sobre lo que se puede decir y lo que queda bajo una especie de pacto de silencio” (Callejo, 2001: 154). Además se realizó un análisis del diálogo, para relacionar los objetivos de la investigación con los resultados obtenidos en el grupo de discusión; mediante este análisis se seleccionaron las frases más representativas que daban respuestas a la propia investigación. El grupo de discusión es considerado por algunos autores como una técnica de recogida de información, que posee una alta validez subjetiva, “que se debe en gran parte a la plausibilidad de los comentarios que realizan los participantes. Los miembros de un grupo de discusión interaccionan y comparte una información que posiblemente no podríamos obtener por medio de entrevistas individuales, cuestionarios, u otras técnicas de recogida de datos” (Krueger, 1991: 46-47); los resultados resultan fácilmente comprensibles, además de estar suficientemente fundamentados mediante las citas textuales de los implicados. 6. RESULTADOS Cuando se le preguntó a estos profesores sobre qué opinaban respecto a la evaluación del profesorado, analizaron esa cuestión respecto a sus reflexiones, así como a sus vivencias personales. A pesar de que la mayor parte de la información que proporcionaron estos profesores era relevante se organizó en base a las categorías planteadas. 1.- Características de la evaluación docente: C.A. Analizadas las opiniones de estos profesores se aprecia que la evaluación docente tendía que ser considerada en el marco de la evaluación institucional, junto con otras evaluaciones, como por ejemplo, la evaluación de los recursos e instalaciones, del Revista Fuentes 5 - 2004 Personal de Administración y Servicios, y de la propia gestión universitaria. Pero dicha evaluación no debería realizarse aislada en el espacio, sino todo lo contrario, habría que evaluar no sólo a la institución, sino también al contexto en el que está inmersa, teniendo en cuenta tanto la antigüedad de dicha institución, como los medios económicos de los que dispone. De esta forma, la evaluación docente formaría parte de una evaluación global, integradora, en la que deben tenerse en cuenta tanto la eficiencia como la eficacia de cada una de las partes de la institución que sea evaluada. Figura nº 2: Características de la evaluación global 2.- Agentes implicados en la evaluación docente: A.D. La evaluación del profesorado puede ser llevada a cabo por diferentes agentes. Por un lado pueden ser los propios profesores los que se evalúen, o pueden ser los alumnos, los que se encarguen de ello, e incluso toda la comunidad educativa puede ser la responsable de la evaluación docente. El motivo por el que cada uno de estos agentes puede realizar una evaluación docente, es variado. En el caso del profesorado, cuando ellos son los encargados de evaluarse, es decir, de autoevaluarse, la razón de la misma puede ser tanto el compromiso moral que ellos tienen hacia la profesión, como el nivel de autoexigencia que ellos se plantean en su trabajo. En el caso de los alumnos, ellos pueden evaluar al profesorado a petición de la propia institución o del propio profesor. La comunidad educativa por su parte, puede evaluar al profesorado, entre otros motivos, para conocer en qué estado se encuentra la enseñanza que los estudiantes están recibiendo. 3.- Modalidades de evaluación docente: M.D. Todas estas modalidades de evaluación docente se pueden realizar tanto desde el punto de vista formal como informal. Y los encargados, de llevarla a cabo, pueden ser agentes internos, como los alumnos o los propios profesores, o agentes externos como por