Un enfoque de Seis Sigma para evaluar la calidad de la educación superior en Colombia

Delahoz-Domínguez, Enrique; Zuluaga-Ortiz, Rohemi; Periñan-Luna, Arantxa; Mendoza-Brand, Silvana Article Un enfoque de Seis Sigma para evaluar la calidad de la educación superior en Colombia Revista de Métodos Cuantitativos para la Economía y la Empresa Provided in Cooperation with: Universidad Pablo de Olavide, Sevilla Suggested Citation: Delahoz-Domínguez, Enrique; Zuluaga-Ortiz, Rohemi; Periñan-Luna, Arantxa; Mendoza-Brand, Silvana (2022) : Un enfoque de Seis Sigma para evaluar la calidad de la educación superior en Colombia, Revista de Métodos Cuantitativos para la Economía y la Empresa, ISSN 1886-516X, Universidad Pablo de Olavide, Sevilla, Vol. 33, pp. 386-407, https://doi.org/10.46661/revmetodoscuanteconempresa.5313 This Version is available at: https://hdl.handle.net/10419/286276 Standard-Nutzungsbedingungen: Die Dokumente auf EconStor dürfen zu eigenen wissenschaftlichen Zwecken und zum Privatgebrauch gespeichert und kopiert werden. Sie dürfen die Dokumente nicht für öffentliche oder kommerzielle Zwecke vervielfältigen, öffentlich ausstellen, öffentlich zugänglich machen, vertreiben oder anderweitig nutzen. Sofern die Verfasser die Dokumente unter Open-Content-Lizenzen (insbesondere CC-Lizenzen) zur Verfügung gestellt haben sollten, gelten abweichend von diesen Nutzungsbedingungen die in der dort genannten Lizenz gewährten Nutzungsrechte. Terms of use: Documents in EconStor may be saved and copied for your personal and scholarly purposes. You are not to copy documents for public or commercial purposes, to exhibit the documents publicly, to make them publicly available on the internet, or to distribute or otherwise use the documents in public. If the documents have been made available under an Open Content Licence (especially Creative Commons Licences), you may exercise further usage rights as specified in the indicated licence. https://creativecommons.org/licenses/by-sa/4.0/ 386 REVISTA DE MÉTODOS CUANTITATIVOS PARA LA ECONOMÍA Y LA EMPRESA (33). Páginas 386-407. Junio de 2022. ISSN: 1886-516X. D.L: SE-2927-06. www.upo.es/revistas/index.php/RevMetCuant/article/view/5313 Un enfoque de Seis Sigma para evaluar la calidad de la educación superior en Colombia Delahoz-Domínguez, Enrique Universidad Tecnológica de Bolívar (Colombia)* Correo electrónico: [email protected] Zuluaga-Ortiz, Rohemi Universidad del Sinú (Colombia) Correo electrónico: [email protected] Periñan-Luna, Arantxa* Correo electrónico: [email protected] Mendoza-Brand, Silvana* Correo electrónico: [email protected] RESUMEN Las instituciones universitarias se enfrentan a retos de competitividad que se enmarcan en las exigencias de la sociedad, los cambios de preferencia de los estudiantes y la evolución tecnológica; esto plantea la necesidad de generar herramientas objetivas para la toma de decisiones que permitan identificar las instituciones que están aportando efectivamente a la formación de profesionales de alto nivel. En el presente trabajo se desarrolla una metodología bajo el enfoque Seis Sigma para medir el desempeño del sistema educativo. Para evaluar la metodología se utilizan datos del examen colombiano para la evaluación de la calidad en la educación superior para el área de Ingeniería. Los resultados muestran que el nivel sigma del sistema educativo colombiano se encuentra en Z= 2,17 y un rendimiento Y= 75%, lo que dentro de los criterios establecidos en la investigación es considerado un nivel Aceptable. Como aporte significativo del estudio se presenta una estructura para la evaluación, monitoreo y mejora de la educación universitaria utilizando el enfoque Seis Sigma. La estructura propuesta es replicable y reproducible a cualquier entorno educativo donde se implementen exámenes estandarizados. Palabras clave: Seis Sigma, educación superior, analíticas de aprendizaje, mejora continua, calidad educativa. Clasificación JEL: I21; I28; C13. MSC2010: 97B40; 97D60. Artículo recibido el 24 de septiembre de 2020 y aceptado el 16 de septiembre de 2021. 387 A Six Sigma Approach to Assessing the Quality of Higher Education in Colombia ABSTRACT University institutions face challenges of competitiveness derived from the demands of society, changes in student preferences, and technological evolution; this raises the need to generate objective tools for decision-making to identify the institutions that are effectively contributing to the training of high-level professionals. In this research, a methodology is developed under the Six Sigma approach to measuring the performance of the educational system. Evaluating the methodology, data from the Colombian test for the evaluation of quality in higher education in the area of engineering are used. The results show that the sigma level of the Colombian education system is at Z= 2.17 and a performance Y= 75%, which according to the criteria established in the research is considered an acceptable level. As a significant contribution of the study, a structure for the evaluation, monitoring, and improvement of university education using the Six Sigma approach is presented. The proposed structure is replicable and reproducible to any educational environment where standardized tests are implemented Keywords: Six Sigma, higher education, learning analytics, continuous improvement, educational quality. JEL classification: I21; I28; C13. MSC2010: 97B40; 97D60. 388 1. Introducción La educación universitaria enfrenta retos críticos en la actualidad asociados a sus dimensiones operativas y estratégicas. Según Visbal-Cadavid et al. (2020), la percepción social de las universidades está en decaimiento principalmente por una desconexión con sus principios estratégicos. La concepción general de los objetivos de una universidad moderna está enmarcada en la formación de profesionales idóneos, la generación de conocimiento a través de la investigación y el acompañamiento a la industria y la sociedad en su desarrollo. Sin embargo, la forma en que se mide el desempeño de las universidades ha generado distorsiones en las consideraciones de calidad para determinar la excelencia de una universidad. Es así como la posición en un ranking internacional (Shanghai, Times Higher Education) o la publicación de artículos de investigación se ha convertido en objetivos principales de muchas instituciones. En el anterior contexto, el objetivo de transformar personas a través de la generación de competencias en los estudiantes ha pasado a segundo plano; es así como la medición objetiva del desempeño relativo de las universidades se convierte en una necesidad para los tomadores de decisiones en el ámbito educativo (Pineda & Celis, 2017). Asociado a esto, se encuentra el aumento considerable de la oferta de nuevas universidades y programas académicos, lo que genera un contexto complejo de análisis para los futuros estudiantes con relación a qué y dónde estudiar. Consecuentemente, la evaluación de la calidad de las universidades se ha evidenciado por medio de acreditaciones institucionales, que son otorgadas por agencias independientes que evalúan el cumplimiento de estándares mínimos asociados a la infraestructura, proyección, pertinencia y recursos (DelahozDominguez, Guillen-Ibarra & Fontalvo-Herrera, 2020). En este contexto, las instituciones de educación deben responder a las necesidades de formación de capital humano que demanda la sociedad y posicionarse como una universidad de calidad a través de una acreditación o posicionamiento en un ranking; sin embargo, no siempre estas metas se encuentran alineadas. Por lo tanto, en la presente investigación se propone un enfoque de Seis Sigma para clasificar, caracterizar y evaluar instituciones de educación superior considerando exclusivamente los resultados académicos de los exámenes nacionales estandarizados a las universidades con programas de Ingeniería. Al considerar solo el aspecto académico por las competencias alcanzadas por los estudiantes se aíslan los factores externos que podrían confundir en la identificación de universidades que están prestando un servicio de alta calidad, pero por no estar clasificadas o referenciadas por una acreditación nacional e internacional no son consideradas como instituciones de excelencia. Así, se propone en primer lugar una revisión de trabajos anteriores para evaluar la calidad del servicio en la educación. En segundo lugar, se implementa la metodología Seis Sigma, considerando como unidades de estudio las universidades con programas de ingeniería en Colombia. En tercer lugar, se calculan las métricas de Nivel sigma (Z), Desempeño (Y) y Defectos Por Millón de Oportunidades (DPMO), para así caracterizar y evaluar las unidades de estudio. Por último, se plantea la discusión de los resultados y hallazgos del proceso de investigación, además de presentar las conclusiones pertinentes. 2. Revisión de la literatura 2.1. Calidad en los servicios En la literatura encontramos distintos conceptos y enfoques de la calidad de los servicios, sin contar con los comentarios sobre la interpretación y variantes de la calidad en los servicios y la importancia de estos en escenarios competitivos. Los servicios son actividades económicas que crean valor y proporcionan beneficios a los clientes en tiempos y lugares específicos como resultado de producir un cambio deseado. La percepción del cliente es la perspectiva más utilizada e importante en las evaluaciones de la calidad en servicios. Así mismo, el modelo Service Quality (SERVQUAL) propuesto hace más de 25 años aún es considerado un referente importante y es aplicado en diversos escenarios de servicios (Torres & Vásquez, 2018). 389 La calidad del servicio puede definirse como una medida en el grado en que el servicio prestado corresponde a las expectativas de los clientes. Por lo tanto, la calidad percibida en la prestación de un servicio se convirtió en un factor determinante de éxito en todos los campos de una actividad comercial. Por lo tanto, la capacidad que tiene una compañía u organización para estimar la calidad de un servicio es un requisito previo para lograr un alto nivel de calidad en dicha provisión del servicio (Hien, 2014; Lee & Kim, 2014). Así mismo, la calidad está enfocada en la completa satisfacción del cliente y se puede aplicar al producto, servicio o la organización. La calidad total pretende obtener beneficios para todos los miembros de la empresa. Este mismo concepto es una alusión a la mejora continua, con el objetivo de lograr la calidad óptima de manera global (Zambrano & Alá, 2014). Por otra parte, el modelo SERVPERF propuesto por Cronin y Taylor fue derivado del SERVQUAL propuesto por Parasuraman, el cual pretende medir la calidad del desempeño del servicio como es percibida por los clientes. No obstante, en SERVPERF se resalta que la calidad no necesita ser medida por medio de comparaciones de expectativas del desempeño (Lima et al., 2019). En la investigación de Song y Lim (2015) se propuso un método para mejorar de la calidad del servicio (SQI), priorizando los atributos inherentes al servicio, así como las expectativas de los clientes para así generar una estimación de la brecha entre los niveles de satisfacción del empleado y clientes, además de un análisis comparativo entre la empresa y sus competidores. 2.2. Seis Sigma en los servicios La estrategia de Seis Sigma aplica el método DMAIC (Define, Measure, Analyze, Improve, Control), que encaja perfectamente para la mejora efectiva de procesos. Así mismo, para poder impregnar la calidad en los productos se debe realizar desde la fase de diseño, se necesita un enfoque preventivo del diseño para el Seis Sigma Design for Six Sigma (Suresh et al., 2016). Ahora bien, la filosofía, metodología o enfoque del Seis Sigma permite lograr la satisfacción total del cliente por medio de la reducción de las variaciones y aumentar la estabilidad del proceso, el objetivo principal del Seis Sigma es aumentar el nivel sigma, reduciendo los defectos por millón de oportunidades (DPMO) (Suman & Prajapati, 2018). El Seis Sigma tiene como fin alcanzar niveles de desempeño lo más cercano a la perfección, por lo que es un enfoque usado en muchas organizaciones y además su enfoque objetivo permite un proceso ordenado y sistemático, basado en la evidencia, la generación de analíticas de las entradas y procedimientos. Este enfoque de mejoramiento permite que pueda ser implementado indistintamente en compañías manufactureras o de servicios (Ishak et al., 2019). Por otro lado, un aspecto fundamental del Seis Sigma es el uso de técnicas cuantitativas y estadísticas, enfocadas en la identificación y caracterización de la variabilidad en los procesos, por lo tanto el nombre del enfoque Seis Sigma está basado en la representación objetiva de la variabilidad de un conjunto de datos, lo que permite identificar los estados de conformidad de un proceso y consecuentemente generar el enfoque de Medir, Analizar, Mejorar y Controlar, de manera que el proceso se encuentre ajustado a los límites establecidos por los requisitos del cliente (Zambrano & Alá, 2014). La metodología del Seis Sigma para la mejora de procesos ha sido aceptada globalmente en toda la industria de servicios. En la pasada década, la aplicación de esta herramienta ha brindado resultados exitosos en las organizaciones del sector salud, gobierno, tecnologías de información y el financiero (Sunder & Antony, 2018). Por su parte, la implementación del Seis Sigma permite la eliminación de todas las actividades que no añaden valor al proceso. El Seis Sigma es un proceso de mejora continua a lo largo del camino de la empresa, por lo que se necesita conceptualizar la calidad como un aspecto estratégico y contar con el respaldo de la alta directiva para garantizar los recursos necesarios para su óptimo desarrollo. El Seis Sigma hace contribuciones significativas en las principales áreas de las organizaciones en el largo y 390 medio periodo de desempeño, tales como: diseño del proceso, enfoque y mejoramiento de procesos, participación amplia en la resolución de problemas, intercambio de conocimientos, definición de objetivos, selección de proveedores y toma de decisiones basadas en los datos (Zare, 2011). El Seis Sigma se compone de una parte estratégica caracterizada por el soporte incondicional de la alta directiva de una empresa y también de un conjunto de técnicas y procedimiento estandarizados alineados con el objetivo de la mejora continua y la sostenibilidad operativa y financiera de la compañía, lo que redunda en procesos robustos, con menor número de no conformidades. Otros aspectos críticos considerados en la metodología son la satisfacción del cliente y la competitividad, lo que algunos autores asocian directamente en la relación del Seis Sigma con el factor del servicio, conceptualizado como Servicio transaccional de Seis Sigma debido a que brinda a las organizaciones un enfoque disciplinado para mejorar la eficiencia del servicio y su eficacia (Hsieh et al., 2012; Shokri, 2014; Surange, 2015). Consecuentemente de todos los beneficios expresados en la literatura asociada al Seis Sigma, la implementación de esta metodología enfrenta desafíos importantes en cuanto a la limitación de recursos que las compañías otorgan a los procesos de mejora, falta de entrenamiento del personal a cargo de la implementación y una estructura organizativa inadecuada (Gamal, 2011). 2.3. Seis Sigma en la educación Aunque la gran mayoría de los términos y lenguajes del Seis Sigma están relacionados a los negocios y la manufactura, algunos de sus conceptos principales están relacionados con el campo de la educación. El alcance que se le ha dado al Seis Sigma en la educación es normalmente usado en casos muy específicos de mejora o en conjunto con el enfoque de Malcolm Baldrige para la excelencia en el desempeño (Baldrige criteria for Perfomance Excellence) para facilitar la aplicación de una estructura educativa de mejoramiento en las organizaciones (LeMahieu et al., 2017). Sin embargo, existen opiniones divididas sobre la implementación del Seis Sigma en la educación, debido al hecho práctico que el desperdicio y el reproceso en la administración de educación no es tan visible como lo es en la industria manufacturera donde el material residual y las colas tienen una manifestación físicamente notoria (Svensson et al., 2015). En cuanto al sector universitario, se evidencia que la mayoría de las instituciones no involucran el Seis Sigma dentro de su enfoque gerencial y administrativo debido al pensamiento arraigado que se tiene que esta herramienta de mejora solo se enfoca en procesos productivos y no para mejorar aspectos específicos del ámbito universitario como la docencia y la investigación. Sin embargo, estudios recientes resaltan que esta metodología tiene aplicaciones significativas en la parte de la medición del desempeño, que no es desarrollada de manera estratégica por las instituciones educativas para posteriores procesos de mejora y tampoco es considerado como un aspecto crítico de la gestión universitaria (Lu et al., 2017; Nadeau, 2017; Subbarayalu & Al Kuwaiti, 2017). En ese mismo orden de ideas, estudios enfocados a la educación superior ilustran los desafíos en la implementación del Seis Sigma en entornos universitarios. Los retos incluyen la tarea de definir adecuadamente los clientes según su relación con la institución, la determinación del valor del servicio ofertado, las dificultades para evaluar el desempeño, la satisfacción de los empleados y la ausencia de esquemas dinámicos de compensación. Por lo tanto, es normal que las universidades consideren a los estudiantes como los clientes principales y el resto de la estructura compuesta por las facultades, los departamentos, el personal no docente y administrativo deben articular la cultura del cliente universitario (Maguad & Krone, 2012). El modelo de Seis Sigma propuesto por el estudio de Bumjaid y Malik (2019) se centraba en el aprendizaje y entendimiento por parte de los estudiantes y que sus resultados estuviesen alineados a los requisitos de los procesos claves de la institución. Para lograr eso, se realizaba un análisis de la 391 variabilidad y se promovían los procesos de mejora de manera eficaz y sostenible en el proceso de aprendizaje. Por otra parte, en el trabajo de Sunder y Antony (2018) se propone un modelo de aplicación del Lean Six Sigma para las instituciones de educación superior, en el que asegura la excelencia de calidad para los proyectos educativos institucionales. Finalmente, en el estudio de Nadeau (2017) se revisaron los resultados de la aplicación del Seis Sigma (DMAIC) en una institución de pregrado técnico prestigioso en Dubai (UAE) para la mejora del desempeño de los estudiantes en el curso “Introducción a Investigación de Operaciones (IO)”. Finalmente, se evidenció que tras adoptar “La manera Seis Sigma”, el nivel sigma del desempeño académico en IO aumentó de 2,78 a 4,23 en un periodo de un año. 3. Metodología y datos El desarrollo de esta investigación es de tipo evaluativa y consta de cinco fases (Figura 1). Figura 1. Metodología de la investigación. Fuente: Elaboración propia. 392 La primera fase parte de un análisis racional que permitió establecer las unidades de estudio y sus respectivas métricas, que posteriormente son utilizadas para el desarrollo del trabajo, además, cabe resaltar que en esta primera fase se adapta y contextualiza la metodología Seis Sigma al campo educativo y se establece el nivel de conformidad de las variables del estudio. La segunda fase consiste en la aplicación del cálculo Defectos por Millón de Oportunidades (DPMO), estimación del nivel Sigma (Z) y el valor del rendimiento Yield (Y). La tercera fase corresponde al proceso de analizar las métricas aplicadas en la segunda fase para identificar las características, patrones de comportamientos y oportunidades de mejora del grupo de estudio. La cuarta etapa consiste en el diseño e implementación de planes que busquen aumentar el rendimiento sigma. Y finalmente, la quinta fase busca enmarcar la metodología en el ciclo de mejora continua mediante el aseguramiento de los procesos. 3.1. Descripción de la población Por otro lado, la base de datos utilizada resumida en la Tabla 1 contiene 12.411 observaciones que corresponden a los resultados de las evaluaciones aplicada a los estudiantes de los programas de ingeniería en Colombia (Delahoz-Domínguez, Zuluaga & Fontalvo-Herrera, 2020). Esos resultados son tomados de las bases de datos publicadas por el Instituto Colombiano para la Evaluación de la Educación (ICFES). Tabla 1. Información de las variables del estudio. Variable Nombre Completo Promedio RC Razonamiento Cuantitativo 77,42 LC Lectura Crítica 62,20 CC Competencias Ciudadanas 59,19 ING Inglés 67,50 CE Comunicación escrita 53,70 Fuente: Tomado de Dataset of academic performance evolution for engineering students (2020). 3.2. Competencias académicas Al finalizar los estudios académicos de una institución de educación superior, los estudiantes deben realizar una prueba de conocimiento; en el caso de Colombia esta prueba se llama SABERPRO. Esta prueba es realizada por el Instituto Colombiano para la Evaluación de la Educación (ICFES) con el fin de medir la calidad de todas las universidades públicas o privadas, estén acreditadas o no. Por otro lado, la estructura del examen consta de dos partes: la primera evalúa las competencias genéricas de todo profesional y la segunda evalúa las competencias específicas del programa académico al que pertenece un estudiante, Consecuentemente, para el desarrollo de esta investigación se seleccionó el módulo de competencias genéricas (Tabla 2). Por su parte, los resultados por cada competencia estarán dentro de rangos, que se llaman niveles, estos niveles determinan el nivel de desempeño de un estudiante en una competencia especifica (Tabla 3). Cabe resaltar que cuanto más alto sea el puntaje del estudiante, mayor será su nivel y en consecuencia su desempeño. 393 Tabla 2. Descripción de las competencias. Competencia ¿Qué se pretende evaluar en la competencia? Comunicación escrita Competencia para comunicar ideas por escrito respecto a un tema en específico. En esta prueba se plantea una problemática, con la que el estudiante deberá desarrollar un texto argumentativo. Razonamiento cuantitativo Habilidades matemáticas que todo ciudadano debe tener, independientemente de su profesión u oficio, en las competencias de interpretación y representación, argumentación, formulación y ejecución en temas como álgebra, cálculo, geometría y estadística. Lectura crítica Habilidades para comprender, interpretar y evaluar textos, entender el significado de palabras frases, relacionar las partes de un texto para darle sentido global, determinar si las razones del autor son o no convincentes e identificar argumentos y supuestos. Competencias ciudadanas Conocimiento y habilidades necesarias para comprender el entorno social, sus problemáticas y analizar diversas posturas en situaciones de conflicto, así como competencias en la argumentación, conocimientos, multiperspectivismo y pensamiento sistémico. Inglés Competencia comunicativa en lengua inglesa a partir de pruebas de lectura, léxico y gramática. Fuente: Tomado del repositorio del ICFES (2020). Tabla 3. Descripción de los niveles por competencias. Competencia Descripción del nivel Características del nivel Comunicación escrita I: Construye un texto legible a partir del uso adecuado de la lengua. Responde a la pregunta planteada en la tarea (si este aspecto no se cumple, los textos deben ser clasificados como impertinentes). Presenta dificultades en el manejo de la convención (sintaxis, escritura de las palabras, segmentación, omisión de letras, etc.) que no permiten la comprensión de sus ideas. Expresa ideas desarticuladas entre sí, que no den cuenta de un planteamiento. II: Usa apropiadamente la acentuación y reglas de escritura. Evidencia un planteamiento o posición personal para cumplir una intención comunicativa. Incluye argumentos que buscan justificar la posición defendida. III: Usa apropiadamente la gramática y reglas de escritura. Presenta algunas fallas en su estructura y organización, por lo que carecen de unidad semántica. Muestra algunas contradicciones o repeticiones que afectan la comprensión del texto. IV: Construye un texto a nivel básico de forma concisa. Presenta algunos errores en el manejo de la convención, que afecta la comunicación de sus ideas. Emplea una estructura básica con inicio, un desarrollo y una conclusión. V: Emplea estrategias retóricas transversales para apoyar una posición. Desarrolla argumentos que apoyan la posición planteada. Tiene unidad semántica, aunque puede incluir información innecesaria que afecta la fluidez. VI: Escribe un texto con cohesión. Posee buena cohesión local, aunque se identifican algunos errores. Muestra diferentes perspectivas sobre el tema que complejizan el planteamiento y permiten cumplir satisfactoriamente con el propósito comunicativo propuesto en la pregunta. VII: Compone un texto argumentativo con Presenta ideas complejas y argumentos que se apoyan en una variedad de estrategias como citas, ejemplos, explicaciones, etc. 400 Por otro lado, en la Figura 3 se relacionan los niveles de desempeño en el examen SABERPRO con la posesión de una certificación de calidad. Cada competencia se divide en dos grupos: universidades acreditadas (34% del estudio) y no acreditadas (66% del estudio) y a su vez estos grupos se subdividen en conformes y no conformes. Consecuentemente, se procede a describir por competencias académicas la distribución en los grupos que se van a categorizar como: universidad acreditada y no-conforme, universidad acreditada y conforme, universidad no-acreditada y conforme y, por último, universidad no-acreditada y no-conforme. - Para la competencia Razonamiento Cuantitativo las universidades acreditadas se dividen en 9% no conformes y 91% conformes; en contraste, las universidades no-acreditadas se distribuyen en 54% no conformes y 46% conformes. - Para la competencia de lectura crítica las universidades acreditadas se distribuyen en 44% no conformes y 56% conformes; por su parte, las universidades no acreditadas se dividen en 95% no conformes y 5% conformes. - Las universidades acreditadas para Competencias Ciudadanas se dividen en 37% no conformes y 63% conformes; por otro lado, las universidades no acreditadas se dividen en 88% no conformes y 12% conformes. - En el caso de las universidades acreditadas para la competencia de Comunicación Escrita se dividen en 58% no conformes y 42% conformes; en cuanto a las universidades no acreditadas, el 91% corresponde a no conformes y el 9% corresponde a conformes. - Para la competencia de Inglés, las universidades acreditadas se dividen en 12% no conformes y 88% conformes; en contraste, las universidades no acreditadas se dividen en 75% no conformes y 25% conformes. Figura 3. Proporción de acreditación de las universidades en el estudio. Fuente: Elaboración propia. Consecuentemente, complementando el análisis de la Figura 3, se presenta la Tabla 9 que contiene los promedios por cada competencia para el total de universidades acreditadas y no acreditadas. Como se puede observar, los promedios más altos los poseen las universidades acreditadas en todas las competencias, siendo Razonamiento Cuantitativo e Inglés aquellas competencias que tienen mayor promedio en el grupo de universidades acreditadas; en el caso de las universidades no acreditadas aparecen estas mismas competencias. 0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 Acreditada No Acreditada Acreditada No Acreditada Acreditada No Acreditada Acreditada No Acreditada Acreditada No Acreditada RC LC CC CE ING Nivel 1 Nivel 2 Nivel 3 Nivel 4 Nivel 5 Nivel 6 Nivel 7 Nivel 8 401 Tabla 9. Promedio de las competencias por acreditación. Valores Acreditada No Acreditada RC 81,83 65,26 LC 67,02 48,98 ING 72,40 53,16 CE 61,42 49,39 CC 63,54 47,58 Fuente: Elaboración propia. En cuanto a las competencias con menor promedio en el grupo de universidades acreditadas son Comunicación Escrita y Competencias Ciudadanas; en el caso del grupo de universidades no acreditadas los desempeños más bajos corresponden a las competencias de Lectura Crítica y nuevamente Competencias Ciudadanas. En la Tabla 10 se evidencian los promedios de las competencias por grupos conformes y no conforme del total de universidades del estudio. En el grupo de universidades conformes las competencias de Razonamiento Cuantitativo y Lectura Crítica son las que tienen mayor promedio; en el caso de las universidades del grupo no conforme aparecen nuevamente las competencias Razonamiento Cuantitativo y Lectura Crítica. Por su parte, en cuanto a los desempeños más bajos dentro del grupo conforme se encuentra las competencias de Comunicación Escrita y Competencias Ciudadanas; por su parte, en el grupo de no conformes las competencias con menor desempeño corresponden a Competencias Ciudadanas e Inglés. Tabla 10. Promedio de las competencias por conformidad. Valores Conforme No conforme RC 79,43 57,41 LC 74,65 49,55 ING 72,68 48,46 CE 69,83 49,25 CC 69,66 46,15 Fuente: Elaboración propia. A continuación, se obtuvieron los promedios por cada competencia considerando la categoría de acreditación de la universidad y nivel de conformidad. En la Tabla 11 se evidencia cómo las competencias con mayores puntajes son Razonamiento Cuantitativo y Lectura crítica; en contraste, las competencias con menor desempeño son Comunicación Escrita y Competencias Ciudadanas. Por su parte, las universidades categorizadas como acreditadas y no conformes, presentan los mayores resultados promedios en las competencias Razonamiento Cuantitativo y Lectura Crítica, y los más bajos para Inglés y Competencias Ciudadanas. Por otro lado, las universidades categorizadas como no acreditadas y conformes muestran que los mayores promedios los poseen las competencias de Razonamiento Cuantitativo y Lectura Crítica; por el contrario, las puntuaciones más bajas pertenecen a las competencias de Comunicación Escrita y Competencias Ciudadanas. Finalmente, en las universidades categorizadas como no acreditadas y no conformes, los promedios más altos son de las competencias Razonamiento Cuantitativo e Inglés; en contraste, los desempeños más bajos los poseen Competencias Ciudadanas y Comunicación Escrita. 402 Tabla 11. Promedio de las competencias por conformidad y acreditación. Competencia Conformidad Acreditada No Acreditada RC Conforme 83,95 74,90 No Conforme 61,11 57,09 LC Conforme 75,08 72,03 No Conforme 56,84 47,84 ING Conforme 74,87 68,73 No Conforme 53,61 48,06 CE Conforme 70,54 68,23 No Conforme 54,86 47,43 CC Conforme 70,54 67,27 No Conforme 51,72 44,96 Fuente: Elaboración propia. Finalmente, se presenta un análisis en el diagrama de Pareto (Figura 4). Este diagrama es una de las siete herramientas fundamentales de calidad usada para categorizar elementos de manera descendente dada su frecuencia. Su funcionalidad permite identificar aspectos críticos los cuales al aplicarle procesos de mejoramiento impactarán más en los resultados globales. En la Figura 4 se evidencia que el 71% de los resultados no conformes están concentrados en las tres primeras competencias que son Comunicación Escrita (CE), Lectura Crítica (LC) y Competencias Ciudadanas (CC). Por lo tanto, eso indica que los esfuerzos por mejorar los resultados de las evaluaciones de SABERPRO y consecuentemente la eficiencia de las instituciones de educación superior, deben estar enfocados al refuerzo de estas tres competencias. Figura 4. Análisis de causas mediante el diagrama de Pareto. Fuente: Elaboración propia. 0% 20% 40% 60% 80% 100% 0 68 136 204 272 340 408 CE LC CC ING RC No conformes Competencia 403 5. Discusión El aporte significativo de esta investigación es la evaluación de la calidad educativa con la herramienta Seis Sigma. Esta herramienta ha sido utilizada extensivamente en el sector industrial y de manufactura, y además últimamente se evidencian implementaciones en el sector financiero. Por lo tanto, existe un gran potencial para su desarrollo en el sector de la educación, por lo que en esta investigación presenta una estructura ordenada y secuencial para estimar el desempeño de organizaciones educativas bajo la metodología Seis Sigma. Así mismo, se resalta en esta investigación el hecho de evaluar la calidad educativa utilizando la información objetiva correspondiente a los resultados de las pruebas estandarizadas (SABERPRO), que son utilizadas para monitorear los niveles de calidad y la solidez de las bases de conocimiento de los futuros profesionales en Colombia, a través de las competencias académicas genéricas (competencias utilizadas en este estudio como dimensiones de calidad). Para la aplicación del enfoque Seis Sigma propuesto en la educación se utilizaron datos específicos de los estudios de ingeniería. Sin embargo, la estructura propuesta es replicable y reproducible a cualquier proceso educativo en los que se genere evidencia objetiva del desempeño académico longitudinal a través de exámenes estandarizados. Por lo tanto, la estructura propuesta se plantea como una alternativa para evaluar, monitorear y caracterizar instituciones y sistemas educativos en general. Por otra parte, en la investigación realizada por Antony et al. (2012) se expone la importancia de la aplicación de la metodología Seis Sigma para la mejora de la eficiencia y efectividad en las universidades, resaltando los retos y barreras que hay detrás de la implementación de esta metodología en el sector de las instituciones de educación superior. En la investigación desarrollada por Antony (2014) se revelan los aspectos de preparación para la introducción y desarrollo exitoso de la herramienta Seis Sigma e incluso Lean Seis Sigma dentro del contexto de las instituciones de educación superior. Sin embargo, este autor recomienda que es importante comenzar con esta iniciativa afrontando los problemas en los procesos administrativos existentes antes de pasar a realizar la inversión a grandes proyectos de orientación estratégica para la institución. Por lo tanto, la estructura propuesta en la presente investigación es una aproximación global para sensibilizar a las universidades en las técnicas de mejoramiento y medición objetiva que aporta Seis Sigma como herramienta organizacional. En un enfoque similar al de la presente investigación, en el trabajo de Navas et al. (2016) se demuestra que es pertinente la aplicación del Seis Sigma en la evaluación del desempeño académico de las universidades consideradas en su estudio. Navas aplica la metodología DMAIC (Define, Measure, Analyze, Improve, Control), donde finalmente propone agrupar a los estudiantes por su desempeño académico para aumentar el porcentaje de aprobados en la educación de ingeniería, eliminando las causas de fallas. En este orden de ideas, los resultados obtenidos por nuestra investigación también permitirán perfilar los estudiantes según su desempeño, además de proporcionar las métricas estandarizadas para monitorear su desempeño futuro. En el estudio de Bumjaid y Malik (2019) se resaltan los modelos que pueden ser utilizados para la mejora de la calidad en las instituciones de educación superior aplicando los conceptos del Seis Sigma. Los principios de este último permiten perfilar a una institución de educación superior al cumplimiento de la misión e incluso acercarse a las acreditaciones de calidad por medio de la reducción de no conformidades y la mejora de sus procesos. Así, nuestra investigación soporta el criterio de identificación de conformidades, generando una estructura estandarizada para caracterizar el proceso educativo en función de categorías de conformidad según el desempeño académico de los estudiantes. Por otra parte, en el estudio de Ramanan y Kumar (2013) se resalta la efectividad de la herramienta Seis Sigma para el aumento del desempeño en las organizaciones. Sin embargo, en el contexto educativo, el cliente y el producto son fenómenos complejos para describir a diferencia de una industria habitual. La cuestión con la educación superior es que no solo afecta a los proveedores sino 404 también a la sociedad a largo plazo, por lo que en su estudio se propone utilizar la metodología DMAIC para impactar la calidad de la educación en ingeniería a un nivel micro de la institución aprovechando el éxito de su aplicación en problemas complejos en diferentes industrias. Contrario a esta investigación, el enfoque Seis Sigma utilizado por nosotros está diseñado para la estimación macro del desempeño de los sistemas educativos; sin embargo, los resultados permiten adoptar decisiones comparativas para implementar mejores prácticas de otras instituciones exitosas. 6. Conclusión En el presente estudio se evidencia la relevancia de implementar un enfoque de mejora basado en Seis Sigma para articular conceptos de calidad educativa mediante métricas objetivas y estandarizadas. La propuesta evalúa el rendimiento de las universidades a través del análisis exhaustivo de los datos generados en los exámenes estandarizados de los estudiantes al finalizar su etapa de educación universitaria. La implementación de la metodología usando los resultados de las evaluaciones de los programas de ingeniería en Colombia, permitió establecer las métricas Seis Sigma globales del sistema, con un nivel Sigma de 2,17 y un Rendimiento (Y) del 75%. Adicionalmente, la investigación permite realizar un análisis comparativo a nivel general de referencias (benchmarking), porque cada universidad puede saber sobre cuáles competencias debe dirigir sus esfuerzos para alcanzar el nivel de otra. También, es posible observar cómo impacta sobre el nivel Sigma algunas características o atributos de la universidad como la acreditación, certificaciones, investigación, entre otras. Cabe resaltar que en esta investigación se realiza el análisis de la acreditación institucional, lo que deja como evidencia que la acreditación es un factor crucial para aumentar el desempeño individual de los estudiantes y consecuentemente, el desempeño de las instituciones de educación superior. Ahora bien, desde el punto de vista estratégico, la investigación ofrece una visión global del desempeño de las instituciones que componen a un sistema educativo. Además, permite la comparación objetiva de instituciones a través de las métricas estandarizadas del nivel Sigma (Z), Rendimiento (Y) y Defecto por Millón de Oportunidades. Finalmente, como aporte significativo de la investigación se conceptualizan las dimensiones de calidad en relación con las competencias académicas que un estudiante debe desarrollar al finalizar su educación como ingeniero, lo que en esencia permite la valoración cuantitativa y objetiva de los programas universitarios estudiados. Referencias Antony, J. (2014). Readiness factors for the Lean Six Sigma journey in the higher education sector. International Journal of Productivity and Performance Management, 63(2), 257-264. https://doi.org/10.1108/IJPPM-04-2013-0077 Antony, J., Krishan, N., Cullen, D., & Kumar, M. (2012). Lean Six Sigma for higher education institutions (HEIs): Challenges, barriers, success factors, tools/techniques. International Journal of Productivity and Performance Management, 61(8), 940-948. https://doi.org/10.1108/17410401211277165 Bumjaid, S.E., & Malik, H.A.M. (2019). The Effect of Implementing of Six Sigma Approach in Improving the Quality of Higher Education Institutions in Bahrain (SSRN Scholarly Paper ID 3540883). Social Science Research Network. https://papers.ssrn.com/abstract=3540883 Delahoz-Domínguez, E., Guillen-Ibarra, S., & Fontalvo-Herrera, T. (2020). Análisis de la acreditación de calidad en programas de ingeniería industrial y los resultados en las pruebas nacionales 405 estandarizadas, en Colombia. Formación universitaria, 13(1), 127-134. https://doi.org/10.4067/S0718-50062020000100127 Delahoz-Domínguez, E.J., Fontalvo, T.J., & Fontalvo, O.M. (2020). Evaluación de la calidad del servicio por medio de seis sigma en un centro de atención documental en una universidad. Formación universitaria, 13(2), 93-102. https://doi.org/10.4067/S0718-50062020000200093 Delahoz-Domínguez, E., Zuluaga, R., & Fontalvo-Herrera, T. (2020). Dataset of academic performance evolution for engineering students. Data in Brief, 30, 105537. https://doi.org/10.1016/j.dib.2020.105537 Felizzola, H., & Luna, C. (2014). Lean Six Sigma en pequeñas y medianas empresas: Un enfoque metodológico. Ingeniare. Revista Chilena de Ingeniería, 22(2), 263-277. https://doi.org/10.4067/S0718-33052014000200012 Gamal, M. (2011). Reconstructing Six Sigma barriers in manufacturing and service organizations: The effects of organizational parameters. International Journal of Quality & Reliability Management, 28(5), 519-541. https://doi.org/10.1108/02656711111132562 Hien, N.M. (2014). A Study on Evaluation of E-Government Service Quality, 8(1), 4, 16-19. Hsieh, Y.-J., Huang, L.-Y., & Wang, C.-T. (2012). A framework for the selection of Six Sigma projects in services: Case studies of banking and health care services in Taiwan. Service Business, 6(2), 243264. https://doi.org/10.1007/s11628-012-0134-1 ICFES (2019). Guia de orientacion modulos de competencias genericas saber-pro 2019. ICFES. https://www.icfes.gov.co/documents/20143/1518930 ICFES (2020). Bases de datos-Portal Icfes. Bases de datos, Instituto Colombiano para la Evaluación de la Educación - ICFES. https://www.icfes.gov.co/web/guest/investigadores-y-estudiantesposgrado/acceso-a-bases-de-datos#Acceso%20a%20bases%20de%20datos%20y%20diccionarios Ishak, A., Siregar, K., Asfriyati, & Naibaho, H. (2019). Quality Control with Six Sigma DMAIC and Grey Failure Mode Effect Anaysis (FMEA): A Review. IOP Conference Series: Materials Science and Engineering, 505, 012057. https://doi.org/10.1088/1757-899X/505/1/012057 Lee, H., & Kim, C. (2014). Benchmarking of service quality with data envelopment analysis. Expert Systems with Applications, 41(8), 3761-3768. https://doi.org/10.1016/j.eswa.2013.12.008 LeMahieu, P.G., Nordstrum, L.E., & Cudney, E.A. (2017). Six Sigma in education. Quality Assurance in Education, 25(1), 91-108. https://doi.org/10.1108/QAE-12-2016-0082 Lima, P.N.D., Dresch, A., & Lacerda, D.P. (2019). Do socio-economic contextual factors influence SMEs’ service quality A cross-sector and cross-city SERVPERF analysis. International Journal of Business Performance Management, 20(3), 195-211. https://doi.org/10.1504/IJBPM.2019.101998 Lu, J., Laux, C., & Antony, J. (2017). Lean Six Sigma leadership in higher education institutions. International Journal of Productivity and Performance Management, 66(5), 638-650. https://doi.org/10.1108/IJPPM-09-2016-0195 Maguad, B. A., & Krone, R. M. (2012). Managing for Quality in Higher Education. Bookboon. Nadeau, S. (2017). Lean, Six Sigma and Lean Six Sigma in Higher Education: A Review of Experiences around the World, 13, 591-603. https://doi.org/10.4236/aji. 406 Navas, R.K.B., Akash, R.P., Sathish, G., & Azharudeen, J.M. (2016). Six Sigma in Education: Examination Result Analysis Using Six Sigma - A Case Study. 2016 IEEE 4th International Conference on MOOCs, Innovation and Technology in Education (MITE), 245-250. https://doi.org/10.1109/MITE.2016.056 Pineda, P., & Celis, J. (2017). ¿Hacia la universidad corporativa? Reformas basadas en el mercado e isomorfismo institucional en Colombia. Education Policy Analysis Archives, 25, 71. https://doi.org/10.14507/epaa.25.2837 Ramanan, L., & Kumar, D.M. (2013). SIX SIGMA - DMAIC Framework for Enhancing Quality in Engineering Educational Institutions. Six Sigma, 3(1), 36-40. Schroeder, R.G., Linderman, K., Liedtke, C., & Choo, A.S. (2008). Six Sigma: Definition and underlying theory⋆. Journal of Operations Management, 26(4), 536-554. https://doi.org/10.1016/j.jom.2007.06.007 Shokri, A. (2014). Six Sigma in Supply Chain. En U. Ramanathan & R. Ramanathan (Eds.), Supply Chain Strategies, Issues and Models (pp. 63-98). Springer London. https://doi.org/10.1007/978-14471-5352-8_4 Song, H.G., & Lim, S.U. (2015). Assessing pet industry in Korea using service quality improvement gap model. International Journal of Technology, Policy and Management, 15(1), 2-20. https://doi.org/10.1504/IJTPM.2015.067791 Subbarayalu, A.V., & Al Kuwaiti, A. (2017). Development of a six sigma rating scale for measuring the quality of work life of teaching staff working in Saudi Universities. International Journal for Quality Research, 11(2), 397-418. https://doi.org/10.18421/IJQR11.02-10 Suman, G., & Prajapati, D.R. (2018). Statistical analysis of the researches carried out on Lean and Six Sigma applications in healthcare industry. International Journal of Quality Engineering and Technology, 7(1), 1. https://doi.org/10.1504/IJQET.2018.094667 Sunder M.V., & Antony, J. (2018). A conceptual Lean Six Sigma framework for quality excellence in higher education institutions. International Journal of Quality & Reliability Management, 35(4), 857-874. https://doi.org/10.1108/IJQRM-01-2017-0002 Surange, V.G. (2015). Implementation of Six Sigma to Reduce Cost of Quality: A Case Study of Automobile Sector. Journal of Failure Analysis and Prevention, 15(2), 282-294. https://doi.org/10.1007/s11668-015-9927-6 Suresh, K.M., Asokan, P., & Vinodh, S. (2016). Application of design for Six Sigma methodology to an automotive component. International Journal of Six Sigma and Competitive Advantage, 10(1), 1-23. https://doi.org/10.1504/IJSSCA.2016.080446 Svensson, C., Antony, J., Ba-Essa, M., Bakhsh, M., & Albliwi, S. (2015). A Lean Six Sigma program in higher education. International Journal of Quality & Reliability Management, 32(9), 951-969. https://doi.org/10.1108/IJQRM-09-2014-0141 Torres, M., & Vásquez, C.L. (2018). Modelos de evaluación de la calidad del servicio: caracterización y análisis. Revista Científica Compendium, 18(35), 57-76. Visbal-Cadavid, D.A., Martínez-Gómez, M., & Escorcia-Caballero, R. (2020). Exploring University Performance through Multiple Factor Analysis: A Case Study. Sustainability, 12(3), 1-23. https://doi.org/10.3390/su12030924 407 Zambrano, N., & Alá, A. (2014). Implementación de la metodología seis sigma para el mejoramiento continuo del proceso de venta de servicios tecnológicos y comunicacionales en Ecuadortelecom S.A. http://dspace.ups.edu.ec/handle/123456789/6863 Zare, Y. (2011). Six‐Sigma: Methodology, tools and its future. Assembly Automation, 31(1), 79-88. https://doi.org/10.1108/01445151111104209