Detección de patrones dermatoscópicos en lesiones de la piel mediante IA

Proyecto Fin de Carrera Ingeniería de Telecomunicación Formato de Publicación de la Escuela Técnica Superior de Ingeniería Autor: F. Javier Payán Somet Tutor: Juan José Murillo Fuentes Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingeniería Universidad de Sevilla Sevilla, 2013 Trabajo Fin de Grado Grado en Ingeniería de las Tecnologías de Telecomunicación Detección de patrones dermatoscópicos en lesiones de la piel mediante IA Autor: Paula Vázquez Pérez Tutores: Begoña Acha Piñero y Carmen Serrano Gotarredona Dpto. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingeniería Universidad de Sevilla Sevilla, 2023 Trabajo Fin de Grado Grado en Ingeniería de las Tecnologías de Telecomunicación Detección de patrones dermatoscópicos en lesiones de la piel mediante IA Autor: Paula Vázquez Pérez Tutores: Begoña Acha Piñero Catedrática de universidad Carmen Serrano Gotarredona Catedrática de universidad Dpto. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingeniería Universidad de Sevilla Sevilla, 2023 Trabajo Fin de Grado: Detección de patrones dermatoscópicos en lesiones de la piel mediante IA Autor: Paula Vázquez Pérez Tutores: Begoña Acha Piñero y Carmen Serrano Gotarredona El tribunal nombrado para juzgar el trabajo arriba indicado, compuesto por los siguientes profesores: Presidente: Vocal/es: Secretario: acuerdan otorgarle la calificación de: El Secretario del Tribunal Fecha: Agradecimientos Recuerdo perfectamente mi primer día en la escuela, aun sin saber lo complicado que sería el camino. A día de hoy, me siento muy orgullosa por haber podido terminarlo a pesar de las dificultades académicas y estar donde me encuentro. Esto hubiera sido impensable sin contar con las personas que rodean mi vida y lo hacen todo un poquito más fácil. Gracias en primer lugar a mi familia en general y, especialmente, a mis padres, por estar ahí en todo momento y alentarme siempre a ser la mejor versión de mí y apoyarme cuando más lo necesitaba. Gracias mamá, por tu preocupación constante y por celebrar mis méritos tanto o más que yo misma. No dudaste ni por un segundo que lo conseguiría. Gracias a ti, Pedro, mi compañero de vida, porque jamás pensé conocer a una persona tan bonita tanto exterior como interiormente. Siempre has creído en mí, incluso cuando me faltaban fuerzas para hacerlo y me has apoyado hasta el final. Gracias por el cariño incondicional y por hacer de los buenos momentos, mejores. No puedo tener más suerte. Gracias a mis compañeros de la universidad y mis amigos de Huelva, sobre todo por las risas y por hacerme una persona mucho más feliz cuando estoy con vosotros, incluso en los momentos difíciles. Porque si algo tengo que agradecer, es el hecho de haberos conocido y de ser quien soy gracias a vosotros. Especial mención a Iván, por ser un amigo fiel, ofrecerme siempre la mano cuando lo necesito, nuestros momentos de academia y biblioteca y nuestras incontables anécdotas que nunca olvidaré. No dudo que conseguiréis todo lo que os propongáis en la vida. Gracias a mis tutoras Begoña y Carmen, por introducirme en este inmenso mundo de la inteligencia artificial en el ámbito de la medicina y permitirme llevar a cabo esta investigación, por vuestros consejos y vuestra dedicación a nivel profesional. Paula Vázquez Pérez Sevilla, 2023 I Resumen Este documento se centra en la investigación relativa a la detección de patrones de la piel utilizando técnicas de inteligencia artificial. Los patrones de la piel, como lunares, lesiones y estructuras dermatoscópicas, son indicadores importantes para el diagnóstico y seguimiento de enfermedades dermatológicas, incluido el cáncer de piel. El objetivo principal de este estudio es desarrollar un modelo basado en inteligencia artificial capaz de clasificar patrones de la piel en imágenes dermatoscopias. Se implementa mediante un enfoque de aprendizaje profundo utilizando redes neuronales convolucionales (CNN), específicamente a través de Transferencia de Aprendizaje (Transfer Learning) y técnicas de procesamiento de imágenes. El proceso de investigación se divide en varias etapas. Una primera, donde se realiza el análisis y presentación de los datos que serán utilizados en el entrenamiento y desempeño del modelo. A continuación, se realiza la aplicación de un filtrado y preprocesamiento para aportar calidad y mejorar los datos de entrada. Como segunda etapa, se procede al entrenamiento de la red y su posterior evaluación mediante métricas apropiadas, junto con la comparación de los resultados con otros estudios existentes. Finalmente, se presentan las conclusiones y líneas futuras que permiten comprender la viabilidad o no viabilidad del estudio y posibles enfoques a aplicar en trabajos futuros. III XÍndice 3.3 Métricas de evaluación 31 3.3.1 Matriz de confusión 32 3.3.2 Accuracy 33 3.3.3 Precision 33 3.3.4 Recall 33 3.3.5 F1 Score 34 3.3.6 AUC ROC Curve 34 3.4 Hiperparámetros y optimización 35 3.4.1 Batch size (tamaño de lote) 35 3.4.2 Learning rate (tasa de aprendizaje) 35 3.4.3 Epochs (épocas) 36 4 Resultados 37 4.1 Preparación de los datos de entrada 37 4.1.1 Procesamiento de imágenes RGB 37 4.1.2 Codificación de etiquetas 37 4.2 Pruebas de red 37 4.2.1 Primera prueba de red 38 Clases totalmente desequilibradas 39 Clases semiequilibradas 41 4.2.2 Segunda prueba de red 44 Clases totalmente desequilibradas 44 Clases equilibradas 47 4.3 Mejores resultados ISIC Challenge 2018 Task 2 49 4.3.1 NMN team 50 Preprocesamiento y data augmentation 50 Arquitecturas de red y segmentación 50 Resultados 50 4.3.2 Le-Health 50 5 Conclusiones y líneas futuras 53 Índice de Figuras 55 Índice de Tablas 57 Bibliografía 59 1 Introducción En este capítulo introductorio se presenta el principal objetivo que se pretende conseguir a través de esta investigación, así como el tema a desarrollar. 1.1 Motivación La aplicación de la Inteligencia Artificial se encuentra cada vez más a la orden del día en muchos ámbitos de la vida. Concretamente, en el campo de la investigación y la medicina, brinda gran cantidad de facilidades que permite procesar y analizar datos y, por lo tanto, ofrecer una mejor gestión sanitaria. La incidencia del cáncer de piel ha aumentado a nivel mundial en los últimos años, convirtiéndose en uno de los cánceres más comunes y se espera que en las próximas décadas, esta tendencia siga al alza. El melanoma en particular, a pesar de ser el menos común, se trata del cáncer de piel más agresivo y potencialmente mortal. Un diagnóstico oportuno y precoz, juega un papel de extrema relevancia, ya que esto supondría una mejora en el diagnóstico, lo que favorece al aumento en las posibilidades de supervivencia de los pacientes y una mejora en el resultado terapéutico. El objetivo de esta investigación radica en ayudar en la identificación a través de la evaluación de lesiones cutáneas y así poder ofrecer un diagnóstico efectivo, tal y como se ha mencionado anteriormente. El desarrollo de una herramienta complementaria de apoyo que pueda favorecer el criterio sólido y seguro, en el menor tiempo posible, de los dermatólogos y expertos en este área. 1.2 Contexto y relevancia El melanoma es un tipo de cáncer de piel que se origina en los melanocitos 1 . La gran mayoría de melanomas se producen por exposiciones continuadas o intermitentes al sol, ya que los daños producidos por dicha radiación superan a la capacidad del cuerpo para repararlos y, por tanto, se producen mutaciones en los melanocitos que hacen que pierda el control de su proliferación. Si esta proliferación no es detenida por las propias células o si el sistema inmune no es capaz de detectarlas y destruirlas, aparece el melanoma [1]. Otros factores que juegan un papel importante en el aumento de riesgo de melanoma incluyen irritación mecánica o química continua, baja pigmentación de la piel y predisposición genética. 1 Células que se encargan de producir melanina, lo que da lugar al color de la piel y cuya función es la protección contra los rayos UV producidos por el sol. 1 2Capítulo 1. Introducción Figura 1.1 Melanoma a nivel interno de la piel [2]. En las últimas décadas, se ha duplicado su incidencia y aumenta progresivamente más rápido que cualquier otro cáncer. Suele afectar a personas jóvenes y de edad media, a diferencia de otros tumores, que son más comunes en personas de edad avanzada. En los países desarrollados, se estima que alrededor de 7,9 personas por cada 100000 son afectadas por el melanoma anualmente. Sin embargo, esta cifra varía según la ubicación geográfica, siendo Australia y Nueva Zelanda las regiones con tasa más alta, debido a la alta radiación UV, con aproximadamente 33,6 casos por cada 100000 [3]. Teniendo en cuenta las cifras presentadas anteriormente, el diagnóstico precoz juega un papel crucial, ya que al identificar y diagnosticar la enfermedad en sus etapas iniciales cuando el cáncer es más localizado, se puede lograr un impacto significativo en la reducción de la mortalidad. Por otro lado, se proporciona una ventana de oportunidad para iniciar un tratamiento efectivo de manera oportuna, lo que se traduce en un aumento de las posibilidades de recuperación, así como la reducción en la gravedad de los procedimientos médicos necesarios y la aplicación de técnicas menos invasivas. Figura 1.2 Tasas de incidencia de melanoma estandarizadas por edad estimadas en 2020 [4]. 2 Marco teórico 2.1 Diagnóstico de lesiones cutáneas: Dermatoscopia La exploración en dermatología es eminentemente visual. Por este motivo, se utilizan técnicas diagnósticas como la dermatoscopia, sencilla y no invasiva, que utiliza un sistema con luz no polarizada que permite eliminar el reflejo superficial de la piel para mejorar la visualización de los niveles más profundos [ 5 ]. Su correcta aplicación permite incrementar la certeza diagnóstica entre un 5 y un 30% respecto del examen clínico visual, además de ayudar en la decisión sobre qué lesiones son clínicamente sospechosas y, por tanto, candidatas a resección o biopsia1. De esta manera, la dermatoscopia incrementa tanto la sensibilidad como la especificidad para la detección temprana de tumores malignos, reduciendo además el número de extirpaciones innecesarias de tumores benignos. 2.1.1 Método en dos etapas El procedimiento diagnóstico en dermatoscopia más utilizado por la mayoría de grupos de trabajo en todo el mundo se denomina ‘método diagnóstico en dos etapas’ y se utiliza para evaluar lesiones pigmentadas, tal y como se presenta en la figura 2.1. En la primera etapa, se lleva a cabo la distinción entre lesión de origen melanocítico o no melanocítico. Las lesiones melanocíticas son aquellas formadas por un aumento de los melanocitos y las no melanocíticas, por otro lado, suponen la proliferación de células diferentes a los melanocitos y causando posibles alteraciones en la queratinización de la piel. Una vez identificados las características y patrones que permite identificar una lesión como melanocítica, se aplica la segunda etapa, a través de la cual se distingue la lesión como benigna, sospechosa o maligna [6]. Primera etapa La primera parte del algoritmo, como bien se ha presentado anteriormente, consiste en discernir si una lesión es melanocítica o no melanocítica. La lesión se somete a la evaluación de siete patrones diferentes característicos de lesiones melanocíticas [6]: • Patrón reticular (red de pigmento o retículo pigmentado): red de líneas marrones o negras sobre un fondo claro que suele ir acompañado de un retículo pigmentado en la periferia. • Patrón globular (puntos y glóbulos): estructuras redondas u ovaladas bien delimitadas de más de 0.1 milímetros que representan pigmento localizado. Pueden agregarse o ubicarse a lo largo de la periferia de una lesión y su color determina la capa de la piel a la que afecta. • Patrón en estallido de estrellas (proyecciones radiales y pseudópodos): estructuras lineales rectas de color marrón o negro que surgen del borde de la lesión hacia la periferia. 1Extracción de una cantidad de tejidos o células para posteriormente ser analizadas en un laboratorio. 3 4Capítulo 2. Marco teórico Figura 2.1 Esquema del método en dos etapas [6]. • Patrón homogéneo azul (pigmentación azul homogénea): área homogénea de color azul que abarca todo el área de la lesión, encontrándose ausente retículo pigmentado y otras estructuras. • Patrón paralelo: pigmento distribuido en forma de líneas paralelas, característico de lesiones de palmas y plantas. •Patrón multicomponente: lesión que presenta tres o más estructuras diferentes. (a) (b) (c) (d) (e) (f) Figura 2.2 (a) Patrón reticular. (b) Patrón globular. (c) Patrón en estallido de estrellas. (d) Patrón homogéneo azul. (e) Patrón paralelo. (f) Patrón multicomponente. [7]. Si se identifica la existencia de alguno de los patrones presentados, se procede a aplicar la segunda etapa del algoritmo, desarrollada en el apartado 2.1.1. 2.1 Diagnóstico de lesiones cutáneas: Dermatoscopia 5 Por el contrario, si ninguno de los patrones anteriores se identifica en la lesión, se proceden a evaluar los criterios dermatoscópicos correspondientes para lesiones no melanocíticas [6]: • Patrón de dermatofibroma: presenta una red delicada marrón y se caracteriza especialmente por una zona blanca central, similar a una cicatriz. • Patrón de carcinoma basocelular: en ausencia de una red de pigmento, criterios como la presencia de estructuras marrones, glóbulos de color azul-grisáceo o ulceración 2 , son determinantes. • Patrón de queratosis seborreica: puede presentar quistes o pseudoquistes tipo millium, tapones córneos, bordes con muescas bien delimitadas, crestas y fisuras, estructuras con aspecto de huella dactilar y vasos en horquilla. • Patrón de angioma o angioqueratoma: en ausencia de los patrones anteriores, se caracteriza por la presencia de lagunas rojas, rojo-azuladas o casi negras. • Estructuras vasculares de lesión no melanocítica: son lesiones sin rasgos distintivos, que en ausencia de los criterios anteriores, se identifican por tener un color rosado o ser parcialmente pigmentadas. (a) (b) (c) (d) (e) Figura 2.3 (a) Patrón de dermatofibroma. (b) Patrón de carcinoma basocelular. (c) Patrón de queratosis seborreica. (d) Patrón de angioma o angioqueratoma. (e) Estructuras vasculares de lesión no melanocítica. [7]. Haciendo referencia a los niveles 6 y 7 de la figura 2.1, corresponden con las categorías por defecto al no hallar ningún patrón correspondiente de los anteriores presentados identificativos de lesiones melanocíticas o no melanocíticas y deben someterse a la segunda etapa del algoritmo. Para todas las estructuras del nivel 7, lesiones que no corresponden con ningún criterio, es imprescindible descartar el melanoma y deben ser derivadas. 2 Proceso patológico que puede conducir a la pérdida de la integridad de la piel y, por tanto, producir la formación de un cráter. 6Capítulo 2. Marco teórico Segunda etapa En este segundo paso, se procede a la evaluación de la neoplasia melanocítica 3 para determinar si la lesión es benigna o sospechosa o maligna. Los métodos más utilizados son: el método cualitativo de análisis de patrones y los métodos semicuantitativos de la Regla del ABCD, el método de Menzies y la Lista de los 7 puntos de Argenziano. A continuación se desarrolla cada método en profundidad. 1. Análisis de patrones: es el método más utilizado por muchos expertos [ 6 ]. En general, se determina que una lesión melanocítica es maligna cuando presenta características tales como: •Policromía: cinco o más colores. • Patrón multicomponente: tres o más estructuras diferentes, como pueden ser glóbulos, retículo invertido o proyecciones. •Proyecciones radiales, pseudópodos y áreas sin estructura en la periferia. •Crisálidas: líneas blancas entrecruzadas similares a cicatrices. • Estructuras de regresión: patrón reticular con mayor variabilidad del color y espesor de las líneas, despigmentación o puntos azul-gris. •Estructuras atípicas: diferentes tamaños, formas y asimetría. 2. Regla del ABCD: fue el primer método alternativo al “análisis de patrones” y se pretendía facilitar el diagnóstico a aquellos observadores menos experimentados en la técnica [ 8 ], además de haber demostrado mejorar la especificidad. Se basa en la valoración de cuatro criterios: • Asimetría: se divide la lesión pigmentada en dos ejes de 90°, intentando conseguir la mayor simetría posible. Se valora la simetría con respecto al color, forma y estructura en ambos lados, y se asigna una puntuación de 0 a 2 (de menor a mayor asimetría). • Bordes: cada lesión se divide en ocho segmentos y se puntúa con 1 cada segmento que tenga una finalización abrupta del borde. De esta manera, se tendrá una puntuación de entre 0 y 8. • Color: se valora y puntúa con 1 la presencia de los colores blanco (si es más claro que la piel adyacente), marrón claro, marrón oscuro, azul-gris, rojo y negro. Teniendo esto en cuenta, la puntuación irá de 1 a 6. • Determinadas estructuras: se puntúa con 1 la presencia de las estructuras de puntos, glóbulos, áreas desestructuradas, retículo pigmentado y ramificaciones lineales. La puntuación máxima será de 5 y la mínima de 1. Posteriormente, se multiplica cada puntuación obtenida por un factor de corrección, tal y como se representa en la figura 2.4. Finalmente, se suman las puntuaciones obtenidas anteriormente y se obtiene el índice dermatoscópico total (TDS), que determina si una lesión es benigna, sospechosa o maligna. 3. Método de Menzies: es un método que se compone de la valoración de once criterios dermatoscópicos. Exige la ausencia de criterios negativos y al menos la existencia de un criterio positivo para el diagnóstico de malignidad [6]. •Criterios negativos: – Simetría: no se valora la simetría de la forma, sino la de los patrones dermatoscópicos. – Monocromía: se evalúan los colores marrón claro, marrón oscuro, rojo, azul, negro y gris. 3Masa anormal de tejido de la piel que se produce por la multiplicación descontrolada de los melanocitos. 2.1 Diagnóstico de lesiones cutáneas: Dermatoscopia 7 Figura 2.4 Regla del ABCD [8]. •Criterios positivos: –Velo azul-blanco. –Múltiples puntos marrones. –Pseudópodos. –Proyecciones radiales. –Despigmentación pseudocatrizal. –Puntos/glóbulos negros periféricos. – Múltiples colores (al menos cinco de los seis nombrados en los criterios negativos). –Múltiples puntos gris-azul. –Retículo pigmentado prominente. 4. Método de los 7 puntos de Argenziano: es una simplificación del método de “análisis de patrones” y tiene en cuenta siete parámetros dermatoscópicos a identificar [6]: •Retículo pigmentado atípico. •Velo azul-blanco. •Patrón vascular atípico. •Proyecciones irregulares. •Estructuras de regresión. •Mancha de pigmento asimétrica. •Puntos y glóbulos irregulares. La presencia de cada característica, tiene asignado un peso correspondiente, tal y como se representa en la figura 2.5. Para finalizar, se realiza la suma de las puntuaciones obtenidas y, si el resultado es igual o superior a 3, se diagnostica la lesión como melanoma. En la tabla que se presenta en la figura 2.6, se visualiza la sensibilidad y especificidad para cada método, siendo esta última superior para el “análisis de patrones” debido a la complejidad del algoritmo. 8Capítulo 2. Marco teórico Figura 2.5 Método de los 7 puntos de Argenziano [8]. Figura 2.6 Comparación de los métodos de la segunda etapa [8]. 2.2 Inteligencia Artificial No existe una definición exacta para presentar el concepto de Inteligencia Artificial (IA), ya que se trata de un concepto muy amplio y complejo que surgió en la década de 1950. Puede presentarse como una rama de las ciencias computacionales que aborda el estudio de modelos que simulan funciones cognitivas propias de la mente humana, tales como el aprendizaje y su aplicación en la toma de decisiones. 2.2.1 Antecedentes en dermatología El diagnóstico de lesiones cutáneas está sujeto a un fuerte componente de subjetividad respecto a la evaluación del observador. La incorporación de la IA en dermatopatología 4 para evaluación diagnóstica, comenzó a finales del siglo pasado. En poco más de una década, se ha pasado de elaborar un primer sistema de clasificación de un conjunto de lesiones melanocíticas entre benignas o malignas a obtener sorprendentes resultados que aseguran una alta precisión en la detección del cáncer de piel. En 2003 se desarrolló el primer prototipo para el diagnóstico de las lesiones pigmentadas de la piel asistido por ordenador mediante redes neuronales artificiales: diagnóstico y análisis neuronal del cáncer de piel (proyecto DANAOS, Diagnostic and Neural Analysis of Skin Cancer) [ 9 ]. El algoritmo se diseñó en 13 centros dermatológicos de 9 países europeos. La base de datos utilizada, estaba formada por 2218 imágenes que pudieron ser segmentadas, 968 con correlación histopatológica, 4Especialidad de la dermatología que estudia las enfermedades y afecciones de la piel a nivel microscópico. 2.2 Inteligencia Artificial 9 para entrenar al sistema en el reconocimiento y diferenciación de lesiones melanocíticas benignas de presuntos melanomas. Factores de las imágenes de las lesiones tales como el porcentaje de asimetría, la irregularidad de los bordes, la variación del color o la textura, se evaluaron y expresaron al modelo mediante índices. El sistema experto resultante mostró un rendimiento comparable en sensibilidad y especificidad al criterio de los dermatólogos formados en dermatoscopia. Años más tarde, en 2017, un grupo de científicos diseñó e implementó el uso de una deep convolutional neural network (CNN), ya que dichas redes mostraban gran potencial para tareas generales y altamente variables a través de muchas categorías de objetos [ 10 ]. La base de datos estaba compuesta por 129450 imágenes clínicas, dos órdenes de magnitud superiores a los conjuntos de datos utilizados en investigaciones anteriores de lesiones de melanoma y lesiones benignas. Utilizando una arquitectura y técnicas de aprendizaje profundo, la CNN fue capaz de extraer características y aprender patrones distintivos de las imágenes asociados con el cáncer de piel. En la figura 2.7 se representa la estructura de red a nivel interno. El modelo resultante demostró un rendimiento muy bueno en la clasificación de melanoma maligno y, al evaluarlo con un conjunto de datos independientes, la precisión de la red era comparable a la de dermatólogos expertos. Figura 2.7 Arquitectura Deep convolutional neural network 2017 [10]. Dicha investigación fue considerada un hito muy significativo en el ámbito de la dermatología, ya que los resultados confirman el impacto positivo de incorporar CNNs en los ámbitos de clasificación e identificación de patrones de lesiones pigmentadas mediante inteligencia artificial. 2.2.2 Subcampos de estudio La Inteligencia Artificial se subdivide principalmente en dos áreas, tal y como se muestra en la figura 2.8, que se centran en el desarrollo de algortimos y modelos capaces de tomar decisiones a partir de datos: el Aprendizaje Automático (ML, Machine Learning) y el Aprendizaje Profundo (DL, Deep Learning). Figura 2.8 Áreas de la Inteligencia Artificial [11]. 16 Capítulo 2. Marco teórico los datos. Repiten la misma tarea para cada elemento en una secuencia y la salida se basa en los cálculos anteriores, almacenados en una “memoria”. En la figura 2.20 se muestra su funcionamiento. En la decodificación de una frase, por ejemplo, las neuronas en las RNNs comparten los pesos para cada iteración temporal y, por tanto, se consigue una comprensión más precisa [22]. Figura 2.20 Desarrollo de una celda RNN [23]. • Redes neuronales generativas antagónicas (GANs, Generative Adversarial Neural Networks): un aspecto clave de estas redes es que utilizan una cantidad de parámetros significativamente menor de lo que suele utilizarse para el entrenamiento. Se componen de un discriminador y un generador que funcionan en paralelo. El objetivo del generador es el de producir una salida falsa, lo más parecida posible a la salida real que pueda confundir al discriminador a la hora de diferenciar los datos reales de los falsos. En estas redes se siguen tres pasos [22]: 1. El generador utiliza números aleatorios a partir del ruido introducido y genera una imagen que se pasa al discriminador junto con imágenes obtenidas del conjunto de datos original. 2. El discriminador evalúa las imágenes y proporciona como salida un conjunto de probabilidades. Una salida cercana a 0, significa que el dato es falso y una salida cercana a 1, que el dato es auténtico. 3. La red discriminadora retroalimenta al generador para entrenar y mejorar sus resultados. Figura 2.21 Algoritmo GAN [23]. Entre las aplicaciones más destacadas se encuentran la generación de imágenes o texto y la traducción automática. • Autocodificadores (AE, Autoencoders): emplean el aprendizaje no supervisado y constan de dos partes principales, que son el codificador y decodificador. El codificador recibe la entrada y la transforma en una representación de menor dimensionalidad, denominada espacio latente, 2.2 Inteligencia Artificial 17 lo que obliga a la red a aprender representaciones más útiles y significativas de los datos. Durante el proceso de entrenamiento, el codificador aprende un conjunto de características a partir de los datos de entrada, al mismo tiempo que el decodificador se entrena para reconstruir los datos de entrada a través de las mismas características [ 23 ]. La estructura se representa en la figura 2.22. Son ideales para la eliminación de ruido, generación de datos sintéticos y detección de anomalías. Figura 2.22 Estructura de un autocodificador [23]. • Redes de creencias profundas (DBNs, Deep Belief Network): se denomina DBN a la combinación entre las diferentes neuronas a través de las cuales se establece una conexión para cada red. Están formadas por la Red de Creencia y la Máquina de Boltzmann Restringida (RBM, Restricted Boltzmann Machine). Una Red de Creencia consta de capas de unidades binarias generadas aleatoriamente, donde el valor de cada una (entre 0 y 1) dependerá de la función de peso que se le asigne a dicha capa. El aprendizaje capa por capa permite entender cómo una variable en una capa puede relacionarse con variables en otras capas e inferir sus valores, comenzando desde la capa inferior y utilizando una función de peso generativa en la dirección opuesta [22]. La Máquina Restringida de Boltzmann es una RNN que cuenta con unidades binarias generadas aleatoriamente y conexiones no dirigidas entre ellas, además de presentar conexiones restringidas entre las unidades ocultas para facilitar el aprendizaje y evitar la complejidad computacional excesiva. Figura 2.23 Estructura DBN [24]. Las DBNs se aplican en ámbitos tales como el reconocimiento de patrones y el procesamiento del lenguaje natural. 18 Capítulo 2. Marco teórico • Redes neuronales convolucionales (CNNs, Convolutional Neural Networks): están diseñadas con aprendizaje supervisado y procesa sus capas imitando al cortex visual del ojo humano para procesar características de los datos que vienen dados en forma de múltiples matrices. Son redes más profundas, ya que se componen de un número de capas superior al de las redes anteriores para poder modelar funciones más complejas, lo que las hace muy útiles en tareas de clasificación o reconocimiento de imágenes y vídeos, así como en procesamiento del lenguaje natural [25]. En el presente trabajo, se hace uso de una CNN para el reconocimiento de patrones en imágenes y, por lo tanto, es conveniente fijar las bases y desarrollar este concepto en mayor profundidad en la siguiente sección. 2.2.3 CNNs La historia de las redes neuronales convolucionales se remonta a 1959, cuando Hubel y Wiesel descubren que las células en la corteza visual de los animales son las responsables de detectar la luz en campos receptivos. Inspirado en este descubrimiento, Kunihiko Fukushima propuso el ‘neocognitron’ en 1980, conocido como el precursor de la CNN. Años más tarde, en 1990, LeCun et al. publicaron un artículo fundamental que supuso el establecimiento del marco moderno de las CNN, desarrollando una red neuronal multicapa denominada ‘LeNet-5’ cuyo objetivo era clasificar dígitos a mano. Es una red multicapa que puede entrenarse por medio del algoritmo de backpropagation y que permite detectar patrones directamente de los píxeles de las imágenes sin la necesidad de un preprocesamiento anterior. Dicho hallazgo marcó un hito en este campo y sentó las bases de las redes neuronales convolucionales actuales como técnica fundamental en el procesamiento de imágenes y en problemas de visión por computadora [26]. Procesamiento de imágenes Como ya se ha mencionado anteriormente, las CNN procesan principalmente como entrada un conjunto de imágenes. Para un ordenador, una imagen se representa como una cuadrícula de números o valores de píxeles que indican el nivel de oscuridad de cada píxel. Una imagen en color, se compone de tres canales: rojo, azul y verde (RGB, Red Green Blue), y cada canal se representa como una matriz de valores de píxeles que van del 0 al 255. La representación automática consiste en la superposición de estas tres matrices cuyo tamaño viene determinado por el ancho y el alto de la imagen. Por otro lado, las imágenes en escala de grises solo tienen un canal, es decir, una única matriz cuyos valores están comprendidos entre 0 y 255, donde el 0 representa el negro y 255 el blanco [27]. Figura 2.24 Imagen RGB [27]. 2.2 Inteligencia Artificial 19 Arquitectura básica La diferencia entre las redes neuronales artificiales y las redes neuronales convencionales, reside en la capacidad de las primeras para capturar de manera efectiva las relaciones espaciales y temporales de una imagen al aplicar los filtros adecuados. La arquitectura se adapta de manera óptima a los parámetros de entrada y, por tanto, puede entrenarse la red para comprender mejor la complejidad de las imágenes [27]. Están constituidas por tres tipos de capas que se aplican en dos etapas: la primera etapa está constituida por capas convolucionales (convolutional layers) y por capas de submuestreo (pooling layers), y la segunda etapa por capas completamente conectadas (fully-connected layers). • Capas convolucionales: juegan un papel fundamental en el funcionamiento de la red. Los parámetros de las capas se centran en el uso de filtros o kernels aprendibles que suelen ser pequeños en dimensionalidad espacial, pero se extienden a lo largo de la profundidad de la entrada. Los datos son convolucionados por cada filtro para producir un mapa de activación bidimensional, donde se recogen qué características se activan para diferentes partes de la entrada. Esta convolución consiste en la suma de todas las multiplicaciones punto a punto del filtro con los valores de los píxeles correspondientes. A partir de estos cálculos, la red aprende qué kernels se activan cuando detectan características específicas (como pueden ser bordes, texturas o patrones) en ubicaciones particulares de la entrada. Las capas convolucionales producen como salida una pila con todos los mapas de activación [28]. En la figura 2.26 se representa el funcionamiento descrito. El concepto de sesgo o bias que se suma tras realizar los cálculos de convolución, permite a la red neuronal aprender una respuesta no lineal, incluyendo el caso en que todas las entradas son cero, lo que mejora la capacidad de la red para la identificación de patrones de manera más efectiva. También llama la atención la existencia de ceros alrededor de las matrices de los datos de entrada. Esto se denomina zero-padding, y consiste en agregar ceros alrededor de mapas de características antes de la convolución con el objetivo de preservar el tamaño espacial y conservar información importante. Sin zero-padding, cada capa reduciría el tamaño de sus mapas de características con la consiguiente pérdida de información, además de perder datos importantes gradualmente sobre los píxeles de los bordes de una imagen. Figura 2.25 Capa convolucional para imagen RGB [27]. 20 Capítulo 2. Marco teórico • Capas de submuestreo: se encargan de reducir la dimensionalidad de los mapas de activación que reciben como entrada, con la finalidad de reducir el número de parámetros y complejidad computacional del modelo. Además, son muy útiles en lo referente a la extracción de características dominantes que son invariantes a rotaciones y posiciones, lo que contribuye a un entrenamiento efectivo del modelo. Existen dos tipos de submuestreo [27]: 1. Max Pooling: selecciona el valor máximo dentro de una región de la imagen cubierta por el kernel, además de funcionar como un supresor de ruido descartando completamente las activaciones ruidosas. 2. Average Pooling: calcula el promedio de los valores dentro de la región de la imagen cubierta por el kernel. A diferencia del Max Pooling, simplemente reduce la dimensionalidad como mecanismo para supresión del ruido. Por lo tanto, se puede concluir que en términos de supresión de ruido y preservación de características, el Max Pooling es mejor opción que el Average Pooling. Figura 2.26 Algoritmos de capa de submuestreo [27]. • Capas completamente conectadas: suelen encontrarse al final de la red neuronal convolucional y son las responsables de realizar la clasificación o regresión final basándose en las características extraídas de las demás capas. Toman todas las salidas de neurona de la capa anterior y las conectan con cada neurona de la capa actual, lo que permite generar información semántica global en la red. En otras palabras, estas capas establecen conexiones densas entre todas las neuronas, lo que facilita la captura de características y relaciones más complejas y abstractas de los datos [26]. La última capa de las CNN es la capa de salida, también denominada clasificador. Uno de los clasificadores más utilizados es el que utiliza la función de activación softmax que se explica en la sección 2.2.2 y que proporciona como salida las probabilidades asociadas a cada clase. Esta distribución de capas se representa en la figura 2.27 aplicada a la red ‘LeNet-5’ que se presentó al inicio de la sección, donde el concepto ‘Subsampling layer’ es referido a capas de submuestreo. Figura 2.27 Arquitectura LeNet-5 [26]. 2.2 Inteligencia Artificial 21 Arquitecturas avanzadas Antes de introducir las arquitecturas más conocidas y utilizadas en el mundo de las redes neuronales convolucionales hoy día, es importante conocer su origen. El reto ImageNet de reconocimiento visual a gran escala (ILSVRC, ImageNet Large Scale Visual Recognition Challenge) es una competencia destacada en la clasificación y detección de categorías de objetos para un amplio conjunto de imágenes. Este desafío se celebró anualmente durante los años 2010 a 2017, con más de cincuenta instituciones participantes, y supuso un proyecto fundamental en el avance de visión por computadora y la investigación en el campo del aprendizaje profundo en el reconocimiento de objetos a gran escala. Siguiendo el modelo del desafío PASCAL VOC, establecido en 2005, el ILSVRC está constituido por dos componentes [29]: 1. Un conjunto de datos o dataset público dividido en dos partes. La primera parte se encuentra formada por imágenes para entrenamiento y, la segunda, por imágenes de prueba destinadas a la evaluación de los algoritmos. Los participantes entrenan sus respectivos algoritmos y posteriormente envían las anotaciones automáticas de las imágenes de prueba al servidor de evaluación. 2. Una competencia anual y su taller correspondiente. En la competencia, los participantes presentan los algoritmos entrenados y son evaluados para un conjunto de imágenes de prueba no utilizadas anteriormente. Los resultados se presentan al final, y se invita a los autores a compartir y debatir sus ideas aprendidas en un taller correspondiente en la Conferencia Internacional de Visión por Computadora (ICCV, International Conference on Computer Vision) o en la Conferencia Europea de Visión por Computadora (ECVV, European Conference on Computer Vision) en años alternativos. Las redes convolucionales más utilizadas actualmente, fueron algoritmos desarrollados y presentados a lo largo de esta competición. A continuación, se describen las principales arquitecturas de red : • AlexNet: fue desarrollada por Alex Krizhevsky, Ilya Sutskever and Geoff Hinton y ganadora del ILSVRC en 2012, obteniendo el top 1 y el top 5 en cuanto a tasa de errores en el conjunto de datos de prueba. La estructura era similar a la ‘LeNet-5’, con la diferencia de disponer las capas convolucionales apiladas en vez de alternarlas con las capas de submuestreo. Fue un hito importante en este ámbito, ya que era más grande y profunda que el resto de redes que se conocían hasta el momento, con 8 capas de aprendizaje y más de 60 millones de parámetros [30]. • GoogleNet: también conocida como ‘Inception-v1’, es una arquitectura de red que fue presentada por Szegedy et al. de Google, y que ganó el desafío de ImageNet en el año 2014. Está formada por 22 capas del módulo ‘Inception’, aunque con un número reducido de parámetros en comparación con la red anterior (4 millones de parámetros). Gracias a esta reducción significativa, la principal ventaja que presenta es la mejora en el aprovechamiento de los recursos computacionales [30]. • VGGNet: desarrollada por Karen Simonyan y Andrew Zisserman, fue el algoritmo subcampeón en 2014. Su estructura está formada por hasta 19 capas convolucionales, con filtros de tamaño 3x3, y capas completamente conectadas. Actualmente, es la red más utilizada en cuanto a la extracción de características de imágenes, con la desventaja de manejar un mayor número de parámetros del orden de 138 millones. Sus resultados sobresalientes en el ILSVRC, impulsaron las bases de la investigación de redes neuronales más profundas y sofisticadas [32]. • ResNet: en la ILSVRC de 2015, Kaiming et al. introdujeron el concepto de conexiones residuales. Las capas en una red aprenden funciones residuales en lugar de aprender funciones 22 Capítulo 2. Marco teórico sin referencias directas de los datos de entrada. Este enfoque ha demostrado ser especialmente beneficioso en lo referente a la optimización y precisión en el entrenamiento. A pesar de estar formada por 152 capas, gracias al uso de las conexiones residuales, exige menos complejidad que la red anterior. Por otro lado, el principal inconveniente es la gran cantidad de parámetros que se necesitan, aunque existe la posibilidad de reducir este número con la eliminación de la primera capa totalmente conectada sin que ello afecte al rendimiento [30]. Figura 2.28 Comparativa de las tasas de error y número de capas entre arquitecturas [32]. 2.2.4 Transfer Learning El Transfer Learning o Aprendizaje por Transferencia, se basa en la idea de la capacidad de los seres humanos de transferir conocimientos de un dominio a otro, y busca aplicar dicha capacidad en el ámbito del aprendizaje automático. Su objetivo radica en utilizar el conocimiento adquirido en un dominio fuente, para mejorar el rendimiento del aprendizaje en un dominio destino relacionado o reducir la cantidad de ejemplos etiquetados necesarios. La idea fundamental consiste en aplicar el conocimiento y las representaciones aprendidas para ayudar a un algoritmo de aprendizaje en el dominio de interés. En la práctica, una persona que sabe tocar algún instrumento musical, como el piano, tendrá más facilidades a la hora de aprender a tocar el violín, por ejemplo, ya que al ser ambos instrumentos musicales, pueden compartir conocimientos en común [ 31 ]. En el campo de las redes neuronales artificiales, implica utilizar una red ya entrenada en un elevado conjunto de datos de referencia para resolver un problema similar. Esta adaptación se realiza a través del ajuste de los pesos o parámetros de la red entrenada en base a los datos de la nueva tarea objetivo. Debido al coste computacional que exigen tales modelos, es común importar y utilizar modelos preentrenados, entre los cuales destacan las redes mencionadas en el apartado 2.2.3. En este trabajo, concretamente, se aplica la técnica de ‘Transfer Learning’ y se utiliza una red VGGNet (VGG16, VGGNet con 16 capas) ya preentrenada y cuyos parámetros se adaptan para la realización de la tarea de clasificación de patrones dermatoscópicos de la piel. 3 Metodología Un a vez introducido el contexto teórico, se procede a la aplicación de dichos conceptos en el marco de evaluación. Se realiza un análisis en profundidad de los datos utilizados, la estructura que constituye la red empleada y las estrategias aplicadas y parámetros adaptados durante las etapas de entrenamiento y prueba o evaluación del modelo. 3.1 Base de datos La International Skin Imaging Collaboration (ISIC) es una asociación creada con el fin de facilitar la aplicación de las imágenes digitales de la piel para ayudar a reducir la mortalidad por melanoma. En la actualidad, se dedica al desarrollo de estándares propuestos para la mejora de calidad, privacidad e interoperabilidad de las imágenes digitales de la piel mediante la participación de las comunidades de dermatología y de tecnologías de la información y comunicaciones en la mejora de los diagnósticos. Para apoyar a dichas comunidades, el ISIC pone a disposición recursos como archivos de imágenes, de código abierto y acceso público, disponible tanto para ámbitos como la enseñanza y la investigación como para desarrollo y prueba de algoritmos de inteligencia artificial de diagnóstico. Contiene más de 13000 imágenes dermatoscópicas analizadas por expertos en esta área de la medicina y que se recolectaron a través de dispositivos instalados en los principales centros clínicos a nivel nacional [33]. A partir de 2016, ISIC ha patrocinado desafíos anuales para la comunidad informática en asociación con las principales conferencias sobre visión artificial. El desafío de 2018, concretamente, se centra en el reconocimiento automatizado del cáncer de piel mediante el desarrollo de tres tareas: métodos de segmentación de los límites de las lesiones, detección de atributos clínicos y clasificación de enfermedades en imágenes dermatoscópicas. En cada tarea, los participantes debían enviar predicciones automáticas en un conjunto de prueba de los datos, además de adjuntar un manuscrito con la redacción de los métodos utilizados en la generación de dichas predicciones. La red propuesta en secciones posteriores se modela en base a la segunda tarea referente a la detección de atributos clínicos. En los siguientes puntos se detalla en profundidad la estructura de los datos proporcionados y utilizados para el desarrollo de la red en cuestión. 3.1.1 Tarea 2: Detección de atributos de lesiones Consiste en la identificación en las imágenes dermatoscópicas de atributos o patrones cutáneos visuales clínicamente significativos. Los atributos a identificar, ya presentados en la sección 2.1.1, son los siguientes: •Pigment network. •Negative network. 23 24 Capítulo 3. Metodología •Streaks. •Milia like cyst. •Globules (dots included). Importante destacar que en esta investigación se realiza un ajuste del objetivo del challenge en cuanto a la detección de los atributos, ya que en este caso concreto no se aplica segmentación. 3.1.2 Datos de entrada Los datos de entrada son imágenes de lesiones dermatoscópicas de pacientes presentados para detección de cáncer de piel y realizadas con varios tipos de dermatoscopios, de todas las partes anatómicas, exceptuando mucosa y uñas. Todas las imágenes se encuentran en formato JPEG y se nombran utilizando el esquema ISIC_<image_id>.jpg, donde image_id es un identificador único de 7 dígitos [34]. Figura 3.1 Ejemplos de nombrado de los datos de entrada. 3.1.3 Datos de respuesta También denominados ground truth o verdad de referencia, son imágenes de máscara binaria en formato PNG generadas y supervisadas por expertos en dermatología y dermatoscopia, que indican la presencia de un atributo concreto de los presentados anteriormente. Por cada imagen del conjunto de datos de entrada, existen cinco imágenes del conjunto de datos de salida, evaluadas para el atributo en cuestión. Cabe destacar que una lesión puede presentar desde ningún atributo a uno o varios atributos. Se nombran siguiendo el esquema ISIC_<image_id>_attribute_<attribute_name>.png, donde <image_id> representa el identificador numérico y <attribute_name> identifica el atributo dermatoscópico: •globules. •milia_like_cyst. •negative_network. •pigment_network. •streaks. Las imágenes de la máscara se codifican como PNG de 8 bits de un solo canal, donde cada píxel representa o bien el valor 0 para indicar que el atributo se encuentra ausente en la lesión, o bien 255, que representa la presencia del atributo. Figura 3.2 Ejemplos de nombrado de los datos de respuesta. 3.1 Base de datos 25 3.1.4 Selección y limpieza de datos Antes de introducir el concepto de redes neuronales, uno de los aspectos más importantes consiste en el preprocesamiento o tratamiento de los datos. También denominado ‘Data Cleaning’ o ‘Depuración de Datos’, consiste en varios procesos destinados a la mejora de calidad de los datos [ 35 ]. Se utilizan para corregir datos inexactos en conjuntos, a través de su identificación y sustitución de registros incompletos, corruptos, inexactos o irrelevantes. Sin esta limpieza, es muy probable que los resultados en los análisis se encuentren deformados y, específicamente en este caso de Inteligencia Artificial, que los datos sean erróneos y el modelo a evaluar esté sesgado 1 y ofrezca un rendimiento deficiente. Entre las técnicas de limpieza más comunes, se encuentran: •Eliminación de valores duplicados. • Eliminación o atribución de datos faltantes a través de valores como la media del conjunto de datos restante. •Eliminación o arreglo de valores atípicos. •Eliminación de datos irrelevantes. En este caso, concretamente, se ha llevado a cabo tanto la eliminación como el ajuste de imágenes que contenían datos irrelevantes. Entre estos datos irrelevantes se encuentran la presencia de mucho vello en la lesión, marcas de bolígrafo, pegatinas en la periferia de las lesiones o una combinación de estos elementos en la misma imagen. A continuación se muestra un ejemplo de dichas imágenes: Figura 3.3 Imágenes de los datasets eliminadas o tratadas. 3.1.5 Análisis El dataset que se proporciona para training o entrenamiento está formado por un total de 2594 imágenes, con las respectivas 12970 imágenes de ground truth asociadas que indican presencia o ausencia de la característica y, en caso de estar presente, su localización. Tras realizar la limpieza mencionada anteriormente, este número de imágenes se redujo a 2547 y 12735 imágenes de ground truth correspondientes. Por otro lado, teniendo en cuenta que cada lesión puede contener más de un atributo, en la tabla 3.1 se representa el total de imágenes donde el atributo especificado se encuentra presente mediante la evaluación de las máscaras binarias. Calculando la suma de todas las imágenes de todos los atributos, se obtiene un total de 3060 imágenes. En base a esto, se realiza el gráfico que se presenta a continuación en la figura 3.4, donde se representan los porcentajes para cada característica en base a este total de imágenes. 1Error dentro de un conjunto de datos debido a la mayor ponderación o representación de ciertos elementos. 32 Capítulo 3. Metodología Figura 3.12 Técnica de K-Folds de validación cruzada. 3.3.1 Matriz de confusión Consiste en una representación visual en forma de tabla en la que se muestra la comparación entre los valores reales y los valores predichos por el modelo en cuestión. Es una herramienta de medición del rendimiento, a menudo utilizada en tareas de clasificación de dos o más clases (clasificación binaria o multiclase). Se construye a partir de los elementos: • TP (True Positive): valores que el modelo predice como clase positiva y que realmente son clase positiva. • TN (True Negative): valores que el modelo predice como clase negativa y realmente son clase negativa. • FP (False Positive): valores que el modelo predice como clase positiva y realmente son clase negativa. • FN (False Negative): valores que el modelo predice como clase negativa y realmente son clase positiva. En definitiva, TP y TN representan el número de ejemplos clasificados por el modelo correctamente y FP y FN el número de ejemplos clasificados por el modelo erróneamente. Esta matriz constituye la base sobre la que se construyen todas las demás métricas y representan un valor de porcentaje, por lo que serán valores entre 0 y 100. Figura 3.13 Estructura de una matriz de confusión [43]. 3.3 Métricas de evaluación 33 3.3.2 Accuracy Representa el porcentaje total de valores correctamente clasificados, tanto positivos como negativos. Utilizando los términos definidos en la matriz de confusión, se calcula mediante la ecuación: Figura 3.14 Ecuación cálculo de accuracy [42]. Es importante tener en cuenta que esta métrica puede no ser siempre la mejor en la evaluación de un modelo, especialmente en los casos en los que existe un conjunto de datos cuyas clases se encuentran desequilibradas. En estos casos, se utiliza la métrica ‘weighted balanced accuracy’ o ‘precisión equilibrada ponderada’, que se calcula teniendo en cuenta los pesos, wi , asignados para cada clase [44]. Figura 3.15 Ecuación cálculo de weighted balanced accuracy [44]. 3.3.3 Precision Expresa la proporción de predicciones de clase positiva correctas del total de predicciones del modelo de clase positiva, tanto correctas como incorrectas. En el ámbito médico, se le denomina ‘Valor Predictivo Positivo’. Figura 3.16 Ecuación cálculo de precision [42]. 3.3.4 Recall La métrica ‘recall’ o ‘sensibilidad’, mide la proporción de predicciones de clase positiva del total de predicciones de clase positiva reales. Figura 3.17 Ecuación cálculo de recall [42]. 34 Capítulo 3. Metodología 3.3.5 F1 Score Se calcula en función de los valores anteriores de precisión y sensibilidad. Se utiliza para encontrar el equilibrio entre estas dos métricas y es muy utilizada en problemas en los que el conjunto de datos se encuentra desbalanceado. Un desequilibrio entre precisión y sensibilidad, como una precisión alta y una sensibilidad baja, puede dar lugar a un modelo extremadamente preciso, pero que no sea capaz de clasificar correctamente los datos difíciles. Se busca que la puntuación F1 sea lo más alta posible para obtener el mejor rendimiento del modelo. Figura 3.18 Ecuación cálculo de f1 score [42]. 3.3.6 AUC ROC Curve Es una representación gráfica que muestra el rendimiento del modelo teniendo en cuenta los umbrales. ROC (Receiver Operating Characteristic) es una curva de probabilidad y AUC (Area Under the Curve) representa el grado de separación. En dicha gráfica, el eje vertical representa la tasa de verdaderos positivos o sensibilidad y, el eje horizontal, la tasa de falsos positivos o 1 menos la especificidad, donde la fórmula de esta última es: Figura 3.19 Ecuación cálculo de specificity [42]. La diferencia con el resto de métricas se encuentra en que, en este caso, el umbral de clasificación para los elementos se va modificando con el fin de generar los puntos en la gráfica. Los modelos de clasificación con mejor rendimiento tendrán una curva similar a la línea verde del gráfico de la figura 3.20. Esta línea representa el mayor AUC o área bajo la curva. Cuanto mayor sea el AUC, mejor será el rendimiento del modelo. Figura 3.20 Representación curva AUC-ROC para diferentes clasificadores [42]. 3.4 Hiperparámetros y optimización 35 3.4 Hiperparámetros y optimización Los hiperparámetros son variables externas al modelo, es decir, no obtenidas directamente de los datos y que se deben definir manualmente en el proceso previo al entrenamiento del modelo. La optimización de estos hiperparámetros juega un papel fundamental en la búsqueda del rendimiento óptimo por parte de la red. A continuación, se presentan los hiperparámetros más importantes. 3.4.1 Batch size (tamaño de lote) Se define como la cantidad de datos que se proporciona al modelo a la vez. Afecta directamente en aspectos del modelo tales como la generalización y las pérdidas. Generalmente, un aumento en el tamaño de lote, puede repercutir en la reducción del rendimiento y la generalización del modelo, es decir, no funcionar correctamente cuando se proporcionan datos nuevos que el modelo no ha visto anteriormente. Es importante tener en cuenta que es un hiperparámetro flexible y que se debe reajustar en base a otros, tales como el ‘learning rate’ o ‘tasa de aprendizaje’ [45]. Figura 3.21 Gráficas de accuracy y pérdida para diferentes tamaños de lote [45]. 3.4.2 Learning rate (tasa de aprendizaje) Para entender este concepto, es necesario explicar antes el algoritmo de entrenamiento que utiliza la red. Se trata del algoritmo de optimización denominado ‘Descenso del Gradiente’. Estima el gradiente 2 de error actual del modelo mediante la selección de ejemplos del conjunto de datos de entrenamiento y posterior actualización de los pesos a través del algoritmo de ‘backpropagation’, ya explicado en la sección 2.2.2, para la minimización de una función de coste. Al actualizar los parámetros, se avanza gradualmente hacia el mínimo de esta función de coste, lo que produce una mejora en el rendimiento del modelo [46]. Figura 3.22 Algoritmo Descenso del Gradiente [46]. 2 Concepto matemático que determina la dirección y magnitud de mayor incremento de una función en un punto dado. 36 Capítulo 3. Metodología La tasa de aprendizaje controla la rapidez con la que se realizan estos ajustes. Si el valor de esta tasa de aprendizaje es demasiado grande, el algoritmo puede oscilar o incluso divergir. Por otro lado, si es demasiado pequeño, el algoritmo puede converger o quedar atrapado en mínimos locales. Tal como se observa en la figura 3.23, la relación entre los parámetros de tamaño de lote y tasa de aprendizaje, se encuentran íntimamente relacionados. Figura 3.23 Gráficas de accuracy y pérdida para diferentes tamaños de lote y distintas tasas de aprendizaje [45]. 3.4.3 Epochs (épocas) Una época se puede describir como un ciclo completo a través de todo el conjunto de datos de entrenamiento e indica la cantidad de pases que el modelo completó durante la sesión de entrenamiento [ 45 ]. Una vez que todos los datos de entrenamiento han sido vistos por el modelo, se completa una época y se repite el mismo proceso de entrenamiento para el número de épocas que se especifique. Al igual que los hiperparámetros anteriores, su valor es flexible y se va modificando en función de los resultados para alcanzar un buen rendimiento. El eje horizontal de las gráficas anteriores de accuracy y loss, representa este parámetro. 4 Resultados En este capítulo se implementa la metodología desarrollada. Se procede al procesamiento de los datos, realización de diferentes pruebas mediante la adaptación de los hiperparámetros y exposición de resultados conseguidos a través de métricas de evaluación. 4.1 Preparación de los datos de entrada 4.1.1 Procesamiento de imágenes RGB Tanto para los datos de entrenamiento, validación y prueba, se realiza el mismo procedimiento con el objetivo de ser introducidos en un formato correcto a la red. Tanto para la lectura como representación de las imágenes, se utiliza la clase ‘Image’ perteneciente a la biblioteca ‘Pillow’ de Python y especializada en procesamiento de imágenes. Una vez son cargadas todas las imágenes, se aplica para cada imagen una función de reajuste en el tamaño, ya que es condición necesaria que todas tengan el mismo y, en este caso, de 224x224 píxeles, que es el tamaño que se especifica al modelo para las imágenes de entrada. Tras el reajuste en el tamaño, cada imagen se convierte en una matriz de píxeles, donde cada elemento de la matriz representa el valor del píxel en una posición especificada. Al ser imágenes RGB, se obtendrá para cada imagen, tres matrices correspondientes a los tres canales de color. Una vez se dispone de todas las matrices respectivas a las imágenes, se normalizan, es decir, se divide cada píxel entre 255 y pasan a tener un valor entre [0,1]. La normalización de los valores de entrada en el ámbito de las redes neuronales es primordial, ya que contribuye en las decisiones correctas de las neuronas en la red. 4.1.2 Codificación de etiquetas Dejando a un lado las imágenes RGB ya procesadas de entrada a la red, se realiza el procesamiento de las imágenes de máscaras binarias para poder ser introducidas e interpretadas por la red. Para realizar esta transformación de las imágenes en datos útiles, se utiliza un código consistente en la codificación de etiquetas en función del valor de los píxeles de dichas imágenes. Los píxeles tendrán un valor entre 0 y 255, ya que son imágenes binarias en blanco y negro. En caso de detectar un único píxel con valor de 255 en la imagen, se codifica la etiqueta correspondiente como 1; se asigna el valor 0 en el caso de detectar todos los píxeles como 0. En la figura 4.1 se muestra dicho proceso de codificación. 4.2 Pruebas de red En total se realizan dos pruebas o configuración de modelos para la identificación de los atributos. 37 38 Capítulo 4. Resultados Figura 4.1 Codificación de etiquetas. Fuente: Elaboración propia. 4.2.1 Primera prueba de red En un primer momento, se elabora el modelo con el objetivo de clasificación multiclase y multietiqueta y se implementa la adaptación de red presentada en la sección 3.2.1. Como función de pérdida se utiliza la ‘Entropía Cruzada Binaria’ o ‘Binary Cross-entropy’. En el caso de clasificación multiclase, se utilizaría función de pérdida ‘Entropía Cruzada Categórica’ o ‘Categorical Cross-entropy’ pero, al tratarse de un problema multietiqueta en el que no existen casos excluyentes, se utiliza esta primera. La entropía cruzada binaria penaliza de manera selectiva las predicciones incorrectas que se encuentran más lejos de las etiquetas verdaderas. En relación con esta pérdida, se implementa el algoritmo de ‘Early Stopping’, ya presentado, con el fin de controlar dicho valor durante el entrenamiento. En esta primera prueba de red y contando con el reducido número de imágenes disponibles, se aplican técnicas de aumento de datos para crear datos artificiales a partir de las imágenes originales. Cuantos más datos se proporcionen a la red, mejor será su rendimiento, además de ser necesarios debido a la magnitud de esta. Es de gran importancia tener en cuenta que, a pesar de incrementar el número de imágenes, seguirá existiendo el desequilibrio de clases. Para este caso en particular, es complicado este balanceo debido a la clasificación multietiqueta, es decir, si se lleva a cabo el aumento del número de muestras para un atributo concreto, se aumentará el número de muestras de otro o varios atributos. Las transformaciones aplicadas a las imágenes originales se realizan a través de la clase ‘ImageDataGenerator’, perteneciente a la biblioteca ‘Keras’, que a su vez es una interfaz muy utilizada en el ámbito de trabajo de redes neuronales. Esta clase se utiliza debido a la ventaja para generar lotes de datos de imágenes artificiales durante la etapa de entrenamiento. Concretamente, se pueden aplicar transformaciones relativas a la rotación, desplazamientos horizontales y verticales, zoom y volteos horizontales y verticales. Los hiperparámetros son adaptados en función de las necesidades del modelo. En la tabla 4.1, se resumen los valores utilizados a lo largo de las pruebas, así como los valores finalmente optimizados para obtener los mejores resultados. El valor de learning rate se selecciona teniendo en cuenta cambios drásticos que pueden surgir en las características aprendidas previamente, que pueden ser influenciadas por el hecho de volver a entrenar las últimas capas. 4.2 Pruebas de red 39 Tabla 4.1 Hiperparámetros utilizados. Batch size 24, 32, 64, 128 Learning rate 1e-2, 1e-3, 1e-4, 1e-5 Epochs 10, 20,30, 50, 100 Optimizer Adamgrad, SGD Clases totalmente desequilibradas Los datos se introducen a la red sin ningún tipo de modificación o ajuste y son aumentados mediante las técnicas de data augmentation con la herramienta ‘ImageDataGenerator’ comentada anteriormente. Se aplican técnicas de rotación, volteos verticales y horizontales y zoom en pequeña proporción. Los resultados obtenidos se evalúan a través de los parámetros desarrolladas en la sección 3.3 y relativos a exactitud y pérdidas (tanto en entrenamiento como en validación), curvas ROC, matrices de confusión y métricas relativas al valor predictivo positivo, sensibilidad, f1-score y especificidad. A continuación se presentan la evaluación de resultados obtenidos para los datos comentados: Tabla 4.2 Métricas exactitud y pérdidas. Valor máximo Valor mínimo Exactitud entrenamiento 54% 33% Pérdidas entrenamiento 0.46 0.31 Exactitud validación 58% 52% Pérdidas validación 0.41 0.33 Fuente: Elaboración propia. Figura 4.2 Curva ROC de todos los atributos. Fuente: Elaboración propia. 40 Capítulo 4. Resultados (a) Matriz de confusión para atributo Globules. (b) Matriz de confusión para atributo Milia like cyst. (c) Matriz de confusión para atributo Negative network. (d) Matriz de confusión para atributo Pigment network. (e) Matriz de confusión para atributo Streaks. Figura 4.3 Matrices de confusión de los atributos. Fuente: Elaboración propia. 4.2 Pruebas de red 41 Tabla 4.3 Evaluación de métricas a partir de las matrices de confusión de cada atributo. Valor Predictivo Positivo Sensibilidad F1-Score Especificidad Globules 0.46 0.46 0.46 0.85 Milia like cyst 0.29 0.23 0.26 0.94 Negative network 0.32 0.17 0.22 0.97 Pigment network 0.82 0.85 0.83 0.65 Streaks 0.85 0.31 0.45 0.99 A partir de la tabla 4.3, se pueden obtener una serie de conclusiones. Por un lado, son apreciables las altas puntuaciones proporcionadas para la métrica de especificidad en la mayoría de los atributos. Sin embargo, para la métrica de sensibilidad para algunos atributos, el valor es considerablemente bajo. Esto es claro indicativo del desequilibrio entre clases y la especialización del modelo para la detección de los casos en los que no se encuentra presente el atributo en cuestión. Los mejores resultados, relativos a equilibrio entre detección de casos presentes y no presentes, se da para el atributo de pigment network, correspondiente con la clase mayoritaria y que representa gran parte de la máscara binaria cuando está presente en la lesión. Por otro lado, en este análisis de las máscaras binarias, se confirma la existencia de algunos atributos representados mediante la máscara con pocos píxeles en blanco y que hacen muy compleja la identificación, teniendo en cuenta además la no aplicación de segmentación. Este caso se da por ejemplo en atributos como milia like cyst. A continuación, en la figura 4.4 se representan algunas de estas máscaras: Figura 4.4 Lesiones con sus correspondientes máscaras binarias evaluadas para atributos globules, negative network ystreaks respectivamente. Fuente: Elaboración propia. Clases semiequilibradas Con esta prueba, se busca estudiar la evolución y aprendizaje del modelo, tratando de equilibrar lo máximo posible el número de clases para cada atributo, así como la presencia o ausencia de característica dentro de una misma clase. Atendiendo a la cantidad desproporcionada de etiquetas con ausencia de característica, se realizan técnicas de aumento de datos relativas a las imágenes con presencia de esta. Para el caso de pigment network, no se aplican dichas técnicas, ya que es la clase predominante y además, el número de imágenes con presencia de este atributo se encuentra prácticamente compensado con el número de imágenes con ausencia. Las transformaciones realizadas incluyen rotaciones y volteos horizontales y verticales de las imágenes. Una vez se dispone de estosdatos, se introducen a la clase ‘ImageDataGenerator’ como en el caso anterior. Los resultados arrojados se resumen a continuación para la evaluación de las mismas métricas: 48 Capítulo 4. Resultados Tabla 4.13 Métricas exactitud y pérdidas para red atributo Milia like cyst. Valor máximo Valor mínimo Exactitud entrenamiento 67% 53% Pérdidas entrenamiento 0.70 0.61 Exactitud validación 83% 72% Pérdidas validación 0.61 0.45 Fuente: Elaboración propia. (a) Curva ROC para atributo Milia like cyst. (b) Matriz de confusión para atributo Milia like cyst. Tabla 4.14 Métricas exactitud y pérdidas para red atributo Negative network. Valor máximo Valor mínimo Exactitud entrenamiento 86% 76% Pérdidas entrenamiento 0.50 0.30 Exactitud validación 90% 78% Pérdidas validación 0.59 0.47 Fuente: Elaboración propia. (a) Curva ROC para atributo Negative network. (b) Matriz de confusión para atributo Negative network. 4.3 Mejores resultados ISIC Challenge 2018 Task 2 49 Tabla 4.15 Métricas exactitud y pérdidas para atributo Streaks. Valor máximo Valor mínimo Exactitud entrenamiento 92% 85% Pérdidas entrenamiento 0.33 0.08 Exactitud validación 93% 79% Pérdidas validación 0.63 0.18 Fuente: Elaboración propia. (a) Curva ROC para atributo Streaks. (b) Matriz de confusión para atributo Streaks. Tabla 4.16 Evaluación de métricas a partir de las matrices de confusión de cada atributo. Valor Predictivo Positivo Sensibilidad F1-Score Especificidad Globules 0.39 0.58 0.46 0.76 Milia like cyst 0.23 0.28 0.25 0.91 Negative network 0.33 0.24 0.28 0.96 Streaks 0.62 0.38 0.47 0.98 Fuente: Elaboración propia. En este caso, al llevar a cabo el equilibrio de clases, los valores de las matrices de confusión para los atributos de milia like cyst ynegative network son no nulos. Esto implica cierta mejoría en la capacidad del modelo para poder clasificar como positivos algunos casos. Las redes son capaces de generalizar e identificar correctamente casos en los que la característica se encuentra presente y no presente. A pesar del equilibrio de clases, los resultados son poco mejores respecto al caso desequilibrado y respecto a los conseguidos en la primera prueba de red para los 5 atributos. En conclusión, los mejores resultados se obtienen para el caso de red de clasificación de los 5 atributos sin equilibrio entre clases. 4.3 Mejores resultados ISIC Challenge 2018 Task 2 En este apartado, se resumen las técnicas y resultados que proporcionaron los modelos presentados por los dos primeros líderes de la competición de 2018 a partir de este conjunto de datos y en comparación con las técnicas aplicadas en la presente investigación. 50 Capítulo 4. Resultados 4.3.1 NMN team Diferentes redes son probadas mediante la técnica de ‘Transfer Learning’ y se realiza una etapa de preprocesamiento de los datos, así como tratamiento de las máscaras binarias diferente al utilizado y mucho más específico y enfocado al ámbito médico. Preprocesamiento y data augmentation Se aplican diferentes técnicas de preprocesamiento de los datos según el tipo de red utilizado. Los métodos utilizados son los mismos que se implementaron originalmente en el conjunto de entrenamiento de datos de ImageNet. Por otro lado, para eliminar el efecto del conjunto de datos tan reducido, se llevaron a cabo un conjunto de aumentos cuidadosamente diseñados para simular todas las posibles variaciones y transformaciones presentes en las imágenes dermatoscópicas. Entre estas transformaciones empleadas, figuran entre otros: giros verticales y horizontales, rotaciones, zoom o cambio aleatorio de los canales de color. Arquitecturas de red y segmentación Los modelos de segmentación propuestos se basan en la estructura ‘UNet’. Esta estructura comprende una ruta de codificación para extraer mapas de características abstractas de las imágenes de entrada y una ruta de decodificación para traducir dichos mapas en un mapa de segmentación de salida. Las redes preentrenadas que se utilizan y se adaptan a esta estructura son: ResNet, DensNet, Xception y ResNetV2. En cuanto al objeto de abordar y evaluar las máscaras de lesión, se emplea la segmentación de los atributos de las lesiones. Esta tarea de segmentación es muy utilizada en el ámbito médico y supone la facilitación de la extracción de características por parte del modelo, así como la simplificación de las imágenes y poder destacar las regiones de interés. El equipo participante propuso el entrenamiento de un modelo específico de segmentación para la detección de cada atributo. Las funciones de pérdidas se diseñan específicamente para obviar las dificultades en la fase de entrenamiento. Resultados Para la evaluación del modelo, se utiliza la métrica de ‘Índice de Jaccard’, muy utilizada en modelos de segmentación. Se utiliza para medir la similitud entre la máscara de segmentación generada y la máscara de referencia. Un valor cercano a 1 indica una segmentación más precisa. Los resultados obtenidos evaluados para este índice para las diferentes redes, se resumen a continuación junto con las máscaras generadas en la figura 4.7. En verde se representa la región de máscara original, en rojo las regiones predichas y, en naranja, la intersección de ambas [47]. Tabla 4.17 Índice de Jaccard evaluado para las distintas redes [47]. Pigment network Globules Milia like cyst Negative network Streaks ResNet 0.527 0.304 0.144 0.149 0.125 ResNetV2 0.539 0.310 0.159 0.189 0.121 DenseNet 0.538 0.324 0.158 0.213 0.134 Ensemble 0.563 0.341 0.171 0.228 0.156 4.3.2 Le-Health El modelo de red de segmentación modificado utilizado por este equipo, se denomina ‘PSPNet’. La red troncal está constituida por una ResNet y se utiliza para concatenar tanto los mapas de características de capas intermedias como de la última capa para conseguir una textura más fina y, por tanto, producir un mejor rendimiento en la segmentación. Entre las técnicas de aumento de 4.3 Mejores resultados ISIC Challenge 2018 Task 2 51 Figura 4.7 Resultados del marco de segmentación de atributos [47]. datos aplicadas, se encuentran cambios de imagen en dirección horizontal y vertical y la variación de escala de imagen [48]. Se utilizan dos direcciones para la clasificación de atributos debido al severo desequilibrio entre clases: • Se adopta una estructura jerárquica para igualar el número de muestras de entrenamiento de diferentes clases. En el conjunto de datos de validación, la exactitud en la clasificación es de 0.621. • Se hacen las muestras de entrenamiento de diferentes clases usando el aumento de datos directo. En el conjunto de datos de validación, la exactitud en la clasificación alcanzada en este caso es de 0.751. 5 Conclusiones y líneas futuras A partir de los resultados obtenidos en la sección anterior, pueden derivarse una serie de conclusiones y posibles líneas futuras. En primer lugar y, como ya se ha mencionado en varias ocasiones, el conjunto de datos proporcionado se encuentra muy desequilibrado, además de contar con un número muy reducido de imágenes que hace complicado su aprovechamiento. La precisión y la especificidad son métricas esenciales en la evaluación de los modelos en este campo de la medicina y cuyo valor ha de ser el máximo dada la importancia de un correcto diagnóstico. Para que estos valores ronden la unidad y puedan ser utilizados en aplicaciones de diagnóstico reales efectivas y confiables, es necesario disponer de un conjunto inmenso para el entrenamiento de los modelos. Al tratarse además de un problema de clasificación múltiple y multietiqueta en este caso, la búsqueda del equilibrio de clases conforma un desafío significativo adicional. Por otro lado, la reducción de la codificación de etiquetas a simples ceros y unos, es un factor determinante, ya que puede reducir la cantidad de información que se proporciona a la red. En estos casos relativos a la identificación de patrones en lesiones, es más apropiada la segmentación y evaluación de métricas relativas a esta. También son cruciales las transformaciones aplicadas para generar datos artificiales mediante data augmentation, ya que una variación en parámetros como el brillo o la saturación, puede causar un efecto negativo en las lesiones y, por tanto, causar dificultades en el aprendizaje de la red a la hora de reconocer los atributos o patrones. Por todos estos motivos, se proponen una serie de líneas futuras a la hora de trabajar con este conjunto de datos: •Utilizar una base de datos adicional para disponer de más información. • Aplicar más técnicas de aumento de datos y mostrar la diferencia en el rendimiento al utilizar unas transformaciones sobre otras. • Utilizar un modelo de segmentación cuyo objetivo sea la predicción de las máscaras y la evaluación de métricas especializadas en segmentación. • Aplicar submuestreo y sobremuestreo como técnicas para la compensación de clases y reducción del desequilibrio significativo. Los avances en la implementación de redes neuronales en el ámbito de la medicina, son constantes y van en aumento debido a las nuevas arquitecturas desarrolladas, mejoras en el poder computacional y mejoras continuas en términos de precisión y escalabilidad. A medida que más datos de alta calidad se vuelven accesibles, se esperan mejores resultados y modelos confiables con una muy alta capacidad de identificación y clasificación correcta, lo que supone una potente herramienta de soporte para los profesionales del sector. 53 Índice de Figuras 1.1 Melanoma a nivel interno de la piel [2] 2 1.2 Tasas de incidencia de melanoma estandarizadas por edad estimadas en 2020 [4] 2 2.1 Esquema del método en dos etapas [6] 4 2.2 (a) Patrón reticular. (b) Patrón globular. (c) Patrón en estallido de estrellas. (d) Patrón homogéneo azul. (e) Patrón paralelo. (f) Patrón multicomponente. [7] 4 2.3 (a) Patrón de dermatofibroma. (b) Patrón de carcinoma basocelular. (c) Patrón de queratosis seborreica. (d) Patrón de angioma o angioqueratoma. (e) Estructuras vasculares de lesión no melanocítica. [7] 5 2.4 Regla del ABCD [8] 7 2.5 Método de los 7 puntos de Argenziano [8] 8 2.6 Comparación de los métodos de la segunda etapa [8] 8 2.7 Arquitectura Deep convolutional neural network 2017 [10] 9 2.8 Áreas de la Inteligencia Artificial [11] 9 2.9 Función sigmoide 11 2.10 Función escalón 11 2.11 Función ReLU 11 2.12 Función tangente hiperbólica 12 2.13 Función Softmax 12 2.14 Estructura del perceptrón [15] 12 2.15 Estructura del perceptrón multicapa con múltiples capas ocultas [17] 13 2.16 Algoritmo Backpropagation 14 2.17 Algoritmo de aprendizaje supervisado [20] 14 2.18 Algoritmo de aprendizaje no supervisado [20] 15 2.19 Algoritmo de aprendizaje por refuerzo [20] 15 2.20 Desarrollo de una celda RNN [23] 16 2.21 Algoritmo GAN [23] 16 2.22 Estructura de un autocodificador [23] 17 2.23 Estructura DBN [24] 17 2.24 Imagen RGB [27] 18 2.25 Capa convolucional para imagen RGB [27] 19 2.26 Algoritmos de capa de submuestreo [27] 20 2.27 Arquitectura LeNet-5 [26] 20 2.28 Comparativa de las tasas de error y número de capas entre arquitecturas [32] 22 3.1 Ejemplos de nombrado de los datos de entrada 24 55 56 Índice de Figuras 3.2 Ejemplos de nombrado de los datos de respuesta 24 3.3 Imágenes de los datasets eliminadas o tratadas 25 3.4 Porcentajes para cada atributo en el dataset de entrenamiento 26 3.5 Porcentajes para cada atributo en el dataset de prueba 27 3.6 Porcentajes para cada atributo en el dataset de validación 27 3.7 Arquitectura VGG16 [36] 28 3.8 Desarrollo de capas de arquitectura VGG16 [36] 28 3.9 Ejemplos de técnicas de data augmentation 30 3.10 Sobreajuste (overfitting) frente al funcionamiento correcto en clasificación [23] 30 3.11 Técnica de parada temprana [41] 31 3.12 Técnica de K-Folds de validación cruzada 32 3.13 Estructura de una matriz de confusión [43] 32 3.14 Ecuación cálculo de accuracy [42] 33 3.15 Ecuación cálculo de weighted balanced accuracy [44] 33 3.16 Ecuación cálculo de precision [42] 33 3.17 Ecuación cálculo de recall [42] 33 3.18 Ecuación cálculo de f1 score [42] 34 3.19 Ecuación cálculo de specificity [42] 34 3.20 Representación curva AUC-ROC para diferentes clasificadores [42] 34 3.21 Gráficas de accuracy y pérdida para diferentes tamaños de lote [45] 35 3.22 Algoritmo Descenso del Gradiente [46] 35 3.23 Gráficas de accuracy y pérdida para diferentes tamaños de lote y distintas tasas de aprendizaje [45] 36 4.1 Codificación de etiquetas 38 4.2 Curva ROC de todos los atributos 39 4.3 Matrices de confusión de los atributos 40 4.4 Lesiones con sus correspondientes máscaras binarias evaluadas para atributos globules, negative network ystreaks respectivamente 41 4.5 Curva ROC de todos los atributos 42 4.6 Matrices de confusión de los atributos 43 4.7 Resultados del marco de segmentación de atributos [47] 51 Índice de Tablas 3.1 Distribución del dataset de entrenamiento 26 3.2 Distribución del dataset de prueba 26 3.3 Distribución del dataset de validación 27 4.1 Hiperparámetros utilizados 39 4.2 Métricas exactitud y pérdidas 39 4.3 Evaluación de métricas a partir de las matrices de confusión de cada atributo 41 4.4 Métricas exactitud y pérdidas 42 4.5 Evaluación de métricas a partir de las matrices de confusión de cada atributo 43 4.6 Métricas exactitud y pérdidas para red atributo Globules 44 4.7 Métricas exactitud y pérdidas para red atributo Milia like cyst 45 4.8 Métricas exactitud y pérdidas para Negative network 45 4.9 Métricas exactitud y pérdidas para Pigment network 46 4.10 Métricas exactitud y pérdidas para Streaks 46 4.11 Evaluación de métricas a partir de las matrices de confusión de cada atributo 47 4.12 Métricas exactitud y pérdidas para red atributo Globules 47 4.13 Métricas exactitud y pérdidas para red atributo Milia like cyst 48 4.14 Métricas exactitud y pérdidas para red atributo Negative network 48 4.15 Métricas exactitud y pérdidas para atributo Streaks 49 4.16 Evaluación de métricas a partir de las matrices de confusión de cada atributo 49 4.17 Índice de Jaccard evaluado para las distintas redes [47] 50 57