Segmentación de hueso, músculo y grasa en volúmenes TAC mediante relajación convexa

ISBN 978-84-09-16707-4 Actas del XXXVII Congreso Anual de la Sociedad Española de Ingeniería Biomédica, pages 13–16 Santander, España, 27 al 29 de noviembre, 2019 Segmentación de hueso, músculo y grasa en volúmenes TAC mediante relajación convexa J. A. Pérez-Carrasco, C. Serrano, B. Acha Dpto de Teoría de la Señal y Comunicaciones, Universidad de Sevilla, Camino de los Descubrimientos, s/n. 41092, Sevilla España, {jperez2, bacha, cserrano}@us.es Resumen La segmentación de tejido óseo, graso y muscular en volúmenes TAC es de interés especial para cirujanos y radiólogos en el diagnóstico de algunas enfermedades y en planificación quirúrgica. Estos tejidos son muy difíciles de delinear debido a la presencia de múltiples y diferentes estructuras y a la similitud de valores de Hounsfield con los órganos circundantes. En este artículo se muestra un algoritmo automático para implementar la segmentación de hueso, músculo y tejido adiposo. La segmentación se lleva a cabo minimizando una función de energía mediante relajación convexa. En trabajos previos con esta técnica solo se habían considerado dos etiquetas (hueso y músculo) y los métodos tenían grandes problemas para segmentar con precisión el músculo esquelético debido a la presencia de órganos internos con valores Hounsfield muy similares a los del tejido muscular. En este trabajo se ha incluído el conocimiento previo sobre la distribución del músculo esquelético en los volúmenes de TAC abdominal, torácico y pelvis mediante la inclusión de una transformación de distancia binaria en el cálculo de los términos de coste. Para evaluar el rendimiento del algoritmo se ha utilizado una base de datos pública y se han obtenido diferentes métricas, como DICE, Jaccard, sensibilidad y exactitud para evaluar el rendimiento del algoritmo. La técnica se ha comparado con una implementación anterior de dos etiquetas, con técnicas de level-sets y con umbralización. El algoritmo propuesto superó a los otros métodos en todas las métricas consideradas. 1. Motivación En este artículo se describe un algoritmo automático que implementa la segmentación de hueso, grasa y músculo esquelético. La segmentación de dichos tejidos es de especial interés para cirujanos y radiólogos en multitud de aplicaciones diferentes: planificación quirúrgica, localización de fracturas, diagnóstico de algunas enfermedades que alteran la densidad ósea (reuma, artritis, osteoporosis), análisis de la composición corporal, etc. La segmentación de estos tejidos es muy costosa computacionalmente debido a la gran cantidad de datos (especialmente en volúmenes TAC) y a la similitud en términos de valores de Hounsfield de estas estructuras entre ellas mismas y con otros órganos circundantes. Muchos autores han propuesto diferentes técnicas para segmentar tales estructuras [1-9]. Por ejemplo, las técnicas de deep learning [1] han demostrado ser muy efectivas en la segmentación de estos tejidos. Sin embargo, en estas técnicas, el número de imágenes requeridas para el entrenamiento es muy grande, y se requiere la segmentación manual, que debe de ser muy precisa, por parte de expertos para obtener los volúmenes etiquetados correspondientes. Esta segmentación manual requiere un trabajo muy duro en términos de tiempo y computación y, por lo general, esas bases de datos no se hacen públicas y no pueden utilizarse por tanto para fines de comparación con otras técnicas. En la mayoría de los trabajos recientes, la segmentación del tejido muscular, óseo y graso se implementa en alguna región particular o estructura muscular u ósea [1,4,10,11]. Sin embargo, los cirujanos y los radiólogos necesitan métodos automáticos y que no dependan de regiones particulares o estructuras específicas para obtener las estructuras segmentadas. El hecho de no disponer de algoritmos automáticos o generales es un problema, ya que conlleva la necesidad de tener que cambiar entre diferentes programas o algoritmos para realizar la segmentación de estructuras diferentes. Para intentar evitar todos estos problemas, en este artículo se describe un método general basado en la minimización de una función de energía a través de la relajación convexa [3,12]. En comparación con un trabajo anterior de segmentación en dos etiquetas [3], el algoritmo propuesto en este trabajo proporciona una segmentación con tres etiquetas que son: hueso, músculo y tejido adiposo. Además, en este trabajo se ha incorporado el conocimiento previo sobre la distribución del músculo esquelético en los volúmenes TAC abdominal, torácico y pelvis mediante la inclusión de una transformación de distancia binaria en el cálculo de las funciones de coste. 2. Método El algoritmo propuesto consta de cuatro pasos. En el primero de ellos, se lleva a cabo una etapa de preprocesamiento para delimitar la piel de todos los volúmenes TAC. Muy pocos trabajos abordan la segmentación de la piel en volúmenes TAC [3,4]. Para implementar esta tarea se han seguido los pasos descritos en el trabajo de Pérez-Carrasco y col. [3], donde se aplica un algoritmo de crecimiento de regiones para la delimitación de la piel. En segundo lugar, se realiza una operación de mejora de contraste. En los volúmenes TAC, los valores Hounsfield suelen estar entre -2000 y 3000, que es un rango muy amplio. Por lo tanto, para realzar la visualización y facilitar el procesamiento y segmentación de los tres tejidos de interés, se han seleccionado tres ventanas Hounsfield diferentes para cada estructura: huesos, músculos y grasa. Cada volumen TAC se umbralizó utilizando las tres ventanas Hounsfield diferentes y el resultado se dividió por el umbral superior dentro de cada ventana correspondiente de modo que el valor máximo fuera 1. Como resultado de 13 estas operaciones se obtuvieron 3 volúmenes umbralizados y escalados que han sido etiquedados como b TSV (hueso), m TSV (músculo) y f TSV (grasa). Las tres ventanas utilizadas fueron obtenidas utilizando el conjunto de datos de entrenamiento, de modo que para cada tejido, se seleccionó el rango Hounsfield más apropiado. En el tercer paso, se construye una función de energía que será minimizada más tarde mediante relajación convexa. En esta energía participan cuatro funciones de coste que han sido calculadas del siguiente modo: )CITCITc(CIT-1=CIT |)TSV-TSV(|=CIT |)TSV-TSVb)(|-(1HDV b=CIT |)TSV-TSVa)(|-(1HDV a=CIT 3214 ff3 bbb2 mmm1    (1) En la ecuación (1), m TSV , b TSV y f TSV son los valores medios de ntoentrenamieb TSV , , ntoentrenamiem TSV , y ntoentrenamief TSV , (volúmenes umbralizados y escalados dentro del conjunto de datos de entrenamiento), m HDV y b HDV son volúmenes de distancia de histograma para músculo y hueso, donde cada vóxel x mide la distancia (Earth Mover’s Distance) entre dos histogramas: el histograma local en cada vóxel x del volumen TSI correspondiente ( b TSV o m TSV ) y dos modelos de histograma de referencia correspondientes a tejido óseo y al muscular. Hay que tener en cuenta que los histogramas locales calculados proporcionan información sobre la distribución de los valores dentro de los tejidos (información de textura). Los parámetros a, b y c en la Ec. (1) se obtuvieron mediante simulated annealing siguiendo los pasos del método en [3]. Figura 1. Cuatro funciones de coste correspondientes a un corte en un volumen TAC. a) Término de coste correspondiente al tejido muscular, b) término correspondiente al tejido óseo, c) término correspondiente al tejido adiposo, y finalmente d) corresponde al resto de estructuras en el corte En la Ec. (1), 1 CIT debe tomar valores bajos en los vóxeles correspondientes al músculo, 2 CIT debe tomar valores bajos en los vóxeles correspondientes al hueso, 3 CIT debe tomar valores bajos en los vóxeles correspondientes a la grasa y finalmente 4 CIT debe tomar valores bajos en el resto de los vóxeles. La figura 1 muestra los cuatro términos de coste correspondientes a un corte en un volumen TAC. Los músculos esqueléticos en las tomografías computarizadas abdominales, de tórax y pelvis se encuentran principalmente entre las costillas, dentro de la caja torácica, protegiendo órganos como los pulmones y el corazón. Por lo tanto, para tener en cuenta esta información de localización en los volúmenes TAC correspondientes a estas regiones, se ha incorporado un término de penalización, de modo que aquellos vóxeles en el interior de la caja torácica sean considerados como músculo con menor probabilidad. Esta función de penalización se ha calculado utilizando la transformación de distancia binaria [13], que proporciona una métrica de la separación entre puntos en una imagen. Posteriormente, esta distancia es suavizada utilizando una ley potencial con gamma = 0.15. Por lo tanto, el término de coste en la Ec. (1) ha sido modificado y recalculado como: gamma tdb 3NUEVO3, CIT=CIT (2) donde gamma tdb es la transformación de distancia binaria a la que se ha aplicado una ley gamma. Finalmente, en el cuarto y último paso se construye una función de energía multi-etiqueta utilizando los cuatro términos de coste descritos anteriormente en Ec. (1) del siguiente modo:   0)()()()()(1.. )()()())()((min 43210 4 11 1,0)(        xuxuxuxuxuts dxxuxCdxxCITxuxu iiiii x i u (3) En la ecuación (3), x representa la posición del vóxel, i denota la etiqueta y   1,0)( xui las funciones de etiqueta. )(xCIT i son los términos de coste asociados con la asignación de la etiqueta i al vóxel x y el término )(xC es una función de penalización que favorece que las fronteras entre las regiones se ubiquen en vóxeles con alta intensidad de borde. La función de energía en la Ec. (3) se minimiza utilizando la técnica de relajación convexa continua de J. Yuan y col. [12]. Una vez que se obtienen las tres segmentaciones: hueso, músculo y grasa, las etiquetas del músculo esquelético y las etiquetas óseas se pueden usar como pared binaria para separar los dos componentes principales en la grasa: SAT (tejido adiposo subcutáneo) y VAT (tejido adiposo visceral). Estos componentes se pueden usar, por ejemplo, para calcular varios índices de salud con el fin de evaluar la hipertensión o la obesidad [14]. 14 3. Resultados Experimentales Para evaluar la herramienta y obtener métricas con las que validar y comparar el algoritmo se ha utilizado una base de datos pública de volúmenes TAC (base de datos USevillabonemuscle [3]). De los 27 volúmenes disponibles en la base de datos solo se han considerado 9 de ellos. Esto es debido a que estos volúmenes corresponden a pelvis, abdomen y tórax, y por tanto presentan una mayor complejidad en cuanto a segmentación en comparación con el resto de volúmenes, que corresponden principalmente a extremidades y en las que el método propuesto funcionó tan bien como el método anterior [3] en la segmentación del tejido óseo y muscular. El dispositivo de adquisición para los volúmenes fue un TAC helicoidal de Philips Medical Systems, con un tamaño de corte de 512 × 512 píxeles y 0,781 mm / píxel y un grosor de corte de 5 mm. La base de datos proporciona la verdad de referencia (ground truth) de segmentación para hueso y músculo esquelético. En nuestro trabajo, un experto ha proporcionado la verdad de referencia adicional para el tejido adiposo (en particular el tejido adiposo subcutáneo, SAT). Para evaluar el rendimiento del algoritmo, se realizó una validación cruzada triple. En cada iteración, 3 volúmenes TAC fueron utilizados para entrenamiento y los 6 restantes como conjunto de prueba. La técnica ha sido comparada con la técnica de dos etiquetas en [3], la técnica de level sets en [9] y una técnica de umbralización que utiliza tres ventanas Hounsfield diferentes para cada uno de los tres tipos de tejidos (hueso, músculo y grasa). La técnica de umbralización requirió el menor tiempo de cálculo. Sin embargo, los resultados obtenidos mediante el uso de umbrales fueron bajos debido a la superposición en los valores de Hounsfield entre los diferentes tejidos. Esta similitud entre los valores es posible debido a muchos factores: género, edad, presencia de enfermedades, región corporal, etc. La técnica de level sets [9] mostró problemas de convergencia debido a la gran cantidad de estructuras presentes en los volúmenes considerados. La entrada al algoritmo fueron los volúmenes b TSI , m TSI y f TSI , descritos anteriormente, y los parámetros óptimos requeridos por el algoritmo se calcularon utilizando el conjunto de entrenamiento en cada iteración de la validación cruzada. La figura 2 muestra los resultados de segmentación para un corte de un volumen TAC cuando se usan los cuatro métodos diferentes. Figura 2. Resultado de la segmentación para un corte de un volúmen TAC cuando se usan cuatro métodos diferentes: a) método de dos etiquetas descrito en [3]. b) umbralización, c) método de level-sets híbrido, y d) algoritmo propuesto. El tejido graso se representa en color azul, el tejido muscular en color amarillo y, finalmente, el hueso se representa en color rosa. Los contornos rojos corresponden a la groundtruth de músculo, los contornos azules oscuros corresponden a la grasa (SAT) y finalmente, los contornos verdes corresponden al hueso. La Tabla I muestra el valor de diferentes métricas (Dice, Jaccard, Sensibilidad y exactitud) y el tiempo de cálculo (en segundos por corte) obtenidos utilizando las diferentes Umbralización Level Sets híbrido [9] Trabajo previo [3] Algoritmo propuesto Parámetro Hueso Músculo Grasa Hueso Músculo Grasa Hueso Músculo Hueso Músculo Grasa Dice 0.73 ±0.14 0.41 ±0.13 0.78 ±0.05 0.74 ±0.10 0.49 ±0.16 0.68 ±0.06 0.75 ±0.15 0.60 ±0.18 0.78 ±0.13 0.74 ±0.10 0.84 ±0.15 Jaccard 0.59 ±0.18 0.27 ±0.13 0.64 ±0.07 0.60 ±0.13 0.34 ±0.16 0.52 ±0.07 0.62 ±0.19 0.45 ±0.20 0.65 ±0.17 0.60 ±0.13 0.75 ±0.22 Sensibilidad 0.67 ±0.18 0.99 ±0.00 0.99 ±0.07 0.86 ±0.09 0.69 ±0.09 0.99 ±0.00 0.75 ±0.15 0.86 ±0.05 0.85 ±0.12 0.83 ±0.08 0.96 ±0.05 Exactitud 0.83 ±0.15 0.27 ±0.13 0.64 ±0.07 0.66 ±0.13 0.41 ±0.21 0.52 ±0.07 0.77 ±0.19 0.50 ±0.23 0.74 ±0.19 0.69 ±0.16 0.78 ±0.21 Tiempo cómputacional(s) 0.038±0.01 14.83±2.65 50.77±8.59 51.21±9.27 Tabla 1. Resultados experimentales y comparación con otras técnicas 15 técnicas. Las métricas utilizadas han sido calculadas mediante las siguientes expresiones: FNVP VP  adSensibilid (4) FNFPVP VP  2 2 Dice (5) FNFPVP VP  dJaccar (6) FNFPVNVP VNVP   Exactitud (7) En estas expresiones verdaderos positivos (VP) son aquéllos vóxeles etiquetados como hueso, músculo o grasa por el algoritmo y también según la verdad de referencia. Falsos positivos (FP) corresponden a los vóxeles etiquetados por el algoritmo como uno de los tres tejidos sin serlo según la verdad de referencia. Verdaderos negativos (VN) corresponden a los vóxeles que no son etiquetados por el algoritmo como uno de los tres tejidos y así lo determina también la verdad de referencia. Finalmente, falsos negativos (FN) son aquéllos vóxeles que según la verdad de referencia corresponden a uno de los tres tejidos pero el algoritmo considera un tejido diferente al establecido por la verdad de referencia. 4. Conclusiones En este artículo se ha presentado un algoritmo de segmentación con múltiples etiquetas para implementar la delimitación de estructuras de grasa, músculo y hueso mediante la minimización de una función de energía siguiendo un método de optimización convexa. La función de energía propuesta incluye la distancia a los modelos de histograma (información de textura) combinada con información de nivel de gris. En un trabajo anterior [3], solo se habían considerado dos etiquetas (músculo y hueso) y el rendimiento del algoritmo fue deficiente debido a la presencia de estructuras con valores Hounsfield cercanos a los presentes en las estructuras de interés. En este trabajo, se agrega un tercer tejido (grasa) y se mejora la segmentación de las estructuras musculares al considerarse el conocimiento previo sobre su distribución en los volúmenes TAC abdominal, torácico y pelvis. Se ha modificado el término de coste correspondiente a músculo utilizando una transformación de distancia binaria para penalizar los vóxeles correspondientes a los órganos en el interior de la caja torácica con valores Hounsfield cercanos a los del tejido muscular. Los resultados obtenidos en este trabajo superan a los del trabajo anterior [3] y a los resultados obtenidos utilizando otras técnicas, como umbralización y level sets. La comparación con otras técnicas basadas en deep learning no se ha llevado a cabo debido a la falta de disponibilidad de bases de datos públicas grandes con las anotaciones correspondientes. Agradecimientos Este trabajo ha sido realizado gracias al proyecto DPI201681103-R. Referencias [1] Weston AD, Korfiatis, P, et al. Automated Abdominal Segmentation of CT Scans for Body Composition Analysis Using Deep Learning. Radiology, vol 290, sup 3, 2019, pp 669-679 (ISSN: 1527-1315). [2] Pérez Carrasco JA, Acha Piñero B, Serrano Gotarredona C. Segmentation of bone structures in 3D CT images based on continuous max-flow optimization. Proceedings of SPIE. Medical Imaging: Image Processing, Orlando, 2015, pp 94133Y-1-6 (ISBN: 978-1628415032). [3] Pérez-Carrasco JA, Acha B, Suárez-Mejías C, López-Guerra JL, Serrano C. Joint segmentation of bones and muscles using an intensity and histogram-based energy minimization approach. Computer Methods and Programs in Biomedicine, vol 156, 2018, pp 85-95 (ISSN: 0169-2607). [4] Banik S, Rangayyan RM, Boag GS. Automatic Segmentation of the Ribs, the Vertebral Column, and the Spinal Canal in Pediatric Computed Tomographic Images. Digital Imaging, vol 23, sup 3, 2010, pp 301–322 (ISSN: 1618-727X). [5] Kim YJ, y col. Computerized Automated Quantification of Subcutaneous and Visceral Adipose Tissue From Computed Tomography Scans: Development and Validation Study. JMIR medical informatics, vol 4, sup 1, 2016 (ISSN: 22919694). [6] Arabi H, Zaidi H. Comparison of atlas-based techniques for whole-body bone segmentation. Medical Image Analysis, vol 36, 2017, pp 98-112 (ISSN: 1361-8415). [7] Kullberg J, Hedström A, Brandberg J, y col. Automated analysis of liver fat, muscle and adipose tissue distribution from CT suitable for large-scale studies. Sci Rep, vol 7, sup 1, 2017 (ISSN: 2045-2322). [8] Popuri K, y col. Body composition assessment in axial CT images using FEM-based automatic segmentation of skeletal muscle. IEEE Transactions on Medical Imaging, vol 35, sup 2, 2016, pp 512–520 (ISSN: 0278-0062). [9] Zhang Y, y col. Medical Image Segmentation Using New Hybrid Level-Set Method. Proceedings of IEEE International Conference on Biomedical Visualization, (MEDi08VIS), 2008, pp 71-76 (ISBN: 0-7695-2603-9). [10] Rangayyan RM, Vu RH, Boag GS. Automatic Delineation of the Diaphragm in Computed Tomographic Images. Journal of Digital Imaging, vol 21, sup 1, 2008, pp 134–147 (ISSN: 1618-727X). [11] De-Leener B, Kadoury S, Cohen-Adad J. Robust, accurate and fast automatic segmentation of the spinal cord. NeuroImage. vol 98, 2014, pp 528-536 (ISSN: 1053-8119). [12] Yuan J, Bae E, Tai XC. A study on continuous max-flow and min-cut approaches. Proc.of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2010, pp 2217–2224 (ISBN: 978-1-4244-6985-7). [13] Rosenfeld A, Pfaltz J. Distance Functions in Digital Pictures. Pattern Recognition, vol 1, 1968, pp 33-61 (ISSN: 00313203). [14] Peltz G, Aguirre MT, Sanderson M, Fadden MK. The role of fat mass index in determining obesity. American journal of human biology: the official journal of the Human Biology Council, vol 22, sup 5, 2010, pp 639–647 (ISSN: 15206300). 16