Algoritmo de detección de esquinas de paneles fotovoltaicos en imágenes térmicas obtenidas por dron

39 Comunicaciones orales ALGORITMO DE DETECCIÓN DE ESQUINAS DE PANELES FOTOVOLTAICOS EN IMÁGENES TÉRMICAS OBTENIDAS POR DRON Daniel Fernández Valderrama1, Javier M. Mora Merchán1, Diego Francisco Larios Marín1, René de la Torre Schröder1 1[email protected]; [email protected]; [email protected]; [email protected] E-mail de correspondencia: dfvalderr[email protected] RESUMEN Este trabajo pretende localizar visualmente la posición de paneles de una instalación termosolar para, en un procesado posterior, detectar y clasificar fallos en los mismos. Estas imágenes se consiguen gracias al vuelo de un dron sobre la planta fotovoltaica, este dron está dotado con una cámara termográfica que tomará las imágenes. Para realizar esta localización del panel, se han utilizado dos técnicas de localización de esquinas. El primer enfoque ha sido abordado con técnicas clásicas de visión artificial, un conjunto de filtros aplicados sobre las imágenes para destacar la esquina. En la segunda técnica se han empleado técnicas de Deep Learning, un sistema de regresión basado en el aprendizaje de múltiples niveles de características o representaciones de datos. Se aplica la técnica de ventanas deslizantes sobre la imagen original, las cuales serán las entradas de la red neuronal, devolviendo las coordenadas de la esquina en el caso de que exista. Finalmente, se aplica una última función que unifica ambos datos para dar un único resultado final. 1. INTRODUCCIÓN Debido al elevado auge en las energías renovables, cada vez son más las instalaciones fotovoltaicas que se encuentran en funcionamiento. Este hecho motiva al desarrollo de nuevas técnicas y desarrollos para poder llevar a cabo un cómodo mantenimiento sobre estas instalaciones. La detección de posibles defectos en los paneles y su reparación, en caso de que sea posible, ayudará a que la planta pueda trabajar en el 100% de su capacidad, para obtener el rendimiento óptimo para el que se ha ideado. De esta forma, se consigue el máximo beneficio de producción de energía para el cual se ha diseñado. La técnica propuesta en este proyecto, consiste en la toma de datos térmicos de la planta fotovoltaica, ya que las fallas de los paneles son visibles en este espectro. Desarrollando un proceso lo más automatizado posible para todo el proceso. Desde 40 Sinergias en la investigación en STEM la obtención de los datos de las imágenes termográficas hasta la evaluación de los fallos. Para este objetivo, se sobrevuela un dron pilotado sobre la planta fotovoltaica. Dicho dron se dota con la cámara termográfica que toma las imágenes que se procesan a posteriori. En este trabajo solo se aborda la obtención de los paneles de cada una de las imágenes, debido a que el proyecto completo abarca partes más extensas que no se pueden abordar en tan poco espacio. 2. TÉCNICAS DESARROLLADAS En este apartado se explican las técnicas desarrolladas para abordar la obtención de datos de las imágenes. Para ello, se debe de localizar cada una de las esquinas de los paneles para poder extraer las temperaturas de los mismos. 2.1 Algoritmos clásicos empleados en visión por computador Esta técnica permite la localización de los paneles dentro de la imagen gracias al empleo de varios filtros en cascada. En este caso, se han empleado librerías como OpenCV (Bradski, 2000). En primer lugar, se realiza una corrección de la deformación causada por efecto de la lente. Ya sea debido a una deformación de ojo de pez o de efecto cojín, caracterizada según la cámara utilizada. Se realiza un realce de los bordes, utilizando un filtro Sobel (Asmaidi et al.,2019), y un binarizado que caracteriza el contorno de los paneles (Figura1.a). Este límite se ha establecido en un valor de 150, dentro de los 255 que puede alcanzar la imagen de un canal al ser valores de 8 bits. Con este resultado se aplica una convolución sobre esta imagen resultante que permite localizar las distintas esquinas orientadas. La imagen resultante consiste en una imagen de un canal en la que los pixeles de mayor valor coinciden con la esquina definida en la matriz que se aplica (Figura1.b). Definiendo un umbral límite quedan ubicadas estas coordenadas dentro de la imagen. El resultado final se marca con diferentes colores indicando las diferentes localizaciones de las esquinas según las diferentes orientaciones (Figura1.c y Figura1.d). 41 Comunicaciones orales Figura 1. Proceso que se realiza sobre las imágenes y representación de los resultados. Fuente: Elaboración propia 2.2 Deep Learning En la segunda técnica utilizada se ha empleado deep learning para la localización de las esquinas de los paneles. En el primer paso, sobre las imágenes termográficas se emplea “sliding window” o ventanas deslizantes (Glumov et al., 1995). Una ventana deslizante es una región rectangular de anchura y altura fijas que se “desliza” por una imagen. Esto permite generar recortes de la imagen original que corresponden con la entrada de la red neuronal, definiéndose en un tamaño adecuado para que no pueda encontrarse más de una esquina con la misma orientación en la misma ventana. La salida de la red neuronal se ha configurado con dos neuronas con comportamiento lineal (Paszke et al., 2019). Estas neuronas indican las coordenadas del córner buscado dentro de esa ventana. En caso de no encontrarse esquina dentro de la ventana, la salida de la red corresponde con un valor negativo elevado, de forma que se puedan distinguir fácilmente. Con estas consideraciones se realiza el entrenamiento de la red neuronal que permite procesar nuevas imágenes no vistas por el sistema antes. 2.3 Definición del panel Localizadas las coordenadas de las esquinas con sus respectivas orientaciones, es fácil realizar la asociación entre ellas dando como resultado un polígono de 4 esquinas. Considerando variables como el tamaño del panel, la altura del vuelo del 42 Sinergias en la investigación en STEM dron, la distancia, etc. Escogiendo las esquinas superiores izquierda, se realiza una aproximación donde deberían estar el resto de los puntos, si efectivamente existen, se asocia a ese panel. Sobre los paneles recortados se realiza una corrección de perspectiva que representa el panel sobre el plano horizontal. Quedando así normalizados con los que se podrá trabajar en las siguientes fases del proyecto. 3. RESULTADOS Y CONCLUSIONES Ambas técnicas permiten la localización de las esquinas de los paneles con la que se pueden extraer las temperaturas de cada uno de ellos. Permitiendo la visualización y representación de los fallos debido a zonas que alcanzan más temperatura. Gracias a esta localización dentro de la foto y a la geolocalización de la propia foto. Se puede, además, geolocalizar cada uno de los paneles ayudando a su localización unívoca dentro de la planta completa. Un hándicap presente en ambas técnicas se debe a la naturaleza de los propios datos con los que se desarrolla o entrena el algoritmo. Los datos obtenidos pueden variar por distintos factores como condiciones medioambientales, la cámara empleada, etc. Factor que obliga al recalibrado del algoritmo para estas nuevas condiciones a las que se enfrenta el algoritmo. REFERENCIAS BIBLIOGRÁFICAS Asmaidi, A., Putra, D. S., Risky, M. M., & R, F. U. (2019). Implementation of Sobel Method Based Edge Detection for Flower Image Segmentation. SinkrOn, 3(2), 161. https://doi.org/10.33395/sinkron.v3i2.10050 Bradski, G. (2000). The OpenCV Library. Dr. Dobb's Journal of Software Tools. Glumov, N., Kolomiyetz, E., & Sergeyev, V. (1995). Detection of objects on the image using a sliding window mode. Optics & Laser Technology, 27(4), 241– 249. https://doi.org/10.1016/0030-3992(95)93752-d Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., ... Chintala, S. (2019). PyTorch: An Imperative Style, High-Performance Deep Learning Library. In Advances in Neural Information Processing Systems 32 (pp. 8024–8035). Curran Associates, Inc. Retrieved from http://papers.neurips.cc/paper/9015pytorch-an-imperative-style-highperformance-deep-learning-library.pdf