Generación eficiente de mosaicos para inspección de infraestructuras lineales mediante robots aéreos

GENERACI ´ ON EFICIENTE DE MOSAICOS PARA INSPECCI ´ ON DE INFRAESTRUCTURAS LINEALES MEDIANTE ROBOTS A´ EREOS R. Tapia, J.R. Martinez-de Dios, A. Ollero Robotics Vision and Control Laboratory, Universidad de Sevilla, Escuela Superior de Ingenieros c/Camino de los Descubrimientos s/n, 41092 Seville, Spain; [email protected], [email protected], [email protected] Resumen Este art´ıculo presenta un m´etodo de generaci´on de mosaicos mediante im´agenes tomadas por robots a´ereos para aplicaciones de inspecci´on de infraestructuras lineales. El m´etodo ha sido dise˜nado utilizando las hip´otesis del problema para reducir su coste computacional, manteniendo su comportamiento preciso y robusto. En particular, utiliza la hip´otesis de vuelo rectil´ıneo y la estimaci´on del desplazamiento entre im´agenes consecutivas para seleccionar zonas de inter´es evitando detectar y asociar caracter´ısticas en toda la imagen, lo que adem´as reduce los valores at´ıpicos y, por tanto, simplifica la optimizaci´on para el c´alculo de la transformaci´on entre im´agenes. El m´etodo ha sido validado experimentalmente en misiones de inspecci´on de oleoductos mediante robots a´ereos. Palabras clave: Rob´otica a´erea, generaci´on de mosaicos, inspecci´on 1. INTRODUCCI ´ ON En los ´ultimos a˜nos se ha multiplicado la investigaci´on en el empleo de sistemas a´ereos no tripulados (UAS) para aplicaciones de inspecci´on y mantenimiento. Los UAS permiten inspecciones m´as flexibles, ´agiles, seguras y r´apidas sin necesidad de desplegar infraestructuras, evitan la inspecci´on manual en ambientes de alta peligrosidad y reducen de forma muy relevante el n´umero de horas de personal necesarias para realizar la inspecci´on, generando reducciones dr´asticas de costes. Los proyectos H2020 AEROARMS [1] o H2020 AEROBI [2] son dos ejemplos de esfuerzos de I+D desarrollados en el Laboratorio de Rob´otica, Visi´on y Control de la Universidad de Sevilla dedicados a la inspecci´on de instalaciones industriales y de puentes, respectivamente. Existe un gran n´umero de infraestructuras e instalaciones que tienen una naturaleza lineal y se extienden durante cientos de metros o kil´ometros de distancia. La inspecci´on de gasoductos, oleoductos y tendido el´ectrico son tres ejemplos. La inspecci´on de infraestructuras lineales requiere la generaci´on de mosaicos visuales de gran tama˜no. Adem´as, el empleo operacional de estos m´etodos en la organizaci´on productiva de las empresas requiere su funcionamiento en condiciones cercanas al tiempo real. Aunque se han desarrollado un al- to n´umero de m´etodos de generaci´on de mosaicos en los ´ultimos a˜nos [7] [20], la gran mayor´ıa no est´a dise˜nada para una aplicaci´on concreta y en general tienen un coste computacional muy alto, lo que dificulta su implementaci´on. Este art´ıculo presenta un m´etodo de generaci´on de mosaicos mediante im´agenes tomadas por robots a´ereos para aplicaciones de inspecci´on de infraestructuras lineales. El m´etodo ha sido dise˜nado para tener un comportamiento robusto y preciso con un moderado coste computacional. En particular, el m´etodo estima la odometr´ıa del robot para predecir las zonas de la imagen que se solapan en im´agenes consecutivas y evitar el procesamien- to de las im´agenes completas. La asociaci´on de caracter´ısticas se realiza utilizando ventanas calculadas a partir de la odometr´ıa del robot y de las medidas de GPS. Adem´as, emplea caracter´ısticas ORB [19] y realiza el c´alculo de la transformaci´on mediante optimizaci´on por descomposici´on SVD, lo que le confiere notable robustez y eficiencia. La estructura del resto del art´ıculo es como sigue. La Secci´on 2 resume el estado del arte en las t´ecnicas de generaci´on de mosaicos. El esquema general del m´etodo se presenta en la Secci´on 3. Las Secciones 4, 5 y 6 presentan las tres fases del m´etodo: extracci´on de caracter´ısticas, asociaci´on de caracter´ısticas y c´alculo de la transformaci´on homog´enea. La validaci´on experimental en misiones de inspecci´on de oleoductos se presenta en la Secci´on 7. La Secci´on 8 resume las conclusiones y los desarrollos futuros. 2. ESTADO DEL ARTE La generaci´on de mosaicos es una t´ecnica de procesamiento de imagen que permite combinar varias im´agenes digitales para formar una de mayor tama˜no. Se trata de un caso especial de correcci´on geom´etrica en el que una imagen se ajusta a otra con la que se relaciona mediante una transforma- XL Jornadas de Automática Robótica https://doi.org/10.17979/spudc.9788497497169.802 802 ci´on homog´enea [9]. Las t´ecnicas de generaci´on de mosaicos son un campo de investigaci´on activo debido a su amplio rango de aplicaciones [3] [15]. Se pueden diferenciar dos grandes categor´ıas de t´ecnicas de generaci´on de mosaicos: las que no involucran extracci´on de caracter´ısticas -conocidas como m´etodos directos- y las t´ecnicas con extracci´on de caracter´ısticas, denominadas m´etodos no directos. Dentro de las t´ecnicas sin extracci´on de caracter´ısticas, predominan aquellas en las que el mosaico es generado a partir de los par´ametros de posici´on, estimados mediante la minimizaci´on del error cuadr´atico de la diferencia de intensidades en las zonas donde las im´agenes deben superponerse. En [10] se describe la t´ecnica de minimizaci´on m´as usada por estos m´etodos, basada en la optimizaci´on de Levenberg-Marquardt. La calidad del mosaico resultante depende directamente del resultado de la minimizaci´on, siendo en ocasiones un gran problema su sensibilidad ante m´ınimos locales, como se pone de manifiesto en [11]. Tambi´en se incluyen las t´ecnicas en las que las im´agenes que forman el mosaico se reconstruyen sobre un cilindro [18], una esfera o cualquier otra figura de revoluci´on [5] para conformar un entorno tridimensional. Este tipo de t´ecnicas no son adecuadas para inspecciones de grandes superficies por su necesidad de un gran n´umero de puntos en com´un y por sus elevados tiempos de computaci´on. Los m´etodos basados en caracter´ısticas suelen comprender tres etapas: 1) extracci´on de caracter´ısticas, 2) asociaci´on de caracter´ısticas y 3) c´alculo de la homograf´ıa que relaciona las im´agenes. Existen distintos tipos de caracter´ısticas, siendo los m´as empleados los puntos, los bordes y las regiones. Entre los extractores m´as utilizados actualmente en generaci´on de mosaicos se encuentran los algoritmos SIFT, SURF y ORB, [12]. En la literatura asociada a la generaci´on de mosaicos se pueden encontrar m´etodos de car´acter muy general [6]. En [17] se detalla como generar distintas secuencias de ajuste de las im´agenes mediante variadas transformaciones. Sin embargo, es dif´ıcil encontrar m´etodos centrados en como ganar eficiencia computacional mediante la particularizaci´on a casos concretos. Uno de los puntos a destacar del m´etodo presentado en este art´ıculo es el uso de las medidas GPS para obtener ciertas estimaciones que permitan reducir el tiempo de generaci´on del mosaico. Los algoritmos basados en caracter´ısticas suelen clasificarse en funci´on del tipo de transformaci´on que pueden efectuar a las im´agenes. La diferencia entre cada categor´ıa reside en la complejidad de los algoritmos y en su tiempo de ejecuci´on. Para los experimentos realizados, se ha optado por tener en cuenta los grados de libertad m´ınimos para conseguir eficiencia computacional. 3. ESQUEMA GENERAL DEL M´ ETODO Se desea realizar el mosaico de un escenario lineal y aproximadamente plano mediante un robot a´ereo dotado de una c´amara, GPS, IMU y alt´ımetro. Adem´as, el robot est´a equipado con sensores relacionados con el tipo de inspecci´on que realizar´a. En nuestro caso –inspecci´on de gasoductos– est´a equipado con un sensor para medir la concentraci´on en aire de un cierto gas. El m´etodo tiene como objetivo generar un mosaico a partir de las im´agenes e introducir en ´el cierta informaci´on de utilidad al operario, en concreto, referencias de posici´on GPS y datos de concentraciones de gases. Se desea que la generaci´on del mosaico sea realizado en un tiempo cercano al tiempo real y bastante inferior al de muchas otras t´ecnicas de generaci´on de mosaico actualmente existentes. El algoritmo deber´a operar con un n´umero a priori desconocido de im´agenes, de forma que se permita afrontar inspecciones de terrenos de gran extensi´on. El algoritmo desarrollado se compone de tres m´odulos. Los m´etodos y algoritmos elegidos en cada uno de ellos han sido dise˜nado con dos premisas: eficiencia computacional y escalabilidad. El primer m´odulo se encarga de la extracci´on de caracter´ısticas de las im´agenes capturadas haciendo uso de ORB [19], uno de los algoritmos m´as r´apidos actualmente utilizados. Se extraen caracter´ısticas en las regiones de las im´agenes que se superponen entre dos im´agenes consecutivas, lo que consigue reducir el c´omputo. El segundo m´odulo obtiene correlaciones entre los puntos extra´ıdos. Emplea ventanas calculadas a partir de las medidas GPS para mejorar su eficiencia computacional. En el tercer m´odulo se calcula la transformaci´on homog´enea que relaciona los puntos previamente relacionados. Se emplea un m´etodo basado en la descomposici´on en valores singulares (SVD) para reducir el coste computacional de esta optimizaci´on no lineal. El esquema propuesto emplea el hecho de que el vuelo tendr´a una gran componente longitudinal para realizar simplificaciones que permitan reducir el coste computacional y mejorar la robustez. El m´etodo supone que el vuelo se realizar´a con altura elevada y aproximadamente constante y con variaciones en cabeceo y alabeo casi nulas. No obstante, puede ser f´acilmente extrapolable a otros casos de car´acter m´as general. XL Jornadas de Automática Robótica https://doi.org/10.17979/spudc.9788497497169.802 803 4. EXTRACCI ´ ON DE CARACTER´ ISTICAS 4.1. Detecci´on de caracter´ısticas El primer paso es la detecci´on de puntos de inter´es. ORB [19] es un detector de caracter´ısticas visuales que combina los algoritmos FAST y BRIEF. Se ha elegido ORB por su mayor eficiencia computacional frente a alternativas como SIFT [16] y SURF [4]. Otra de las ventajas de ORB frente a otros extractores es su invarianza respecto a la rotaci´on, escalado y perspectiva, lo cual ser´a utilidad para relacionar dos im´agenes consecutivas cuando exista una variaci´on de la gui˜nada o de la altura, o para dotarle de estabilidad frente a peque˜nas variaciones de cabeceo y alabeo. Uno de los par´ametros m´as importante del algoritmo ORB es el n´umero m´aximo de puntos caracter´ısticos a encontrar, el cual tiene implicaciones en el coste computacional tanto en extracci´on como, sobre todo, en la asociaci´on de caracter´ısticas. El edge threshold, o umbral de borde, es otro de los par´ametros de importancia. Se trata del tama˜no del marco de la imagen donde no habr´a extracci´on de caracter´ısticas. Este umbral permite evitar posibles problemas asociados a la extracci´on de puntos en zonas cercanas a los l´ımites de la imagen. Otro motivo por el que podr´ıa preferirse no buscar puntos de inter´es en entornos pr´oximos a los l´ımites de la imagen es evitar las distorsiones ´opticas de la lente, que suelen ser mayores en los bordes de la imagen. Para los experimentos realizados se han extra´ıdo 100 caracter´ısticas en cada imagen, 50 en la zona izquierda y 50 en la derecha, y se ha fijado un umbral de borde de 50 p´ıxeles. Para mejorar la eficiencia computacional se ha evitado la extracci´on de caracter´ısticas en puntos no comunes a dos im´agenes consecutivas. Los puntos no comunes han sido calculados a partir de una estimaci´on del desplazamiento, obtenida con las coordenadas GPS y altitud del robot asociadas a cada captura. En la Figura 1 puede verse un ejemplo de extracci´on de caracter´ısticas de una imagen tomada en los experimentos. Se muestran los puntos caracter´ısticos ´unicamente en la zona com´un con la imagen inmediatamente anterior, evitando los bordes de la imagen. Las zonas no comunes se muestran en tonos m´as oscuros. 4.2. Extracci´on de descriptores Una vez detectados los puntos de inter´es, se extraen las caracter´ısticas. Un extractor genera un vector de datos que describe la vecindad entorno a cada uno de los puntos de inter´es detectados. Cada punto de inter´es tendr´a asociado un identificador. Idealmente, los descriptores son invariantes ante transformaciones, lo que permite identificar la misma caracter´ıstica cuando la imagen haya sido transformada. Figura 1: Extracci´on de caracter´ısticas en una imagen tomada en los experimentos de inspecci´on de gasoductos. ORB utiliza un vector de valores binarios con un tama˜no de 256 bits. Sea d(p1, p2) una componente del vector de descripci´on del caracter´ıstica f,S una secci´on de la imagen y S(p) la intensidad de Sen el punto p= (x, y)T: d(p1, p2) := 1si S(p1)< S(p2) 0si S(p1)≥S(p2)(1) El vector de descripci´on de fvendr´a dado por: Df=X 1≤k≤256 2k−1d(ak, bk),(2) donde los valores akybkse escogen seg´un una distribuci´on Gaussiana en torno al centro de S. 5. ASOCIACI ´ ON DE CARACTER´ ISTICAS Una vez que en im´agenes consecutivas se han detectado caracter´ısticas y se han obtenido sus descriptores, el siguiente paso consiste en asociar las caracter´ısticas de ambas im´agenes. Muchos m´etodos realizan la asociaci´on empleando t´ecnicas de correlaci´on por fuerza bruta, consistente en comparar los descriptores de todos los puntos caracter´ısticos de una imagen con todos los de la otra imagen [14]. Sin embargo, la correlaci´on por fuerza bruta requiere un alto coste computacional, sobre todo para relacionar un gran n´umero de puntos. En nuestro m´etodo se ha optado por implementar un m´etodo m´as eficiente, que obtiene la correlaci´on mediante el c´alculo de la distancia de Hamming de los descriptores de los puntos de inter´es XL Jornadas de Automática Robótica https://doi.org/10.17979/spudc.9788497497169.802 804 y que tiene en cuenta la estimaci´on del desplazamiento del robot a´ereo. 5.1. Comparaci´on de caracter´ısticas Se conoce como correlaci´on de caracter´ısticas al proceso mediante el cual se relacionan entre s´ı los puntos de inter´es de dos im´agenes. El descriptor usado por ORB es un descriptor binario, lo que permite obtener m´etricas de parecido entre caracter´ısticas de forma muy eficiente, empleando la distancia de Hamming. Se define la distancia de Hamming entre la cadena ay la cadena bcomo el n´umero de bits que se deben cambiar en apara transformarla en b. Esta distancia puede ser calculada utilizando la disyunci´on exclusiva (XOR): d(a, b) = bit count(a⊕b),(3) donde: a⊕b= (a∪b)\(a∩b) = (a∪b)∩(a∩b) (4) El hecho de poder calcular la distancia de Hamming de dos descriptores con esta operaci´on es una gran ventaja en cuanto a coste computacional, ya que XOR es una de las operaciones m´as r´apidas que un procesador puede llevar a cabo. Actualmente todas las CPUs soportan esta operaci´on y son capaces de ejecutarla en menos de un ciclo de reloj. Adem´as, muchos procesadores poseen la capacidad de ejecutar varios XOR en paralelo. Una vez obtenida la distancia entre los descriptores de dos caracter´ısticas, es necesario determinar si esa uni´on debe ser considerada como buena. Para ello, se escoger´an las nque presenten la me- nor distancia. Esta forma de proceder hace innecesario un tratamiento de posibles valores at´ıpicos, evit´andose todo el coste computacional requerido por algoritmos como RANSAC. 5.2. Ventanas de comparaci´on La correlaci´on de los puntos caracter´ısticos puede hallarse comparando todos descriptores de las dos im´agenes. Sin embargo, el coste computacional que se requiere es relativamente elevado. Para reducir el tiempo de ejecuci´on se seleccionan ventanas en las im´agenes, que reducir´an el n´umero de comparaciones a realizar. El c´alculo de estas ventanas se realiza con la estimaci´on de la posici´on del robot, ofrecida por el GPS y por la medida de la gui˜nada. Sea ∆x=xk−xk−1e ∆y=yk−yk−1obtenidas a partir de las posiciones (xk, yk) y (xk−1, yk−1), el desplazamiento en l´ınea recta efectuado por el robot es: d=p∆x2+ ∆y2(5) Conocida la medida de la gui˜nada respecto a una referencia, θ, y conocida la posici´on de un punto en la imagen Ik, (x1, y1), puede estimarse la posici´on que ocup´o ese punto en la imagen Ik−1como: (x0, y0)≈(x1−dsin θ, y1−dcos θ) (6) Las ventanas son seleccionadas lo suficientemente amplias como para absorber el error en las medidas de posici´on. En los experimentos realizados se han utilizado ventanas de un tama˜no aproximadamente igual al 15 % de la altura de la imagen. En la Figura 2 puede verse un ejemplo de asociaci´on de caracter´ısticas de dos im´agenes tomadas en los experimentos. Se muestran los puntos caracter´ısticos emparejados del mismo color, mientras que aquellos con una distancia superior al umbral aparecen en negro. Las cruces de las im´agenes son puntos tomados como referencias. La cruz roja de la imagen inferior ha sido obtenida a partir de la estimaci´on detallada en esta secci´on. El marco rojo es un ejemplo del ventana. 6. C ´ ALCULO DE LA TRANSFORMACI ´ ON HOMOG´ ENEA El ´ultimo paso consiste en encontrar la transformaci´on que relaciona los conjuntos de puntos asociados, calculando para ello los par´ametros que proporcionen el mejor ajuste del modelo mediante la minimizaci´on del error cuadr´atico. Un punto P= (x, y)Tpuede ser expresado en coordenadas homog´eneas como P= (sx, sy, s)T, donde la nueva coordenada representa un factor de escala. En lo sucesivo, se supondr´a s= 1 sin perder generalidad. Empleando coordenadas homog´eneas, la transformaci´on entre dos puntos viene dada por x2=T x1, donde Tes la matriz de transformaci´on. Las condiciones de vuelo permiten aproximar dicha matriz de la forma: T=  cos θ−sin θ px sin θcos θ py 0 0 1  (7) Esta transformaci´on tiene como par´ametros la traslaci´on (px, py) y la orientaci´on θ, y supone una variaci´on en los ´angulos de cabeceo y alabeo nula entre dos im´agenes consecutivas. Esta particularizaci´on implica una disminuci´on considerable del tiempo de c´omputo, por lo que el algoritmo ser´a capaz de trabajar con conjuntos grandes de puntos en un tiempo relativamente peque˜no. La expresi´on x2≈T x1, puede ser reescrita de la XL Jornadas de Automática Robótica https://doi.org/10.17979/spudc.9788497497169.802 805 Figura 2: Asociaci´on de caracter´ısticas en dos im´agenes tomadas en los experimentos de inspecci´on de gasoductos. forma Ax ≈0: x1−y11 0 −x2 y1x10 1 −y2      cos θ sin θ px py 1       =0 0(8) Por lo que su soluci´on en el sentido de los m´ınimos cuadrados viene dada por la expresi´on ATAx∗= 0. Para su resoluci´on, se emplea la descomposici´on en valores singulares (SVD). Apuede ser factorizada como A=UΣVT, donde las columnas de V se corresponden con los autovectores de ATA. Las componentes de los autovectores asociados al autovalor m´as pr´oximo a cero ser´an los par´ametros que permiten el mejor ajuste. Una vez calculada la matriz T, se aplica la transformaci´on a todos los puntos de la imagen. 7. EXPERIMENTOS El m´etodo se ha validado experimentalmente en aplicaciones de inspecci´on y mantenimiento de oleoductos. Los experimentos se realizaron con el robot DARIUS (v´ease Figura 3) desarrollado por el Laboratorio de Rob´otica, Visi´on y Control. DARIUS tiene un MTOW (Maximum Take Off Weight) de 22 kg y un tama˜no de h´elice de 1700 mm. Para estos experimentos DARIUS fue equipado con un GPS, una c´amara de alta resoluci´on orientada hacia el suelo y un sensor para medir la concentraci´on de gases hidrocarburos y poder detectar fugas. Tambi´en estaba equipado con un LiDAR Velodyne HDL-32 que no se emple´o en estos experimentos. Figura 3: Robot a´ereo utilizado en los experimentos. Se realizaron una serie de vuelos con una duraci´on media de unos 5 minutos. De media en cada uno de ellos el robot realiz´o un vuelo de 200 m de distancia. El robot sobrevol´o la escena (supuesta casi plana) a una altura aproximada de 20 m. El vuelo se realiz´o a altura constante. Se tomaron im´agenes a una tasa aproximada de una imagen cada 2 m. En la Figura 4 se presenta un mosaico obtenido en un peque˜no recorrido del robot. Este resultado integra 15 im´agenes. No se muestra el mosaico completo por motivos de espacio y resoluci´on de la figura. Adem´as, el m´etodo proporciona la informaci´on recogida por el sensor de concentraci´on y la georeferencia de cada captura como im´agenes que pueden ser superpuestas sobre el mosaico. Esta informaci´on resulta de gran inter´es para el operario que realice la inspecci´on, por lo que obtenerla de forma visual supone un gran beneficio. La generaci´on del mosaico completo ha tardado aproximadamente 45 segundos. La uni´on de dos im´agenes se realiza en un tiempo entre 0.2 y 0.3 segundos, de los cuales aproximadamente el 70 % se invierte en la extracci´on de caracter´ısticas, cerca de un 10 % en su asociaci´on y el 20 % restante, en obtener y aplicar la transformaci´on. Los par´ametros de las transformaciones calculados para generar el mosaico permiten conocer la XL Jornadas de Automática Robótica https://doi.org/10.17979/spudc.9788497497169.802 806 Figura 4: Mosaico generado en un tramo de recorrido. posici´on y orientaci´on del robot a´ereo durante la inspecci´on. La Figura 5 muestra la trayectoria descrita por el robot durante uno de los experimentos, en el que se integraron 50 im´agenes. Para comprobar el grado de calidad del resultado obtenido se compar´o con el ofrecido por el software profesional de fotogrametr´ıa y mapeado Pix4D, el cual necesit´o 4 minutos para generar el mosaico. La parte correspondiente al tramo presentado anteriormente puede observarse en Figura 6. El m´etodo propuesto ha generado un resultado de calidad similar pero en aproximadamente un 40 % del tiempo empleado por Pix4D. Figura 5: Posici´on y orientaci´on del robot a´ereo durante uno de los experimentos. 8. CONCLUSIONES La generaci´on de mosaicos de im´agenes tomadas por robots a´ereos tiene una amplia variedad de usos y aplicaciones. A pesar de haberse desarrollado numerosas t´ecnicas de generaci´on de mosaicos, los m´etodos del estado del arte a´un tienen un elevado coste computacional que exige su implementaci´on fuera de l´ınea, lo que implica limitaciones en muchas aplicaciones. En este art´ıculo estamos interesados la inspecci´on de infraestructuras lineales, la cual requiere la generaci´on de mosaicos de gran tama˜no. Adem´as, es necesario que los m´etodos operen en condiciones cercanas al tiempo real. Este art´ıculo presenta un m´etodo de generaci´on de mosaicos mediante im´agenes tomadas por robots a´ereos para aplicaciones de inspecci´on de infraestructuras lineales, tales como gasoductos u oleoductos. El m´etodo se basa en detectar puntos caracter´ısticos que son asociados en im´agenes consecutivas y a partir de los cuales se obtiene la matriz de transformaci´on entre las im´agenes. Sin embargo, cada una de las fases anteriores ha sido dise˜nada para tener un comportamiento robusto y preciso con un moderado coste computacional lo que permite su implementaci´on en casi tiempo real. El m´etodo utiliza la hip´otesis de vuelo rectil´ıneo de altura constante en un escenario plano y la estimaci´on del desplazamiento entre im´age- XL Jornadas de Automática Robótica https://doi.org/10.17979/spudc.9788497497169.802 807 Figura 6: Mosaico ofrecido por el software Pix4D. nes consecutivas para seleccionar zonas de inter´es evitando detectar y asociar caracter´ısticas en toda la imagen, lo que redunda en menor esfuerzo computacional y menor n´umero de valores at´ıpicos que simplifican la optimizaci´on para el c´alculo de la transformaci´on entre im´agenes. El m´etodo ha sido validado experimentalmente en misiones de inspecci´on de oleoductos. La relajaci´on de la hip´otesis de tierra plana es un aspecto de investigaci´on futura. Esto permitir´ıa al m´etodo operar en situaciones donde sea necesario la uni´on de im´agenes con regiones a distintas alturas. Aunque el m´etodo ha sido validado experimentalmente, ser´ıa necesario extender la validaci´on con escenarios m´as complejos y m´as extensos. Agradecimientos Este art´ıculo se ha financiado por el proyecto ARM-EXTEND financiado por el Plan Nacional. English summary EFFICIENT MOSAICKING FOR LINEAR INFRASTRUCTURE INSPECTION USING AERIAL ROBOTS Abstract This paper presents a mosaicking generation method using images captured by aerial robots for linear infrastructure inspection applications. The method has been designed using the problem hypotheses in order to reduce its computational cost, keeping its precise and robust performance. Particularly, it uses the rectilinear flight hypothesis and the estimation of the displacement between consecutive images to select regions of interest avoiding to detect and match features in the whole image, also reducing the outliers and, therefore, simplifying the optimization for calculating the transformation between images. The method has been validated experimentally on gas pipeline inspection missions with aerial robots. Keywords: Aerial robotics, mosaicking, inspection. Referencias [1] Aeroarms project, aeroarms-project.eu, Junio 2019. [2] Aerobi project, aerobi.eu, Junio 2019. [3] Aghaei, M., Leva, S. y Grimaccia, F., (2016) PV power plant inspection by image mosaicing techniques for IR real-time images, IEEE 43rd Photovoltaic Specialists Conference. [4] Bay, H., Tuytelaars, T. y Van Gool, L., (2006) SURF: Speeded Up Robust Features, European Conference on Computer Vision, pp. 404-417. [5] Colombo, C., Del Bimbo, A. y Pernici, F., (2004) Image mosaicing from uncalibrated views of a surface of revolution, Proc. of British Machine Vision Conf. XL Jornadas de Automática Robótica https://doi.org/10.17979/spudc.9788497497169.802 808 [6] Duplaquet, M.L., (1998) Building large image mosaics with invisible seam-lines, Proc. of the SPIE Congres AeroSence, pp. 369-377. [7] Ghosh, D., Kaabouch, N., (2016) A survey on image mosaicing techniques, Journal of Visual Communication y Image Representation, pp. 1-11. [8] Heikkila, M. y Pietikainen, M., (2005) An image mosaicing module for wide-area surveillance, Proceedings of the Third ACM Int. Workshop on Video Surveillance and Sensor Networks, pp. 11-18. [9] Inampudi, R.B., (1998) Image mosaicing, International Geoscience and Remote Sensing Symposium Proc. [10] Jethwa, M., Zisserman, A. y Fitzgibbon, A., (1998) Real-time panoramic mosaics and augmented reality, Proc. of the Britsh Machine Vision Conf., pp. 852-862. [11] Jianchao, Y. y Chern, C.T., (2001) The practice of automatic satellite image registration, Asian Conf. on Remote Sensing, pp. 5-9. [12] Karami, E., Prasad, S. y Shehata, M., (2017) Image matching using SIFT, SURF, BRIEF and ORB: performance comparison for distorted images, ArXiv. [13] Kekec, T., Yildirim, A. y Unel, M., A new approach to real-time mosaicing of aerial images, Robotics and Autonomous Systems, pp. 1755-1767. [14] Kern, A. y Bobbe, M., (2016) Towards a realtime image mosaicing solution, Int. Micro Air Vehicles Conference. [15] Li, Y., Randall, C.J., van Woesik, R. y Ribeiro, E., (2019) Underwater video mosaicing using topology and superpixel-based pairwise stitching, Expert Systems with Applications, pp. 171-183. [16] Lowe, D.G., (2004) Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision, pp. 91-110. [17] McLauchlan, P.F. y Jaenicke, A., (2000) Image mosaicing using sequential bundle adjustment, Proc. of the British Machine Vision Conf., pp. 616-625. [18] Rousso, B., Peleg, S., Finci, I. y Rav-Acha, A., (1998) Universal mosaicing using pipe projection, Proc. of the Sixth IEEE Int. Conf. on Computer Vision, pp. 945-952. [19] Rublee, E., Rabaud, V., Konolige, K., Bradski, G., (2011) ORB: an efficient alternative to SIFT or SURF, International Conference on Computer Vision. [20] Zagrouba, E. y Barhoumi, W., (2009) An efficient image-mosaicing method based on multifeature matching, Machine Vision and Applications, pp. 139-162. c 2019 by the authors. Submitted for possible open access publication under the terms and conditions of the Creative Commons Attribution CC BY-NC-SA 4.0 license (https://creativecommons.org/licenses/by-nc- sa/4.0/deed.es). XL Jornadas de Automática Robótica https://doi.org/10.17979/spudc.9788497497169.802 809