Reconstrucción 3D de malas hierbas utilizando cámaras de profundidad

201 RECONSTRUCCIÓN 3D DE MALAS HIERBAS UTILIZANDO CÁMARAS DE PROFUNDIDAD Andújar D.1*, Ribeiro A.1, Bengoechea J.M.1, San-Martín C.2, Fernández-Quintanilla C.2, Dorado J.2 1Centro de Automática y Robótica (CSIC), 28500 Arganda del Rey, Madrid, España. 2Instituto de Ciencias Agrarias (CSIC), Serrano 115B, 28006 Madrid, España. * [email protected] 5HVXPHQ El objetivo de este estudio fue optimizar el ángulo de posicionamiento del sensor Kinect para la reconstrucción de la estructura tridimensional de Xanthium strumarium L., Datura stramonium L. y Chenopodium album L., utilizando para ello algoritmos que permiten la captura y combinación de imágenes de profundidad y RGB. Se han FRPSDUDGRGLIHUHQWHViQJXORV¿MDQGRHQFDGDXQRGHHOORVHOVHQVRU Kinect de forma estática respecto de la planta objetivo. Los resultados KDQFRQ¿UPDGRODFRUUHODFLyQHQWUHODELRPDVDGHPDODVKLHUEDV\HO área estimada con el sensor. La estimación de la altura de las plantas también fue adecuada, con una media de 2cm de error dependiendo de la posición del sensor. Sin embargo, aunque el sensor ha mostrado su capacidad para la creación de modelos tridimensionales, el adecuado posicionamiento del sensor es fundamental para la correcta reconstrucción de plantas. La posición ideal del sensor debe ser elegida de acuerdo a la especie a medir y su estado fenológico. Estos resultados sugieren que .LQHFWHVXQDKHUUDPLHQWD~WLOSDUDFDUDFWHUL]DUGHIRUPDUiSLGD\¿DEOH las malas hierbas, con importantes ventajas sobre otros sensores debido a su bajo coste, bajo requerimiento energético y alta frecuencia de transmisión de imágenes. 3DODEUDVFODYHKinect, agricultura de precisión, sensores. 6XPPDU\ 3D reconstruction of weeds using depth cameras. The objective of this study was to optimize the positioning angle of a Kinect sensor for reconstructing the three dimensional structure of weeds, using Kinect fusion algorithms to generate a 3D point cloud from the depth video stream. The sensor was mounted in different positions facing the plant in order to obtain depth (RGB-D) images from different angles. The results FRQ¿UPHGWKHFRUUHODWLRQEHWZHHQJURXQGWUXWKHJZHHGELRPDVVDQG the measured area with Kinect. In addition, plant height was accurately Consejería de Agricultura, Pesca y Desarrollo Rural 202 estimated with a few centimeters error. However, although the Kinect sensor has shown its ability for plant reconstruction, proper positioning of the sensor is critical for correct reconstruction of plants. The best position of the sensor must be chosen according to the species to be measured and their growth stage. These results suggest that Kinect is a promising tool for a rapid and reliable weed characterization, with several important advantages such as low cost, low power requirement and a high frame rate. .H\ZRUGV Kinect, angle of view, plant structure characterization. INTRODUCCIÓN Los sistemas de caracterización geométrica de plantas pueden ser uti- OL]DGRVSRUVLVWHPDVHVSHFt¿FRVSDUDPDQHMDUGHIRUPDPiVH¿FLHQWH los insumos en las explotaciones agrícolas. Por ejemplo, existen numerosas técnicas para adquirir información con la que generar modelos 3D de plantas, los cuales pueden utilizarse para una aplicación diferenciada GHSURGXFWRV¿WRVDQLWDULRV(QWUHHVWDVWpFQLFDVSXHGHQFLWDUVHVLVWH- mas que utilizan sensores radar (Bongers, 2001), rayos (Stuppy et al., 2003), resonancia magnética, imagen digital, ultrasonidos (Andújar et al., 2011), láser (Méndez et al., 2014), visión estereoscópica (Andersen et al., 2005), etc. Actualmente, una propuesta novedosa consiste en uti- OL]DUFiPDUDVGHSURIXQGLGDG4XLHQHVGH¿HQGHQHOHPSOHRGHHVWHWLSR GHFiPDUDVORMXVWL¿FDQSRUVXEDMRFRVWHGHDGTXLVLFLyQ\VXVJUDQGHV posibilidades de uso (Dal Mutto et al., 2012). Entre los sistemas más conocidos se encuentran Asus Xtion TM o Microsoft Kinect TM (Microsoft, Redmond, USA), dos sistemas capaces de adquirir nubes de puntos de una forma rápida y con información asociada del espectro RGB. Estas cámaras proporcionan una imagen con información de profundidad en cada píxel, asignando un valor entre 1 y 4000 para representar el valor en milímetros de la distancia hasta el primer objeto que detecta la cámara. Una de las aplicaciones de este tipo de cámaras en agricultura es el fenotipado de plantas (plant phenotyping)HVGHFLUGH¿QLUODVFDUDFWHUtVWLFDV físicas de las plantas, especialmente aquellas características que se pue- GHQGHWHFWDUSXGLHQGRDVtUHODFLRQDUODJHQpWLFDFRQODHFR¿VLRORJtDYH- getal y la agricultura. Existen varios antecedentes en este sentido: Chen et al. (2012), utilizando un sensor Kinect consiguieron construir modelos de plantas de maíz, reconstruyendo su estructura y calculando parámetros como el índice de área foliar (LAI) y el ángulo de distribución de ho- MDV/$'&KpQpHWDOLGHQWL¿FDURQFRQp[LWRODIRUPDGHKRMDV mejorando los resultados obtenidos con una cámara RGB. El objetivo principal del presente trabajo consistió en valorar las posibilidades de uso de cámaras tipo Kinectpara la reconstrucción de malas hierbas en estado temprano de desarrollo, contrastando diferentes ángulos de visión del sensor para la obtención de modelos digitales. XV Congreso de la Sociedad Española de Malherbología. Sevilla 2015 203 MATERIAL Y MÉTODOS En este estudio se utilizó un sensor Kinect para Windows v1 (Microsoft &RUSRUDWLRQLQVWDODGRHQXQDHVWUXFWXUD¿MDTXHSHUPLWtDPRGL¿FDUHO ángulo de visión de la cámara respecto a la planta objetivo. Kinect está integrado por una cámara RGB, un sensor de profundidad y un procesador interno con software que permite la captura de nubes de puntos HQ'/DFiPDUDFXHQWDFRQGRVWLSRVGHUHVROXFLyQJUi¿FDî y 640×480 píxeles) a una frecuencia de actualización de 30 fps (frames per second). Cada una de las lecturas tiene un campo de visión horizontal y vertical de 57 y 43 grados respectivamente con una profundidad de visión de hasta 4 m. Para detectar la profundidad, Kinect utiliza un emisor IR (infrarrojo) para la creación de una nube de puntos. Es decir, Kinect calcula la distancia entre cada punto y el sensor. Para las lecturas fue necesario el SDK (Software de Desarrollo de Kinect) de Kinect desarrolladores, que permite acceso al código y las herramientas para realizar aplicaciones en entornos Windows. Las medidas se realizaron en laboratorio bajo condiciones controladas de iluminación debido a las interferencias de alta iluminación sobre el sensor IR de Kinect. El propósito de las mediciones fue evaluar la precisión de los modelos 3D obtenidos con plántulas de malas hierbas desde XQiQJXOR¿MRXWLOL]DQGRSDUDHOORXQDFiPDUDGHSURIXQGLGDG'HEHPRV WHQHUHQFXHQWDTXHODLGHQWL¿FDFLyQGHPDODVKLHUEDVWLHQHXQDSDUWLFX- laridad debida a la ventana de tiempo existente entre su detección y el posterior tratamiento dirigido a su control. Es decir, se necesita un rápido procesamiento de la información. Sin embargo, la obtención de modelos tridimensionales completos desde múltiples ángulos es técnicamente costosa dada la elevada resolución espacial y, consecuentemente, el gran requerimiento en la velocidad de procesamiento. En este sentido, el ángulo de visión (i.e. el posicionamiento del sensor sobre una plataforma móvil) se convierte en un parámetro fundamental a la hora de crear el mejor modelo de las plántulas objetivo. Las medidas se hicieron en 10 plantas de Xanthium strumarium L., Datura stramonium L. y Chenopodium album L. modelizadas en un estado fenológico BBCH 11 a 15 susceptible de recibir un tratamiento herbicida (Hess et al., 1997). Las medidas fueron tomadas a 0,8 m de distancia entre la planta y el sensor desde diferentes ángulos: visión cenital (0º), lateral (45º) y frontal (90º) (Figura 1). Para ello, cada planta se colocó en una plataforma giratoria, realizándose un giro completo de la planta, manteniendo el sensor colocado en cada uno de los ángulos citados so- EUHODHVWUXFWXUDGH¿MDFLyQ/DVPHGLGDVVHWRPDURQGXUDQWHXQWLHPSR de 10 segundos en cada una de las posiciones, utilizando el software Skanect® que permite la fusión de las nubes de puntos proporcionadas por el sensor, mediante el acceso al SDK. La verdad terreno para validar Consejería de Agricultura, Pesca y Desarrollo Rural 204 los diferentes modelos 3D consistió en las medidas de biomasa y altura reales de las plantas, calculando el grado de acuerdo entre valores reales y valores estimados con el sensor. Figura 1. Posicionamiento esquemático del sensor: 1) visión cenital (0º); 2) visión lateral (45º); y 3) visión frontal (90º). RESULTADOS Y DISCUSIÓN Los resultados mostraron que este tipo de cámaras permite una re- FRQVWUXFFLyQUiSLGDHQSRFRVVHJXQGRV\¿DEOHGHODVSODQWDV/DSUH- cisión del sistema mejoró sustancialmente en estados fenológicos más avanzados. Por ejemplo, las malas hierbas con una altura de 8-11 cm fueron correctamente reconstruidas, pudiéndose reconocer su estructura básica (Figura 2). Figura 2. Reconstrucción 3D de Xanthium strumarium (arriba) y Chenopodium album (abajo) creada por superposición de nubes de puntos usando un sensor Kinect a 0,8 m de distancia y un ángulo de inclinación de 45º. XV Congreso de la Sociedad Española de Malherbología. Sevilla 2015 205 Debido a que el soporte de la planta era visible en la reconstrucción tridimensional, la altura fue fácil de medir y mostró errores inferiores a 2 cm en la mayoría de los casos, excepto en las medidas tomadas a 90º. Un caso similar se encontró en un estudio con plantas de Salix spp., donde las ramas pequeñas inferiores a 6 mm eran imposibles de detectar con cámaras de profundidad (Nock et al., 2012). Respecto al ángulo de posicionamiento del sensor, se han observado diferencias en función de la especie analizada, debido fundamentalmente a su estructura. En el caso de X. strumarium y D. stramonium, la visión cenital permitió una correcta caracterización de la estructura de la planta. Sin embargo, la reconstrucción fue peor en el caso de la visión frontal, posiblemente por la disposición perpendicular de las hojas respecto al sensor. En general, se ha encontrado una buena correlación entre los valores reales de altura y biomasa, y los valores estimados de altura y área utilizando ángulos de 0º y 45º. En cambio, la visión frontal no mos- WUyQLQJ~QYDORUVLJQL¿FDWLYR7DEOD(VWRVUHVXOWDGRVVXJLHUHQTXHOD arquitectura de estas especies dicotiledóneas, con las hojas orientadas HQSDUDOHORDODVXSHU¿FLHGHOVXHORIDYRUHFHODUHFRQVWUXFFLyQGHOPR- delo 3D desde los ángulos cenital y lateral comparados con la posición frontal del sensor. Los valores obtenidos para C. album fueron diferentes, mostrando un menor grado de acuerdo con las medidas reales. Sola- PHQWHODDOWXUDUHVXOWyVLJQL¿FDWLYDPLHQWUDVTXHODELRPDVDQRIXHFR- rrectamente estimada. La problemática asociada a la caracterización de malas hierbas en estadios tempranos es un reto interesante. La reconstrucción de plantas HQHVWDGLRVPiVDYDQ]DGRVHVPiV¿DEOH\IiFLO6LQHPEDUJRHQHOPR- mento óptimo de tratamiento, las plantas tienen un tamaño menor difícil de captar con cámaras de bajo coste con limitaciones en cuanto a resolución de la cámara. A este problema se unen ciertas restricciones relativas a las condiciones ambientales. Por ejemplo, la alta radiación solar impide la toma de datos en días soleados. 7DEOD&RH¿FLHQWHVGHFRUUHODFLyQHQWUHPHGLGDVUHDOHVGHELRPDVD\ altura respecto a los parámetros de área y altura estimados por Kinect desde diferentes ángulos de visión. Xanthium strumarium Datura stramonium Chenopodium album Ángulo Biomasa Altura Biomasa Altura Biomasa Altura 0º 0,750** 0,89** 0,840** 0,92** 0,530 0,76* 45º 0,815** 0,91** 0,790** 0,92** 0,330 0,79** 90º 0,260 0,57 0,350 0,81* 0,660 0,62 &RUUHODFLyQVLJQL¿FDWLYDD3&RUUHODFLyQVLJQL¿FDWLYDD3 Consejería de Agricultura, Pesca y Desarrollo Rural 206 La problemática asociada a las mediciones con Kinect v1 podría ser resuelta con nuevos algoritmos y hardware para la realización de medidas en las condiciones de luminosidad de campo. Debido a los problemas de iluminación en los cuales la radiación IR afecta a su uso en exteriores, las mediciones con condiciones de alta luminosidad impide su uso en tareas DJUtFRODVDSOHQRGtD(OXVRGH¿OWURVRPHGLRVGHVRPEUHRSRVLELOLWDPH- jorar la calidad de las mediciones, aunque para llegar a un grado aceptable de reconstrucción es necesario que se realicen estas mediciones durante la mañana, tarde o en días con alta nubosidad. La nueva versión del sensor (Kinect para Windows v2) mejorará notablemente las prestaciones en cuanto a trabajo en exteriores, ya que incorpora un sensor de medición por tiempo de vuelo que permite la lectura bajo cualquier condición de iluminación, con mayor precisión y penetración en la planta. $GHPiVGLVSRQHGHXQDFiPDUDHQDOWDGH¿QLFLyQ+'TXHSHUPLWHPD- yor resolución en el espectro RGB. La nueva versión del sensor permitirá obtener imágenes más claras y precisas; sin embargo, el procesamiento y la mayor cantidad de información hace necesario disponer de nuevos y mejores algoritmos para poder trabajar en agricultura. Por otro lado, todas estas características mejoradas no tienen validez si el sensor no es correctamente colocado y orientado para la detección de malas hierbas en el cultivo. Otras utilidades del sensor podrían estar en los sistemas de guiado o cualquier otra aplicación en el campo de la robótica agrícola. AGRADECIMIENTOS (VWHWUDEDMRKDVLGR¿QDQFLDGRSRUOD&,&\73UR\HFWRV$*/ 25243 y AGL2014-52465-C4-3-R). BIBLIOGRAFÍA ANDERSEN HJ, RENG L & KIRK K (2005) Geometric plant properties by relaxed stereo vision using simulated annealing. Computers and Electronics in Agriculture 49, 219-232. ANDÚJAR D, ESCOLÀ A, DORADO J & FERNÁNDEZ-QUINTANILLA C (2011) Weed discrimination using ultrasonic sensors. Weed Research 51, 543-547. BONGERS F (2001) Methods to assess tropical rain forest canopy structure: An overview. Plant Ecology 153, 263-277. CHEN Y, ZHANG W, YAN K, LI X & ZHOU G (2012) Extracting corn geo - metric structural parameters using Kinect. En: Proceedings of the 2012 IEEE International Geoscience and Remote Sensing Symposium. IGARSS, 6673-6676. Munich, Alemania. XV Congreso de la Sociedad Española de Malherbología. Sevilla 2015 207 CHÉNÉ Y, ROUSSEAU D & LUCIDARME P et al. (2012) On the use of depth camera for 3D phenotyping of entire plants. Computers and Electronics in Agriculture 82, 122-127. DAL MUTTO C, ZANUTTIGH P & CORTELAZZO GM (2012) Time-of-Flight Cameras and Microsoft Kinect; Series: Springer Briefs in Electrical and Computer Engineering; Springer: New York, NY, USA. HESS M, BARRALIS G, BLEIHOLDER H, BUHR L, EGGERS T, HACK H & STAUSS R (1997) Use of the extended BBCH scale-general for the descriptions of the growth stages of mono- and dicotyledonous weed species. Weed Research 37, 433-441. MÉNDEZ V, ROSELL-POLO JR, SANZ R, ESCOLÀ A & CATALÁN H (2014) 'HFLGXRXVWUHHUHFRQVWUXFWLRQDOJRULWKPEDVHGRQF\OLQGHU¿WWLQJIURP mobile terrestrial laser scanned point clouds. Biosystems Engineering 124, 78-88. NOCK CA, TAUGORURDEAU O, DELAGRANGE S & MESSIER C (2012) Assessing the potential of low-cost 3D cameras for the rapid measurement of plant woody structure. Sensors 13, 16216-16233. STUPPY WH, MAISANO JA, COLBERT MW, RUDALL PJ & ROWE TB (2003) Three-dimensional analysis of plant structure using high-resolution X-ray computed tomography. Trends in Plant Science 8, 2-6.