TRABAJO FINAL DE GRADO
TÍTULO DEL TFG: De ección de obje os ex años (FODs) en pis as de
ae opue os u ilizando d ones e in eligencia a i icial
TITULACIÓN: G ado en Ingenie ía de Sis emas de Telecomunicaciones
AUTOR: Ch is ian González He nández
DIRECTOR: Es he Salamí San Juan
FECHA: 20 de junio de 2023
Resumen
TÍTULO: De ección de obje os ex años (FODs) en pis as de ae opue os
u ilizando d ones e in eligencia a i icial
AUTOR: Ch is ian González He nández
DIRECTOR: Es he Salamí San Juan
FECHA: 20 de junio de 2023
En es e abajo se ealiza á el es udio sob e ealiza la a ea de inspecciona
pis as de ae opue os median e el uso de d ones e in eligencia a i icial. Se
e alúan di e en es aspec os basados en e i ica la iabilidad de la ope ación.
Se han es udiado aspec os como el impac o de las ca ac e ís icas del d on en
la ope ación, y la posibilidad de en ena algo i mos de ap endizaje p o undo
en de ección de FOD’s. También se han ealizado simulaciones emulando el
en o no eal pa a de es a mane a e cómo se compo aba el en o no c eado.
Los esul ados o o gados po las di e en es e apas del es udio con i man que
la ope ación pod ía se lle ada a cabo pa a la mayo ía de d ones en el me co,
po lo que se demues a el po encial de ealiza es a ope ación.
O ganización del abajo 4
O e iew
TITLE: Fo eign Objec De ec ion (FODs) on ai po unways using
d ones and a i icial in elligence
AUTHOR: Ch is ian González He nández
DIRECTOR: Es he Salamí San Juan
DATE: 20 h June 2023
In his wo k, a s udy will be ca ied ou on he ask o inspec ing ai po unways
using d ones and a i icial in elligence. Di e en aspec s a e e alua ed based
on e i ying he easibili y o he ope a ion. Aspec s such as he impac o he
d one's cha ac e is ics on he ope a ion, and he possibili y o aining deep
lea ning algo i hms in FOD de ec ion ha e been s udied. Simula ions ha e also
been ca ied ou emula ing he eal en i onmen in o de o see how he c ea ed
en i onmen would beha e. The esul s p o ided by he di e en s ages o he
s udy con i m ha he ope a ion could be ca ied ou o he majo i y o d ones
on he ma ke , hus demons a ing he po en ial o pe o ming his ope a ion.
DICCIONARIO DE ACRÓNIMOS
FOD Fo eign Objec Damage
IA In eligencia A i icial
RTMP Real Time Messaging P o ocol
PCA P incipal Componen Analisys
GAN Gene a i e Ad e sa ial Ne wo ks
DNN Deep Neu onal Ne wo ks
SSD Single Sho Mul ibox
GSD G ound Sampling Dis ance
OBS Open B oadcas e So wa e

O ganización del abajo 6
ÍNDICE
CAPÍTULO 1. INTRODUCCIÓN ........................................................................ 8
1.1 Mo i ación .......................................................................................................................... 8
1.2 Obje i os ............................................................................................................................ 8
1.3 Es uc u a del documen o ................................................................................................ 9
CAPÍTULO 2. MARCO TEÓRICO ................................................................... 11
2.1 Di e encia en e In eligencia A i icial, Machine Lea ning y Deep lea ning .............. 11
2.1.1 In eligencia a i icial .............................................................................................. 11
2.1.2 Machine Lea ning ................................................................................................. 11
2.1.3 Ca ego ías de algo i mos ...................................................................................... 12
2.1.4 Deep Lea ning ....................................................................................................... 12
2.2 Redes neu onales y aplicaciones .................................................................................. 13
2.2.1 Cómo en ena una ed neu onal ........................................................................... 13
2.2.2 P oceso de ap endizaje de una ed neu onal ........................................................ 14
2.2.3 Pa áme os y op imizado es impo an es en el en enamien o .............................. 16
2.3 Redes neu onales con olucionales .............................................................................. 16
2.3.1 De inición y concep os ............................................................................................ 16
2.3.2 Ope ación de con olución ..................................................................................... 17
2.3.3 Ope ación de pooling ............................................................................................. 18
2.4 Da a augmen a ion .......................................................................................................... 19
2.4.1 De inición y concep os ............................................................................................ 19
2.4.2 Di e en es écnicas y uso ....................................................................................... 20
2.5 T ans e Lea ning ............................................................................................................ 21
2.5.1 De inición y concep os ........................................................................................... 21
2.5.2 Fea u e ex ac ion .................................................................................................. 22
2.5.3 Fine uning ............................................................................................................. 22
2.6 De ección de obje os ....................................................................................................... 23
2.6.1 De inición y concep os ........................................................................................... 23
2.6.2 Funcionamien o y modo de en enamien o ........................................................... 23
2.6.3 Mé icas impo an es ............................................................................................. 23
2.6.4 Modelos de de ección de obje os exis en es ........................................................ 24
2.6.4.1 R-CNN ................................................................................................................ 24
2.6.4.2 YOLO .................................................................................................................. 25
2.6.4.3 SSD .................................................................................................................... 26
2.6.4.4 Mask R-CNN ...................................................................................................... 26
2.7 P o ocolo RTMP ............................................................................................................... 27
2.7.1 De inición y concep os .............................................................................................. 27
CAPÍTULO 3. DESARROLLO DEL TRABAJO ............................................... 28
3.1 Viabilidad de la u ilización de d ones pa a de ección de FOD’s .................................... 28
3.1.1 Pla a o ma ............................................................................................................ 28
3.1.2 Cálculos de la al u a de uelo .............................................................................. 29
3.1.3 Cálculos de la elocidad de uelo ........................................................................ 33
3.1.4 Plan de uelo ......................................................................................................... 34
3.2 P epa ación de los da os .................................................................................................. 35
3.2.1 FOD-A Da ase ...................................................................................................... 35
3.2.2 Análisis y p ep ocesado ......................................................................................... 37
3.2.3 Da ase p ocesado ............................................................................................... 38
3.2.4 Da ase aumen ado .............................................................................................. 38
3.3 Selección del modelo de de ección ............................................................................... 40
3.3.1 YOLO 5 ................................................................................................................ 40
3.3.1.1 En o no y pa áme os ........................................................................................... 40
3.3.1.2 En enamien o y esul ados YOLO 5n ................................................................. 42
3.3.1.3 En enamien o y esul ados YOLO 5x ................................................................. 43
3.3.2 Simulación con los modelos de la ed YOLO 8 ................................................... 44
3.3.2.1 En o no y pa áme os .......................................................................................... 44
3.3.2.2 En enamien o y esul ados YOLO 8n ................................................................ 44
3.3.2.3 En enamien o y esul ados YOLO 8x ................................................................ 45
3.3.3 Análisis y compa ación de las edes en enadas ................................................... 46
3.3.3.1 Valo ación de los esul ados ............................................................................. 46
3.3.3.2 Compa ación de esul ados .............................................................................. 46
3.4 Desa ollo de la aplicación ............................................................................................. 50
3.4.1 P ueba del de ec o de obje os en local .................................................................. 50
3.4.2 Conexión con se ido RTMP.................................................................................. 51
3.4.2.1 Enlace y mé odo de conexión .............................................................................. 51
3.4.2.2 P ocedimien o y he amien as usadas ................................................................. 53
3.4.3 Resul ados y conclusiones ex aídas ...................................................................... 54
3.5 Vuelos de es ...................................................................................................................... 56
CAPÍTULO 4. CONCLUSIONES Y MEJORAS FUTURAS ............................. 62
4.1 Conclusiones del abajo desa ollado ............................................................................. 62
4.2 Mejo as u u as .................................................................................................................... 64
5. BIBLIOGRAFÍA Y WEBGRAFÍA ................................................................. 66
6. ANEXO......................................................................................................... 68
6.1 Resul ados YOLO 5n ................................................................................................. 68
6.2 Resul ados YOLO 5x ................................................................................................. 70
6.3 Resul ados YOLO 8n ................................................................................................. 72
6.4 Resul ados YOLO 8x ................................................................................................. 74
6.5 Código pa a ealiza el en enamien o de YOLO 5 .................................................... 76
6.6 Código pa a ealiza el en enamien o de YOLO 8 .................................................... 77
O ganización del abajo 8
CAPÍTULO 1. INTRODUCCIÓN
1.1 Mo i ación
La mo i ación de es e abajo iene dada po el g an p oblema que suponen los
FODs hoy en día [7]. Es os obje os ex años en pis as de ae opue os p o ocan
con ables acciden es y, ac ualmen e, es necesa io que un abajado haga una
e isión del es ado de las pis as pa a comp oba que es án lib es de es os
obje os. Es os FOD’s pueden causa se e os daños en los mo o es de un a ión
si, po ejemplo, en asen en las u binas en el momen o de despegue. También
pueden ocasiona un daño es uc u al, ocasionando una up u a de algún
neumá ico o la o u a de un ala. Un ejemplo de es o se pudo e en el acciden e
del Conco de en el año 2000 [27], el cual su ió un desp endimien o de un pedazo
de neumá ico al pisa una i a me álica dejada po o o a ión. En la igu a 1 puede
e se el momen o del acciden e.
Fig.1 Imágenes del momen o del acciden e del Conco de F-BTSC
Hoy en día siguen ocu iendo muchos de es os acciden es, y la única mane a de
e isa las pis as es haciéndolo manualmen e. Po lo an o, la idea del p oyec o
es hace uso del ecien e auge en ecnologías de ap endizaje p o undo pa a
c ea una IA que pe mi a ealiza es a a ea, sin la necesidad de que una pe sona
e i ique es as imágenes. Si no que sea la p opia IA la que, g acias a un
en enamien o an e io , pueda clasi ica es as imágenes au omá icamen e a
pa i de un ídeo cap ado po un d on. G acias a es o se pod á agiliza mucho
la a ea de e isa las pis as, y se aho a án cos es en pe sonal dedicado a es a
misma.
1.2 Obje i os
El obje i o de es e p oyec o, es la e i icación de que se ía posible ealiza la
a ea de de ec a FOD’s en un ae opue o u ilizando d ones y algo i mos de
ap endizaje p o undo. Pa a ello, se debe án cumpli a ios obje i os, que son
necesa ios pa a el desa ollo de es a ac i idad en un en o no eal y que se
explica án a con inuación.
O ganización del abajo 9
El p ime obje i o, es el de comp oba que ísicamen e es posible ealiza es a
ope ación. En é minos de demos a es o, se ealiza án una se ie de cálculos
simples pa a e alua que el d on iene la capacidad, an o a ni el de cáma a
como de mo ilidad, de e ec ua la a ea de mane a óp ima. Se es udia án
aspec os como la elocidad de uelo y su al u a, de es a mane a, se comp oba á
si con el modelo de d on que enemos a nues a disposición (DJI Mini 2 [8])
podemos ealiza una de ección de obje os de mane a e icien e.
El siguien e obje i o es el de c ea un algo i mo capaz de de ec a obje os
ex años (FODs) en pis as de ae opue os. Pa a cumpli es e obje i o se usa á
un ipo especial de ed neu onal llamada ed neu onal con olucional, la cual es á
diseñada conc e amen e pa a el a amien o, análisis, clasi icación y
segmen ación de imágenes. Pa iendo de que ya se iene un da ase con más de
30 obje os ca alogados que se suelen encon a en pis as, se p ocede á a
en ena un modelo de edes neu onales con olucionales, pa a que sea capaz
de iden i ica es os obje os en una imagen.
Pa iendo de es a p oblemá ica, una de las me as impo an es del abajo es
ealiza una in es igación de los modelos de de ección de obje os ac uales, y
comp oba en qué medida de lo posible se ía iable llega a implemen a es a
idea. Pa a ello se es udia án a ios modelos dis in os pa a e alua su
endimien o y se escoge á un candida o. Es a e aluación se ealiza á con el
da ase mencionado an e io men e, pa a el cual se ealiza á un p ep ocesado y
se decidi án unas condiciones especí icas pa a el co ec o en enamien o de
odos los modelos.
Finalmen e, como obje i o úl imo, se ealiza án simulaciones an o en local como
en iempo eal, dónde se es udia á si es iable ealiza un p ocesado a iempo
eal de las imágenes cap adas po el d on. De es a mane a, se pod á ene una
idea cla a y p ecisa de la iabilidad del p oyec o. El cual, se á de g an ayuda
pa a ealiza las inspecciones u ina ias en las pis as de ae opue os, haciendo
de es a mane a mucho más ápida y segu a la inspección de es as mismas.
1.3 Es uc u a del documen o
La es uc u a de es e documen o se di ide en es pa es. La p ime a pa e, el
ma co eó ico, es una in oducción eó ica sob e odos los emas a ados du an e
el desa ollo del p oyec o. Se explica á la eo ía básica sob e qué es y cómo se
en ena una ed neu onal con olucional. También se cen a á en disce ni qué
mé icas de es os en enamien os son impo an es en la de ección de obje os.
Po úl imo, en es e capí ulo se habla á sob e cuáles son los de ec o es de obje os
más usados en la ac ualidad, y de algunos mé odos pa a ealiza el en ío de la
in o mación p ocesada po el de ec o , que se necesi a á pa a la ealización de
simulaciones a lo la go del p oyec o. Si se iene conocimien o p e io sob e
he amien as de de ección de obje os, y sob e el uncionamien o y en enamien o
O ganización del abajo 16
2.2.3 Pa áme os y op imizado es impo an es en el en enamien o
En es e apa ado se e án algunos pa áme os y op imizado es que se deben
ene en cuen a a la ho a de c ea un modelo basado en edes neu onales y
en ena lo.
• Núme o de épocas: Es e pa áme o p esen a cuan as eces se a a
ealiza el en enamien o pa a un mismo conjun o de da os de en ada.
Cuan o más al o sea el núme o de épocas, más eces se ealiza á el
eco ido de en enamien o comple o, po lo que la unción de loss se á
cada ez más ce cana a ce o. Hay que ene en cuen a que pone un
núme o muy ele ado de épocas ha á que el modelo se sob e ajus e a un
mismo inpu , po lo que es o se á con ap oducen e.
• Momen um: Es e hipe pa áme o es muy ú il, ya que cuando se ealiza la
écnica del g adien descen no se iene siemp e solamen e un único pun o
mínimo, po lo que es ácil que se quede en un mínimo local y no global
como se desea. Debido a ello, momen um pe mi e sal a se en g an
medida es e e o y pode consegui e ec ua el g adien descen con
mayo e icacia.
2.3 Redes neu onales con olucionales
2.3.1 De inición y concep os
Pa a el desa ollo de es e abajo se u iliza á la écnica de Deep lea ning, que
u iliza modelos de ap endizaje basados en edes neu onales con olucionales.
Una ed neu onal con olucional es un modelo de ed neu onal que p esen a una
es uc u a no muy di e en e de una ed neu onal adicional. Con iene una
p ime a capa de en ada o inpu que es donde se in oducen los da os, después
iene seguida de una o a ias (no malmen e a ias) capas en donde se ealizan
odas las ope aciones necesa ias que se ían ope aciones de con olución y
pooling. Es as capas se denominan capas ocul as y pa a inaliza , hay una úl ima
capa llamada capa de salida, que es donde se ob iene la p edicción inal de la
ed neu onal.
Las edes neu onales con olucionales es án diseñadas explíci amen e pa a
ene como en ada de da os una imagen. G acias a es o, es as edes pueden
da po hecho que en ada eciben y, po lo an o, ajus a sus ope aciones,
eniendo en cuen a es o pa a pode u iliza ca ac e ís icas y ans o maciones
e ec i as en una imagen. Debido a es a ca ac e ís ica, es as edes neu onales
p esen an esul ados muy sa is ac o ios a la ho a de clasi ica y segmen a
imágenes, y has a incluso de de ec a obje os den o de es as mismas.
La ans o mación de los da os de es as edes neu onales iene dada po el uso
de ma ices bidimensionales en las ope aciones, como si de un il o de una

O ganización del abajo 17
imagen no mal se a a a. Den o de es as ope aciones se usa la con olución y
el pooling, la cual, es una écnica que educe la in o mación que se iene en una
pequeña á ea en un solo pun o. En la igu a 4 se puede e un esquema de cómo
es á o mada una ed neu onal con olucional:
Fig. 4 Esquema de una ed neu onal con olucional [17]
2.3.2 Ope ación de con olución
En las capas des inadas a ealiza la ope ación de con olución se ese an odas
las neu onas de la capa pa a ealiza la, po lo que odas las neu onas se án
con olucionales. Es a ans o mación de da os a a de ap ende las
ca ac e ís icas de la en ada no de una mane a global, sino de una mane a local.
Es o quie e deci que, en es a ope ación, se ija el amaño de una en ana
bidimensional (una ma iz más pequeña que la en ada), y se a pasando po
oda la ma iz de inpu con olucionándola. De es a mane a se ob iene oda la
in o mación del á ea que aba ca la en ana en un pun o. Las capas de
con olución se suelen o dena de o ma je á quica, es deci , en las p ime as
capas de con olución que se usan en el modelo se debe án ap ende
ca ac e ís icas simples de la imagen como sus a is as y sus bo des. Mien as
que en las capas más a anzadas se ap ende á (usando la in o mación adqui ida
en las capas p eceden es), ca ac e ís icas más complejas como la o ma
comple a o el amaño de lo que se quie a ap ende . Si se usa es o de una mane a
e icien e y con sen ido, la ed se á capaz de log a de ec a y ap ende pa ones
complejos en las imágenes. En la igu a 5 puede e se un ejemplo de la
ope ación de con olución.
O ganización del abajo 18
Fig. 5 Rep esen ación sencilla del uncionamien o de la capa con olucional [17]
2.3.3 Ope ación de pooling
En es a ope ación ocu e lo mismo que en la e apa de con olución, se ese a
una capa en e a, es deci , odas sus neu onas es án des inadas a ealiza la
ope ación de pooling. La ope ación de pooling se ealiza jus o después de cada
e apa de con olución, po lo que hab á an as e apas de pooling como de
con olución. Es a capa si e pa a pode condensa oda la in o mación ob enida
de la capa de con olución en un pun o, y pe mi e educi el espacio que ocupa
es a misma. Poniendo un ejemplo pa a que se en ienda mejo , si se iene una
ma iz 24x24 esul ado de una capa de con olución y se pasa po una pequeña
en ana de 2x2 de pooling, se ob end á como esul ado una ma iz 12x12 con
oda la in o mación de la ma iz de en ada, pe o concen ada y man eniendo la
elación espacial de es a. Hay a ias mane as de aplica la ope ación de pooling,
pe o se ha is o que la que mejo es esul ados o ece es el max-pooling, que
a a de queda se con el alo más g ande ob enido de la pequeña en ana de
pooling. En la igu a 6 se puede e un ejemplo de una ope ación de pooling.
O ganización del abajo 19
Fig. 6 Rep esen ación sencilla del uncionamien o de la capa de pooling [17]
2.4 Da a augmen a ion
2.4.1 De inición y concep os
Pa a explica el uso de la écnica de Da a augmen a ion p ime o se debe e qué
signi ica ene un sob eajus e (o e i ing) en el modelo. El sob eajus e en el
en enamien o de un modelo, se p oduce cuando se en ena al mismo modelo
muchas eces con el mismo conjun o de da os de en ada. Es o ha á que el
modelo sea muy bueno p ediciendo los casos que engan que e con el da ase .
Sin emba go, a la ho a de usa lo con o o da ase que p esen e algunos
pequeños cambios, se e á como el modelo pasa a se casi o almen e
ine icien e. Debido a es e sob e en enamien o se han ideado écnicas como el
da a augmen a ion.
Es a écnica a a sob e que, a pa i del p opio da ase de en ada que se enga,
c ea nue as imágenes con pequeños e oques, pa a que de es a mane a el
modelo es é más p epa ado y eciba un en enamien o más di e so. Los
pequeños e oques que se suelen hace son ans o maciones alea o ias que,
g acias a ke as (una biblio eca de Py hon) exis e la posibilidad de ealiza lo en
cada época de mane a online. De es a o ma, no end emos que almacena
nue os da os en nues o sis ema de almacenamien o. O a opción se ía ealiza
un p ep ocesado de un da ase y ob ene a pa i de ahí las imágenes del da a
augmen a ion. Se puede aplica la écnica del da a augmen a ion pa a en adas
de ex o, audio e imágenes. En es e p oyec o se end án en cuen a las di e en es
ans o maciones que se ealizan en imágenes.
O ganización del abajo 20
2.4.2 Di e en es écnicas y uso
A la ho a de de ini qué ans o maciones ha á la écnica de da a augmen a ion
sob e el da ase que se enga, hay di e en es opciones. P ime o de odo se
puede di e i en e da os aumen ados y da os sin é icos, los p ime os son los que
se o iginan a pa i del p opio da ase o iginal, mien as que los segundos se
gene an sin usa el da ase o iginal haciendo uso de DNNs (Deep Neu onal
Ne wo ks) y GANs (Gene a i e Ad e sa ial Ne wo ks).
En el caso de es e p oyec o, se u iliza án los ipos de da os aumen ados. E s os
ipos de da os se consiguen aplicando simples ans o maciones geomé icas de
la imagen, como eajus a el amaño o in e i la, o po o as ans o maciones en
el colo de la imagen, como cambia los componen es RGB de la misma o i
a iando los ni eles de b illo y con as e. Apa e de es as simples
ans o maciones, ambién se puede op a po cambios un poco más dis in os
como mezcla imágenes, pasa las po il os o bo a alguna pa e de es a misma.
Hay que ene en cuen a que, si se usa el da a augmen a ion cómo una ex ensión
de da os pa a sol en a la p oblemá ica de ene pocos da os iniciales o muy
simila es, ambién a as a á la inclinación que p esen e el da ase o iginal, con
lo que hab á que e bien cómo usa es a écnica. En la igu a 7 puede e se un
ejemplo de es a écnica.
Fig. 7 Ejemplo de uso de da a augmen a ion sob e una imagen [11]
O ganización del abajo 21
2.5 T ans e Lea ning
2.5.1 De inición y concep os
El ans e lea ning es una de las écnicas más popula es y e icaces den o del
mundo del Deep lea ning. Es e mé odo es una écnica de i ada del da a
augmen a ion que, como se ha is o an es, se suele usa cuando se enga un
conjun o de da os de en ada pequeño, y se necesi a, po lo an o, gene a
algunos da os adicionales que di ie an un poco del conjun o de da os o iginal
pa a e i a el sob eajus e en el modelo. El ans e lea ning nace de la p emisa
de que, pa a desa olla y en ena un modelo lo su icien emen e complejo desde
ce o, se necesi a un g an conjun o de da os. Además de es os da os, el iempo
que se a da ía en en ena una ed g ande se ía demasiado la go, sin menciona
que compu acionalmen e hablando es o conlle a ía un g an cos e a al o denado
o máquina que se use. Debido a es os incon enien es nació el ans e lea ning,
el cual pe mi e pode u iliza un modelo de ed neu onal ya en enado
p e iamen e con un conjun o de da os muy g ande y con unos pesos y
pa áme os ya es ablecidos, de es a mane a se puede aho a mucho iempo y
cos e en en ena un modelo de ce o.
Todo es e aspaso de conocimien o e in o mación es posible g acias a que
(como se ha is o en pun os an e io es), las capas de ap endizaje de una ed
neu onal se o ganizan je á quicamen e. Las p ime as capas de ec an aspec os
sencillos y simples de una imagen, como sus bo des a is as o o mas, po lo que
se pueden usa es as capas como pun o de pa ida, y usa las capas pos e io es,
que son las que se enca gan de de ini aspec os más complejos, pa a
een ena las con el conjun o especí ico de da os. De es a mane a, usando
modelos p een enados, la écnica del ans e lea ning pe mi e desa olla
ápidamen e nue os modelos adap ados a un conjun o especí ico de da os que
se le p esen e. En la igu a 8 se puede e un esquema simpli icado del
uncionamien o del ans e lea ning.

O ganización del abajo 22
Fig. 8 Compa a i a en e Machine lea ning y T ans e lea ning [12]
2.5.2 Fea u e ex ac ion
Den o del ans e lea ning hay a ias mane as de pode usa es a écnica, una
de ellas es la ex acción de ca ac e ís icas ( ea u e ex ac ion). Es a modalidad
del ans e lea ning consis e en cambia la úl ima capa del modelo p een enado,
es deci , la capa que ac úa como clasi icado , po una nue a basada en los
nue os da os que se usen pa a en ena la ed. Dicho de o o modo, en el ea u e
ex ac ion se deja al modelo al cual es á, usando odos sus pa áme os y oda
su es uc u a de capas, es un mé odo ú il si se quie e un clasi icado pu o sin
ene en cuen a pa áme os impo an es.
2.5.3 Fine uning
O a modalidad impo an e del ans e lea ning es el ajus e ino ( ine uning), si
en la modalidad an e io lo único que se cambia es el clasi icado inal, en es a
a ian e se a un poco más allá y, apa e de cambia ambién el clasi icado ,
ambién se cambian algunas de las úl imas capas con olucionales del modelo
p een enado. De es a mane a, pe mi e ene una ed más compleja y más
adap ada al da ase , lo que o o ga á co as de p ecisión mayo es. Es a écnica es
muy ú il si no se espe a que los da os de en ada que aya a ecibi el modelo
no se asemejen mucho a los da os de en enamien o, ya que el modelo end á
un ajus e mayo a las imágenes que se han usado pa a en ena lo.
O ganización del abajo 23
2.6 De ección de obje os
2.6.1 De inición y concep os
La de ección de obje os usando edes neu onales es una a ea de isión po
o denado , que a a sob e localiza y clasi ica obje os especí icos en una
imagen o ídeo. Pa a en ena es os sis emas, se usan edes neu onales
capaces de econoce pa ones y ca ac e ís icas especí icas de los obje os que
se deseen iden i ica en una imagen, lo que pe mi e de ec a lo y ubica lo en es a
misma. Es a localización en la imagen se usa “dibujando” un ec ángulo
(Bounding Box), y asignándole una clase al obje o, lo que pe mi e sabe en qué
luga de la imagen se ubica ese obje o y de qué obje o se a a.
La de ección de obje os usando edes neu onales se u iliza en una a iedad de
aplicaciones, como la conducción au ónoma, la igilancia y la segu idad, la
obó ica, el análisis de imágenes médicas y la indus ia del en e enimien o. Po
ejemplo, en la conducción au ónoma, los sis emas de de ección de obje os
pueden de ec a y econoce obje os en las imágenes como ehículos, pea ones
y señales de á ico, pa a ayuda al sis ema de conducción a conduci de una
mane a segu a.
2.6.2 Funcionamien o y modo de en enamien o
Pa a log a en ena una ed neu onal que pe mi a de ec a obje os de mane a
co ec a se debe pasa po a ias e apas. En p ime luga , se necesi a un
conjun o de da os de en ada que enga un o ma o adecuado pa a usa lo en
de ección de obje os. Exis en a ios o ma os como el Pascal [19] el COCO [18]
o el TXT, pe o odos ienen en común que se necesi an imágenes e ique adas.
Es as imágenes e ique adas son imágenes que ienen un a chi o e e enciado
en el que se indican a ios pa áme os ace ca del obje o que se desea de ec a ,
como po ejemplo la clase a la que pe enece el obje o o las coo denadas del
bounding box dónde se encuen a es e mismo.
Du an e el en enamien o, la ed neu onal analiza cada imagen con su
co espondien e e ique a, lo que le pe mi e ap ende como se e un obje o de
una de e minada clase y pos e io men e sabe iden i ica lo. En gene al, la
de ección de obje os con edes neu onales usa écnicas como la de ección de
ca ac e ís icas, la segmen ación de obje os y la clasi icación de obje os.
2.6.3 Mé icas impo an es
A la ho a de en ena an o un clasi icado como un de ec o de obje os, exis e la
posibilidad de pode e alua la p edicción del modelo a a és de unas mé icas
especí icas. Hay muchas mé icas, pe o pa a es e p oyec o se end án en cuen a
las más impo an es pa a, de es a mane a, pode compa a di e en es modelos
y ene una idea de cuál pod ía unciona mejo .
O ganización del abajo 24
• P ecisión: La p ecisión es una mé ica muy ú il, ya que se e ie e a la
p opo ción de de ecciones e dade amen e posi i as (T ue posi i es) en
elación con odas las de ecciones (T ue posi i es + False posi i es). Es
una medida de cuan as de ecciones son co ec as en e odas las
de ecciones ealizadas po el modelo. Una al a p ecisión indica que el
modelo ealiza pocas de ecciones inco ec as.
• Recall: El ecall se e ie e a la p opo ción de de ecciones e dade amen e
posi i as (T ue posi i es) en elación con odas las ins ancias de obje os
p esen es en las imágenes (T ue posi i es + False nega i es en una
misma imagen). Es una medida que mide cuán bueno es un modelo pa a
de ec a odos los obje os p esen es en una imagen. Un al o ecall
signi ica que el modelo de ec a la mayo ía de los obje os p esen es.
• F1-Sco e: El F1-Sco e es una medida que combina la p ecisión y el
Recall. Se calcula como la media a mónica de la p ecisión y el Recall, y
es ú il pa a compa a modelos en unción de su equlib io en e p ecisión
y ecall. Cuan o más al o sea la pun uación de F1-Sco e en e a la de o o
modelo signi ica á que es un modelo mejo en cuan o a de ec a obje os.
• IoU (In e sección sob e unión): IoU se e ie e a la p opo ción de á ea
en e la p edicción y la ano ación e dade a. Se u iliza pa a medi la
supe posición en e la p edicción del modelo y la e dade a ubicación del
obje o. Un al o IoU indica que la p edicción del modelo se supe pone en
g an medida con la e dade a ubicación del obje o.
• AP (P omedio de p ecisión): El AP es una medida que se u iliza pa a
e alua el endimien o del modelo en una a iedad de umb ales de
con ianza. Es una medida de la p ecisión del modelo en la de ección de
obje os en odas las imágenes de p ueba. Comúnmen e se di ide en dos
submedidas, AP-50 y AP-50:95.
o AP-50: signi ica que la p ecisión p omedio se calcula solo pa a los
obje os que p esen en una con ianza (o p obabilidad) mayo o igual
al 50%.
o AP-50:95: indica la p ecisión p omedio en la de ección de obje os
pa a umb ales de con ianza que a ían del 50% al 95% en
inc emen os del 5%. Es ú il pa a e alua el endimien o y la
obus ez del modelo en e a di e en es umb ales de con ianza.
2.6.4 Modelos de de ección de obje os exis en es
2.6.4.1 R-CNN
R-CNN [20] o Region-Based Con olu ional Nue al Ne wo k es un modelo de
de ección de obje os basado en egiones que ue p esen ado en 2014. R-CNN
O ganización del abajo 25
p ime o p opone una g an can idad de egiones candida as a se p ocesada
median e la écnica de selec i e sea ch. Luego, cada egión candida a se
edimensiona a un amaño ijo y se p ocesa a a és de una ed neu onal
con olucional (CNN) p een enada pa a ex ae ca ac e ís icas isuales.
Finalmen e, las ca ac e ís icas de cada egión candida a se si en como en ada
a un clasi icado SVM pa a p edeci la p esencia o ausencia de un obje o en la
egión y su posición. R-CNN log ó un al o endimien o en conjun os de da os
desa ian es, pe o es ela i amen e len o en la ase de p ueba debido al p oceso
de ex acción de ca ac e ís icas po egión.
2.6.4.2 YOLO
YOLO [21] (You Only Look Once) es un modelo de de ección de obje os en
iempo eal que ue p esen ado en 2016. YOLO di ide la imagen en una
cuad ícula y asigna a cada celda un conjun o de cuad os delimi ado es (bounding
boxes) y una pun uación de con ianza pa a cada clase de obje o. Luego, YOLO
u iliza una única ed neu onal con olucional pa a p edeci la posición y la clase
del obje o en cada celda de la cuad ícula. Debido a su en oque de cuad ícula,
YOLO es capaz de de ec a obje os de di e en es amaños y escalas. YOLO
ambién es muy ápido y puede ejecu a se en iempo eal en disposi i os con
ecu sos limi ados. G acias a es a ca ac e ís ica se decidió usa YOLO en es e
p oyec o, ya que uno de los p incipales p oblemas que se encon ó ue la
limi ación de ecu sos disponibles. Bajo es a p emisa, se desca a on modelos
como R-CNN al conside a se unos modelos con un p oceso de en enamien o
muy exhaus i o. Des de que ue p esen ado en 2016, YOLO ha lanzado a ias
e siones di e en es, cada una con mejo as y di e encias espec o a la an e io .
La úl ima e sión disponible, a echa de ealización de es e p oyec o, es la
e sión 8, siendo la e sión 5 la más amosa de YOLO. En la igu a 9 podemos
e la línea de iempo de las e siones de YOLO.
O ganización del abajo 32
𝐺𝑆𝐷= 𝑑𝑥·ℎ
𝑓
Debido a ealiza la g abación con un aspec a io de 16:9, el FOV del d on se
e á un poco educido a unos 76º. El alo de dis ancia ocal pa a el d on es de
4.45 mm, po lo an o, se ob enía el siguien e alo de anchu a del senso :
𝑎𝐻𝐹𝑂𝑉=2 𝑡𝑎𝑛−1(𝑊
2𝑓)
𝑊=6.95 𝑚𝑚
Con la al u a del senso y la anchu a de la imagen en píxeles (3840 píxeles), se
calculó el amaño de un píxel en el senso :
𝑑𝑥=𝑊𝑠𝑒𝑛𝑠𝑜𝑟
𝑊𝑖𝑚𝑎𝑔𝑒𝑛=0.0018 𝑚𝑚
Una ez calculado el alo del amaño de un píxel en el senso , se p ocedió a
ealiza el cálculo del GSD pa a las dis in as al u as de uelo:
Al u a de uelo (m)
GSD (m)
10
0,0040
15
0,0061
20
0,0081
25
0,0101
30
0,0121
Tabla 2. Compa ación de GSD po al u a de uelo
En la abla 2 se pueden e los alo es ob enidos de GSD en unción de la al u a.
Como es de espe a , cuan o más al o uele el d on, menos esolución se log a á
ene , ya que un píxel ocupa á más espacio en el suelo, po lo que se cap a án
menos de alles. Pa a pode escoge la al u a de uelo idónea, se obse ó cúal
e a el obje o más pequeño que con enía el da ase . Es e obje o e a la ue ca, y
se omó ap oximadamen e una media de amaño de es a misma de unos 1,25
cm. Teniendo en cuen a es o, y que pa a la co ec a isualización de un obje o
en la imagen u ie a que se como mínimo ep esen ado po un cuad ado de 2x2
píxeles, se decidió que el d on ola ía a una al u a máxima de unos 15 me os
con elación a los cálculos ob enidos.

O ganización del abajo 33
3.1.3 Cálculos de la elocidad de uelo
Pa a calcula la elocidad a la que puede ola el d on en línea ec a, se necesi a
sabe cuán os me os eco e en cada ame de ideo, siendo un ame de ideo
uno de los 30 ames que cap a el d on po segundo. Pa a ello, podemos calcula
el desplazamien o en cada ame y luego mul iplica lo po la ecuencia de ames
po segundo que en el caso del d on que se usa á es 30.
Dado que se quie e un solapamien o mínimo del 60% en e ames, se puede
asumi que en cada ame el d on se desplaza un 40% de la dis ancia o al
eco ida en e dos ames consecu i os. Po lo an o, se puede calcula el
desplazamien o en cada ame como:
𝐷𝑒𝑠𝑝𝑙𝑎𝑧𝑎𝑚𝑖𝑒𝑛𝑡𝑜 𝑒𝑛 𝑐𝑎𝑑𝑎 𝑓𝑟𝑎𝑚𝑒=0.4 · 𝐷𝑖𝑠𝑡𝑎𝑛𝑐𝑖𝑎 𝑒𝑛𝑡𝑟𝑒 𝑓𝑟𝑎𝑚𝑒𝑠
Aho a, pa a calcula la dis ancia de desplazamien o en e dos ames
consecu i os, se puede u iliza la ecuencia de ames po segundo y la
elocidad a la que se mue e el d on. Si se llama V a la elocidad del d on y a
la ecuencia de ames po segundo, en onces la dis ancia eco ida en un
segundo es:
𝐷𝑒𝑠𝑝𝑙𝑎𝑧𝑎𝑚𝑖𝑒𝑛𝑡𝑜 𝑒𝑛 𝑐𝑎𝑑𝑎 𝑓𝑟𝑎𝑚𝑒=𝑣𝑓
U ilizando la ecuación an e io y despejando, queda la siguien e exp esión pa a
calcula la elocidad a la que se debe ía mo e el d on:
𝑣=𝑓· 0.4 · 𝐷𝑖𝑠𝑡𝑎𝑛𝑐𝑖𝑎 𝑒𝑛𝑡𝑟𝑒 𝑓𝑟𝑎𝑚𝑒𝑠
La dis ancia en e ames es aquella dis ancia que iene el ame medido en la
ealidad. Es e alo se puede deduci con el GSD (en es e caso 0.0061 m) y con
el núme o de píxeles de al u a que cuen a el senso de la cáma a, en es e caso
enemos una esolución de 3840x2160, po lo que la dis ancia en e ames se á:
𝐷𝑖𝑠𝑡𝑎𝑛𝑐𝑖𝑎 𝑒𝑛𝑡𝑟𝑒 𝑓𝑟𝑎𝑚𝑒𝑠=0.0061 𝑚
𝑝í𝑥𝑒𝑙·2160 𝑝í𝑥𝑒𝑙
𝑓𝑟𝑎𝑚𝑒 = 13.17 m/ ame
Con es o, ya se puede calcula la elocidad máxima a la que debe ía sob e ola
el d on la pis a:
𝑣=30 𝑓𝑟𝑎𝑚𝑒𝑠
𝑠·0.4·13.17 𝑚
𝑓𝑟𝑎𝑚𝑒𝑠=158.04 𝑚
𝑠
Teniendo en cuen a el esul ado, y que la elocidad de uelo máxima del d on
DJI Mini 2 es de 16 m/s [8] se puede asegu a que se cumplen los equisi os de
solapamien o en e ames, po lo que es a ope ación se ía iable. Cómo ya se
io que no había es icción po elocidad, se decidió que el d on ola ía a una
elocidad ípica de unos 10 m/s.
O ganización del abajo 34
3.1.4 Plan de uelo
Una ez calculadas la elocidad ap oximada a la que debe ía ola el d on, y la
al u a que se ía más con enien e pa a ealiza la de ección de obje os, se c ea á
un plan de uelo pa a de e mina el iempo o al de la ope ación. Pa a ello, se
a a á la pis a de ae opue o como un ec ángulo pe ec o de 3.352 x 60 me os.
Lo p ime o que se u o en cuen a ue cuan o espacio se cap a ía al g aba con
el d on, es e aspec o se puede deduci ácilmen e g acias al GSD que se ob u o
en cálculos de pun os an e io es. Si se iene un GSD = 0.0061 y se iene en
cuen a que enemos una esolución de 3840x2160:
𝐷ℎ𝑜𝑟𝑖𝑧𝑜𝑛𝑡𝑎𝑙=𝐺𝑆𝐷𝑚𝑒𝑡𝑟𝑜𝑠
𝑝í𝑥𝑒𝑙 · 3840 𝑝í𝑥𝑒𝑙𝑒𝑠= 23.42 𝑚𝑒𝑡𝑟𝑜𝑠
Con la dis ancia ho izon al o al de una imagen, se puede conclui en que se
necesi a ía di idi la pis a en ap oximadamen e 4 secciones. Cada sección
end ía al ededo de 15 me os de ancho, de es a mane a el d on debe ía
sob e ola la pis a 4 eces, una ez po cada sección. De es a mane a, el d on
se ía capaz de cap a en ídeo oda la pis a, sin emo a deja se un ozo de la
misma y acaba ía en el pun o de pa ida.
En cuan o al iempo que se a da ía en ealiza oda la inspección, se compa a án
el iempo que a da ía el d on, con el iempo que a da ía una pe sona no mal.
Se supond á que el ope a io al ca go de ealiza la inspección a a pie. Es o se
debe a que, después de la e isión de a ios documen os o iciales [16], se de alla
como la e isión debe se exhaus i a, po lo que ealiza la en un ehículo no
se ía posible. También se asumi á que el ope a io debe ealiza , de igual mane a
que el d on, una di isión de la pis a en 4 secciones pa a pode e isa la
comple amen e. Po úl imo, en cuan o a la elocidad de desplazamien o del
ope a io, se oma á la elocidad media al camina de una pe sona, la cual es 4
km/h o 1.11 m/s Con odos es os da os se p ocedió a ealiza el cálculo:
𝑇𝑜𝑝𝑒𝑟𝑎𝑟𝑖𝑜=4·(3.352 𝑚𝑒𝑡𝑟𝑜𝑠
1.11𝑚𝑒𝑡𝑟𝑜𝑠
𝑠𝑒𝑔𝑢𝑛𝑑𝑜)=12.079,28 𝑠𝑒𝑔𝑢𝑛𝑑𝑜𝑠=201 𝑚𝑖𝑛𝑢𝑡𝑜𝑠
𝑇𝑑𝑟𝑜𝑛=4·(3.352 𝑚𝑒𝑡𝑟𝑜𝑠
10𝑚𝑒𝑡𝑟𝑜𝑠
𝑠𝑒𝑔𝑢𝑛𝑑𝑜)=1.340,8 𝑠𝑒𝑔𝑢𝑛𝑑𝑜𝑠 ≅22 𝑚𝑖𝑛𝑢𝑡𝑜𝑠
Debido a los esul ados de iempo de inspección ob enidos, se puede a i ma
que usa un d on, se ía una solución mucho más e icien e y ápida que ealiza
la e isión de pis as de mane a adicional. También se puede e que se pod ía
usa el modelo DJI Mini 2 ya que p esen a una au onomía de 30 minu os. Po lo
que se ía iable usa lo en la ope ación.
O ganización del abajo 35
3.2 P epa ación de los da os
3.2.1 FOD-A Da ase
Pa a pode desa olla un en enamien o adecuado pa a en ena la ed neu onal
se necesi a un da ase adecuado. El obje i o del de ec o es iden i ica y localiza
obje os ex años en una pis a de ae opue o, pa a consegui es e p opósi o se
necesi a á un da ase que englobe a ios obje os que se suelen encon a en
pis as, y que engan una cie a ele ancia al p o oca acciden es en es as
mismas. Pa a es e p oyec o, se encon ó un da ase [7] ap opiado que englobaba
los obje os ex años o FOD’s más ecu en es. Po lo que una pa e complicada
de odo el abajo que e a encon a una buena uen e de da os ya es aba
cubie a. En la igu a 3 se pueden e algunas imágenes o iginales del da ase .
Fig. 3 Algunas imágenes del da ase [7]
Es e da ase o iginalmen e cuen a con un o al de 33.793 o og a ías, que se
dis ibuyen de o ma no equi a i a en e 31 ipo de clases di e en es, cada clase
ep esen a un FOD dis in o, y pa a cada una de las imágenes se iene su
ano ación en un a chi o XML. Cada a chi o XML da in o mación ace ca de su
imagen co espondien e, de es a in o mación, lo que más in e esa es la clase a
la que pe enece y las coo denadas del bounding box, que se ía el ecuad o
donde se ubica el obje o a iden i ica que se quie e ene en cuen a. En la igu a
4 se puede e un ejemplo de la ano ación en XML.
O ganización del abajo 36
Fig. 4 Ejemplo de una ano ación XML del da ase [7]
En la igu a 5 se puede e la dis ibución o iginal del da ase en cuan o a
imágenes po clase:
O ganización del abajo 37
Fig 5. Dis ibución o iginal del da ase de FOD’s [7]
3.2.2 Análisis y p ep ocesado
A la ho a de usa es e da ase se debe ene en cuen a a ias cosas. Es e da ase
se encuen a en un o ma o Pascal VOC, el cual se ca ac e iza po ene pa a
cada imagen una ano ación XML. Hay que pun ualiza que es e o ma o de
da ase no es acep ado po odos los modelos de edes de en enamien o de
de ección de obje os exis en es, po lo que hab á que modi ica o cambia su
o ma o. Un ejemplo de es o es la ed YOLO, que se usa como modelo de
en enamien o en es e p oyec o, la cual u iliza como en ada de da os un o ma o
comple amen e di e en e al del Pascal, ca ac e izándose po ene a chi os TXT
en luga de XML pa a las ano aciones.
También se debe ene en cuen a que, aunque la eo ía se base en la idea de
ene un da ase lo más g ande posible, se ha omado la decisión de disminui
es e da ase , an o en imágenes como en núme o de clases, exis en dos
p incipales mo i os po los que se ha omado es a decisión:
• Cos e compu acional: más imágenes en un da ase se aducen en una
mayo p ecisión, pe o ambién en un mayo cos e de ecu sos de
ha dwa e. Al no dispone de una po encia lo su icien emen e g ande, se
ha is o que eco ando las imágenes del da ase se agiliza ía mucho el
p oceso de en enamien o y compa ación de los modelos (que es el
e dade o obje i o del p oyec o), po lo an o, la idea de disminui
imágenes se ol ió bas an e a ac i a.
• Rep esen ación e impo ancia de cada clase: como se ha podido e
en la an e io igu a, hay muchas clases donde hay una ep esen ación
muy pob e en cuan o a can idad de imágenes. También se puede e que
según el pape o icial del da ase [7], es as clases es án ep esen adas de
izquie da a de echa según lo p esen es que es án en acciden es, o, dicho
de o o modo, cuan o más a la izquie da es é ubicada una clase, más

O ganización del abajo 38
ele ancia iene a la ho a de causa acciden es. Siguiendo es a p emisa,
se decidió elimina algunas clases comple as que e an poco impo an es
en cuan o a acciden es y que enían poca ep esen ación.
3.2.3 Da ase p ocesado
Después de analiza y oma decisiones sob e cómo se a a u iliza el da ase ,
se han ealizado a ias modi icaciones sob e es e, hay que ene en cuen a que
pa a hace es e p ime p ocesado del da ase no se ealiza á un cambio en su
o ma o Pascal, ya que se dedica á un apa ado en especí ico pa a cons a a
odos los cambios de o ma o que se deban ealiza y que ed se usa á pa a cada
o ma o.
La p ime a modi icación que se ha ealizado ha sido la de elimina clases que,
como se ha explicado en el pun o an e io , no enían ele ancia an o en la causa
de acciden es como en ep esen ación. En o al se han eliminado 17 clases
comple as, en es e apa ado se deja en cons ancia el lis ado de las clases que
se han eliminado: Me alShee , Hose, Adjus ableClamp, Adjus ableW ench,
Bol Nu Se , Hamme , LuggagePa , Me alPa , Pain Chip, Pen, Rock, Sc ew,
Sc ewd i e , SodaCan, Wi e, Wood, Tape.
Al ealiza es e g an eco e en el da ase eliminando odas es as clases, se
obse ó que aún se enía un ele ado núme o de imágenes, po lo an o, se
decidió que una buena idea se ía limi a el núme o de imágenes po clase. De
es a mane a, se educi ía la p esencia de clases que enían muchas imágenes,
y o as que enían menos no se e ían a ec adas, po lo que queda ía un da ase
bas an e balanceado. El obje i o e a ene un da ase en o no a unas 9000
imágenes que, después, se aumen a ían usando écnicas de Da a
Augmen a ion, po lo que haciendo unos cálculos ap oximados, se io que si se
limi aba el núme o de imágenes po clase a 650 se ob end ía el esul ado
deseado.
Después de ealiza odas es as modi icaciones en el da ase , quedó un conjun o
de da os con un o al de 8.998 imágenes (sin con a da a augmen a ion),
dis ibuidas en 14 clases muy equi a i amen e.
3.2.4 Da ase aumen ado
Al ene el da ase ya con el amaño deseado se debe pasa po un p oceso de
Da a Augmen a ion, es o pe mi i á que el modelo no es é an sob e ajus ado al
da ase inicial. Pa a ealiza es e aumen ado, se ha usado una aplicación web
llamada RoboFlow [5]. RoboFlow es una aplicación web que pe mi e c ea e
impo a ápidamen e conjun os de da os pa a pode usa los como inpu en un
modelo de ed neu onal. Apa e de pode c ea o impo a el da ase es a
pla a o ma es capaz de ealiza el p e-p ocesado y el p ocesado del mismo,
pe mi e añadi nue as clases y labels en las imágenes, y además da la
posibilidad de ealiza un da a augmen a ion. G acias a la posibilidad que o ece
O ganización del abajo 39
de ealiza el da a augmen a ion, se pueden llega a ealiza ans o maciones
de odo ipo sob e las imágenes, desde ans o maciones simples como
aumen a el b illo o cambia la onalidad de los colo es, has a e oques más
complejos como ealiza un mosaico con dis in as imágenes o eco a alguna de
es as. Usando es a unción se pudo llega a c ea un da ase bas an e di e so
en compa ación al o iginal, y con muchas más imágenes. En la igu a 6 se
pueden e dos imágenes gene adas po el da a augmen a ion de ipo mosaico.
Fig. 6 Imágenes gene adas po el Da a Augmen a ion
Se eligió ealiza los siguien es e oques (basándose en que e oques e an más
e ec i os a la ho a de ealiza un aumen ado):
• Ro ación del bounding box: en e -15º y +15º
• B illo del bounding box: en e el -15% y +15%
• Mosaico aplicado (jun a a ias imágenes en una sola)
• Gene a 3 imágenes po cada imagen de en enamien o
Después de ealiza odo el p oceso de aumen ado, quedó un da ase con la
siguien e dis ibución en imágenes pa a TRAIN, VALIDATION y TEST ( e igu a
7).
O ganización del abajo 40
Fig. 7 Dis ibución del da ase aumen ado
3.3 Selección del modelo de de ección
Pa a ealiza el es udio sob e qué modelo de de ección se ía el más idóneo se
han escogido las amilias de YOLO 5 y YOLO 8. Se ha decidido es o ya que,
YOLO 5 ue la e sión que más impac o u o, y con es a e sión sal ó a la ama
YOLO. Po ello, es a e sión ha enido mucho sopo e y se han log ado ob ene
esul ados muy e ec i os usando es a e sión. Po o o lado, la e sión 8 es la
úl ima que se ha lanzado de YOLO, po lo que se á in e esan e e si ha habido
alguna mejo a espec o a su an e io e sión. Se e alua án un o al de 4
modelos, ya que el obje i o del p oyec o no es encon a el mejo de ec o de
obje os. Si no que es e si alguno de es os modelos exis en es encaja ía con el
p opósi o del p oyec o.
3.3.1 YOLO 5
3.3.1.1 En o no y pa áme os
En es e apa ado se ha ealizado una simulación de 2 edes de di e en e amaño
pe enecien es a los modelos de YOLO 5. En conc e o, se compa ó su ed más
pequeña, y más g ande pa a e cuál de las es o ecía un mejo endimien o y
cómo se compo aba en é minos de iempos de p ocesamien o y en enamien o.
Se u ilizó el en o no de Google Colab con GPU pa a hace que sea odo el
p oceso más ápido, es e en o no o ece es e modelo de GPU: Tesla T4. En la
igu a 8 se pueden e los di e en es amaños de modelos pa a a amilia de la
e sión 5 de YOLO.
Fig. 8. Di e en es modelos de YOLO 5 [3]
Lo p ime o de odo es ajus a el en o no y el conjun o de da os pa a que sean
compa ibles con la ed YOLO 5. En cuan o al en o no, se abajó en Google
O ganización del abajo 41
Colab, ya que o ece la posibilidad de usa un en o no con GPU y conec a lo con
Google D i e pa a accede a los a chi os en la nube. Po o a pa e, se debió
cambia el o ma o del da ase , pues o que o iginalmen e se encon aba en
o ma o Pascal y e a necesa io pasa lo a o ma o YOLO que es TXT.
Es e o ma o de da ase cuen a con dos ipos de a chi o impo an es, uno se ía
un a chi o .YAML dónde se debe indica el núme o de clases o ales y el nomb e
de cada una, y ambién debe á da in o mación sob e las u as o di ec o ios
donde se gua den las imágenes pa a ain es y alida ion. En la igu a 9 se
mues a un ejemplo de cómo se ía un a chi o .YAML:
Fig. 9 A chi o .YAML u ilizado
Po o o lado, el o o ipo de a chi o se ían las ano aciones, en luga de ene las
en un .XML como en el o ma o Pascal, en YOLO son en o ma o TXT. En la
igu a 10 se puede e un ejemplo.
Fig. 10 Ejemplo de a chi o TXT de ano aciones
Es e a chi o de ex o cons a á de 5 elemen os, p ime o hab á un núme o en e o
que indica á la clase a la que pe enece, es e núme o en e o es á elacionado
con el o den de las clases indicadas en el a chi o .YAML, los úl imos 4 elemen os
son las coo denadas del Bounding Box en la imagen, lo que pe mi i á sabe
dónde se encuen a el obje o de in e és.
O ganización del abajo 48
da ase po alguna azón. Po o o lado, el modelo g ande de la e sión 8 o ece
buenos alo es de esul ados, pe o se e como en la segunda época, es a
e sión de YOLO p esen a unos picos nega i os en endimien o, se debe ía ene
en cuen a, ya que, po ejemplo, si se hubie a pues o un núme o más o menos
de épocas se pod ía habe caído en uno de es os picos, ob eniendo un esul ado
no conco de con el endimien o eal del modelo. También es ecalcable que la
ed que p esen a una mayo cons ancia a a és de las épocas es el modelo
g ande de la e sión 5, ambién concue da con los alo es más al os de ecall y
AP:50, po lo que de momen o la hacen una ue e candida a a se la ed
seleccionada.
Después de analiza las g á icas de ecall y AP:50, si se p es a a ención a
g á icas un poco menos ele an es como la de box_loss ( e Anexo), se puede
obse a como la endencia de las g á icas es de bajada. Es o quie e deci que,
segu amen e, si se en ena an los modelos con más épocas, se pod ía consegui
incluso esul ados mejo es, lo cual es in e esan e pa a u u as mejo as.
Al habe analizado cómo se compo an las di e en es edes según las mé icas,
se ha is o como es aban bas an e pa ejas en cuan o a esul ados, po lo que
siguiendo el c i e io de e aluación se compa ó sus iempos de en enamien o y
p edicción.
Fig. 17 Compa ación de iempo de en enamien o y p edicción en e modelos
Lo p ime o que se puede obse a en la igu a 17 es que, e ec i amen e como
e a de espe a , la e sión 8 de YOLO o ece unos iempos meno es espec o a
su e sión an e io . Pa iendo de que ya no se iene en cuen a a la YOLO 8n, se
obse a que la ed más a ac i a en cuan o a iempo de en enamien o y
p edicción se ía la YOLO 5n. Después de ealiza una compa ación de odas las
edes, se puede obse a que, a pesa de que la e sión 5 de YOLO sale

O ganización del abajo 49
pe diendo en cuan o a iempos de ejecución, es os iempos no p esen an una
di e encia an g ande como pa a opaca los esul ados de endimien o, po lo que
se pod ía deja apa ada ambién al modelo g ande de YOLO 8 y se end án en
cuen a a los dos modelos pe enecien es a la e sión 5.
Compa ación en e los modelos de YOLO 5
Ven ajas
Des en ajas
YOLO 5n
Tiempo de p edicción bas an e
bajo
Red de ápido en enamien o
con al a e icacia
Menos es able
Rendimien o un poco peo
que 5x
YOLO 5x
Más es able
Mejo endimien o que 5n en
gene al
Posibilidad de aumen a más el
endimien o con más épocas
Tiempo de en enamien o
ele ado
Necesidad de más ecu sos
compu acionales pa a
en ena
Tabla 3. Compa ación de las e siones 5 y 8 de YOLO
En la abla 3 se puede e una compa a i a gene al en e el modelo 5n y el 5x
de YOLO. En esumen, se puede e como cada ed p esen a di e en es en ajas
y des en ajas. Pa a pode elegi en e una de ellas, se debe ene p esen e
siemp e el obje i o del p oyec o, el cual e a pode desa olla el en enamien o
de una ed que pe mi a de ec a obje os ex años en las pis as de ae opue os,
a pa i de es o, se ha decidido que lo más con enien e se ía usa la ed
YOLO 5x. Es a decisión iene dada po que, aunque sí que es cie o que es una
ed más cos osa de en ena y con un iempo de p edicción ele ado, se pudo
obse a como la di e encia con espec o al modelo más simple no es an a, y la
5x o ece unos esul ados de endimien o más es ables y p ecisos. Cabe
des aca que, en la decisión ha enido un peso impo an e la mé ica de ecall,
ya que, como se explicó en la alo ación de esul ados, pa a es e p oyec o es
mucho más impo an e que de ec e odos los obje os que hay en una imagen, a
que acie e qué ipo de obje os son. Sin menciona que, al se una ed más
compleja, deja las pue as abie as a pode ealiza un en enamien o mucho más
elabo ado en un u u o, lo cual, es algo a ene en cuen a en u u as mejo as.
O ganización del abajo 50
3.4 Desa ollo de la aplicación
3.4.1 P ueba del de ec o de obje os en local
Al ene ya seleccionado el modelo que se usa á en la de ección de obje os, se
quiso p ime o ealiza una p ueba en local pa a comp oba que al en ia le ames
de un ídeo el de ec o de obje os uncionaba. Pa a ealiza es a p ueba, se
necesi ó expo a el modelo de YOLO 5x, es a expo ación lo que hace es
ecoge los pesos en enados de la ed y gua da los en un a chi o .p pa a que
se puedan usa en cualquie o a aplicación o se ico, en es e caso una
aplicación de Py hon. Pa a es e p oyec o se usó la aplicación PyCha m.
PyCha m es un en o no de desa ollo que se cen a en el lenguaje de
p og amación de Py hon. Pa a es e caso se u ilizó la e sión de Py hon 3.8 la
cual o ecía compa ibilidad con el modelo de YOLO, y pe mi ía ealiza las
acciones necesa ias an o pa a la cap u a del ídeo como su p ocesamien o.
La p ueba consis ió en cap u a ídeo a iempo eal con la ideocáma a de un
po á il, de es a mane a se simuló que e a un ídeo cap u ado po el d on.
P ime o de odo, se desca ga on los eque imien os necesa ios pa a u iliza de
mane a co ec a el a chi o .p con los pesos en enados de la ed neu onal. Es os
eque imien os ienen especi icados en la página o icial de ul aly ics de YOLO 5
[9]. Seguidamen e, se ealizó la lec u a de los pesos pa a pode u iliza los en el
p oyec o g acias a la lib e ía de o ch. Luego es e ídeo se ecogía g acias a las
lib e ías que o ece Py hon de openc , y cada ame del ídeo se inse aba como
inpu al a chi o de pesos en enados pa a que lo p ocesa a. Al ealiza el
p ocesado, si el de ec o c eía que había econocido un obje o, se ma caba con
un ec ángulo pa a señala que ahí es aba.
Pa a es a p ueba no se u o en cuen a el endimien o que p esen aba el de ec o ,
su obje i o e a asegu a que se podían u iliza los pesos de la ed en o a
aplicación y cap u a ídeo a iempo eal, pa a pode simula un compo amien o
semejan e al que p esen a ía el escena io con el d on. En la igu a 18 se mues a
qué código se usó pa a ealiza es a p ueba.
O ganización del abajo 51
Fig. 18 Código usado pa a ealiza la p ueba de simulación
El esul ado de es a p ueba ue exi oso. Se pudo e i ica que se podían ecoge
ames de un ídeo en iempo eal y p ocesa los con el de ec o de obje os. Como
ya se comen ó an e io men e no se u ie on en cuen a los esul ados de
endimien o, ya que se buscaba alida el uncionamien o del en o no.
3.4.2 Conexión con se ido RTMP
3.4.2.1 Enlace y mé odo de conexión
La ealización de es a p ueba consis ió en ealiza una simulación del escena io
eal que se da ía con el d on. Es e escena io cons a de un emiso emulando el
compo amien o del d on, es e compo amien o se ía el de ealiza una
ansmisión en i o usando el p o ocolo RTMP. Esa ansmisión RTMP se ía un
ídeo g abado a 30 ames/s y se en ia ía a un se ido pa a su pos e io
ecepción y p ocesamien o.
El escena io plan eado es el siguien e. Todo el escena io se sus en a sob e un
se ido ubicado en el Depa amen o de A qui ec u a de Compu ado es de la
EETAC, el cual hace de nodo de conexión en e el emiso (el PC que se usó pa a
emula al d on), y el ecep o (o o PC donde ecibimos y p ocesamos el ídeo).
El se ido NGINX [14] es un se ido web y p oxy in e so de al o endimien o,
O ganización del abajo 52
ampliamen e u ilizado pa a se i si ios web y aplicaciones en In e ne . Se
des aca po se lige o, escalable y e icien e en el manejo de solici udes HTTP y
HTTPS. Pa a pone odo el en o no en uncionamien o el se ido se debe pone
en ma cha accediendo al esc i o io emo o donde es á ubicado:
– ssh [email p o ec ed]
Al es a en el esc i o io emo o se debe encende el se ido con el siguien e
comando:
– s a -nginx / s op-nginx
Después de encende el se ido con las siguien es URL’s se pe mi e el en ío y
ecepción de in o mación:
Link pa a en ia un s eam:
– mp:// mpse e .pc.ac.upc.edu/ica us/NOM_STREAM?pwd=R3bo ado
Link pa a ecibi :
– mp:// mpse e .pc.ac.upc.edu/ica us/NOM_STREAM
En la igu a 19 se puede e un esquema simpli icado de la es uc u a del
en o no.
Fig. 19 Rep esen ación del escena io incluyendo, emiso , se ido y ecep o
O ganización del abajo 53
3.4.2.2 P ocedimien o y he amien as usadas
Cabe des aca que pa a es a p ueba no se u o en cuen a el endimien o del
de ec o , ya que el obje i o e a e si e a posible ealiza la conexión RTMP y
p ocesa la ecepción del ideo con el de ec o de obje os en enado. Pa a
ealiza la emulación del d on en iando el ídeo, se usó un po á il con
ideocáma a que pe mi ie a g aba . Pa a la g abación y ansmisión del ídeo se
u ilizó la aplicación OBS [15]. OBS (Open B oadcas e So wa e) es una
aplicación de so wa e g a ui a y de código abie o que se u iliza pa a la
g abación y ansmisión en i o de con enido mul imedia. Con OBS, los usua ios
pueden cap u a di e sas uen es, como cáma as web, en anas de
aplicaciones, pan allas de esc i o io y disposi i os de cap u a de ideo, y
combina las en una única ansmisión en i o o g abación. Pa a con igu a la
URL de ansmisión se usó el link pa a en ia un s eam hacia el se ido NGINX
de la siguien e mane a ( e igu a 20):
Fig. 20 Con igu ación del ansmiso pa a RTMP
Después de ene lis o el ansmiso y co obo a que se conec aba
co ec amen e al se ido , se p ocedió a con igu a el ecep o . Como ecep o
se usó PyCha m, conc e amen e la lib e ía OpenCV de Py hon 3.8. El código
usado pa a ecepciona y p ocesa el ídeo es muy pa ecido al que se usó pa a
ealiza la p ueba en local. Pa a pode ecibi el ídeo p o enien e del se ido
RTMP, la única modi icación que u o que hace se ue la de cambia la uen e
de o igen de los da os cap u ados po el mé odo VideoCap u e() de la lib e ía
OpenCV. Se usó la URL de ecepción an e io men e mos ada pa a indica al
p og ama dónde se hallaba la uen e de ídeo de la siguien e mane a ( e igu a
21):

O ganización del abajo 54
Fig. 21 Ejemplo de cap u a de s eam RTMP usando la lib e ía OpenCV
Pa a es a p ueba se ealiza on dos con igu aciones dis in as. Una de ellas se
ealiza ía usando los pesos de la ed seleccionada a pa i de los esul ados de
en enamien o, la YOLO 5X. Mien as que, pa a la o a con igu ación, se usa ían
los pesos del modelo que quedó en segundo luga , el modelo YOLO 5n. Es o se
decidió así, ya que, pa a ealiza la ecepción, in luye de mane a no able el
iempo que a da el modelo en p ocesa los da os y ealiza la a ea de de ección.
Cabe eco da que, al cuan i ica el iempo que a daba un modelo en ealiza la
de ección du an e el en enamien o, se usó la GPU: Tesla T4 p opo cionada po
Google Colab. Po lo an o, se quiso comp oba la di e encia eal que había en
usa un modelo con un iempo de de ección ele ado, y o o modelo con el iempo
más educido usando un ecep o co ien e.
3.4.3 Resul ados y conclusiones ex aídas
Al ealiza la simulación del en ío y p ocesamien o de ídeo en iempo eal se
han podido saca a ias conclusiones. Lo p ime o de odo es que la p ueba de
ansmisión y ecepción esul ó exi osa, po lo que queda demos ado que es
posible ealiza una ansmisión RTMP y ecibi la pa a p ocesa la más a de po
código, lo cual e a una de las dudas an es de empeza la simulación. También
se comp obó que, e ec i amen e, podíamos ecoge es e ídeo y usa el a chi o
.p que con iene los pesos en enados del modelo pa a p ocesa los ames y
ealiza una de ección. Es e úl imo paso se ealizó de la misma mane a que la
p ueba en local, de al mane a que se ha explicado en el pun o an e io . Una de
las cosas que se pudie on e en la simulación, es que, al ealiza la p ueba con
los pesos del modelo YOLO 5X (el más g ande), el iempo que a daba en
p ocesa se la unción de de ección (al ededo de 1 segundo), p oducía que el
bu e de en ada de da os se colapsa a. Es o ocasionaba que el ídeo dónde
apa ecían las de ecciones se isualiza a a una asa de ames/s muy pequeña,
po lo que el esul ado inal no se isualizaba de mane a luida. En la igu a 22
se puede e el código usado pa a isualiza el iempo de de ección.
O ganización del abajo 55
Fig. 22 Código usado pa a isualiza el iempo de ejecución de la de ección
Es a acumulación de ames en el bu e debido al iempo de ejecución de la
de ección puede se a ibuido a la poca po encia de ha dwa e, ya que, si
con ásemos con una máquina más po en e, es a se ía capaz de ealiza la a ea
de p edicción mucho más ápido. Es a eo ía puede comp oba se si nos
espaldamos en los da os ex aídos del en enamien o, donde disponíamos de
un ha dwa e más po en e g acias a Google Colab. Es e ha dwa e nos pe mi ía
ene iempos de de ección de al ededo de 30 ms, lo cual di ie e bas an e del
segundo que enemos pa a es e caso.
Pa a in en a palia es e e ec o se p opuso la idea de p ocesa menos ames/s
a la ho a de de ec a . Dicho de o o modo, si o iginalmen e se le pasaban 30
ames/s al modelo pa a que ealiza a la de ección, aho a se in en a ía p ocesa
15 ames/s. De es e modo consegui íamos que no se isualiza a un e aso an
impo an e a la ho a de ep oduci el esul ado de la de ección espec o al ideo
o iginal.
Después de ealiza la p ueba con el modelo YOLO 5X, se p ocedió a ealiza la
misma simulación, pe o ca gando es a ez los pesos en enados del modelo
YOLO 5n. Pa a ello, lo único que debíamos hace e a cambia la línea del código
donde le indicábamos que a chi o .p debía usa . Es e modelo es bas an e más
pequeño en cuan o a pa áme os que el YOLO 5x, po lo que se espe aba que
unciona a de una mane a más ápida. El esul ado ue mucho más ápido, se
ob u o un iempo de ejecución de unos 0.3 segundos, lo cual hace que el
p ocesamien o de los ames con el de ec o sea casi 3 eces más ápido que
YOLO 5x. Teniendo en cuen a la g an di e encia de iempos en e el modelo
g ande y el más pequeño, y que, en cuan o a esul ados de en enamien o, los
dos modelos son muy pa ejos, se pod ía incluso p opone al modelo YOLO 5n
como candida o inal. Cabe des aca que, como ya se ha comen ado an es, en
es a p ueba no se con aba con un ecep o que u ie a un ha dwa e po en e. Po
lo que se puede asegu a que, si se u ie a más po encia, el iempo de ejecución
ob enido se ía aún meno .
O ganización del abajo 56
Tesla T4
Sin GPU
YOLO 5n
7 ms
300 ms
YOLO 5x
30 ms
1000 ms
Tabla 4. Compa a i a de iempos de de ección en e modelos
En la abla 4 se puede ap ecia lo an e io mencionado de la necesidad de un
ha dwa e po en e. Se puede obse a que, si no disponemos de una máquina
po en e, el endimien o de nues o modelo puede aumen a has a el pun o de
que sea una solución in iable, como ocu e en el caso de YOLO 5x.
3.5 Vuelos de es
Pa a ealiza un es de uelo con el d on ísico, se hizo uso de la ins alación
D oneLab [26] ubicada en el campus del Baix Llob ega . El p opósi o de es e es
e a simula el escena io que se p esen aba como obje i o del p oyec o. Pa a ello,
se dispuso de odo lo es udiado y desa ollado du an e el anscu so del
p oyec o. Como ya se ha mencionado an e io men e, se usó el modelo de d on
DJI Mini 2, el cual e a pe enecien e al g upo de in es igación ICARUS. En la
igu a 23 se puede e una imagen del d on.
Fig. 23 Imagen del d on cap ada du an e el es de uelo
O ganización del abajo 57
Pa a ealiza la p ueba se debe con igu a el d on pa a que en íe el ídeo al
se ido RTMP. Es a con igu ación se ealiza de la siguien e mane a:
En la aplicación de DJI pa a maneja el d on:
1. I al menú de con igu ación en la esquina supe io de echa
2. Desplaza se hacia abajo y selecciona "Con igu ación de
e ansmisión en di ec o"
3. Esc ibi la di ección RTMP
( mp:// mpse e .pc.ac.upc.edu/ica us/NOM_STREAM?pwd=R3bo ado)
4. Hace clic en "Empeza "
En la imagen 24 se puede e el menú de con igu ación de ansmisión en el
d on.
Fig. 24 Menú de con igu ación de ansmisión de DJI Mini 2
Debido a que la supe icie del D oneLab no e a simila a la de una pis a de
ae opue o, se p opuso cons ui un pequeño escena io pa a simula es a
si uación. Lo p ime o que se hizo ue coloca una lona neg a, de es a mane a,
se log ó hace que la supe icie ue a lo más pa ecida posible a un suelo
compues o de pa imen o neg o. Lo siguien e, ue coloca obje os que se
pudie an encon a en el conjun o de da os con los que habíamos en enado al
modelo. Con es a acción, pod íamos de e mina si el modelo es capaz de
de ec a obje os de una mane a co ec a, o si, po el con a io, no uncionaba y
e a necesa io ealiza ajus es en los en enamien os. Conc e amen e se usa on
los siguien es ipos de obje os: Lla e inglesa, ue ca, o nillo, ozo de plás ico
ojo, alica es. Todos ellos se encuen an en el da ase po lo que el modelo debía
se capaz de de ec a al menos a alguno de ellos.
O ganización del abajo 64
4.2 Mejo as u u as
Después de ex ae las conclusiones inales de odo el p oyec o, se ealiza án
una se ie de p opues as pa a que, en una u u a e isión del abajo o deseo de
ealiza la ope ación, se ealicen una se ie de mejo as que ayuda án al mejo
cumplimien o de los obje i os.
Comenzando con la pa e del p ocesado del da ase , se pod ía conside a
ealiza una mejo a del conjun o de da os, la mejo mane a de ealiza la se ía
pode de ini un da ase p opio, in i iendo iempo en diseña lo an o en la oma
de imágenes como en la dis ibución de clases. Es o se p opone, ya que, según
las p uebas ealizadas con el da ase , se ha podido obse a cómo el da ase
p esen a mucho con enido de imágenes que pod ía se eemplazado po el
hecho de que puede p o oca o e i ing o sob e ajus e en el modelo.
En cuan o al en enamien o de los modelos, se pudo obse a como el candida o
p incipal, el modelo YOLO 5x p esen aba un g an po encial pa a ealiza un
en enamien o exhaus i o. Es o eque i ía un ha dwa e de al a po encia, po ello,
como una mejo a u u a, se p opone el in e i en una máquina con al a po encia
de ha dwa e pa a ealiza un en enamien o más la go. G acias a ene un
ha dwa e más po en e, se pod ía ol e a conside a la an e io idea mencionada
de cambia el conjun o de da os, lo cual nos pe mi i ía usa una mayo can idad
de imágenes. De es a mane a pod íamos educi el o e i ing o sob e ajus e del
modelo sob e el da ase , y en é minos gene ales, consegui unos esul ados
mucho más p ecisos y co ec os. Con una máquina más po en e a da íamos
menos en ealiza los en enamien os, y los iempos de in e encia se ían
meno es, po lo que nues o sis ema se ía mucho más ápido y e icien e. Po
ejemplo, si en un u u o se quisiese in oduci una nue a clase al da ase , g acias
a ene un ha dwa e po en e pod íamos en ena de nue o al modelo y hace que
sea uncional en mucho menos iempo. También exis e la posibilidad de pode
in es iga o os modelos de de ección exis en es, y alo a la idea de usa un
de ec o de anomalías.
En cuan o a los esul ados ob enidos en las p uebas de es de uelo, se pudo
e como el modelo más pequeño p esen aba iempos de in e encia ele ados si
no se con aba con una GPU. Teniendo en cuen a es e aspec o cla e, se pod ía
deba i en u u as e isiones si, ealizando un en enamien o exhaus i o y con
una máquina más po en e, se consigue una g an di e encia en e los modelos
más y menos complejos. De no consegui una di e encia muy no o ia en cuan o
a esul ados, debido a lo obse ado du an e es a p ueba se ecomenda ía usa
un modelo de de ección más pequeño. Al usa es e modelo más pequeño,
pod íamos ealiza de ecciones casi ins an áneas con ando con una GPU.
Pa a inaliza se pod ía deba i la p opues a de desa olla una aplicación ex e na
pa a diseña el plan de uelo. Es a aplicación pe mi i ía en unción de la pis a de
ae opue o y del modelo de d on usado, diseña un plan de uelo sencillo pa a
eco e e inspecciona oda la pis a. La aplicación ambién pe mi i ía sabes las
coo denadas en las que se ha p oducido una de ección. En es e momen o se
en ia ía un a iso al ope a io, pe mi iéndole indica como se debe ía p ocede .

O ganización del abajo 65
Po ejemplo, da la o den de descende pa a e i ica isualmen e la p esencia
del obje o. Es o pe mi i ía una mayo p ecisión y con ianza a la ho a de e isa
las pis as de ae opue os.
O ganización del abajo 66
5. BIBLIOGRAFÍA Y WEBGRAFÍA
[1] To es i Viñals, J, DEEP LEARNING In oducción p ác ica con Ke as,
publicación independien e, 10 de junio de 2018, Re isado: 25 de eb e o de 2023
[2] To es i Viñals, J, Py hon Deep Lea ning: In oducción p ác ica con Ke as y
Tenso Flow 2, 30 de ene o de 2020, Re isado: 26 de eb e o de 2023
[3] Gi Hub o icial de YOLO 5, Re isado: 2 de ma zo de 2023
h ps://gi hub.com/ul aly ics/yolo 5
[4] Gi Hub o icial de YOLO 8, Re isado: 2 de ma zo de 2023
h ps://gi hub.com/ul aly ics/ul aly ics
[5] He amien a pa a p ocesa el da ase RoboFlow, Re isado: 20 de ma zo de
2023 h ps://app. obo low.com/
[6] Gi Hub o icial del da ase de FOD’s, Re isado: 9 de ma zo de 2023
h ps://gi hub.com/FOD-UNOmaha/FOD-da a
[7] T a is Munye , Pei-Chi Huang, Chenyu Huang, Xin Zhong, “FOD-A: A Da ase
o Fo eign Objec Deb is in Ai po s”, Re isado: 9 de ma zo de 2023
h ps://a xi .o g/abs/2110.03072
[8] Websi e o icial del d on Mini 2 DJI, h ps://www.dji.com/es/mini-2
[9] Ul aly ics, “Ul aly ics YOLO 8 Docs”, Re isado: 15 de ma zo de 2023
h ps://docs.ul aly ics.com/yolo 5/ u o ials/py o ch_hub_model_loading/
[10] Hai ision, “RTMP s. SRT: Compa ing La ency and Maximum Bandwid h”,
Re isado: 15 de ab il de 2023
h ps://que y.p od.cms. .mic oso .com/cms/api/am/bina y/RE41c8N
[11] Resea chGa e, Re isado: 28 de ab il de 2023 h ps://www. esea chga e.ne /
[12] Diego Lopez Yse, “In oduc ion o T ans e Lea ning”, Re isado: 15 de m zo
de 2023 h ps://www.pinecone.io/lea n/ ans e -lea ning/
[13] Ma hWo ks, “MATLAB pa a Machine Lea ning”, Re isado: 4 de ab il de 2023
h ps://www.ma hwo ks.com/solu ions/machine-lea ning.h ml
[14] Web o icial de NGINX, Re isado: 10 de mayo de 2023
h ps://www.nginx.com/
[15] Web o icial de OBS, Re isado: 8 de mayo de 2023
h ps://obsp ojec .com/es/
O ganización del abajo 67
[16] Agencia Es a al de Segu idad Aé ea, “P og ama de ges ión de iesgos de
FOD”, Re isado: 6 de ab il de 2023
h ps://www.segu idadae ea.gob.es/si es/de aul / iles/csa_17_i c_114.pd
[17] Diego Cal o, “Red Neu onal Con olucional CNN”, Re isado: 2 de ab il de
2023
h ps://www.diegocal o.es/ ed-neu onal-con olucional/
[18] Página o icial de COCO, Re isado: 24 de ab il de 2023
h ps://cocoda ase .o g/#home
[19] Página o icial de PASCAL, Re isado: 24 de ab il de 2023
h p://hos . obo s.ox.ac.uk/pascal/VOC/
[20] Xingxing Xie, Gong Cheng, Jiabao Wang, Xiwen Yao, Junwei Han, “O ien ed
R-CNN o Objec De ec ion” Re isado: 24 de ma zo de 2023
h ps://a xi .o g/abs/2108.05699
[21] Joseph Redmon, San osh Di ala, Ross Gi shick, Ali Fa hadi, “You Only
Look Once: Uni ied, Real-Time Objec De ec ion”, Re isado: 24 de ma zo de
2023 h ps://a xi .o g/abs/1506.02640
[22] Wei Liu, D agomi Anguelo , Dumi u E han, Ch is ian Szegedy, Sco Reed,
Cheng-Yang Fu, Alexande C. Be g, “SSD: Single Sho Mul iBox De ec o ”,
Re isado: 26 de ma zo de 2023 h ps://a xi .o g/abs/1512.02325
[23] Kaiming He, Geo gia Gkioxa i, Pio Dollá , Ross Gi shick, “Mask R-CNN”,
Re isado: 26 de ma zo de 2023 h ps://a xi .o g/abs/1703.06870
[24] Página o icial de DJI Ma ice 300, Re isado: 1 de mayo de 2023
h ps://en e p ise.dji.com/es/ma ice-300
[25] Página o icial de DJI MA ic 3, Re isado: 1 de mayo de 2023
h ps://www.dji.com/es/ma ic-3
[26] EETAC, “La UPC y el Ayun amien o de Cas ellde els inaugu an el D oneLab,
un labo a o io y espacio único de uelo pa a d ones”, Re isado: 1 de junio de
2023 h ps://www.upc.edu/es/sala-de-p ensa/no icias/la-upc-y-el-ayun amien o-
de-cas ellde els-inaugu an-el-d onelab-un-labo a o io-y-espacio-de- uelo-de-
d ones-lide -pa a-la-in es igacion-y-la-docencia
[27] Inciden e del Conco de, Re isado: 10 de ma zo de 2023
h ps://es.wikipedia.o g/wiki/Vuelo_4590_de_Ai _F ance
O ganización del abajo 68
6. ANEXO
6.1 Resul ados YOLO 5n
Fig. 1 Mé icas analí icas de de ección de obje os de YOLO 5n
O ganización del abajo 69
Fig. 2 Mé icas de ajus e de YOLO 5n
Fig. 3 Ma iz de con usión de YOLO 5n

O ganización del abajo 70
6.2 Resul ados YOLO 5x
Fig. 4 Mé icas analí icas de de ección de obje os de YOLO 5x
O ganización del abajo 71
FIg. 5 Mé icas de ajus e de YOLO 5x
Fig. 6 Ma iz de con usión de YOLO 5x
O ganización del abajo 72
6.3 Resul ados YOLO 8n
Fig. 7 Mé icas analí icas de de ección de obje os de YOLO 8n
O ganización del abajo 73
Fig. 8 Mé icas de ajus e de YOLO 8n
Fig. 9 Ma iz de con usión de YOLO 8n