T abajo Fin de M´as e
Bina izaci´on de desc ip o es en edes
neu onales
Bina iza ion o deep embeddings
Au o :
Guille mo Ga c´ıa O in
Di ec o :
Ja ie Ci e a Sancho
ESCUELA DE INGENIER´
IA Y ARQUITECTURA DE ZARAGOZA
2020
DECLARACIÓNDE
AUTORÍAYORIGINALIDAD
TRABAJOSDEFINDEGRADO/FINDEMÁSTER
(Es edocumen odebeen ega seenlaSec e a íadelaEINA,den odelplazo
dedepósi odelTFG/TFMpa asue aluación).
D./Dª. ,en
aplicación de lo dispues o en el a . 14 (De echos de au o ) del Acue do de 11 de
sep iemb e de 2014, del Consejo de Gobie no, po el que se ap ueba el
Reglamen o de los TFG y TFM de la Uni e sidad de Za agoza,
Decla o que el p esen e T abajo de Fin de (G ado/Más e )
(Tí ulo del T abajo)
es de mi au o ía y es o iginal, no habiéndose u ilizado uen e sin se
ci ada debidamen e.
Za agoza,
Fdo:
Guille mo Ga cia O in
Mas e
Bina ización de desc ip o es en edes neu onales
11 de sep iemb e, 2020
Guille mo
AGRADECIMIENTOS
En p ime luga , me gus a ´ıa exp esa mi m´as p o undo ag adecimien o a Ja ie , po
da me la opo unidad de hace es e abajo con ´el, a pesa de hace lo desde Alemania, po
su paciencia e incondicional ayuda en mis la gos y ediosos mails y su p o esionalidad y
buena e a la ho a de hace las cosas. Po o o lado, a mis pad es y he mano que han se ido
de apoyo en odo momen o, ayudando de la mejo mane a posible a que odo ue a po el
buen camino. Po ´ul imo, a mis amigos de la cha anga, que me han ense˜nado que la m´usica
es la mejo o ma de ca ga las pilas y oxigena las ideas.
2

RESUMEN
La bina izaci´on de desc ip o es calculados median e edes neu onales p o undas, el campo
de es udio de es e abajo in de m´as e , es un p oblema de in es igaci´on con aplicaciones
ele an es a medio y la go plazo. Uno de los g andes e os de los modelos de ap endizaje
au om´a ico ac uales es educi su ele ado cos e compu acional, lo cual posibili a ´ıa su uso
a al a ecuencia y/o en pla a o mas limi adas (po ejemplo, d ones peque˜nos o ga as de
ealidad i ual y aumen ada).
La bina izaci´on de desc ip o es consis e en ans o ma un desc ip o ex a´ıdo po una
ed neu onal, compues o po n´ume os eales (con ep esen aci´on en coma lo an e), en uno
compues os po n´ume os bina ios. La en aja compu acional iene apa ejada a la educci´on
de ama˜no del desc ip o , pa a el que cada una de sus dimensiones pasa a se ep esen ada
po un solo bi ( en e a las ep esen aciones en coma lo an e, en e las cuales las de doble
p ecisi´on ocupan gene almen e 64 bi s). El e ec o es una educci´on en el espacio de memo ia
eque ido pa a almacena el desc ip o , y una meno ca ga al ealiza ope aciones con dichos
desc ip o es. Es a educci´on de ama˜no asume que en el desc ip o de n´ume os eales hay
edundancias, que se ´an usadas po el algo i mo de bina izaci´on.
En es e abajo in de m´as e se p opone, implemen a y e al´ua un algo i mo de bina iza-
ci´on no edoso, que iene en cuen a la a iaci´on de los da os median e compa aciones en e las
dimensiones del desc ip o con inuo. La implemen aci´on del m´e odo de bina izaci´on conlle ´o
a ios desa ´ıos. Po un lado, dispone de da os adecuados pa a el en enamien o de la ed y
pa a la compa aci´on de los esul ados con los del es ado del a e, pa a lo que se han usado
es bases de da os con ca ac e ´ıs icas di e en es. Po o o lado, la elecci´on de la a qui ec u a
de ed, el p oceso de en enamien o y el dise˜no e la implemen aci´on de nue as unciones de
cos e, pa a las cu´ales se han e aluado a ias al e na i as.
Nues os esul ados expe imen ales demues an que nues a p opues a supe a al es ado
del a e en bina izaci´on de desc ip o es en las bases de da os MNIST yCIFAR-10; e iguala
y supe a en algunos casos incluso a desc ip o es de n´ume os eales (con mucha meno huella
compu acional) en la base de da os Pa ioned No dland.
3
´
Indice gene al
1. INTRODUCCI´
ON 6
1.1. Es uc u adel abajo .............................. 7
2. REDES NEURONALES 9
2.1. Neu onaA i icial................................. 9
2.2. Es uc u a y conexiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3. En enamien o .................................. 13
2.4. RedesSiamesas .................................. 14
2.5. RedesT iple s................................... 15
3. PROPUESTA DE M´
ETODO DE BINARIZACI´
ON 18
3.1. Desc ip o eal .................................. 18
3.2. P incipal Componen Analisis (PCA) . . . . . . . . . . . . . . . . . . . . . . 19
3.3. Bina izaci´on po compa aci´on . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.4. ¿Po qu´e unciona? ................................ 23
4. BASES DE DATOS UTILIZADAS 25
4.1. MNIST handw i en digi s . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
4.2. CIFAR-10 ..................................... 26
4.3. Pa i ioned No dland Da ase . . . . . . . . . . . . . . . . . . . . . . . . . . 27
5. EVALUACI´
ON Y M´
ETRICAS 29
5.1. In o ma ionRe ie al............................... 29
5.2. Reconocimien o de luga es . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
6. AJUSTE DEL M´
ETODO DE BINARIZACI´
ON 33
6.1. PCA an es de la bina izaci´on po compa aci´on . . . . . . . . . . . . . . . . . 33
6.2. Dimensi´on despu´es de PCA y m´e odo de bina izaci´on po compa aci´on . . . 34
4
2.2. ESTRUCTURA Y CONEXIONES
cuen a odas las posibles elaciones en e los da os de en ada en la salida. Su des en aja
es que ienen un n´ume o ele ado de pa ´ame os y po lo an o el en enamien o es m´as
cos oso.
Figu a 2.2: Ejemplo de capa o almen e conec ada
Capa localmen e conec ada: Es un ipo de capas en las que sus neu onas se conec an
solo a un sub-conjun o de las de la capa an e io . La inalidad es dis ingui pa ones
locales den o de los da os de en ada con un cos e de en enamien o meno ya que el
n´ume o de pa ´ame os u ilizado es meno que en las o almen e conec adas.
Figu a 2.3: Ejemplo de capa localmen e conec ada
Capa con olucional: Es una de las capas localmen e conec adas mas usadas. Su
aplicaci´on en el a amien o de im´agenes es ya es ´anda , ya que su es uc u a hace que
posea in a ianza espacial, es deci , es capaz de econoce de e minadas ca ac e ´ıs icas
u obje os en cualquie luga de la imagen. Es o lo log a median e la ope aci´on de
con oluci´on que se ilus a a con inuaci´on (Figu a 2.6). Los ´unicos pa ´ame os que
ap ende es a capa son los pesos de un n´ume o de il os que son desplazado po oda
la imagen. Son conside ablemen e menos cos osas compu acionalmen e que las capas
o almen e conec adas, en las cuales cada p´ıxel end ´ıa un peso asociado.
11

2.2. ESTRUCTURA Y CONEXIONES
Figu a 2.4: Ejemplo de uncionamien o de la ope aci´on de con oluci´on lle ada a cabo po
la capa con olucional. El il o es desplazado po oda la imagen mul iplicando odos los
p´ıxeles del Inpu y esul ando la nue a ma iz ilus ada como I * K
Capa educ o a (pooling en ingl´es): es o o ipo de capa localmen e conec ada
que aplica di ec amen e una unci´on conocida sob e la en ada y no iene pa ´ame os
pa a ap ende . Su aplicaci´on mas ecuen e y pa a lo que se usan en el abajo consis e
en su colocaci´on jus o despu´es de las capas con olucionales pa a educi la dimensi´on
de es as.
Figu a 2.5: Ejemplo de capa educ o a. Se ilus a la ope aci´on de max pooling la cual consis e
en escoge el m´aximo de una en ana.
Capa Fla en: Se a a de una capa que ans o ma un enso o ma iz de en ada en
un ec o unidimensional. Se suele u iliza al inicio de las edes neu onales que abajan
con im´agenes pa a ans o ma la en ada (po ejemplo, una imagen de 28 ×28) a
un ec o unidimensional (siguiendo con el ejemplo an e io , de 784 dimensiones) y
abaja con la ed neu onal con las capas indicadas an e io men e.
12
2.3. ENTRENAMIENTO
Figu a 2.6: Ejemplo de uncionamien o de la capa la en
2.3. En enamien o
El en enamien o de una ed neu onal es el p oceso median e el cual la ed ap ende a
ealiza la a ea pa a la cual ha sido dise˜nada. Consis e en i e a sob e los alo es de los
pa ´ame os de la ed (pesos y sesgos) de mane a que el e o de p edicci´on en los da os
de en enamien o sea m´ınimo. An es de explica el p oceso de en enamien o en de alle, es
necesa io conoce una se ie de ´e minos:
N´ume o de ´epocas: es un hipe pa ´ame o que ep esen a el n´ume o de eces que se
eco e el conjun o de da os de en enamien o comple o.
Ba ch size: es un hipe pa ´ame o que de ine el n´ume o de ejemplos del conjun o com-
ple o de da os que se an a usa en una ac ualizaci´on de los pesos de la ed. Una de las
p incipales en ajas de usa un ba ch size de ama˜no peque˜no es la meno necesidad de
memo ia du an e el p oceso de p opagaci´on hacia a ´as.
S ep size: es un hipe pa ´ame o que de ine la magni ud de ac ualizaci´on de los pa ´ame-
os en enables du an e el p oceso de back p opaga ion, explicado m´as adelan e. La elecci´on
co ec a de es e pa ´ame o es de e minan e pa a log a la con e gencia del algo i mo.
Funci´on de cos e: conocida en ingl´es como loss. Es la unci´on que ob iene el alo del
e o en e la salida de la ed y la salida que se espe aba. Es la unci´on a op imiza du an e
el p oceso de en enamien o.
J(θ) = 1
m
m
X
n=1
Cos e(hθ(x(i)), y(i)) (2.2)
Habi ualmen e,las edes neu onales, se en enan median e el m´e odo S ochas ic G adien
Descen , (SGD) [4] el cual consis e en aplica el m´e odo de descenso de g adien e, G adien
Descen , a cada ba ch, con el obje i o de educi la unci´on de cos e. El p oceso pa a cada
13
2.4. REDES SIAMESAS
ba ch es el siguien e:
Cada imagen del ba ch es p opagada hacia adelan e, de al mane a que, a a iesa la
ed siendo mul iplicada po los pa ´ame os en enables (pesos y sesgos) de cada capa. El
esul ado p edicho po la ed es compa ado con el esul ado deseado y se ob iene la unci´on
de p´e dida ( ´ease Figu a 2.7), la cual depende de odos los pa ´ame os en enables de la ed.
Pa a cada imagen en pa icula y con el obje i o de educi la unci´on de p´e dida, se aplica
el algo i mo de p opagaci´on hacia a ´as (back p opaga ion), en el cual se calcula la de i ada
de la unci´on de cos e con espec o a cada pa ´ame o en enable ∇(w1, w2...wn). De aqu´ı
ob enemos un ec o ila con an as dimensiones como pa ´ame os en enables, el cual nos
indica en qu´e di ecci´on hab ´ıa que a ia cada pa ´ame o pa a consegui educi la unci´on
de cos e de es a imagen en conc e o.
Aho a bien, no solo enemos una imagen. En el en enamien o, se suman las con ibu-
ciones de cada imagen en el ba ch y se aplica la ac ualizaci´on a los pa ´ame os en enables.
El p oceso se epi e i e a i amen e pa a odos los ba chs (SGD) y an as eces como ´epocas
haya, wnew =wold −η∇(w1, w2...wn). Al inal se hab ´a educido la unci´on de cos e o al, es
deci , de odos los da os, y, po an o, el e o en e la p edicci´on de la ed y la ealidad se ´a
m´as peque˜no. De es a mane a la ed ap ende a hace p edicciones cada ez m´as ace adas
en los da os de en enamien o. Asumiendo que los da os de es son simila es a los da os de
en enamien o, las p edicciones ambi´en end ´an una al a p ecisi´on en ellos.
2.4. Redes Siamesas
En es e abajo se u ilizan edes siamesas, las cuales se componen de dos edes neu onales
id´en icas que compa en sus pesos. Al in oduci dos im´agenes dis in as como en adas de
las edes (una po cada ed), los desc ip o es de las capas de salida debe ´ıan se pa ecidos
si pe enecen a la misma clase y di e en es si pe enecen a clases dis in as. Un esquema
ilus a i o de dichas edes se puede e en la Figu a 2.8:
El p oceso de en enamien o de las edes neu onales di ie e del es ´anda . La ´unica in o -
maci´on disponible es si los pa es son el mismo (pa es posi i os) o no (pa es nega i os). Po
an o, es necesa io una unci´on de cos e aco de a es as ca ac e ´ıs icas. En es e abajo se usa
la unci´on de cos e con as i e [5], la cual ace ca los desc ip o es cuando su e ique a es 1,
pa es posi i os, y los aleja cuando su e ique a es 0, pa es nega i os.
L=yd2+ (1 −y)max(m−d, 0)2(2.3)
Donde Les el cos e, des la dis ancia eucl´ıdea en e los desc ip o es de la pa eja, yes la
14
2.5. REDES TRIPLETS
Figu a 2.7: Ejemplo num´e ico de p edicci´on de los d´ıgi os del da ase MNIST. T as a a esa
la ed neu onal sin en ena se puede ap ecia que las p edicciones no son co ec as ( p ime a
columnas de neu onas), la siguien e columna de neu onas ilus a lo que idealmen e debe ´ıa
de esul a de la p edicci´on. El e o se calcula con una unci´on de cos e cuad ´a ica.
e ique a de la pa eja y mes el ma gen.
Ace ca los desc ip o es signi ica que cuando su dis ancia des g ande, pe o es la misma
pa eja (y= 1) la unci´on de cos e es g ande, lo cual indica que la dis ancia de la pa eja
es e ´onea. Po eso, en el p oceso de en enamien o, igual que en la ed simple, la unci´on
de cos e es minimizada y en es e caso minimiza signi ica hace la unci´on de p´e dida m´as
peque˜na, que a su ez implica que la dis ancia en e los desc ip o es sea peque˜na, es deci ,
los ace ca. De mane a equi alen e se alejan los desc ip o es g acias al max de la unci´on si
son una pa eja nega i a (y= 0) pe o su dis ancia es meno que el ma gen.
2.5. Redes T iple s
Uno de los p oblemas de las edes siamesas es que, du an e su en enamien o, abajan
sucesi amen e con un ejemplo posi i o y despu´es con uno nega i o. Puede da se el caso
15
2.5. REDES TRIPLETS
Figu a 2.8: Ejemplo de ed siamesa y su uncionamien o. h1 y h2 ep esen an los desc ip o es
de cada imagen al inal de la ed.
de que al a a de ace ca im´agenes simila es, los pa ´ame os e olucionen de al mane a
que pa e de las nega i as ambi´en se ace quen. Tambi´en puede sucede que al aleja las
nega i as, se alejen pa e de las posi i as, d´andose un e ec o pulsan e.
Las edes iple s abajan a la ez con el ejemplo posi i o y el nega i o. Es as edes
es ´an o madas po es copias de la misma ed. Tienen es en adas, dos ejemplos que
se conside en simila es jun o a uno que se conside e dis in o. La ed hace e oluciona sus
pa ´ame os pa a ace ca unos y aleja o os a la ez. De es a o ma, se a o ece que la
e oluci´on de los pa ´ame os no ace que ni aleje los ejemplos que no se desean. Se puede e
el uncionamien o en la Figu a 2.9. Como las es edes son id´en icas, se sigue eniendo un
´unico conjun o de pa ´ame os.
Como unci´on de e o se usa la unci´on de e o iple de Wohlha -Lepe i
E= m´ax 0,1−dn
ma gen +dp(2.4)
Donde Ees el e o , dpes la dis ancia en e los ec o es de la pa eja posi i a, dnla
dis ancia con el ejemplo nega i o y el ma gen es el pa ´ame o que pe mi e limi a la di e encia
en e las dos dis ancias. En es a unci´on, el e o es nulo cuando la dis ancia nega i a supe a
16

2.5. REDES TRIPLETS
Figu a 2.9: Ejemplo de ed iple y su uncionamien o. h1, h2 y h3 ep esen an los desc ip-
o es de cada imagen al inal de la ed.
a la posi i a po cie o ma gen. Adem´as, el e o es ´a aco ado en e 0 y 1, lo cual puede
ene e ec os posi i os sob e la es abilidad en el en enamien o.
17
Cap´ı ulo 3
PROPUESTA DE M´
ETODO DE
BINARIZACI´
ON
El m´e odo de bina izaci´on que p oponemos en es e abajo cons a de es e apas que se
explican y de allan a con inuaci´on. Es as e apas se pueden isualiza en la imagen 3.1
Figu a 3.1: M´e odo de bina izaci´on
3.1. Desc ip o eal
En es e abajo se conside an es o mas de en enamien o de la ed neu onal: clasi i-
caci´on con una ed neu onal indi idual, compa aci´on en e im´agenes con una ed neu onal
siamesa y compa aci´on en e imagenes con una ed neu onal iple . Al inal del en ena-
mien o, en los es m´e odos, la ed neu onal es capaz de ap ende pa ´ame os que p opician
desc ip o es aco des con la ca ego ´ıa de cada imagen. En el caso de la ed siamesa y iple ,
es os desc ip o es se ex aen de la ´ul ima capa de la ed, y en el caso de una ´unica ed se
ex aen de la pen´ul ima capa, po que la ´ul ima es la capa de clasi icaci´on. Po lo an o, el
desc ip o de cada imagen es un ec o con an as dimensiones como neu onas engan es as
capas, y, cada neu ona end ´a como salida un n´ume o eal que depende ´a de los pa ´ame os
de la ed y la imagen in oducida.
18
3.2. PRINCIPAL COMPONENT ANALISIS (PCA)
3.2. P incipal Componen Analisis (PCA)
PCA es un p ocedimien o es ad´ıs ico que u iliza una ans o maci´on o ogonal pa a con-
e i un conjun o de obse aciones de a iables posiblemen e co elacionadas en o o con-
jun o sin co elaci´on lineal compues o po las llamadas componen es p incipales. Es a ans-
o maci´on se de ine de al mane a que el p ime componen e p incipal iene la mayo a ianza
posible (es deci , ep esen a la mayo a iabilidad posible en los da os), y cada componen e
subsiguien e a su ez iene la mayo a ianza posible bajo la es icci´on que es o ogonal a los
componen es an e io es. Los ec o es esul an es (cada uno de los cuales es una combinaci´on
lineal de las a iables y con iene nobse aciones) son un conjun o de bases o ogonales no
co eladas.
El m´e odo usa la ma iz de con a ianza pa a es ima la a ianza de los da os espec o
a las dimensiones del subespacio ec o ial en el que se encuen an. En la diagonal de la
ma iz se encuen a la co a ianza de los da os en cada dimensi´on, y ue a de la diagonal se
encuen a la co elaci´on de los da os de la dimensi´on i-´esima con la j-´esima. Es deci , si un
conjun o de da os se ep esen a con dos a iables, la ma iz de co a ianza se ´a de 2x2, de la
misma o ma, end emos una ma iz N x N en dimensiones supe io es, como es el ejemplo
abo dado en es e abajo. Con obje o de explica g ´a ica y ma em´a icamen e la ma iz de
co a ianza y su impo ancia en el m´e odo PCA, se da ´an ejemplos en 2 dimensiones, ya
que es imposible ep esen a g ´a icamen e las dimensiones supe io es a 3. Sin emba go, la
ampliaci´on a dimensiones supe io es consis e en la misma idea, pe o en ma ices mayo es.
(a) (b) (c)
Figu a 3.2: Dis ibuciones de da os y sus ma ices de co a ianza 2x2.
En la Figu a 3.2 se puede ap ecia que la ma iz de co a ianza es sim´e ica ya que es lo
mismo la co a ianza del elemen o i-´esimo con el j-´esimo que ice e sa. Adem´as, se obse a
que la ma iz de co a ianza con iene la in o maci´on sob e la di ecci´on de la a ianza m´axima.
19
3.2. PRINCIPAL COMPONENT ANALISIS (PCA)
Po ejemplo, en la Figu a 3.2a la a ianza m´axima se encuen a en el eje x2y se co obo a ya
que el alo p opio asociado al ec o p opio en esa di ecci´on es cinco eces mayo (1 en e
a 0.2). Po o a pa e, en la Figu a 3.2b, se puede obse a una dis ibuci´on de los da os
oblicua en la que no se sabe a p io i la di ecci´on de m´axima a ianza. En es e caso se aplica
la ´ecnica de diagonalizaci´on de la ma iz pa a ob ene la di ecci´on de m´axima a ianza, la
cual se ´a la di ecci´on del ec o p opio asociada al mayo alo p opio. Es o se ilus a en la
Figu a 3.3. La p oyecci´on de los da os en las di ecciones de los ec o es p opios se ealiza de
la siguien e mane a:
Sea Xel conjun o de odos los da os, que conside a emos I−dimensionales. Po con e-
niencia, los ep esen amos en una ma iz I×M, con M≤I:
X= (x1, ..., xM).(3.1)
Su ma iz de co a ianza es la siguien e:
C1=XXT/M, (3.2)
y su descomposici´on en alo es p opios se puede ealiza de la siguien e mane a:
C1U1=U1Λ1=⇒C1=U1Λ1UT1(3.3)
Los da os con enidos en X, ep esen ados en el sis ema de coo denadas de los ec o es
p opios, son:
Y1=U1TX(3.4)
De es a mane a se ob ienen las di ecciones de mayo a ianza, y los da os pueden se
ep esen ados en di ecciones que apo an in o maci´on signi ica i a sob e las a iaciones m´as
ele an es.
P incipal componen an´alisis (PCA) iene a ias aplicaciones. Sin emba go, la m´as ele-
an e es educi la dimensionalidad de un conjun o de da os cuyas dimensiones es ´an muy
co elacionadas en e s´ı, conse ando la mayo can idad posible de in o maci´on. Una ez se
han p oyec ado los da os en las di ecciones de m´axima a ianza, la educci´on de dimensiones
p opicia ´a la m´ınima pe dida de in o maci´on posible ya que la explicaci´on de la a ianza es a
o denada de mane a c ecien e en las dimensiones en las que es ´an ep esen ados los da os.
20
4.3. PARTITIONED NORDLAND DATASET
bina izaci´on se ealiza con la m´e ica mean a e age p ecision que se explica en el siguien e
cap´ı ulo. Pa a es o, se necesi a una base de da os de consul a y o a base de da os de
ex acci´on. Siguiendo los a ´ıculos cien i icos con mejo es esul ados has a la echa se adop an
las mismas pa iciones pa a una jus a compa aci´on de los esul ados. La base de da os de
consul a cons a de 1.000 im´agenes con 100 clases de cada ca ego ´ıa. La base de da os de
ex acci´on cons a de las 59.000 im´agenes sob an es.
4.3. Pa i ioned No dland Da ase
Pa a cons ui es a base de da os se usan los ´ıdeos del e oca il de No dland. En 2012,
la emp esa de adiodi usi´on de No uega (NRK) ealiz´o un documen al sob e el No dland
Railway, una l´ınea e o ia ia en e las ciudades de T ondheim y Bodø. Filma on el iaje
de 729 km con una c´ama a en la pa e delan e a del en en in ie no, p ima e a, o o˜no y
e ano. La du aci´on de cada ´ıdeo es de ap oximadamen e 10 ho as y cada o og ama iene
una ma ca de iempo con las coo denadas GPS.
La igu a 4.4 ilus a la pa ici´on de odo el conjun o de im´agenes en el conjun o de da os
de No dland. Hay un se de p ueba con es secuencias di e en es de 1.150 im´agenes (un
o al de 3.450, en ama illo en la igu a). El es o de im´agenes son de en enamien o (24.569,
en ojo en la igu a). Al usa a ias secciones, aumen a la a iedad de luga es y cambios de
apa iencia con enidos en el conjun o de p ueba. Tambi´en se deja una sepa aci´on de algunos
kil´ome os en e cada p ueba y amo de en desca ando algunas im´agenes pa a ga an iza
la di e encia en e los da os de p ueba y de en.
Dada la simili ud en e im´agenes consecu i as, en es e abajo se conside a que dos im´age-
nes son del mismo luga si empo almen e es ´an sepa adas po 3 im´agenes o menos. Aplica-
mos una en ana deslizan e de 5 im´agenes sob e odo el conjun o de da os pa a ag upa las
im´agenes omadas de cinco segundos consecu i os. Es e p oceso se puede e en la siguien e
imagen 4.5.
27

4.3. PARTITIONED NORDLAND DATASET
aining se
es se
disca ded da a
Figu a 4.4: Sepa aci´on de los conjun os de en enamien o y es .[15]
Figu a 4.5: Ven ana en la que dos im´agenes se conside an la misma.[15]
28
Cap´ı ulo 5
EVALUACI´
ON Y M´
ETRICAS
5.1. In o ma ion Re ie al
En ciencias de la compu aci´on, in o ma ion e ie al ( ecupe aci´on de in o maci´on)1o
simplemen e e ie al es la ac i idad de ob ene ecu sos del sis ema de in o maci´on que
son ele an es pa a una necesidad de in o maci´on de una colecci´on de esos ecu sos. Las
b´usquedas se pueden basa en ex o comple o u o o´ındice basado en con enido. In o ma ion
e ie al es la ciencia dedicada a la b´usqueda de in o maci´on en un documen o, en los p opios
documen os y ambi´en la b´usqueda de los me ada os que desc iben los da os y las bases de
da os de ex o, im´agenes o sonidos.
Un p oceso de in o ma ion e ie al comienza cuando un usua io ealiza una consul a al
sis ema. Las consul as son decla aciones o males de necesidades de in o maci´on, po ejemplo,
cadenas de b´usqueda en mo o es de b´usqueda web. En la ecupe aci´on de in o maci´on, una
consul a no iden i ica de o ma ´unica un solo obje o en la colecci´on. En cambio, a ios
obje os pueden coincidi con la consul a, quiz´as con di e en es g ados de ele ancia. En
nues a aplicaci´on odos los obje os (im´agenes) ienen el mismo g ado de ele ancia.
Pa a medi como de sa is ac o io es es e p oceso, la m´e ica mas com´un es mean a e age
p ecision, mAP. La mean a e age p ecision pa a un conjun o de consul as es la media de las
pun uaciones de la a e age p ecision de cada consul a (que y, q). Se puede e en la ´o mula
5.1.
mAP = PQ
q=1 AP(q)
Q(5.1)
Pa a en ende como unciona la m´e ica a e age p ecision es imp escindible conoce las
1Se man end ´a en lo sucesi o el nomb e en ingl´es po su amplio uso
29
5.1. INFORMATION RETRIEVAL
m´e icas de p ecision y ecall.
P ecisi´on: F acci´on de las im´agenes ex a´ıdas que pe enecen a la misma clase que la de
la consul a. Fo mula 5.2
p ecisi´on = |{im´agenes ele an es}∩{im´agenes ex a´ıdas}|
|{im´agenes ex a´ıdas}| (5.2)
Recall: F acci´on de las im´agenes ele an es pa a la consul a que se ex aen co ec amen e.
Fo mula 5.3
ecall = |{im´agenes ele an es}∩{im´agenes ex a´ıdas}|
|{im´agenes ele an es}| (5.3)
A e age p ecision: P ecisi´on y ecall son m´e icas de alo ´unico basadas en la lis a
comple a de im´agenes de uel as po el sis ema. Pa a los sis emas que de uel en una secuencia
clasi icada de im´agenes, es con enien e conside a ambi´en el o den en el que se p esen an las
im´agenes de uel as. Al calcula una p ecisi´on y ecupe a en cada posici´on en la secuencia
clasi icada de im´agenes, se puede aza una cu a de p ecision- ecall, azando la p ecisi´on
p( ) como unci´on del ecall, . A e age p ecision calcula la media de p( ) sob e el in e alo
desde =0 has a =1. Es o es el ´a ea bajo la cu a de p ecsion- ecall. F´o mula 5.4
AP = Z1
0
p( )d (5.4)
Es o es equi alen e a la ´o mula 5.5.
AP = Pn
k=1(P(k)× el(k))
n´ume o de im´agenes ele an es (5.5)
donde k es el ango de la secuencia de im´agenes ex a´ıdas, n es el n´ume o de im´agenes
ex a´ıdas, P(k) es la p ecisi´on en el co e k en la lis a y el(k) es una unci´on indicado a igual
a 1 si la imagen en el ango k es una imagen ele an e, y ce o en caso con a io.
A con inuaci´on se explica el p oceso con un ejemplo en de alle: Imaginemos que enemos
una base de da os con im´agenes y se hace una consul a de una imagen a la base de da os al
y como la igu a 5.1 ilus a.
Se p ocede calculando las im´agenes m´as simila es a la consul a, en es e abajo, la simi-
li ud se calcula median e la dis ancia de Hamming de la imagen de consul a con cada una
de las de la base de da os. De es a mane a se ob iene una secuencia de im´agenes o denadas
de meno a mayo dis ancia, G’. Es a secuencia con end ´a im´agenes que co espondan a la
misma ca ego ´ıa que la de la consul a y o as que no, igu a 5.2. En el abajo es a secuencia
con iene las 1.000 im´agenes con meno es dis ancias, es deci , se calcula la a e age p ecision
30
5.1. INFORMATION RETRIEVAL
Figu a 5.1: Consul a en una base de da os de im´agenes. Q, consul a (que y), G, base de
da os con las im´agenes e ique adas
en secuencias de 1.000, AP@1000.
Figu a 5.2: Secuencia o denada en la cual hay im´agenes que co esponden a la misma ca e-
go ´ıa que la de la consul a y o as que no
Con es a secuencia de acie os y allos lo siguien e es calcula la A e age p ecision pa a
la consul a en conc e o. Tal y como se ilus a en la igu a 5.3. Se calcula la p ecisi´on pa a
cada imagen, eniendo en cuen a si la imagen es ele an e o no, de acue do a la ´o mula 5.5.
N´o ese que si las 3 im´agenes que son ele an es es u ie an al p incipio la ex acci´on hab ´ıa
sido pe ec a y la AP se ´ıa 1, en es e caso hay allos en la segunda y e ce a posici´on y
inalmen e en es e ejemplo la AP es 0,7.
Figu a 5.3: C´alculo de A e age p ecision pa a una secuencia de acie os y allos. Se suman
los esul ados de odas las imagenes: 1+0+0+2/4+3/5+0 ...
Finalmen e, se ejecu a ´ıa el p oceso an e io pa a odas las im´agenes de consul a y se
ob end ´ıa la media aco de con la ecuaci´on 5.1 pa a as´ı ecibi la mean a e age p ecision.
31
5.2. RECONOCIMIENTO DE LUGARES
5.2. Reconocimien o de luga es
En la base de da os del No dland, pa a comp oba el uncionamien o del econocedo se
necesi a una base de da os de e e encia y una base de da os de en ada o b´usqueda. Po cada
imagen de en ada se debe ´a ealiza el p ocesamien o y la b´usqueda del luga m´as pa ecido
en la base de e e encia. Se puede e el p oceso de comp obaci´on del uncionamien o en la
igu a 5.4.
Figu a 5.4: Ejemplo del p oceso de e aluaci´on del econocedo . La e e encia son las im´agenes
de los luga es en in ie no. La en ada de b´usqueda son las im´agenes de los mismos luga es
en e ano.
Pa a la comp obaci´on se dispone del conjun o de es , el cual cuen a con im´agenes de
3.450 luga es dis in os, con cada luga o mado po las im´agenes ex a´ıdas de cada es aci´on
du an e 5 segundos dis in os.
Pa a e alua el econocedo se u ilizan las im´agenes de los luga es en una es aci´on del
a˜no como e e encia y en o a es aci´on como en ada. Se ano an los luga es m´as ce canos
pa a cada imagen de en ada y se ob iene la siguien e m´e ica:
F acci´on de luga es co ec os ( c): Es el n´ume o de eces que el luga p edicho po el
sis ema coincide con el luga de en ada, es o es:
c =N´ume o de luga es ace ados
N´ume o de luga es e aluados (5.6)
Se cuen a como luga ace ado si el m´as ce cano en la base de e e encia coincide con
el de en ada. Como se explica an e io men e, en es e abajo se conside a una en ana de
cinco. Po ello se cuen a como acie o si el luga p edicho es ´a en e dos im´agenes an e io es
y dos pos e io es con espec o a la imagen omada en la misma ubicaci´on exac a.
32

Cap´ı ulo 6
AJUSTE DEL M´
ETODO DE
BINARIZACI´
ON
En las siguen es secciones se explican los expe imen os que se han ealizado con la ina-
lidad de ajus a el m´e odo de bina izaci´on pa a ob ene el mejo desempe˜no posible.
6.1. PCA an es de la bina izaci´on po com-
pa aci´on
En es e apa ado se compa a la mean a e age p ecision aplicando PCA pa a educi la
dimensi´on del desc ip o eal, y sin aplica PCA, pa a el caso de la base de da os de CIFAR-
10 (debido a su mayo complejidad espec o al MNIST, en CIFAR-10 se en las di e encias
de una mane a m´as p ecisa).
16 bi 32 bi 64 bi
Sin PCA 0,11 0,13 0,11
Con PCA 0,8575 0,9093 0,8769
Tabla 6.1: Compa aci´on de endimien o (mAP@1000, %) de los algo i mos de bina izaci´on
en el conjun o de da os CIFAR-10. Es a abla mues a la p ecisi´on media media (mAP) de
las 1.000 im´agenes de uel as p incipales con espec o a di e en es n´ume os de bi s y seg´un
si se aplica PCA o no an es de la unci´on de bina izaci´on.
Se puede obse a que los esul ados sin PCA oman alo es ce canos a 0,1, que es el
esul ado que ob end ´ıa un algo i mo alea o io en es e p oblema de 10 ca ego ´ıas. Es deci ,
los desc ip o es sin aplica PCA no apo an in o maci´on pa a la a ea que se lle a a cabo.
33
6.2. DIMENSI´
ON DESPU´
ES DE PCA Y M´
ETODO DE BINARIZACI´
ON
POR COMPARACI´
ON
Al aplica PCA las dimensiones es ´an o denadas de mane a que las p ime as explican m´as
a ianza que las ´ul imas, de es a mane a cada dimensi´on con iene in o maci´on ele an e de
la imagen y la compa aci´on de dimensiones o ece esul ados disc iminan es pa a di e encia
si dos im´agenes pe enecen a la misma clase o no.
6.2. Dimensi´on despu´es de PCA y m´e odo de
bina izaci´on po compa aci´on
Una ez se ha demos ado que el m´e odo unciona mejo ealizando PCA an es de hace
la bina izaci´on po compa aci´on, la siguien e p egun a es, ¿a cuan o debemos educi la
dimensi´on del desc ip o eal an es de hace la bina izaci´on po compa aci´on? Se debe ene
en cuen a que hay una dimensi´on m´ınima a la que se puede educi seg´un la dimensi´on
del desc ip o bina io que que amos. As´ı, si que emos po ejemplo un desc ip o bina io de
32 bi s, la m´ınima dimensi´on a la que podemos educi el desc ip o eal es 9, con el cual
podemos hace has a 36 compa aciones sin epe i ninguna.
La bina izaci´on po compa aci´on, puede se alea o ia, o asignando p obabilidades de
coge unas dimensiones o o as seg´un la impo ancia que le asignemos.
El p ime m´e odo que se p opone pa a hace la bina izaci´on po compa aci´on es una
dis ibuci´on p obabil´ıs ica exponencial, asignando de es a mane a m´as p obabilidad de coge
las p ime as dimensiones pa a la compa aci´on. Es o iene sen ido debido a que PCA o dena
las dimensiones de mane a que las p ime as explican m´as a ianza. La unci´on se ilus a en
la igu a 6.1
El segundo m´e odo p opues o en ealiza las compa aciones de mane a alea o ia.
En lo siguien e se mos a ´an los esul ados la bina izacion po compa aci´on alea o ia y
con unci´on exponencial con di e en es dimensiones del desc ip o eal .
Dimensi´on Alea o io Exponencial
16 0,81028 0,82113
14 0,84013 0,83986
12 0,87691 0,87144
Tabla 6.2: Compa aci´on de endimien o (mAP@1000, %) de los algo i mos de bina izaci´on
en el conjun o de da os CIFAR-10 pa a un desc ip o bina io de 64 bi s. Es a abla mues a
la p ecisi´on media media (mAP) de las 1.000 im´agenes de uel as p incipales con espec o a
di e en es dimensiones del desc ip o eal y m´e odo de compa aci´on.
Los mejo es esul ados se ob ienen pa a la dimensi´on m´as baja posible (12 en el caso
34
6.2. DIMENSI´
ON DESPU´
ES DE PCA Y M´
ETODO DE BINARIZACI´
ON
POR COMPARACI´
ON
Figu a 6.1: Funci´on exponencial p obada. Se puede obse a que los p ime os elemen os
end ´an m´as posibilidad de se cogidos pa a la compa aci´on que los ´ul imos.
de 64 bi s del desc ip o bina io) y pa a una compa aci´on de las dimensiones alea o ia.
In ui i amen e es o se explica ya que cuan o m´as peque˜na es la dimensi´on del desc ip o eal
m´as a ianza a a explica cada dimensi´on indi idualmen e y po o o lado la alea o iedad
hace ene una di e sidad mayo en los pa es compa ados.
35
Cap´ı ulo 7
RESULTADOS
7.1. MNIST handw i en digi s
7.1.1. A qui ec u a de ed y en enamien o
Pa a la e aluaci´on del conjun o de da os MNIST se ha u ilizado la ed neu onal de
la igu a 7.1. Es a ed cons a de dos capas con olucionales con max-pooling y una capa
o almen e conec ada despu´es de la ope aci´on la en, que como se ha explicado en la capi ulo
1, asigna un ec o unidimensional.
Figu a 7.1: Red neu onal usada pa a el en enamien o del conjun o de da os MNIST. [9]
El en enamien o se lle a a cabo median e una es uc u a siamesa, cuya es uc u a se
puede obse a en la igu a 7.2 , y cuyo uncionamien o se explica con de alle en el capi ulo
2 secci´on 2.4.
Una ez en enada, la ed usada indi idualmen e nos pe mi i ´a ex ae desc ip o es con-
inuos de dimensi´on 128 pa a su pos e io bina izaci´on y e aluaci´on. N´o ese que el en ena-
36
7.3. PARTITIONED NORDLAND DATASET
Figu a 7.9: Resul ados con la p ima e a como es aci´on de e e encia pa a dis in as dimen-
siones de desc ip o bina io y, en la p ime a ila los esul ados S a e O he A (SOA) con
dimensi´on 128 con inua.
43

7.3. PARTITIONED NORDLAND DATASET
Figu a 7.10: Resul ados con el in ie no como es aci´on de e e encia pa a dis in as dimensiones
de desc ip o bina io y, en la p ime a ila los esul ados S a e O he A (SOA) con dimensi´on
128 con inua.
44
7.3. PARTITIONED NORDLAND DATASET
Figu a 7.11: Resul ados con el o o˜no como es aci´on de e e encia pa a dis in as dimensiones
de desc ip o bina io y, en la p ime a ila los esul ados S a e O he A (SOA) con dimensi´on
128 con inua.
45
Cap´ı ulo 8
CONCLUSI´
ON
En es e abajo se ha p opues o la bina izaci´on de desc ip o es con inuos gene ados a
pa i de edes neu onales. El m´e odo p opues o mues a que se pueden ob ene desc ip o es
bina ios con una p ecisi´on p ´ac icamen e simila al caso con inuo median e compa aci´on de
las dimensiones del desc ip o con inuo. Se ha demos ado que el m´e odo aumen a d ´as ica-
men e su p ecisi´on si se ealiza PCA an es de ealiza las compa aciones.
La e aluaci´on se ha lle ado a cabo en es bases de da os con di e en es ca ac e ´ıs icas,
pa a as´ı, explo a las limi aciones del m´e odo a medida que la complejidad de la base de
da os aumen a. La base de da os MNIST es ea el m´e odo con im´agenes en escala de g ises,
CIFAR-10, con im´agenes en colo de di e en es obje os, y inalmen e, Pa i ioned No dland
con im´agenes de econocimien o de luga es eales. Los esul ados ob enidos han sido muy
p ome edo es, supe ando nues o m´e odo al es ado del a e en las bases de da os del MNIST
yCIFAR-10. En el caso de la base de da os del Pa i ioned No dland, al no habe ning´un
m´e odo de bina izaci´on con esul ados, se ha compa ado con el es ado del a e en caso
con inuo. Los esul ados en es a base de da os ambi´en han sido excelen es, ya que, se supe a
la p ecisi´on en algunas es aciones y se ob ienen esul ados simila es en el es o de casos.
Se ha u ilizado una a qui ec u a de ed y en enamien o di e en e en cada base de da os
pa a ajus a la complejidad del modelo a los da os disponibles en cada caso. Pa a la base
de da os MNIST se ha en enado una es uc u a siamesa, pa a el caso de CIFAR-10 se ha
usado una ed en enada pa a clasi icaci´on y inalmen e pa a Pa i ioned No dland se han
usado los desc ip o es esul an es del en enamien o de una es uc u a iple .
Como l´ıneas u u as de abajo se p opone es udia la e icacia del m´e odo en econoci-
mien o de obje os no s´olo en bases de da os de im´agenes m´as complejas sino ambi´en en ´ıdeo,
donde la apidez de c´alculo de los desc ip o es bina ios puede juga un papel de e minan e
pa a la aplicaci´on a sis emas de uncionamien o en iempo eal.
46
Cap´ı ulo 9
HERRAMIENTAS
Pa a abaja con las edes se han u ilizado las lib e ´ıas de , Tenso low y Ke as [12], Py-
o ch [17] y Ca e [8],po su e sa ilidad a la ho a de dise˜na y p oba dis in as es uc u as de
edes neu onales. Pa a el es o de p ocedimien os como la comp obaci´on del uncionamien o
o la elabo aci´on de g ´a icas se ha u ilizado Py hon, especialmen e las lib e ´ıas Numpy [16],
SciPy [19] y Ma Plo Lib [7].
47
Bibliog a ´ıa
[1] Michael Calonde y col. “BRIEF: Compu ing a local bina y desc ip o e y as ”. En:
IEEE ansac ions on pa e n analysis and machine in elligence 34 (no . de 2011).
doi:10.1109/TPAMI.2011.222.
[2] Yueqi Duan y col. “Lea ning deep bina y desc ip o wi h mul i-quan iza ion”. En:
P oceedings o he IEEE Con e ence on Compu e Vision and Pa e n Recogni ion.
2017, p´ags. 1183-1192.
[3] Kam an Ghasedi Dizaji y col. “Unsupe ised deep gene a i e ad e sa ial hashing ne -
wo k”. En: P oceedings o he IEEE Con e ence on Compu e Vision and Pa e n Re-
cogni ion. 2018, p´ags. 3664-3673.
[4] Ian Good ellow, Yoshua Bengio y Aa on Cou ille. Deep Lea ning.h p : / / www .
deeplea ningbook.o g. MIT P ess, 2016.
[5] Raia Hadsell, Sumi Chop a y Yann LeCun. “Dimensionali y Reduc ion by Lea ning an
In a ian Mapping”. En: P oceedings o he 2006 IEEE Compu e Socie y Con e ence
on Compu e Vision and Pa e n Recogni ion - Volume 2. CVPR ’06. USA: IEEE
Compu e Socie y, 2006, p´ags. 1735-1742. isbn: 0769525970. doi:10.1109/CVPR.
2006.100.u l:h ps://doi.o g/10.1109/CVPR.2006.100.
[6] Shanshan Huang y col. “Unsupe ised T iple Hashing o Fas Image Re ie al”. En:
( eb. de 2017).
[7] J. D. Hun e . “Ma plo lib: A 2D g aphics en i onmen ”. En: Compu ing in Science &
Enginee ing 9.3 (2007), p´ags. 90-95. doi:10.1109/MCSE.2007.55.
[8] Yangqing Jia y col. “Ca e: Con olu ional A chi ec u e o Fas Fea u e Embedding”.
En: a Xi p ep in a Xi :1408.5093 (2014).
[9] Yann Lecun y col. “G adien -based lea ning applied o documen ecogni ion”. En:
P oceedings o he IEEE. 1998, p´ags. 2278-2324.
48

BIBLIOGRAF´
IA
[10] K. Lin y col. “Lea ning Compac Bina y Desc ip o s wi h Unsupe ised Deep Neu al
Ne wo ks”. En: 2016 IEEE Con e ence on Compu e Vision and Pa e n Recogni ion
(CVPR). 2016, p´ags. 1183-1192.
[11] Ke in Lin y col. “Deep lea ning o bina y hash codes o as image e ie al”. En: P o-
ceedings o he IEEE con e ence on compu e ision and pa e n ecogni ion wo kshops.
2015, p´ags. 27-35.
[12] Ma ın Abadi y col. Tenso Flow: La ge-Scale Machine Lea ning on He e ogeneous Sys-
ems. So wa e a ailable om enso low.o g. 2015. u l:h p:// enso low.o g/.
[13] MS Windows NT Ke nel Desc ip ion.h ps://gi hub.com/cazala/mnis . Accessed:
2020-09-14.
[14] MS Windows NT Ke nel Desc ip ion.h ps:/ / s o age . googleapis.com / bi _
models/. Accessed: 2020-05-20.
[15] Daniel Olid, Jos´e M. F´acil y Ja ie Ci e a. “Single-View Place Recogni ion unde
Seasonal Changes”. En: PPNIV Wo kshop a IROS 2018. 2018.
[16] T a is E Oliphan . A guide o NumPy. Vol. 1. T elgol Publishing USA, 2006.
[17] Adam Paszke y col. “Au oma ic di e en ia ion in PyTo ch”. En: (2017).
[18] Yuming Shen y col. “Au o-Encoding Twin-Bo leneck Hashing”. En: a Xi p ep in
a Xi :2002.11930 (2020).
[19] Pauli Vi anen y col. “SciPy 1.0: Fundamen al Algo i hms o Scien i ic Compu ing in
Py hon”. En: Na u e Me hods 17 (2020), p´ags. 261-272. doi:h ps://doi.o g/10.
1038/s41592-019-0686-2.
[20] E kun Yang y col. “Dis illhash: Unsupe ised deep hashing by dis illing da a pai s”.
En: P oceedings o he IEEE Con e ence on Compu e Vision and Pa e n Recogni ion.
2019, p´ags. 2946-2955.
49
´
Indice de igu as
1.1. Ejemplo de econocimien o de im´agenes . . . . . . . . . . . . . . . . . . . . . 6
2.1. Neu onaa i icial.................................. 10
2.2. Ejemplo de capa o almen e conec ada . . . . . . . . . . . . . . . . . . . . . 11
2.3. Ejemplo de capa localmen e conec ada . . . . . . . . . . . . . . . . . . . . . 11
2.4. Ejemplo de uncionamien o de la ope aci´on de con oluci´on lle ada a cabo po
la capa con olucional. El il o es desplazado po oda la imagen mul iplicando
odos los p´ıxeles del Inpu y esul ando la nue a ma iz ilus ada como I * K 12
2.5. Ejemplo de capa educ o a. Se ilus a la ope aci´on de max pooling la cual
consis e en escoge el m´aximo de una en ana. . . . . . . . . . . . . . . . . . 12
2.6. Ejemplo de uncionamien o de la capa la en ................. 13
2.7. Ejemplo num´e ico de p edicci´on de los d´ıgi os del da ase MNIST. T as a a-
esa la ed neu onal sin en ena se puede ap ecia que las p edicciones no
son co ec as ( p ime a columnas de neu onas), la siguien e columna de neu-
onas ilus a lo que idealmen e debe ´ıa de esul a de la p edicci´on. El e o
se calcula con una unci´on de cos e cuad ´a ica. . . . . . . . . . . . . . . . . 15
2.8. Ejemplo de ed siamesa y su uncionamien o. h1 y h2 ep esen an los desc ip-
o es de cada imagen al inal de la ed. . . . . . . . . . . . . . . . . . . . . . 16
2.9. Ejemplo de ed iple y su uncionamien o. h1, h2 y h3 ep esen an los des-
c ip o es de cada imagen al inal de la ed. . . . . . . . . . . . . . . . . . . . 17
3.1. M´e odo de bina izaci´on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.2. Dis ibuciones de da os y sus ma ices de co a ianza 2x2. . . . . . . . . . . . 19
3.3. Diagonalizaci´on de la ma iz de co a ianza. . . . . . . . . . . . . . . . . . . . 21
3.4. Ilus aci´on sencilla de unci´on de bina izaci´on . . . . . . . . . . . . . . . . . 22
50
´
INDICE DE FIGURAS
3.5. Explicaci´on de la obus ez de la unci´on de bina izaci´on. Se puede ap ecia
como las im´agenes que son iguales pe o en di e en e es aci´on ienen desc ip o
eales pa ecidos y po lo an o una dis ancia eucl´ıdea peque˜na. Cuando se
bina iza el desc ip o , la dis ancia es incluso meno . De mane a con a ia
la dis ancia en e im´agenes di e en es es ambi´en mayo usando desc ip o es
bina ios que con inuos. Po lo an o la pe dida de in o maci´on es m´ınima a
pesa de usa desc ip o es que ocupan mucho menos espacio . . . . . . . . . 24
4.1. Ejemplo de d´ıgi os del MNIST handw i en digi s. [13] ............ 25
4.2. Pa nega i o a la izquie da y pa posi i o a la de echa . . . . . . . . . . . . . 26
4.3. Ejemplo de im´agenes de la base de da os Ci a -10 . . . . . . . . . . . . . . . 26
4.4. Sepa aci´on de los conjun os de en enamien o y es .[15] . . . . . . . . . . . 28
4.5. Ven ana en la que dos im´agenes se conside an la misma.[15] . . . . . . . . . 28
5.1. Consul a en una base de da os de im´agenes. Q, consul a (que y), G, base de
da os con las im´agenes e ique adas . . . . . . . . . . . . . . . . . . . . . . . 31
5.2. Secuencia o denada en la cual hay im´agenes que co esponden a la misma
ca ego ´ıa que la de la consul a y o as que no . . . . . . . . . . . . . . . . . 31
5.3. C´alculo de A e age p ecision pa a una secuencia de acie os y allos. Se suman
los esul ados de odas las imagenes: 1+0+0+2/4+3/5+0 ... . . . . . . . . . 31
5.4. Ejemplo del p oceso de e aluaci´on del econocedo . La e e encia son las
im´agenes de los luga es en in ie no. La en ada de b´usqueda son las im´agenes
de los mismos luga es en e ano. . . . . . . . . . . . . . . . . . . . . . . . . . 32
6.1. Funci´on exponencial p obada. Se puede obse a que los p ime os elemen os
end ´an m´as posibilidad de se cogidos pa a la compa aci´on que los ´ul imos. 35
7.1. Red neu onal usada pa a el en enamien o del conjun o de da os MNIST. [9] 36
7.2. Ejemplo de ed siamesa y su uncionamien o. . . . . . . . . . . . . . . . . . . 37
7.3. Logo ipo de Tenso low y Ke as . . . . . . . . . . . . . . . . . . . . . . . . . 37
7.4. Red neu onal Resne 2 50 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
7.5. Logo ipodePy o ch ............................... 39
7.6. Red neu onal VGG-16.[15] . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
7.7. Logo ipodeCa e................................. 41
7.8. Resul ados con el e ano como es aci´on de e e encia pa a dis in as dimensio-
nes de desc ip o bina io y, en la p ime a ila los esul ados S a e O he A
(SOA) con dimensi´on 128 con inua. . . . . . . . . . . . . . . . . . . . . . . . 42
51
´
INDICE DE FIGURAS
7.9. Resul ados con la p ima e a como es aci´on de e e encia pa a dis in as dimen-
siones de desc ip o bina io y, en la p ime a ila los esul ados S a e O he
A (SOA) con dimensi´on 128 con inua. . . . . . . . . . . . . . . . . . . . . . 43
7.10. Resul ados con el in ie no como es aci´on de e e encia pa a dis in as dimen-
siones de desc ip o bina io y, en la p ime a ila los esul ados S a e O he
A (SOA) con dimensi´on 128 con inua. . . . . . . . . . . . . . . . . . . . . . 44
7.11. Resul ados con el o o˜no como es aci´on de e e encia pa a dis in as dimensiones
de desc ip o bina io y, en la p ime a ila los esul ados S a e O he A (SOA)
con dimensi´on 128 con inua. . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
52