Documen :
Memò ia i Annexos
TREBALL DE FI D’ESTUDIS
De ecció i econeixemen de
ma ícules pe isió a i icial
Au o /Au o a:
Xa ie Ma í Jo ell
Di ec o /Di ec o a - Codi ec o /Codi ec o a:
Jose An onio So ia Pe ez
Ti ulació:
Màs e Uni e si a i en Enginye ia de Sis emes
Au omà ics i Elec ònica Indus ial
Con oca ò ia:
P ima e a, 2023.
i
Resum
El p opòsi d’aques eball i de màs e és el desen olupamen d’un sis ema de
econeixemen au omà ic de ma ícules a pa i d’un model d’in el·ligència a i icial, u ili zan
isió a i icial i ap enen a ge p o und. El sis ema desen olupa és capaç de e la lec u a en
emps eal de la ma ícula d’un co xe a pa i d’una ima ge desconeguda. D’aques a mane a,
es p e én il·lus an les possibles ècniques de isió a i icial que an se i els sis emes de
con ol en ca e es o en espais d’apa camen .
Pe e -ho, s’ha en ena el model de de ecció d’objec es, You Only Look Once (YOLO)
o ma pe una xa xa neu onal con olucional CNN, a pa i d’un conjun d’ima ges
conegudes i ob ingudes pe la esolució d’aques eball. En les di e en s ima ges es oben
an ehicles es aciona s com en ci culació, amb la egió de les di e en s ma ícules
e ique ades i ma cades. Un cop en ena el model, aques és e se i pe de ec a la
ma ícula i pode -ne ex eu e-la de la ima ge o iginal. Amb aques a no a ima ge, es eali za
la lec u a del codi u ili zan la ècnica de econeixemen de ca àc e s en objec es (OCR).
Pel desen olupamen de l’OCR s’ha e ús de l’algo isme EasyOCR el qual ha pe mès llegi
els di e en s nomb es i lle es pe al de po a a cap un pos p ocessamen i cons ui el
codi de la ma ícula segons la legislació espanyola.
Abs ac
The pu pose o his mas e 's hesis is he de elopmen o an au oma ic numbe pla e
ecogni ion (ANPR) sys em based on an a i icial in elligence model, using a i icial ision
and deep lea ning. The de eloped sys em is capable o ead he license pla e o a ca in
eal ime om an unknown image, p e ending o illus a e he possible a i icial ision
echniques used in oad con ol sys ems o pa king lo con ol sys ems o de ec ca pla es.
To do his, he objec de ec ion model, You Only Look Once (YOLO), o med by a CNN
con olu ional neu al ne wo k, has been ained om a se o known images ob ained o
sol ed his wo k. In he di e en images he e a e bo h pa ked ehicles and in ci cula ion,
wi h he egion o he di e en numbe pla es labeled. Once he model has been ained, i
is used o de ec he numbe pla e and ex ac i om he o iginal image. Wi h his new
license pla e image, he code is hen ead using he objec cha ac e ecogni ion (OCR)
echnique. Fo he de elopmen o he OCR, has been used he EasyOCR algo i hm, which
made possible o ead he di e en names and le e s in o de o ca y ou a pos -p ocessing
and build he Spanish egis a ion code acco ding o Spanish legisla ion.

De ecció i econeixemen de ma ícules pe isió a i icial
ii
iii
Suma i
RESUM ......................................................................................................................................................... I
ABSTRACT .................................................................................................................................................... I
SUMARI ..................................................................................................................................................... III
ÍNDEX DE TAULES ........................................................................................................................................ V
ÍNDEX DE FIGURES ..................................................................................................................................... VI
1. INTRODUCCIÓ ......................................................................................................................................... 1
1.1 CONTEXT ............................................................................................................................................. 1
1.2 OBJECTIU ............................................................................................................................................ 1
1.3 MARC DEL TREBALL ............................................................................................................................... 1
1.4 ESPECIFICACIONS .................................................................................................................................. 3
1.5 MOTIVACIÓ PERSONAL ........................................................................................................................... 3
1.6 CONTINGUT DE LA MEMÒRIA I LLIURAMENTS DEL PROJECTE ........................................................................... 4
2 ESTAT DE L’ART ................................................................................................................................... 5
2.1 PROCESSAMENT D’IMATGES .................................................................................................................... 5
2.2 XARXES NEURONALS .............................................................................................................................. 6
2.3 XARXES NEURONALS CONVOLUCIONALS ..................................................................................................... 9
2.3.1 Capa de con olució .................................................................................................................... 10
2.3.2 Capa de educció ....................................................................................................................... 10
2.3.3 Capa d’aplanamen ................................................................................................................... 11
2.3.4 Algo isme de e op opagació ................................................................................................... 11
2.4 FASES DEL RECONEIXEMENT AUTOMÀTIC DE MATRÍCULES ............................................................................. 11
2.5 EXTRACCIÓ DE LA MATRÍCULA DE LA IMATGE ............................................................................................. 12
2.6 SEGMENTACIÓ DE LA MATRÍCULA ............................................................................................................ 13
2.7 RECONEIXEMENT DELS CARÀCTERS .......................................................................................................... 14
2.8 APLICACIONS ...................................................................................................................................... 15
3 DETECCIÓ DE LA MATRÍCULA EN LA IMATGE ..................................................................................... 16
3.1 DESCRIPCIÓ DEL SET DE DADES ............................................................................................................... 16
3.2 ALGORISME DE DETECCIÓ USAT .............................................................................................................. 19
3.3 ARQUITECTURA DE YOLO ..................................................................................................................... 20
3.4 VERSIONS DE YOLO ............................................................................................................................ 22
3.4.1 YOLO 2 ...................................................................................................................................... 22
3.4.2 YOLO 3 ...................................................................................................................................... 22
3.4.3 YOLO 4 ...................................................................................................................................... 22
3.4.4 YOLO 5 ...................................................................................................................................... 22
3.4.5 YOLO 6 ...................................................................................................................................... 23
3.4.6 YOLO 7 ...................................................................................................................................... 23
3.4.7 YOLO 8 ...................................................................................................................................... 23
3.5 DESCRIPCIÓ DE L’ENTRENAMENT ............................................................................................................ 23
3.6 AVALUACIÓ DEL MODEL OBTINGUT ......................................................................................................... 27
3.7 AVALUACIÓ DE LA INFERÈNCIA................................................................................................................ 29
4 RECONEIXEMENT ÒPTIC DE CARÀCTERS (OCR) ................................................................................. 33
4.1 ESTRUCTURA D’EASYOCR .................................................................................................................... 34
4.2 TIPUS DE MATRÍCULES .......................................................................................................................... 35
4.3 PROCEDIMENT SEGUIT EN EL RECONEIXEMENT DE CARÀCTERS ...................................................................... 36
4.4 AVALUACIÓ DELS RESULTATS DE L’OCR .................................................................................................... 40
5 DISCUSSIÓ DELS RESULTATS OBTINGUTS ........................................................................................... 44
De ecció i econeixemen de ma ícules pe isió a i icial
i
6 ANÀLISI ECONÒMICA ........................................................................................................................ 46
7 CONCLUSIONS .................................................................................................................................. 47
8 REFERÈNCIES .................................................................................................................................... 48
ANNEX ...................................................................................................................................................... 52
8.1 PART PRINCIPAL DE L’ALGORISME ANPR .................................................................................................. 52
8.2 ALGORISME DE DETECCIÓ DE MATRÍCULES ................................................................................................ 55
8.3 ALGORISME DE RECONEIXEMENT DE CARÀCTERS EN LA MATRÍCULA ................................................................ 57
Índex de aules
TAULA 1. Compa a i a dels esul a s de la de ecció, segons la dimensió de la xa xa ............
26
TAULA 2. In e sec ion O e Union, IOU, del model de de ecció ..............................................
27
TAULA 3. Mè iques d’a aluació de la in e ència de la de ecció de ma ícules .........................
28
TAULA 4. Mè iques d’a aluació de la in e ència d’EasyOCR ..................................................
41
TAULA 5. Exemple d’un inco ec e econeixemen de la ma ícula ........................................
41
TAULA 6. Al es inco ec es econeixemen s de ma ícula ob ingu s .....................................
41
TAULA 7. Mè iques ob ingudes al inal del econeixemen dels ca àc e s de la ma ícula ......
44
TAULA 8. Cos os de ecu sos humans .....................................................................................
46
TAULA 9. Cos os de béns imma e ials ....................................................................................
46
TAULA 10. Cos os o al ............................................................................................................
46
De ecció i econeixemen de ma ícules pe isió a i icial
4
eball, es oba en una sè ie de peces conegudes en una zona delimi ada. Seguidamen ,
a pa i d’un b aç obò ic que en la se a eina enia di e en s pinces i un pe i o dinado amb
una càme a, aig desen olupa un sis ema que classi ica a les di e en s peces segons el
seu colo i o ma desp és d’una de ecció i locali zació a pa i d’una ima ge.
En aques eball es ol con inua en l’ap enen a ge d’aques a ècnica pe ò en aques cas
usan in el·ligència a i icial. Es enia cons ància de la u ili zació de la IA en el econeixemen
d’objec e en ima ges, pe ò se’n desconeixia el com. A pa i de la g an capaci a d’aques a
ècnica i de l’in e ès que em despe a a, he decidi e se i -la en el desen olupamen del
eball pe al de pode conèixe els seus mè odes en una aplicació eal i quo idiana.
1.6 Con ingu de la memò ia i lliu amen s del p ojec e
En aques documen , memò ia del eball, s’explica.
- En el capí ol 2. Es a de l’a , es desc iu les di e en s ècniques i es a ègies que
ac ualmen s’u ili zen o que s’han e se i pe desen olupa el econeixemen
au omà ic de ca àc e s en ma ícules. Sepa an les usades en la de ecció i
locali zació de la ma ícula, com les que es an se i en el econeixemen de
ca àc e s.
- En el capí ol 3. De ecció de la ma ícula en la ima ge, s’explica com s’ha aconsegui
la de ecció de la ma ícula en la ima ge. Quin algo isme s’ha e se i , la desc ipció
d’aques algo isme, com s’ha en ena aques algo isme i com s’implemen a. També,
s’a aluen els esul a s ob ingu s an desp és de l’en enamen com desp és de la
in e ència en l’aplicació.
- En el capí ol 4. Reconeixemen òp ic de ca àc e s (OCR), es desc iu el mè ode
u ili za pe econèixe els di e en s ca àc e s de la ma ícula, es eali za una
discussió de les p incipals llib e ies d’OCR en codi obe , s’explica l’es uc u a de la
llib e ia seleccionada i es desc iu el pos p ocessamen desen olupa desp és de la
de ecció. També, s’a aluen els di e en s esul a s ob ingu s an desp és de la
p edicció pe pa de la llib e ia, com desp és del pos p ocessamen .
- Finalmen , en el capí ol 5. Discussió dels esul a s ob ingu s, es posa en comú els
esul a s ob ingu s en els apa a s an e io s i s’a aluen de o ma conjun a.
A pa de la memò ia, ambé es a l’en ega dels i xe s de l’en o n de desen olupamen
c ea i els di e en s algo ismes desen olupa s. En el lliu amen , en la ca pe a de
“s udysession” es oben les di e en s ca pe es amb les llib e ies necessà ies pe e có e
la solució. El documen “_commands_ o_ac i a e. x ” indica les di e en s o d es a in odui
en la consola pe ac i a l’en o n i ual. També, es oben els algo ismes desen olupa s,
“Ca ac Recogni ion.py” el qual eali za l’OCR, “Pla eDe ec ion.py” que de ec a i locali za la
ma ícula en la ima ge, i “main.py”, pa p incipal que ca ega les ima ges, eali za el
“Ca ac Recogni ion.py” i el “Pla eDe ec ion.py”, comp o a si la de ecció s’ha eali za de
o ma co ec a i gua da els di e en s esul a s. Aques s esul a s es gua den en el i xe
“ esul . x ” on un cop l’algo isme “main.py” acaba, esc iu els esul a s indican el nom de la
ima ge, la ma ícula eal d’aquell ehicle, la de ecció ob inguda i si les ma ícules
coincideixen o no. El documen “main.py” sap si el econeixemen a se el co ec e g àcies
a la lec u a del i xe “ ex . x ” que elaciona el nom de les ima ges amb el codi de la
ma ícula. Finalmen , es oben di e en s ima ges pe pode p o a els di e en s algo ismes,
la locali zació de la ma ícula, el econeixemen de ca àc e s o els dos p ocessos jun s.

5
2 Es a de l’a
El econeixemen au omà ic d’una ma ícula és l’ex acció de la in o mació de la ma ícula
del ehicle con inguda en una ima ge o en un conjun d’ima ges. L’ANPR ambé és conegu
amb al es noms, iden i icació au omà ica de ehicles, econeixemen de ma ícules de
co xes, econeixemen au omà ic dels nomb es de la ma ícula, o econeixemen òp ic de
ca àc e s OCR en ehicles.
L’ex acció d’aques a in o mació po se eali zada usan un se de dades pe una
compa ació o a pa i del p ocessamen de la ima ge. Pel econeixemen són u ili zades
an , ima ges en colo , en blanc i neg e o càme es in a oges, aques es úl imes pe me en
edui els can is de condicions p o ocades pe la inse ció dels aigs de llum. Sen la quali a
de les ima ges un ac o clau pe ob eni o no un esul a sa is ac o i. A més, les di e ències
en el colo de ons i dels ca àc e s de les ma ícules, sen en la g an majo ia el ons blanc,
pe ò ambé n’hi ha de ons blau o g oc, augmen a la di icul a de la lec u a. En aques
apa a es desc iuen les p incipals ècniques i esul a s que p è iamen al es han e se i
pe esold e el p oblema.
En el econeixemen au omà ic de ehicles en ma ícules, s’usen di e en s ècniques, la
de ecció d’objec e en ima ges, el p ocessamen d’ima ges i la iden i icació de pa ons, en
són algunes d’elles. To segui se’n desc iuen algunes pe conèixe millo el seu
uncionamen . Seguidamen , s’especi ica les di e en s pa s i esolucions de la solució de
la p oblemà ica.
2.1 P ocessamen d’ima ges
El p ocessamen d’ima ges és una ècnica u ili zada en la esolució del p ocessamen
d’ima ges. Aques a ècnica és l’acció de ans o ma una ima ge, que es oba en o ma
digi al, i eali za de e minades ope acions pe ob eni -ne in o mació ú il [11]. El sis ema de
p ocessamen d’ima ges ac a o es les ima ges com ma ius de dues dimensions on se li
apliquen ce s mè ode de p ocessamen . Un dels mè odes més usa s en el p ocessamen
d’ima ges, són els il es. Els il es es an se e pe modi ica o millo a la quali a de la
ima ge, pe exemple, pe elimina el so oll de la ima ge me e es man é la ima ge
p ese ada. La selecció d’un il e es basa en la na u alesa de la asca i el ipus i
compo amen de les dades. Uns exemples de il e, són el il e de mi jana o el il e gaussià
[12].
Exemple de il a ge de mi jana, sen l’en ada una ma iu 7x7 i el ke nel una ma iu 3x3
mul iplicada pe 1/9 que a eco en la ma iu d’en ada.
Figu a 3. Exemple en aplica un il e de mi jana a una ma iu (Fon : p òpia)
Exemple de il a ge gaussià, sen l’en ada una ma iu 7x7 i el ke nel una ma iu 3x3
mul iplicada pe 1/16, sen sigma igual 1, que a eco en la ma iu d’en ada mul iplican
els di e en s alo s. La unció gaussiana es mos ada en la següen equació.
De ecció i econeixemen de ma ícules pe isió a i icial
6
𝐺(𝑥,𝑦)= 1
2𝜋𝜎2 𝑒−𝑥2+𝑦2
2𝜎2
(1)
Figu a 4. Exemple en aplica un il e de gaussià a una ma iu (Fon : p òpia)
2.2 Xa xes neu onals
Una xa xa neu onal a i icial és un model compu acional que é la capaci a de millo a el
seu esul an a base d’un en enamen a pa i d’un conjun d’exemples. Les xa xes
neu onals a i icials simulen un sis ema ne iós humà en ús d’una g an quan i a de
neu ones a i icials pe me en així esold e p oblemes complexos [13].
Figu a 5. Esquema d’una xa xa neu onal (Fon : p òpia)
Les xa xes neu onals a i icials es an o mades pe una capa d’en ada, capes ocul es i una
capa de so ida. La capa d’en ada ep esen a els pa àme es d’en ada, pe una ima ge
les en ades se ien els di e en s píxels sense eali za cap càlcul. Les capes ocul es són en
les quals es p odueixen la majo ia dels càlculs. Aques conjun de capes ep esen a el
compo amen de la xa xa neu onal, com més capes ocul es la xa xa neu onal és més
p o unda. La capa de so ida és una capa ocul a amb la di e ència que é an es neu ones
com so ides de la xa xa neu onal a i icial.
Les neu ones de les xa xes neu onals a i icials in en en modela les neu ones del nos e
sis ema ne iós. Aques ipus de neu ona a i icial a se p oposada el 1943 pe McCulloch-
Pi s, la qual la se a so ida és el esul a de la suma ponde ada de les en ades i la següen
mul iplicació pe una unció no lineal o d’ac i ació. També po disposa d’una en ada
addicional pe manen men ac i ada que se l’anomena pola i zació o “bias”. En la següen
igu a, es mos a una ima ge de la neu onal a i icial de McCulloch-Pi s i l’equació que se
n’ex eu [14].
7
Figu a 6. Neu onal a i icial de McCulloch-Pi s (Fon : p òpia)
Les di e en s neu ones a i icials disposen d’una unció d’ac i ació, les quals són u ili zades
pe dona la so ida dins un ang de alo s conegu s. Les p incipals uncions d’ac i ació són
la unció esglaó, la unció sigmoide, la unció angen hipe bòlica ( anh), i la unció
ec i icado a (ReLU), en e al es. A con inuació, es mos a un exemple, la unció
ec i icado a (RELU) [15].
Figu a 7. Funció d’ac i ació RELU (Fon : p òpia)
També exis eix un al e ipus de xa xa neu onal, les xa xes neu onals de biaix [14]. Les
xa xes neu ones de biaix pe me en desplaça la unció d’ac i ació cap a l’esque a o cap a
la d e a de les neu ones de la capa pos e io a pa i de l’addició 𝑏. Aques ipus de neu onal
pe me pode ob eni millo s esul a s en l’en enamen quan no malmen se’n oba una
pe capa ocul a. A con inuació es mos a l’equació d’una neu ona amb biaix.
𝜙(𝑧)= 𝜙(∑𝑤𝑖
𝑛
𝑖=1 𝑥𝑖+𝑏)
(2)
L’algo isme de e op opagació, en anglès backp opaga ion, pe me a les xa xes neu onals
ap end e [16]. A con inuació es mos a un exemple pe mos a com unciona ia un
algo isme de e op opagació. Pe un millo càlcul es desc iu la unció d’ac i ació de o ma
ma icial, es de ineix una ma iu de pes 𝑤𝑙, aques a ma iu ep esen a els pesos que es
connec en a la capa 𝑙, és a di , la posició de la ila 𝑗 i la columna 𝑘, és 𝑤𝑗𝑘
𝑙. En la Figu a 5,
se’n po eu e l’ano ació. De la ma eixa o ma, pe a cada capa es de ineix un ec o de
biaix 𝑏𝑙, que pe cada posició 𝑗 es ep esen a 𝑏𝑗𝑙. Pe úl im, ambé es de ineix un ec o
d’ac i ació 𝑎𝑙, que unciona igual que al ec o de biaix 𝑎𝑗𝑙. Pe an , la unció d’ac i ació
s’exp essa com.
𝑎𝑙= 𝜙( 𝑤𝑙𝑎𝑙−𝑖+𝑏𝑙)
(3)
Si es mi a de enimen la unció, es é que la ma iu d’ac i ació en la capa 𝑙 𝑎𝑙, és el esul a
d’aplica la unció d’ac i ació sob e la ma iu esul an de mul iplica la ma iu de pesos de
De ecció i econeixemen de ma ícules pe isió a i icial
8
la capa 𝑙 𝑤𝑙 pe la ma iu d’ac i acions en la capa 𝑙− 1, 𝑎𝑙−1, suman el ec o de biaixos
de la capa 𝑙 𝑏𝑙.
Un cop es é el esul a de la so ida de la xa xa neu onal, pe compa a els esul a s
ob ingu s amb els espe a , es u ili zada la unció de cos . L’objec iu de l’algo isme de
e op opagació es conèixe com can ien els esul a s de la unció de cos , espec e als
can is en qualse ol pes o biaix. Una de les uncions de cos més u ili zades, és la unció
de cos quad à ic.
𝐶=1
2 ∑(𝑦(𝑥)−𝑎𝐿(𝑥))2
(4)
On x són els exemples d’en enamen indi iduals, sen 𝑦(𝑥) el ec o de so ida desi ja i
𝑎𝐿(𝑥) és el ec o de so ida d’ac i ació de la capa 𝐿.
La e op opagació busca modi ica els pesos i els biaixos amb l’objec iu de minimi za
l’e o que dona la unció de cos . Pe sabe com a ia la unció de cos 𝐶, espec e el pesos
i els biaixos, es eali za mi jançan a iables pa cials. En el cas de la a iació dels pesos
com 𝜕𝐶/𝜕𝑤 i pe als biaixos 𝜕𝐶/𝜕𝑏. Saben això, es de ineix l’e o d’una neu ona 𝑗 de la
capa 𝑙 com 𝛿𝑗𝑙.
𝛿𝑗𝑙= 𝜕𝐶/𝜕𝑧𝑗𝑙
(5)
Aques alo indica la implicació que ha ingu la neu ona j de la capa 𝑙 en l’e o del esul a
inal. Pe aplica l’algo isme de e op opagació es con enien p opaga els e o s de les
neu ones en e les capes. Si no es eali zes, no es ind ia en comp e que l’e o que es à
enin una neu ona po se causa pe un e o que li es a passan una neu ona an e io .
Pe p opaga aques e o d’una o ma e icien s’u ili zen les següen ó mules.
L’e o en la capa de so ida, s’exp essa com.
𝛿𝑗𝑙= ∇𝑎𝐶⊙𝜙′(𝑧𝐿)
(6)
El p ime e me ∇𝑎𝐶 a e e ència a la eloci a en que can ia la unció de cos amb
l’ac i ació de la neu ona 𝑎. El segon, 𝜙′(𝑧𝐿), ep esen a la eloci a en que can ia la unció
d’ac i ació.
L’e o 𝛿𝑙 en e mes d’e o en la següen capa 𝛿𝑙+1.
𝛿𝑗𝑙=((𝑤𝑙+1)𝑇𝛿𝑙+1)⊙𝜙′(𝑧𝐿)
(7)
Aques a equació dona l’e o en la capa 𝑙 , p opaga de la capa 𝑙+1 . Ob enin aques
esul a es é l’e o 𝛿𝑙+1 i aplican la ansposició (𝑤𝑙+1)𝑇, exp essa el desplaçamen de
l’e o en la xa xa. Desp és el p oduc e Hadama d ⊙𝜙′(𝑧𝐿), asllada l’e o en e e a a es
de la unció d’ac i ació en la capa 𝑙.
G adien de can i del cos espec e a un biaix de la xa xa.
𝜕𝐶
𝜕𝑏𝑗𝑙 = 𝛿𝑗𝑙
(8)
L’e o 𝛿𝑗𝑙 es igual al g adien de can i 𝜕𝐶/𝜕𝑏𝑗𝐿.
G adien de can i de cos espec e qualse ol pes de la xa xa és.
𝜕𝐶
𝜕𝑤𝑗𝑘
𝑙= 𝑎𝑘
𝑙−1𝛿𝑗𝑙
(9)
9
Aques a equació pe me calcula les de i ades pa cials 𝜕𝐶/𝜕𝑤𝑗𝑘
𝑙 en e mes de 𝛿𝑙 i 𝑎𝑙−1 que
es saben calcula . Un cop es coneixen les di e en s equacions onamen als, a con inuació
s’enume en els passos de l’algo isme de e op opagació.
- P ime pas. El p ime pas lògic es dona una en ada pe comença l’algo isme.
- Segon pas. Consis eix en calcula la ma iu de pesos, ac i acions i biaixos pe cada.
- Te ce pas. Un cop es é el esul a de so ida, es calcula l’e o en la capa de so ida
u ili zan la unció de cos (5).
- Qua pas. Re op opagació de l’e o cap a cada capa, es calculen els ec o de
l’e o 𝛿𝐿 ins a a iba a la penúl ima capa.
- Cinquè pas. Es calculen les de i ades pa cials pe conèixe com la unció de cos
a ia en unció dels pesos i els biaixos. Amb aques g adien i aplican un algo isme
de g adien descenden [17], s’ajus en els pesos i els biaixos pe a iba al pun òp im
de la unció (7) i (8).
2.3 Xa xes neu onals con olucionals
A l’ho a de eali za la de ecció d’objec es en ima ges, les xa xes neu onals con encionals
no eali zen el ma eix anàlisis que els humans a l’ho a de de ec a objec es. Un humà pe
econèixe un gos, és ixa en els seus e s ca ac e ís ics, les o elles, la cua, el musell, la
se a o ma, en e al es. Pe con a la xa xa neu onal no dis ingeix l’objec e de la ma eixa
mane a, sen el ma eix una ima ge amb els píxels o dena s com deso dena s. A més, la
in oducció d’una ima ge en una xa xa neu onal necessi a una g an quan i a d’en ades,
una pe cada píxel i colo , causan unes necessi a s de càlculs mol ele ada [18].
Pe soluciona aques p oblema, exis eixen les xa xes neu onals con olucionals. Una xa xa
neu onal con olucional a egeix a un model adicional una sè ie de passos p e is a la capa
d’en ada amb la in enció què el model sigui capaç de dis ingi pa ons complexos.
Figu a 8. Esquema d’una xa xa neu onal con olucional (Fon : p òpia)
Les xa xes con olucionals inco po en la capa de con olució, la capa de educció i la capa
d’aplanamen , on aques a úl ima es a à connec ada di ec amen a la capa d’en ada. En
les xa xes neu onals con olucionals se solen e combinacions de capes de con olució i
capes de educció, n egades pe ob eni una millo de ecció.

De ecció i econeixemen de ma ícules pe isió a i icial
10
2.3.1 Capa de con olució
En la capa de con olució és eali za l’ope ació ma emà ica de con olució en la ima ge [19].
Aques a és an impo an que dona nom a la capa i a la xa xa, ja que es l’ope ació que
pe me oba pa ons en la ima ge.
La con olució consis eix a ecó e pe la ima ge una pe i a ma iu anomenada ke nel,
aques a ma iu eali za el p oduc e escala amb el g up de píxels de la ima ge ob enin la
no a ma iu [20]. La ó mula de la capa de con olució és.
𝑌𝑗=𝑔(𝐾𝑖𝑗 ⊗ 𝑌 𝑖
′)
(9)
Sen 𝑌 𝑖
′ la ma iu d’en ada mul iplicada pe un ke nel 𝐾𝑖𝑗, sen 𝑗 el nomb e del ke nel, i
mul iplica pe una unció d’ac i ació 𝑔, no malmen ReLu. En la següen igu a, es mos a
un exemple de càlcul de con olució [21].
Figu a 9. Exemple de con olució 1 (Fon : p òpia)
Sen els càlculs:
P ime cas: 0 ∗ 0 +0 ∗ 0+ 0 ∗ 0+ 0 ∗ 1+ 0 ∗1 + 1∗ 0 + 0∗ 0 + 0∗ 0 +0 ∗ 1 +0 ∗ 1=0
Segon cas: 0 ∗ 0 +0 ∗ 0+ 0 ∗ 0+ 0 ∗ 1+ 0 ∗1 + 1 ∗0 + 0∗ 0 + 0∗ 0 +0 ∗ 1 +0 ∗ 1=0
Com a esul a de o s els càlculs s’ob é la ma iu de so ida.
Figu a 10. Exemple de con olució 2, ma iu esul a (Fon : p òpia)
La eali zació de con olucions combinades amb di e en s ke nels és el que li pe me a la
xa xa neu onal con olucional oba pa ons. Pe sabe quin és el ke nel que pe me ob eni
millo s esul a s se à el model l’enca ega de oba -lo.
2.3.2 Capa de educció
Com el seu nom indica, la capa de educció edueix les ma ius a ma ius més pe i es,
man enin els ma eixos pun s ca ac e ís iques pe edui càlculs innecessa is. Una ècnica
u ili zada és el “max-pooling”, el qual causa que la ma iu de so ida és queda amb el alo
màxim de cada egió p è iamen ha en sepa a la ma iu d’en ada en di e en s egions
[22]. En la següen igu a sen mos a un exemple.
11
Figu a 11. Exemple de educció (Fon : p òpia)
2.3.3 Capa d’aplanamen
La capa d’aplanamen l’únic que eali za es con e i la ma iu esul an de les capes
an e io s i con e i -la en una llis a plana pe al de pode -la in odui en la xa xa neu onal
con encional.
2.3.4 Algo isme de e op opagació
Pe en ena les xa xes neu onals con olucionals es eali za de o ma mol simila a les
con encionals. Els di e en s alo s de la ma iu de ke nel son ac a s com pesos de les
neu ones que s’han d’ajus a pe disminui l’e o , di d’al a mane a, els ke nels son
anali za s com si ossin una neu onal més de la xa xa, una a iable més [23].
Un cop es coneix l’es uc u a de la xa xa neu onals, pe al d’ob eni un bon esul a , és an
impo an eni un bon model com eali za un bon en enamen . Aques depèn de di e en s
ac o s, el se de dades, un conjun ele a de dades és impo an així com la se a di e si a
i l’equilib i en e les di e en s classes. Un al e aspec e és l’augmen de dades, l’augmen
de dades consis eix a c ea no es ima ges a pa i d’exis en s eali zan o acions o aplican
il es en elles pe gene a més condicions di e en s. Finalmen , el nomb e d’èpoques en
l’en enamen del model, passa una sola egada el se de dades pel model, no
s’aconsegueix ob eni un bon esul a , pe an , el se de dades s’ha de passa un nomb e
de egades pel model ins a ob eni un millo esul a .
2.4 Fases del econeixemen au omà ic de ma ícules
Pe conèixe millo la p oblemà ica del econeixemen au omà ic de ma ícules, es
desc iuen els p incipals handicapa s pe ob eni una bona solució.
- Va iacions en la ma ícula. Les ma ícules es poden oba en di e en s zones de les
ima ges, en la ima ge es poden oba més d’una ma ícula i amb dimensions
di e en s. El colo de la ma ícula po se di e en , així com el on dels ca àc e s. A
més, la ma ícula ambé es po oba pa cialmen amagada o amb una ce a
inclinació pe culpa de la pe spec i a de la ima ge.
- Va iacions ambien als. El can i d’il·luminació és un dels majo s hàndicaps del
ac amen d’ima ges, di e en s condicions me eo ològiques p o oquen di icul a s
en la se a lec u a. Al es elemen s en la ima ge, com poden se ca ells publici a is
o è ols de bo igues poden di icul a -ne la iden i icació de la ma ícula.
Pe al de esold e el p oblema plan eja , aques po se di idi en di e en s ases. Les
p incipals ases pe la esolució de l’ANPR són:
- La p ime a ase consis eix en l’ob enció de la ima ge. En aques p ime p océs són
impo an s la esolució de la càme a, el ipus d’ima ge que s’ob é, cada quan
s’ob enen les ima ges i com s’ob enen les ima ges.
De ecció i econeixemen de ma ícules pe isió a i icial
12
- La segona ase consis eix en l’ex acció de la ma ícula de la ima ge. En aques a
ase depenen del ipus d’ima ges s’u ili zen unes ècniques o al es, amb l’objec iu
de dis ingi les ma ícules de la es a d’objec es de la ima ge pe mi jà de les
ca ac e ís iques que enen les ma ícules.
- El e ce p océs adica en la segmen ació de les lle es i núme os de la ma ícula
pe al d’ob eni una ima ge sepa ada de cada ca àc e pe pode aplica l’úl im
p océs.
- L’úl im p océs a e e ència al econeixemen de ca àc e s. A pa i de l’an e io
segmen ació elaciona el con o n amb el ca àc e co esponen pe acaba en una
bona lec u a de la ma ícula.
2.5 Ex acció de la ma ícula de la ima ge
L’ex acció de la ma ícula in luencia en la p ecisió del sis ema ANPR, on els inpu s són les
ima ges dels co xes i els ou pu s una po ció de la ima ge que con é una po encial ma ícula
del co xe. Pe la esolució d’aques a ase s’u ili zen di e en s ècniques.
Aques es ècniques són u ili zades en el p ocessamen de les ima ges, on es ixa en
ca ac e ís iques de les ma ícules pe ex eu e-les de la ima ge ob inguda, com són:
- Ca ac e ís iques geomè iques, la se a o ma ec angula o les di e en s línies
pa al·leles són buscades pe iden i ica ma ícules en la ima ge.
- In o mació global de la ima ge pe ex eu e la ma ícula. Pe exemple, Connec ed
componen analysis (CCA) u ili za en ima ges binà ies [24], o mesu es espacials,
com a a l'à ea i la elació d'aspec e ambé són e s se i .
- L’ex acció de ma ícules pe la ce ca de ca ac e ís iques de ex u es. Aques
mè ode busca els ca àc e s de la ma ícula en la ima ge, buscan un can i
signi ica iu en el ni ell d’escala de g isos en e el colo dels ca àc e s i el colo de
ons de la ma ícula. La ce ca de pics en un His og ama, la u ili zació de la
eqüència especial mi jançan la ans o mada disc e a de Fou ie [25], les ones de
Haa , [26], o la Wa ele ans o m [27], ambé són usa s pe ans o ma la
in o mació de la ima ge de al mane a de pode iden i ica aspec es conc e s que
dis ingeixin la ma ícula de la es a d’elemen s en la ima ge.
- Ex acció de ma ícules mi jançan ca ac e ís iques de colo . La idea p incipal en
aques cas és que la combinació de colo s de la placa en e els ca àc e s i el seu
ons és única. Aques a combinació es p odueix gai ebé només en una egió de la
ima ge. Pe e -ho s’usen algo ismes genè ics [28], pe de e mina els lími s
supe io s i in e io s de la sa u ació de la ima ge o el ni ell de b illan o . També, les
in e seccions en un his og ama ponde a gaussià son e es se i pe de ec a la
ma ícula en coincidi els seus colo s. O el model de colo HSI [29], que di e encia
més els elemen s pel seu colo , és una ècnica que ajuda a selecciona les egions
candida es a pa i d’uns llinda s es adís ics.
- Iden i icació de ma ícules en se i les ca ac e ís iques dels ca àc e s. Aques
mè ode de e mina la ma ícula en la ima ge pe la p esència de ca àc e s en ella. Si
es oben ca àc e s, aquella egió és ex e a com la egió de la ma ícula.
13
Finalmen , la combinació de la ce ca de més d’una de les an e io s ca ac e ís iques ambé
és u ili zada, així i o , amb el hàndicap d’un majo cos compu acional. Si l’aplicació no
eque eix un ex emadamen al g au de p ecisió, amb el emps ex a su icien que causa
la combinació, la u ili zació de només un dels an e io s mè odes és més que su icien .
D’al a banda, pe ex eu e la ma ícula de la ima ge ambé s’u ili zen xa xes neu onals
con olucions CNN. Da e amen a casa de l’augmen de la capaci a de compu acional dels
o dinado s disponibles [30]. Tècniques d’ap enen a ge p o und són usades pe esold e
p oblemes simila s. En la u ili zació d’aques a ècnica són necessà ies majo s se s
d’ima ges i un emps d’en enamen supe isa p e i, pe al, d’ob eni els pesos de
l’es uc u a que se i an pe classi ica i ex eu e les ma ícules de la es a dels elemen s
de la ima ge. Un exemple d’ell és l’a icle [31] Me hodology o an Au oma ic License Pla e
Recogni ion Sys em using Con olu ional Neu al Ne wo k o a Pe u ian Case S udy.
En l’an e io a icle u ili za l’a qui ec u a MTCNN la qual es di ideix en un mòdul de de ecció
i un mòdul de econeixemen . El p ime mòdul, en el qual eali za l’ex acció de la ma ícula
en la ima ge, disposa de es xa xes, la p ime a, P-Ne xa xa de p opos es, la qual ob é el
quad a delimi ado i a se i supe isió no màxima (NMS) pe ob eni la millo de ecció pe
la ma ícula. La segona, R-Ne , xa xa de e inamen que il a els candida s nega ius que
enen de ec es, op imi zan la p edicció dels candida s selecciona s. Finalmen , O-ne ,
xa xa de so ida que iden i ica els è ex de la placa.
2.6 Segmen ació de la ma ícula
A con inuació, la ma ícula aïllada és segmen ada pe ex eu e els ca àc e s pe al
econeixemen . Una ma ícula ex e a de l’e apa an e io po eni alguns p oblemes, com
a a la inclinació, dimensions di e en s a causa del zoom de la càme a, a més d’una possible
b illan o no uni o me. Els algo ismes de segmen ació han de supe a o s aques s
p oblemes en el p ep ocessamen . Escolli un llinda inadequa pe a la bina i zació de la
ma ícula ex e a po dona lloc a ca àc e s uni s. Les p incipals ècniques que s’u ili zen
pe millo a la quali a de la ima ge són l’eliminació de so oll, l’equali zació d’his og ama i la
millo a de con as . Pe soluciona aques p oblema, en l’a icle [32], es oba que la mida
dels ca àc e s ep esen en ap oximadamen el 20% de la ma ícula, a con inuació ajus a
l’escala de g isos en e 0 i 100, desp és el 20% més g an de píxels són mul iplica s pe
2,55 des acan d’aques a mane a els ca àc e s en la ima ge. D’al a banda, al es mè odes
com la bina i zació adap a i a són no malmen usa s. A con inuació, es ca ego i zen els
exis en s mè odes de segmen acions de ma ícula segons les se es ca ac e ís iques.
- Segmen ació de la placa de llicència mi jançan la connec i i a de píxels [33].
S’anali zen els píxels e ique a s i els que enen una mida simila . Seguidamen , a
pa i d’una elació d’aspec e els di e en s ca àc e s són sepa a s.
- Segmen ació de ma ícula mi jançan pe ils de p ojecció. Pe mi jà de les
p ojeccions ho i zon al i e ical en e els píxels dels ca àc e s i el ons, s’ob enen
els di e en s ca àc e s [24].
- Segmen ació de ma ícules pe pics en el eco egu . En aques mè ode el que es
a es eco e ho i zon almen les ma ícules pe eu e on comença i on acaba cada
ca àc e [34]. A pa i d’aquí es sepa en els pics, sen cada un d’ells un ca àc e
di e en .
- Segmen ació de ma ícules mi jançan con o ns [35]. La locali zació del ca àc e es
eali za a pa i d’un g adien de cu a u a i d’in ensi a pe al de sepa a els
di e en s ca àc e s.
De ecció i econeixemen de ma ícules pe isió a i icial
20
de ecció disposa de di e en s e sions i des del 2016 el seu desen olupamen ha
augmen a mol àpidamen .
3.3 A qui ec u a de YOLO
L’algo isme YOLO aga a una ima ge com en ada i desp és u ili za simplemen una xa xa
neu onal con olucional p o unda i en de ec a els di e en s objec es en la ima ge.
L’a qui ec u a de la xa xa neu onal con olucional CNN, es mos a en la igu a de
con inuació.
Figu a 14. A qui ec u a de l’algo isme YOLO (Fon : [45])
Com es mos a en l’an e io ima ge, YOLO é un o al de 24 capes con olucionals, qua e
capes d'ag upació màxima, maxpool laye , i dues capes comple amen connec ades en la
pa inal.
Les p ime es 20 capes con olucionals del model són en enades p è iamen mi jançan la
base de dades ImageNe [46], a a és de la connexió de la mi jana empo al d’una
ag upació i una capa comple amen connec ada. A egi con olució en una capa connec ada
amb una xa xa en enada amb an e io i a en millo a el endimen . Aques model en ena
és u ili za pe eali za la de ecció.
P ime amen YOLO, di ideix la ima ge en una quad ícula de cel·les de S x S. Pe cada
objec e que es obi en la ima ge, la cel·la que con ingui l’objec e se à la esponsable de
p edi -lo. Cada cel·la de la quad ícula p ediu el quad e delimi ado B així com la p obabili a
d’una sola classe C. En la p edicció el quad e delimi ado indica (x, y, w, h, con iança), sen
x i y el cen e de coo denades de l’objec e, w i h l’amplada i l’alçada del quad e delimi ado
de l’objec e, i la con iança el g au de p obabili a que la p edicció sigui la classe.
El càlcul de la con iança es po eu e en la següen ó mula, sen IOU, la in e secció sob e
la unió del quad e delimi ado p edi espec e el eal. D’aques a mane a s’aconsegueix que
el seu alo pe cel·les que no enen objec e sigui igual a ze o i no penali zi en la unció de
pè dues.
P ( 𝑜𝑏𝑗𝑒𝑐𝑡𝑒) ∗ 𝐼𝑂𝑈( 𝑝𝑟𝑒𝑑,𝑟𝑒𝑎𝑙)
(10)
Saben que s’ob é un ec o de lla gada 5 pe cada cel·la, el esul a se à un ec o de S x
S x (B * 5 + C). Un cop les p ediccions són codi icades, s’u ili za aques a pe la CNN amb
una ma iu de con olució u ili zan max pooling, segui de 2 capes o almen connec ades
al inal. Si en una casella no es oba en cap objec e, la llis a de so ida amb la p obabili a
de la de ecció, les dimensions del quad e delimi ado i la classe de ec ada, es a à buida.
En can i, si es de ec a dos objec es o més, se’n conca ena an els di e en s esul a s.

21
YOLO p ediu múl iples egions po encials pe cada quad ícula. En en enamen , només es
ol una sola egió po encial pe cada objec e de la ima ge. YOLO assigna una p edicció de
les egions po encials que se à la que inalmen ep esen i com a més p obable o e dade a.
Pe e -ho, selecciona aquella p edicció po encial que é un majo g au de ce esa a a és
de la mè ica d’in e secció sob e la unió (IOU).
Finalmen , YOLO u ili za la sup essió no màxima (NMS), en anglès non-maximum
supp ession. NMS és un pas de pos p ocessamen que s’usa pe millo a la p ecisió i
l’e iciència de la de ecció d’objec es. En la de ecció d’objec es és habi ual que es gene in
di e sos quad es delimi ado s pe a un únic objec e d’una ima ge. Aques s equad es
delimi ado s es poden supe posa o si ua en di e en s posicions, pe ò o s ep esen en el
ma eix objec e. NMS es a se i pe iden i ica i elimina quad es delimi ado s edundan s
o inco ec es, i pe gene a una única quad ícula delimi ado a pe a cada objec e de la
ima ge. Aques a úl ima quad ícula delimi ado a, se à el esul a de la p edicció pe l’objec e.
Du an l’en enamen pe calcula la di e ència en e el esul a p edi i el eal, s’u ili za una
unció de pè dues que calcula l’e o . Aques a unció de pè dues que s’u ili za a e e ència
a la di e ència en e els cen es dels objec es. El p ocedimen mos a és del model o iginal.
𝜆𝑐𝑜𝑜𝑟𝑑∑∑1𝑖𝑗
𝑜𝑏𝑗
𝐵
𝑗=0 (𝑥𝑖−𝑥𝑖)2+(𝑦𝑖−𝑦𝑖)2
𝑆2
𝑖=0
(11)
Aques a equació eali za la suma de les di e ències. Sen (𝑥,𝑦) les posicions del quad e
delimi ado p edi es i (𝑥,𝑦) les posicions del quad e delimi ado de les eals, u ili zades en
l’en enamen . Pe cada quad e delimi ado p edi (𝑗=0,…,𝐵) i pe cada cel·la de la
quad ícula (𝑖=0,…,𝑆2). D’al a banda, 1𝑜𝑏𝑗 é un alo igual a 1 si el cen e de l’objec e es
oba en la cel·la de la quad ícula 𝑖𝑗 i el seu alo és igual a 0 si no s’hi oba. 𝜆𝑐𝑜𝑜𝑟𝑑 és una
cons an . La segona unció de pè dues que es a se i a e e ència a l’amplada i a l’alçada.
𝜆𝑐𝑜𝑜𝑟𝑑∑∑1𝑖𝑗
𝑜𝑏𝑗
𝐵
𝑗=0 (√𝑤𝑖−√𝑤𝑖)2+(√ℎ𝑖−√ℎ
𝑖)2
𝑆2
𝑖=0
(12)
Aques a equació és simila a l’an e io i es calcula l’e o espec e a l’amplada 𝑤 i l’alçada
ℎ del quad e delimi ado . En aques cas és u ili zada la di e encies de l’a el quad ada,
pe què es ol pa cialmen aconsegui que les di e ències en quad es delimi ado s pe i s
inguin majo pes que les ma eixes di e ències en quad e delimi ado s g ans. La e ce a
unció de pè dues a e e ència a la con iança de la p edicció.
∑∑1𝑖𝑗
𝑜𝑏𝑗
𝐵
𝑗=0 (𝐶𝑖−𝐶󰆹𝑖)2+ 𝜆𝑛𝑜𝑜𝑏𝑗∑∑1𝑖𝑗
𝑛𝑜𝑜𝑏𝑗
𝐵
𝑗=0 (𝐶𝑖−𝐶󰆹𝑖)2
𝑆2
𝑖=0
𝑆2
𝑖=0
(13)
En l’equació 𝐶 és la pun uació de con iança i 𝐶󰆹 la in e secció sob e la unió del quad e
delimi ado p edi espec e al eal u ili za en l’en enamen . 1𝑖𝑗
𝑜𝑏𝑗 é el ma eix alo que en
els casos an e io s. I 1𝑖𝑗
𝑛𝑜𝑜𝑏𝑗 és el con a i de 1𝑖𝑗
𝑜𝑏𝑗 . La cons an 𝜆 usada en les an e io s
uncions, se eix pe ponde a les pè dues i augmen a l’es abili a del model. Pe la unció
de pè dues de coo denades es a se i una 𝜆=5, pe con a, pe la unció de pè dues en
la con iança, en eni menys pes s’usa una 𝜆=0,5. Finalmen , es eali za la classi icació
de les pè dues.
∑1𝑖𝑜𝑏𝑗
𝑆2
𝑖=0 ∑(𝑝𝑖(𝑐)−𝑝𝑖(𝑐))
𝑐∈𝑐𝑙𝑎𝑠𝑠𝑒𝑠
2
(14)
Aques a unció s’u ili za pe no penali za l’e o de classi icació quan no hi ha cap objec e
en la cel·la de la quad ícula.
De ecció i econeixemen de ma ícules pe isió a i icial
22
Ac ualmen , YOLO disposa de di e en s e sions que han ana millo an l’an e io , [9]. A
con inuació es desc iuen b eumen pe conèixe les millo es que s’han ana eali zan en el
model.
3.4 Ve sions de YOLO
3.4.1 YOLO 2
YOLO 2, ambé anomena YOLO900, a se publica el 2016 com una millo a de
l’algo isme o iginal de YOLO, amb la inali a d’augmen a la apidesa i la p ecisió del codi
o iginal a la egada de se capaç de de ec a més classes. Pe e -ho YOLO 2 u ili za una
CNN di e en com a columna e eb al, anomenada Da kne -19. Al es millo es in oduïdes
són la u ili zació d’ima ges amb di e en s escales de la ma eixa en el seu en enamen i una
pos e io no mali zació, millo an així la de ecció en egions pe i es. Finalmen , YOLO a
se i una no a unció de pè dua o de cos .
3.4.2 YOLO 3
YOLO 3, és la e ce a e sió de YOLO. Pe millo a -ne els esul a s s’u ili za una no a
CNN, anomenada Da kne .53 la qual é 53 capes con olucionals. A més, en aques a e sió
s’usen les egions po encials p è iamen de inides de l’an e io e sió, pe ò en aques cas
amb escales i elacions d’aspec e di e en s, millo an així la de ecció d’objec es de di e en s
mides i o mes. També s’in odueix el concep e de xa xa pi amidal de ca ac e ís iques, en
anglès ea u e py amid ne wo ks (FPN), on cada ni ell de la pi àmide és e se i pe
de ec a objec es de di e en s escales, pe me en així pode eballa amb un majo ang
de dimensions d’objec es.
A pa i de la e sió YOLO 4, el c eado de YOLO Joseph Redmond a deixa de eballa
en l’algo isme, causan que les u u es e sions no siguin o icials i siguin majo i à iamen
eali zades pe al es coau o s.
3.4.3 YOLO 4
YOLO 4 és la qua a e sió, publicada el 2020 pe Bochko skiy e aI. com a millo a de la
YOLO 3. I p ime a e sió no publica pe Joseph Redmond.
La millo a p incipal és la u ili zació d’una no a a qui ec u a de CNN, anomenada CSPNe .
CSPNe p o é de C oss S age Pa ial Ne wo k, en ca alà es pod ia adui com xa xa pa cial
d’es a s c ea s. CSPNe és una a ian de ResNe amb 54 capes con olucionals, poc
p o unda.
YOLO 4 ambé u ili za les egions po encials p è iamen de inides. En YOLO 4
s’in odueix un nou mè ode pe gene a aques es egions po encials p è iamen de inides,
anomena K-means clus e iong, ag upació pe k mi jana. Aques mè ode a se i un
algo isme d’ag upació pe ajun a les caixes delimi ades en g ups i desp és emp a els
cen oides dels g ups com a quad es delimi ado s. Això pe me que els quad es
delimi ado s es iguin més alinea s amb la mida i la o ma dels objec es de ec a s.
També s’in odueix un nou e me de unció de pè dua anomena GHM loss, el qual és usa
pe millo a els esul a s pe bases de dades desequilib ades.
3.4.4 YOLO 5
YOLO 5 a se publica el 2022 pel ma eix equip que a desen olupa l’algo isme o iginal
de YOLO com un p ojec e de codi obe i man ingu pe Ul aly ics. En aques a e sió de
23
l’algo isme, com a xa xa es uc u al es a u ili za la CNN E icien Ne . A més, a di e ència
del p ime YOLO, s’en ena les p ime es capes amb el se de dades D5 con o mada pe
600 ca ego ies d’objec es. Respec e a les caixes d’anco a ge, YOLO usa un nou mè ode
pe gene a les caixes anomenades dynamic ancho boxes. També, es millo a espec e
YOLO o iginal en se i un nou concep e de la pi àmide d’ag upació espacial, en anglès
spa ial py amid pooling (SPP), usa pe edui la esolució espacial dels mapes de o ma.
YOLO 5 ambé in odueix un nou e me anomena CIoU loss sen una a ian de la unció
de pè dues de IoU.
3.4.5 YOLO 6
YOLO 6 a se p oposa el 2022 pe Li e aI. Com a millo a espec e a les e sions
an e io s, una de les p incipals di e ències en e YOLO 5 i YOLO 6 és l’a qui ec u a CNN
u ili zada. YOLO 6 u ili za una a ian de l’a qui ec u a E icien Ne anomenada
E icien Ne -L2. És una a qui ec u a més e icien que E icien Ne u ili zada a YOLO 5, amb
menys pa àme es i una majo e iciència compu acional, ob enin esul a s d’úl ima
gene ació en di e sos pun s de e e ència de la de ecció d’objec es. YOLO 6 ambé
in odueix un nou mè ode pe gene a quad es delimi ado s, anomena quad es
delimi ado s densos, en anglès dense ancho boxes.
3.4.6 YOLO 7
La p incipal millo a de YOLO 7 espec e a les an e io s e sions és en la u ili zació dels
quad es delimi ado s. Els quad es delimi ado s són un conjun de quad es p è iamen
de ini s amb di e en s p opo cions d’aspec e que s’u ili zen pe de ec a objec es de
di e en s o mes. YOLO 7 u ili za nou quad es delimi ado s amb un nou model que li
pe me de ec a una àmplia gamma de o mes i mides d’objec es, en compa ació amb
e sions an e io s, ajudan així a edui el nomb e de alsos posi ius. També, u ili za una
no a unció de pè dues anomenada ocal loss. Aques a úl ima unció pe me cen a -se en
aquells casos més complica s pe ob eni el màxim endimen . YOLO 7 ambé é una
esolució més al a que les e sions an e io s. P ocessa ima ges a una esolució de 608 x
608 píxels, que és supe io a la esolució de 416 x 416 píxels u ili zada en YOLO 3.
3.4.7 YOLO 8
En el momen que s’es à esc i in aques documen , YOLO 8 es à disponible a Ul aly ics,
pe ò enca a no s’ha publica cap documen .
3.5 Desc ipció de l’en enamen
Un cop es é un se de dades e ique ada i un algo isme de xa xa neu onal ia , es desc iu
el p ocedimen u ili za pe en ena la xa xa pel conjun d’ima ges pe sonali za .
Pe e l’en enamen és necessà ia una GPU, no malmen una pe sonal ísica no es
disposa de a ge es disponibles pe eali za un en enamen . Així, pe ò, exis eixen llocs
web i aplica ius que pe me en en ena el model. Un exemple és el lloc web Robo low [48],
web que inicialmen s’ha e se i pe en ena i p o a els p ime s models, o ambé es po
u ili za el ma eix lloc web que dona supo a YOLO, Ul aly ics [49]. En aques cas, s’ha
oba més adien usa la e sió de pagamen de Google Colab, u ili zan l’opció
d’accele ado de p og ama i la GPU A100. Pujan el se de dades a Google D i e i en
se i els seus se ido s s’ha en ena el model a pa i de l’algo isme que es mos a en el
següen equad e.
De ecció i econeixemen de ma ícules pe isió a i icial
24
P ime de o , el que es a és connec a el Google Colab amb el Google D i e, indican el
di ec o i on es é el se de dades, això és eali za en les línies 2, 3 i 4 del codi. Seguidamen ,
s’ins al·la Ul alyc ics i s’impo a la llib e ia de l’algo isme YOLO, línies 5 i 8. To segui és
necessa i ia a pa i de quin model es ol en ena . Si és la p ime a egada, com és el
cas, es ia un model p è iamen en ena que supo a Ul aly ics, línia 11. Si no, es po
en ena a pa i d’un al e p opi model p è iamen en ena , línia 13. Pe aques cas s’ha
ia el model "yolo 8m.yaml", aques model és un model de de ecció de mida mi jana.
YOLO disposa de models de de ecció, segmen ació, classi icació i posició.
El model de de ecció de YOLO e o na la posició i la classe de l’objec e, el model de
segmen ació e o na el conjun de píxels i la classe a la qual pe anyen, el model de
classi icació e o na la classe de l’objec e suposan que solamen hi ha una classe pe
objec e i inalmen el model de posició e o na les posicions on es oben la classe.
En aques cas, s’ha p e e i e us de la de ecció, ja que es ol e la segmen ació de o ma
manual, desp és d’una a aluació de la de ecció. Cal ema ca que en la de ecció ambé
se’n e o na la se a locali zació. A més, pe cada un dels models an e io s exis eixen 5
dimensions de xa xes neu onals, pe aques cas, la YOLO 8n amb una dimensió nano, la
YOLO 8s amb una dimensió small, la YOLO 8m amb una dimensió medium, la YOLO 8l
amb una dimensió la ge, i la YOLO 8x amb una dimensió ex a la ge. Pe aques cas s’ha
u ili za la YOLO 8m, més enda an es compa en els esul a s pe les al es xa xes.
Finalmen , s’en ena el model, línia 15, pe al conjun d’ima ges. En l’en enamen s’ha
decidi u ili za 80 èpoques. Pe acaba , es gua den els esul a s en un di ec o i de Google
D i e, línies 18, 19 i 20.
1 # Connec ion wi h Google D i e di .
2 om google.colab impo d i e
3 d i e.moun ('/con en /gd i e')
4 ROOT_DIR = '/con en /gd i e/My D i e'
5 !pip ins all ul aly ics
6 impo os
7
8 om ul aly ics impo YOLO
9
10 # Load a model i i is he i s ime
11 model = YOLO("yolo 8m.yaml")
12 # Load a p e ain model
13 # model = YOLO( os.pa h.join(ROOT_DIR, "Las _ ained_model/bes _0417.p "))
14 # T ain he cus omized model
15 esul s = model. ain(da a=os.pa h.join(ROOT_DIR, "Da ase /da a.yaml"), epochs=30)
16
17 # Sa e he esul s
18 impo locale
19 locale.ge p e e edencoding = lambda: "UTF-8"
20 !scp - /con en / uns '/con en /gd i e/My D i e'
Cal e esmen especí ic que el alo de 80 èpoques s’ha ob ingu a pa i d’expe iència.
Pe e -ho, s’ha en ena el model pe un nomb e ele a d’èpoques. Desp és d’aques
en enamen i a aluan el esul a , Figu a 15, es mos a que a pa i d’un ce nomb e
d’èpoques l’a aluació del model, p ecisió i ecall, en unció del nomb e d’èpoques ja no
millo a. El ecall, mè ica en anglès, en ca alà se l’anomena eclam o sensibili a com a
a iable es adís ica. A pa i del esul a , desp és d’un en enamen de 300 èpoques,
25
Figu a_15, s’ha decidi u ili za les 80 èpoques com a nomb e d’èpoques a pa i del qual
el model ja no millo a.
Figu a 15. A aluació de l’en enamen del model al lla g de 300 èpoques eix x, i la mè ica en l’eix
y (Fon : p òpia)
Pel que a a p es acions u ili zades, Google Colab P o disposa de 25,5 GB de RAM del
sis ema, 16,0 GB de RAM de GPU i 166,8 GB disponibles de Disc. En la següen igu a,
Figu a 16, es mos a les g à iques del consum du an l’en enamen amb els seus pics
màxim.
Figu a 16. Consum ob ingu du an l’en enamen (Fon : p òpia)
En quan als pics de consum, s’ha ob ingu un màxim de 7,5 GB de RAM del sis ema, 2,2
GB màxims de GPU i s’han u ili za 24,7 GB de Disk. A pa i de l’en enamen , en se i
els ecu sos an e io s s’ha aconsegui els següen s esul a s, aques s esul a s es mos en
en el següen equad e.
80 epochs comple ed in 3.098 hou s.
Op imize s ipped om uns/de ec / ain/weigh s/las .p , 52.0MB
Op imize s ipped om uns/de ec / ain/weigh s/bes .p , 52.0MB
Valida ing uns/de ec / ain/weigh s/bes .p ...
Ul aly ics YOLO 8.0.91 🚀 Py hon-3.10.11 o ch-2.0.0+cu118 CPU
YOLO 8m summa y ( used): 218 laye s, 25840339 pa ame e s, 0 g adien s, 78.7
GFLOPs
Class Images Ins ances Box(P R mAP50 mAP50-95):
all 107 139 0.939 0.902 0.955 0.805
Speed: 1.9ms p ep ocess, 2.1ms in e ence, 0.0ms loss, 4.4ms pos p ocess pe image
Resul s sa ed o uns/de ec / ain

De ecció i econeixemen de ma ícules pe isió a i icial
26
En els esul a s s’obse a que l’en enamen ha du a 3,098 ho es i el esul a s’ha gua da
en el i xe uns/de ec / ain/weigh s/bes .p i é una dimensió de 52,0 MB. La xa xa neu onal
ob inguda es à o mada pe 218 capes, 25840339 pa àme es i 78,7 GFLOPs. Un GFLPs,
Giga Floa ing Poin Ope a ions pe second, és una mesu a de endimen d’un compu ado
u ili za en el càlcul cien í ic on es eque eix un g an ús d’ope acions de coma lo an .
Aques a mè ica es basa en el endimen o al del sis ema CPU i GPU, i a associada en
la ia del model p è iamen en ena de YOLO "yolo 8m.yaml" que de e mina en pa
alguns pa àme es de la xa xa neu onal.
Pe cada època, és a di , desp és de l’a aluació de o es les ima ges de la ca pe a de ain,
s’a alua el model ob ingu a pa i de les ima ges de la ca pe a de alid. Aques a alidació
es eali za a 160 ima ges, que enen 193 ins àncies, és a di , ma ícules, p è iamen
e ique ades pe ò no u ili zades pe c ea el model. Les mè iques de l’a aluació que
desc iuen el model esul a indiquen que é una p ecisió de de ecció del 93,9%, un ecall
del 90,2%, un 95,5% mAP50 i un 80,5% de mAP50-95. Quan a l’a aluació, les mè iques
més u ili zades en models de de ecció d’objec es són mAP50 i mAP50-90. mAP signi ica,
mean A e age P ecision, pe exemple, mAP50 és usa pe la compe ició in e nacional
PASCAL VOC i mAP50-90 és a se i en la compe ició COCO. 50 o més g an i en e 50-
90 són els llinda s de IOU en la de ecció u ili za s pos e io men pe a alua i gene a la
mè ica de p ecisió.
An e io men s’ha comen a que s’ha e se i el model YOLO amb una dimensió mi jana.
En la següen aula, es mos en els esul a s an e io s pe cada una de les dimensions de
xa xa disponible.
Taula 1. Compa a i a dels esul a s de la de ecció, segons la dimensió de la xa xa
Model
P ecisió
ecall
mAP50
mAP50-90
yolo 8n
0,939
0,900
0,933
0,741
yolo 8s
0,920
0,911
0,950
0,792
yolo 8m
0,939
0,902
0,955
0,805
yolo 8l
0,935
0,908
0,943
0,795
yolo 8x
0,926
0,892
0,939
0,786
Com s’obse a en l’an e io aula, en el cas d’es udi, les dimensions d’una xa xa o al a no
mos en una g an di e ència en el esul a de la de ecció.
Al es mè iques que s’ob enen desp és de l’en enamen , es mos en en la següen igu a,
Figu a 17. En ella es mos a ain/box_loss i alid/box_loss, box_loss són la di e ència en e
l’à ea de ec ada de la ma ícula i l’à ea eal de la ma ícula al lla g de les di e en s èpoques
de l’en enamen . Pe an , com més p ope sigui el alo a 0, més simila se an les à ees
de les ma ícules de ec ades. També es mos a ain/cls_loss i alid/cls_loss, cls_loss és la
di e ència en el o al de les classes de ec ades, la ma ícula, i les eals. Pe an , com més
p ope aques alo sigui a 0, meno s males de eccions de ma ícules s’hau an eali za .
Les següen s mè iques ain/d l_loss i alid/d l_loss, sen d l_loss, daul ocal loss, una
mè ica simila a cls_loss pe ò que ambé a alua el desequilib i de la base de dades on es
oba una classe mol més que al a. Com més p ope a ze o sigui la elació, millo se an
els esul a s. Finalmen , ambé calcula la p ecisió, el ecall, mAP50 i mAP50-90 al lla g de
les di e en s èpoques. Com més p ope s siguin a 1 aques es úl imes mè iques, indica un
millo esul a en la de ecció.
27
Figu a 17. Mè iques ob ingudes desp és de l’en enamen (Fon : p òpia)
3.6 A aluació del model ob ingu
En aques subapa a es o na a a alua el model ob ingu en l’en enamen , pe ò aques
cop calculan les di e en s mè iques un cop ob ingu el i xe del model i eali zan la
in e ència en la màquina on ambé es eali za à la següen pa del eball, l’OCR. En
l’a aluació s’ha u ili za una sè ie d’ima ges del se de dades ob ingu i desconegudes pe
l’en enamen . S’ha e se i la ca pe a de es , amb 107 ima ges i s’ha augmen a ins a
un alo de 186 ima ges pe duu a e me una millo a aluació.
A di e ència dels esul a s ob ingu s en l’en enamen , on s’a alua en o es les ma ícules
que es oba en en la ima ge. En aques cas, i a causa del e que s’ha posa com a equisi
eali za la de ecció d’una sola ma ícula en la ima ge. Es calculen una sè ie de mè iques
pe aquella ma ícula més g an, cen ada i que es obi en la se a o ali a en la ima ge.
Es calcula la IOU, in e sec ion o e union de les ima ges de es , la qual indica quan de
simila és l’à ea de ec ada espec e a la eal. IOU s’ob é di idin pe cada una de les
ima ges, l’à ea de supe posició en e l’à ea d’unió. Els esul a s aconsegui s són.
Taula 2. In e sec ion O e Union, IOU, del model de de ecció
Valo mi jà IOU
0,7558
Valo màxim IOU
0,9788
Valo mínim IOU
0,0932
Des iació es ànda d de IOU
0,2135
Valo medià IOU
0,8303
Com més p ope a 1 sigui el alo , més simila l’à ea de de ecció a l’à ea eal és. Pe an ,
sen 0,8303 la mediana, s’ob é una simili ud del 83,03% de l’à ea de ec ada espec e a la
eal. En aques cas a di e ència de les mè iques mAP50 i mAP50-90 no s’u ili za cap llinda
de IOU, es c eu que només a aluan una sola ma ícula els esul a s ja hau ien de se p ou
bons.
Pe a alua el model, ambé se’n calcula la ma iu de con usió no mali zada. Sen 1 la
p esència de ma ícula i 0 la no p esència en la ima ge. La ma iu de con usió a di e ència
d’un alo de p ecisió pe me a alua el esul a pe bases de dades desequilib ades o no
del o equilib ades.
De ecció i econeixemen de ma ícules pe isió a i icial
28
Figu a 18. Ma iu de con usió no mali zada del model de de ecció. 1 p esència de ma ícula 0 no
p esència (Fon : p òpia)
A pa i de l’an e io ma iu, Figu a 18, es é que els T ue Posi i e TP són 146, els False
Posi i e FP són 2, els False Nega i e FN 5 i els T ue Nega i e TN són 33. És a di , del o al
de les 186 ima ges, 146 enien ma ícula i s’han de ec a de o ma co ec a, 33 no enien
ma ícula i s’han de ec a de o ma co ec a, 2 no enien ma ícula pe ò se n’ha de ec a i 5
ima ges del o al es enien ima ges, pe ò no s’han locali za .
Amb els an e io s alo s es calcula els següen s indicado s.
Taula 3. Mè iques d’a aluació de la in e ència de la de ecció de ma ícules
Mesu a
Valo
Equació
Exac i ud
0,9623
E = ( TP + TN) / (TP + TN + FP + FN)
P ecisió
0,9864
P = TP / (TP + FP)
Sensibili a
0,9668
R = TP / (TP + FN)
Pun uació F1
0,9765
F = 2 * (P * R) / (P + R)
De ca a a a alua els di e en s esul a s, cal eni p esen que l’exac i ud és u ili zada
majo i à iamen pe conjun s de dades equilib ades on els bons posi ius i els bons nega ius
són més impo a s. La p ecisió, es u ili zada pe a alua aquells casos en què els alsos
posi ius són els més impo an s, i la sensibili a pe aquells on els alsos nega ius són els
més impo a s. Finalmen , la pun uació 1, es u ili zada pe bases de dades desequilib ades
on els alsos nega ius i els alsos posi ius són elle an s.
En el cas d’es udi les mesu es que millo desc iuen el model segons el se de dades que
es é, és la pun uació F1 pel e de eni un se de dades conside ablemen desequilib a
amb més posi ius que nega ius, més ima ges amb ma ícules que no. L’al a mesu a
impo an a eni en comp e és la sensibili a . Es conside a elle an la sensibili a , pel e
de se més impo an els alsos nega ius que els alsos posi ius. En el cas d’es udi un als
posi iu semp e es po desca a si no es oben símbols o l’es uc u a d’una ma ícula en
ella. D’al a banda, un als nega iu mai s’acaba à d’a alua pe la pa de l’OCR i la
in o mació de la ma ícula se à pe duda.
29
3.7 A aluació de la in e ència
Un cop en ena el model, es desca ega el documen , bes .p , que gua da YOLO en la
ca pe a de esul a s. En aques documen es gua den els pesos de la xa xa neu al quan
s’han ob ingu els millo s esul a s desp és de l’a aluació pe cada època.
La in e ència s’ha eali za en un o dinado pe sonal a pa i de la c eació d’un en o n i ual
de Py hon. En ell es desca eguen la p incipal llib e ia Ul aly ics que dona el supo de
YOLO. S’ha du a e me d’aques a mane a, ja que és ecomanable a l’ho a d’u ili za -la, pel
e d’e i a con lic es en e e sions de llib e ies p è iamen ins al·lades. Aques en o n es
c ea amb les següen s ins uccions.
py hon -m en s udysession
s udysession Sc ip s ac i a e
pip ins all ul aly ics
pip ins all openc -py hon
Un cop c ea l’en o n i ual, la in e ència del model en ena en una ima ge desconeguda
es eali za de la següen o ma. En el codi de con inuació, p ime s’impo en les di e en s
llib e ies d’Ul aly ics i la llib e ia OpenCV, e e en en el p ocessamen d’ima ges, línies 2 i
3. Seguidamen , s’ob é el model YOLO a pa i de la lec u a del i xe bes _0419.p , línies
6 i 7, es llegeix la ima ge a a alua u ili zan la llib e ia OpenCV, línies 10 i 11, i inalmen
es eali za la p edicció a pa i del model, línia 14.
1 # Lib a ies
2 om ul aly ics impo YOLO
3 impo c 2
4
5 # Load model
6 model_pa h = “D:/xma i/Desk op/TFM/TFM_code/ul aly ics/bes _0419.p ”
7 model = YOLO(model_pa h)
8
9 # Load image
10 ca _pa h = "D:/xma i/Desk op/TFM/TFM_code/ul aly ics/ca _1.jpg"
11 image_ca = c 2.im ead(ca _pa h)
12
13 # In e ence
14 p edic ion = model.p edic (image_ca )
Pel que a al emps de p ocessamen , s’ha e se i la llib e ia “ ime” pe al de eu e els
di e en s emps en ca ega el model, en llegi una ima ge i en eali za la p edicció. També,
es compa a à aques s esul a s amb el emps que dona com a esul a el model desp és
de la in e ència. En el següen equad e, es mos a el codi usa .
1 # Lib a ies
2 om ul aly ics impo YOLO
3 impo c 2
4 impo ime
5 inicio = ime. ime()
De ecció i econeixemen de ma ícules pe isió a i icial
36
que els ehicles han de eni an una ma ícula da an i da e e del ehicle, i les ma ícules
han de se cla es i llegibles an de dia com de ni .
Les ma ícules dels es a s memb es de la Unió Eu opea són una placa me àl·lica o de
me ac ila de 520 mm x 110 mm gene almen , o mades començan pe l’esque a, pe una
anja bla a on hi ha la bande a de la UE i el codi del país pe anyen . Desp és a la se a
d e a es oba el codi al anumè ic. El codi al anumè ic can ia segons el país pe anyen ,
sen a l’Es a Espanyol, des de l’any 2000, una combinació de qua e dígi s i es lle es
consonan s, a excepció de la Ñ i la Q. En la següen igu a, Figu a 25, es mos a en la pa
supe io un exemple de ma ícula espanyola egis ades des del 1987 al 2000 i en la pa
in e io del 2000 a l’ac uali a .
Figu a 25. Úl ims dos ipus de ma ícules majo i à ies a l’Es a Espanyol (Fon : p òpia)
És impo an des aca que des del 2018 exis eix dos ipus de ma ícules o dinà ies pe
co xes. Les ma ícules pe ehicles en gene al, aques ipus de ma ícules són les que més
es oben en les ies públiques amb el ons de colo blanc, i els nomb es i lle es de colo
neg e. I les ma ícules pe axis i VTC que enen el ons de colo blau i les lle es de colo
blanc.
També exis eixen al es ma ícules. Les ma ícules de mo ocicle es que són iguals que les
ma ícules gene als dels ehicles pe ò amb dimensions di e en s, 220 mm x 166 mm. Al es
ma ícules di e en s són les dels ciclomo o s, o mada pe una lle a, un nomb e, es
nomb es i es lle es, en aques o d e, amb el ons g oc i les lle es neg es. Les ma ícules
dels emolcs, o mades pe una lle a, qua e nomb es i es lle es, amb el ons oig i lle es
neg es. I al es ma ícules especials com les ma ícules u ís iques i les ma ícules
diplomà iques amb codis i colo s di e en s.
En la esolució eali zada, la qual es desc iu en els següen s subapa a s, s’ha
desen olupa una solució pe de ec a i econèixe les ma ícules o dinà ies i més comuns
de l’Es a Espanyol.
4.3 P ocedimen segui en el econeixemen de ca àc e s
En aques apa a es desc iu el p ocedimen eali za pe al d’ex eu e la combinació
al anumè ica de la ima ge que con é la ma ícula. En aques p océs es é com a en ada la
ima ge e allada que només con é la ma ícula, i com a so ida un llis a de ca àc e s amb el
codi de la ma ícula.
Figu a 26. Ima ge inpu del OCR (Fon : p òpia)

37
L’an e io ima ge, Figu a 26, és la ima ge a pa i de la qual es comença a aplica els
di e en s p ocedimen s pe eali za l’OCR. P ime amen i des de l’inici, el que es a és du
a e me di ec amen la p edicció de la lec u a de ex u ili zan la llib e ia EasyOCR. Es a
a alua , com en mol es aplicacions es a, passa un il e passabaix, pos e io men eali za
una bina i zació adap a i a, i inalmen eali za un ac amen mo ològic pe acaba de
eu e el so oll. El esul a de la lec u a dels di e en s ca àc e s a se més dolen que sense
un p e i ac amen . Aques e , com s’ha comen a és a causa p incipalmen de la u ili zació
pe pa d’EasyOCR del algo isme CRAFT, a més, del e que els di e en s algo ismes que
es an se i són en ena s amb ima ges en colo . En el equad e de con inuació, en la línia
1 es mos a com es ca ega el model pe l’al abe espanyol, i com es eali za la p edicció
dels ca àc e s en la ima ge en la línia 2. La p edicció dels ca àc e s é com a en ada la
ima ge “pla e_image”, què, en el cas que es desc iu, se ia la ima ge de la Figu a 26. Pel
que a a l’al abe a usa , s’han p o a o s els al abe s disponibles pe EasyOCR i pe o s
aquells que en el seu al abe con enien o s els ca àc e s que s’u ili zen en la combinació
de la ma ícula, s’han ob ingu el ma eix esul a . Pe an , an pe l’al abe espanyol, com
l’anglès, com el ancès, en e al es, s’ha aconsegui el ma eix esul a .
1 eade = easyoc .Reade ( ['es'])
2 esul = eade . ead ex ( pla e_image)
Desp és d’aplica la lec u a, el esul a que s’ob é en la línia 2 de l’an e io equad e sen
“pla e_image” la ima ge de la Figu a 26 es mos a en el següen equad e i sob e esc i en
la ima ge de la Figu a 27. En el següen equad e s’ap ecia que pe cada econeixemen
es e o na una llis a o mada pels qua e pun s que en ol en la cadena econeguda, pel
conjun de ca àc e s de ec a s en la llis a, a més de la p obabili a del esul a de la de ecció
en an pe 1. Pe an , s’ha aconsegui la lec u a del conjun de ca àc e s, ‘E’, ‘9832’, ‘GVB’,
‘Ho o so lmpon’ i ‘nnoe’.
[
([[31, 91], [67, 91], [67, 131], [31, 131]], 'E', 0.9197586096151191),
([[107.91938723474023, 7.03437958542165], [451.5009764964854, 56.91126246104787],
[423.0806127652598, 197.96562041457835], [79.4990235035146, 149.08873753895213]],
'9832', 0.9237759528688555),
([[478.8539644141305, 50.038673329131335], [742.1026714827343, 91.54986503661299],
[713.1460355858695, 231.96132667086866], [449.89732851726563, 190.450134963387]],
'GVB', 0.9998833416630581),
([[87.34920862654403, 157.07143881944813], [265.0, 182.0], [259.65079137345595,
207.92856118055187], [82.0, 182.0]], 'Ho o so Impon', 0.22034594092672347),
([[292.2572186472918, 187.14304661822948], [350.9974195387433, 199.89843629464016],
[347.7427813527082, 215.85695338177052], [288.0025804612567, 203.10156370535984]],
'nneo', 0.0273610670119524)
]
En la següen igu a, Figu a 27, es mos a els esul a s sob e esc i s en la ima ge de la
Figu a 26.
De ecció i econeixemen de ma ícules pe isió a i icial
38
Figu a 27. Resul a d’EasyOCR de la Figu a 26 (Fon : p òpia)
Al es esul a s de di e en s ma ícules es mos en en la següen igu a, Figu a 28.
Figu a 28. Resul a s d’EasyOCR pe di e en s ma ícules (Fon : p òpia)
Amb el esul a ob ingu en l’an e io equad e, equad e supe io de la Figu a 28, se
segueixen una sè ie de p ocedimen s pe al d’ob ia aquells econeixemen s que no donen
in o mació, a més d’o dena i ajun a les di e en s lec u es quan s’obse en espais o
sepa ació de pa s del codi de la ma ícula en el econeixemen .
Pe an , p ime s’ex euen aquells ex os que no són elle an s en la ma ícula. Pe e -ho
es mi a l’à ea que ocupen aques es lec u es espec e a l’à ea de la ima ge o al. Si la
ma ícula é una ce a inclinació, aques a egió no és l’à ea de la ma ícula sinó de la ima ge.
S’ha anali za , que aquelles lec u es que ep esen en un alo in e io al 10% de l’à ea o al
de la ima ge, són lec u es que no an e e ència a la ma ícula i que solen se noms del
cen e de dis ibució o del concessiona i.
En el següen equad e es mos a com s’eliminen les egions pe i es, sen “bbox” el esul a
de la p edicció i “gene al_ esul ” el nou conjun de esul a s de la p edicció que es oben
pe sob e el llinda .
1 posx = in (bbox[0][0])
2 a ea = ound( abs((bbox[2][0] - bbox[0][0]) * (bbox[2][1] - bbox[0][1])), 2)
3 a ea_ ela ion = a ea / (c op_img_dim[0] * c op_img_dim[1])
4 i a ea_ ela ion > 0.10:
5 gene al_ esul .append([ ex , p obabili y, a ea, a ea_ ela ion, posx])
Seguidamen , s’ajun en les di e en s de eccions en una cadena de ca àc e s o s jun s
segons la se a posició x en la ima ge, d’esque a a d e a. En el p ime dels següen s
equad es es mos a com s’o denen la llis a “ ex ” i “p obabili y” segons la se a posició en
x “posx”.
39
1 # O de he ex
2 ex = [x o _,x in so ed( zip( posx, ex ))]
3 p obabili y = [x o _,x in so ed( zip( posx, p obabili y))]
4 # Pu oge he he ex
5 ex = ''.join( ex )
A con inuació, es euen aquells ca àc e s que en algunes ocasions es de ec en i que no
o men pa de la ma ícula, com poden se espais en blanc, pun s lo an s ‘ · ’, ‘ ] ‘, ‘ [ ‘, ‘ _
‘, ‘ – ‘, en e al es. Aques s alo s són ob ingu s pe una mala de ecció. En el següen
equad e es mos a l’algo isme e se i pe eu e alguns dels ca àc e s menciona s.
1 # Remo e -
2 ex = ex . eplace("-", "")
3 # Remo e .
4 ex = ex . eplace(".", "")
5 # Remo e _
6 ex = ex . eplace("_", "")
Desp és d’ex eu e aquells ca àc e s que no o men pa de l’al abe de la ma ícula. Se
solucionen p oblemà iques que es epe eixen desp és de la de ecció. Algunes di icul a s
que s’han oba i que s’han ana mi igan són:
- En el econeixemen EasyOCR sol con ond e el nomb e 4, pe la lle a L. Pe
soluciona aques p oblema i saben que les ma ícules són o mades pe un conjun
de lle es i seguidamen un conjun de nomb es. Si en el conjun de nomb es es
oba la lle a L, aques a és subs i uïda pel nomb e 4.
- També es oba que es de ec en al es ca àc e s que no exis eixen en la pa inal
de la ma ícula, on l’algo isme EasyOCR con on la zona de l’úl ima lle a i la o a
de la ma ícula com un ca àc e més. El que es a, és con a el nomb e de lle es
que con o men la ma ícula i si es con a que hi ha una lle a més de les que hi hau ia
d’ha e , s’elimina l’úl im alo de ec a .
- El ma eix de l’an e io pun , es eali za pels nomb es en la pa on al de la ma ícula,
on es oben males lec u es en la zona en e la o a de la ma ícula i el p ime
nomb e que con o ma la ma ícula.
Un cop ha en eali za les an e io s accions ja s’ob ind ia el alo del codi de la ma ícula
de o ma co ec a. En la següen igu a, Figu a 29, es mos a un esul a de colo blau sob e
esc i en la ma ícula.
Figu a 29. Resul a de l’OCR de la Figu a 26 (Fon : p òpia)
Al es esul a s es mos en en la següen igu a, Figu a 30.
De ecció i econeixemen de ma ícules pe isió a i icial
40
Figu a 30. Al es esul a s ob ingu s desp ès de l’OCR (Fon : p òpia)
4.4 A aluació dels esul a s de l’OCR
En aques subapa a s’a aluen els di e en s esul a s del sis ema de econeixemen
d’objec es desen olupa . Pe e -ho s’ha ag upa un conjun d’ima ges de l’an e io p océs,
de ecció de la ma ícula en la ima ge, amb la ma ícula ja e allada. En o al s’han
selecciona 195 ima ges desconegudes pel model. Seguidamen , s’a alua la in e ència de
l’algo isme EasyOCR ob enin les ima ges de les igu es, Figu a 27 i Figu a 28. Resul a s
aconsegui s abans de eali za el pos p ocessamen .
Pe anali za els esul a s de la p edicció d’EasyOCR s’ha c ea una ma iu de con usió.
Aques a ma iu s’ha desen olupa ixan -se amb el econeixemen de cadascun dels
ca àc e s que o men la ma ícula, ob ian la sepa ació que en alguns casos es oba en e
el conjun de nomb es i el conjun de lle es, a pa dels espais que s’acos umen a ob eni
en emig. Pe gene a la ma iu de con usió, es é que els T ue Posi i e TP són ca àc e s
que es oben i que s’han econegu de o ma co ec a, en o al se n’ha ob ingu 1225. Els
False Posi i e són aquells ca àc e s que s’han de ec a quan ealmen no exis eixen, se
n’ha ob ingu 83. Els False Nega i e FN són aquells que s’ha de ec a un ca àc e que no
co esponia al eal o que no se n’ha de ec a cap, en o al es é 57 FN. I inalmen els T ue
Nega i e en aques cas o es les ima ges e en una ma ícula i, pe an , el seu alo és igual
a 0. La ma iu calculada es mos a en la següen igu a, Figu a 31.
Figu a 31. Ma iu de con usió de la in e ència d’EasyOCR (Fon : p òpia)
41
Amb els an e io s alo s es calcula els següen s indicado s.
Taula 4. Mè iques d’a aluació de la in e ència d’EasyOCR
Mesu a
Valo
Equació
Exac i ud
0,8974
E = ( TP + TN) / (TP + TN + FP + FN)
P ecisió
0,9365
P = TP / (TP + FP)
Sensibili a
0,9555
R = TP / (TP + FN)
Pun uació F1
0,9459
F = 2 * (P * R) / (P + R)
Amb els esul a s ob ingu s en l’an e io aula, s’ob é que el econeixemen dels di e en s
ca àc e s, sense eni en comp e les sepa acions i els di e en s espais en blanc, és
sa is ac ò ia. Aconseguin una pun uació F1 del 94,59%, alo ele a i simila a la pun uació
ob inguda en la in e ència de la de ecció de ma ícules. A més, abans del pos p ocessamen
s’ha enume a els co ec es econeixemen s de la ma ícula, com a conjun del
econeixemen dels di e en s ca àc e s i ambé sense eni en comp e la sepa ació i els
espais. El pe cen a ge de co ec es de eccions i, a di e ència dels alo s ob ingu s en la
in e ència dels ca àc e s, les ma ícules només han es a econegudes co ec amen en el
73,33% dels casos.
Un cop eali za el pos p ocessamen que es desc iu en el supe io subapa a , s’ha o na
a a alua la p ecisió de l’OCR. Amb el ma eix nomb e de ma ícules, en un 91,08% de les
ocasions la ma ícula de ec ada, els qua e nomb es i les es lle es, coincideix amb la eal.
En algunes ma ícules s’ha eali za la co ec a lec u a en la majo ia dels seus ca àc e s
pe ò en al es no. Si es mi a el nomb e de ca àc e s o als on la lec u a s’ha e co ec amen ,
i saben que cada ma ícula es à o mada pe 7 ca àc e s, 4 nomb es i 3 lle es, es é que
s’ha eali za una mala de ecció en 36 ca àc e s. Això ep esen a que en un 97,36% dels
ca àc e s s’han econegu de o ma co ec a. En les aules de con inuació es mos en
alguns dels di e en s e o s ob ingu s.
Taula 5. Exemple d’un inco ec e econeixemen de la ma ícula
Nom de la ma ícula
Codi eal
Codi de ec a
Compa a i a
pla e_05
7703FWJ
7703FU
inco ec a
Al es inco ec es econeixemen s ob ingudes són:
Taula 6. Al es inco ec es econeixemen s de ma ícula ob ingu s
pla e_05
7703FWJ
7703FU
pla e_104
2259CWK
2259CHK
pla e_06
5751HWT
5751HXT
pla e_129
9105HTN
8105HTN
pla e_18
EK310ZZ
EK31OZZ
pla e_148
7873FWJ
7873FW4
pla e_33
7351JNW
7351JN
pla e_151
5839HGW
5839HGY
pla e_37
7895HVM
7895VM
pla e_152
1242JKZ
1242JZ
pla e_50
7988DVW
7988DVH
pla e_153
7818JWT
7818JHT
pla e_58
2135DGW
2135DG
pla e_154
7818JWT
7818JHT
pla e_76
1170LRH
1174RH
pla e_162
1241GJM
1216J4
pla e_80
2626KMN
2626KHN
pla e_185
4488GNV
LL88GNV
pla e_91
7134JTM
7134JTH
pla e_191
2299FWK
2299FHK
pla e_95
6665HZW
8665HZI
pla e_192
4386FDP
2386EDP

De ecció i econeixemen de ma ícules pe isió a i icial
42
Obse an els di e en s e o s ob ingu s, s’ap ecia que hi ha algunes males de eccions que
es epe eixen, sob e o amb el ca àc e W. La lle a W, se ia la lle a més complicada de
econèixe pe l’algo isme d’EasyOCR. Pe soluciona aques p oblema, es coneix que es
pod ia e un en enamen sob e EasyOCR pe a ina els esul a s. Així i o , no s’ha acaba
de eali za .
Pel que a al emps de p ocessamen , en el equad e de con inuació, es mos a l’algo isme
u ili za pe aconsegui el emps de p ocessamen de l’OCR.
1 impo easyoc
2 impo ime
3 impo c 2
4
5 # Read pla e image
6 pla e_pa h = "D:/xma i/Desk op/TFM/TFM_code/ul aly ics/pla e_01.jpg"
7 image_pla e = c 2.im ead(pla e_pa h)
8
9 s a _oc = ime. ime()
10
11 # Impo model
12 s a _impo _model = ime. ime()
13 eade = easyoc .Reade (['es'])
14 end_impo _model = ime. ime()
15
16 # In e ence EasyOCR
17 s a _in e ence_easyoc = ime. ime()
18 esul = eade . ead ex (pla e_image)
19 end_in e ence_easyoc = ime. ime()
20
21 # P ocessing esul s
22 s a _p ocessing_ esul s = ime. ime()
23 pla e_de ec ion = un ion_oc ( esul )
24 end_p ocessing_ esul s = ime. ime()
25
26 end_oc = ime. ime()
27
28 p in ("Temps o al del OCR: ", end_oc - s a _oc )
29 p in ("Temps impo a model OCR: ", end_impo _model - s a _impo _model)
30 p in ("Temps in e ència de EasyOCR: ", i_oc - inici_oc )
31 p in ("Temps de pos p ocessamen : ", s a _p ocessing_ esul s - end_p ocessing_ esul s)
Els emps ob ingu s en segons, es mos en en el següen equad e. En ell s’obse a que el
emps pe impo a el model d’EasyOCR pe l’al abe ia , en aques cas l’espanyol, a da
1,74 segons. Pe e la in e ència del model d’EasyOCR a la ima ge, es a da un o al de
0,2574 segons, i en e el pos p ocessamen 7,2 ms. Aques s esul a s s’han ob ingu en
l’o dinado pe sonal u ili za pe desen olupa el p ojec e. Cal comen a que el emps eal
de l’OCR se ia de 0,264614820 segons, ob ingu com la suma del emps d’in e ència i del
emps de pos p ocessamen , ja que el emps en impo a el model, només se ia necessà ia
eali za un sol cop i pod ia se en qualse ol momen p e i.
Temps impo a model OCR: 1.7438156604766846
43
Temps in e ència de EasyOCR: 0.2574186325073242
Temps de pos p ocessamen : 0.0071961879730224
Temps o al del OCR: 2.0084304809570312
De ecció i econeixemen de ma ícules pe isió a i icial
44
5 Discussió dels esul a s ob ingu s
Un cop desc i els di e en s p ocedimen s i els esul a s de la de ecció de ma ícules i del
econeixemen de ca àc e s. En aques apa a s’a aluen els di e en s esul a s i els
p ocedimen s du s a e me.
Pel que a a mè iques en la pa de la de ecció de ma ícules, es eco da que s’ha ob ingu
una p ecisió del 93,9% i un ecall de 90,2%. Pel que a als emps, la du ada en la cà ega
del model a se de 0,0625 segons, els emps en la cà ega de la ima ge a se de 0,0897
segons i el emps de la in e ència a se de 0,8219 segons.
Respec e al econeixemen dels ca àc e s en la ima ge. Es eco da que s’ha de ec a
co ec amen les ma ícules en un 91,08% de les ocasions. Pel que a als emps, la du ada
en impo a el model a se d’1,7438 segons, el emps en po a a cap la in e ència
d’EasyOCR a se de 0,2574 segons i el emps de pos p ocessamen a se de 0,0071 segons.
Conjun amen , eali zan el econeixemen de ca àc e s desp és de la de ecció de la
ma ícula en la ima ge, sense eni cap p océs en emig, s’ha ob ingu una p ecisió del 88,20%
en el millo dels casos, alo simila al 85,52% eò ic, calcula com la mul iplicació de les
p ecisions dels dos p ocedimen s.
En els di e en s emps compu acionals consumi s, p ime amen s’ob ien els dos emps de
cà ega del model. Els 0,0625 segons de cà ega del model YOLO i els 1,7438 segons de
cà ega del model d’EasyOCR. Això es du a e me pel e que només és necessa i ca ega
una sola egada els di e en s models pe al de de ec a i econèixe les di e en s ma ícules.
Pe an , els emps compu acionals es a an o ma s pel emps d’in e ència i el emps de
pos p ocessamen . Els emps d’in e ència són de 0,8219 en el cas de la ma ícula i de
0,2574 segons en el cas del econeixemen dels ca àc e s. Con an ambé els emps de
pos p ocessamen s’ob é un cos d’1,1761 segons, pe passa de la cà ega de la ima ge
al esul a en ex .
Taula 7. Mè iques ob ingudes al inal del econeixemen dels ca àc e s de la ma ícula
Pe cen a ge de ma ícules econegudes
88,20%
Temps compu acional consumi
1,17 segons
Amb els an e io s esul a s, i desp és d’ha e eali za els di e en s p ocedimen s, es po
a alua que. P ime amen , el emps dedica a l’en enamen del model és mol co ec e,
amb ap oximadamen 3 ho es ja s’ob é un model de de ecció de ma ícules en ena a pa i
de 672 ima ges. A més g àcies a Ul aly ics la implemen ació del esul a és du a e me de
mane a àpida i poc complexa pe una màquina Py hon.
Respec e a l’OCR, EasyOCR ha dona una al a p ecisió, del 91%, in oduin la ima ge en
colo de la ma ícula. La se a implemen ació ambé a se senzilla, a més els millo s esul a s
s’han aconsegui quan no s’ha e cap p ocessamen p e i en la ima ge. A di e ència de
Tesse ac OCR, al a llib e ia d’OCR, els esul a s ob ingu s són conside ablemen més
bons pe l’aplicació eali zada. Desp és del p ocedimen du a e me es c eu que la p ecisió
de l’OCR hau ia pogu augmen a en un en enamen especí ic amb EasyOCR, així i o ,
aques en enamen no acaba de se del o àcil. Amb aques en enamen es c eu que
EasyOCR es pod ia e se i pe a una aplicació eal on la p ecisió eque ida sigui mol
ele ada.
Pel que a a les mè iques, una p ecisió del 88,02% amb el conjun d’ima ges ob ingu , les
375 ho es des inades a la eali zació del eball i sense e un en enamen especí ic pel
econeixemen de ca àc e s, es conside a un esul a o ça co ec e amb el emps i els
ecu sos des ina s.
45
Sen el emps compu acional de la solució, 1,17 segons, pe aplicacions com la egulació
d’en ada de ehicles en un pà quing, el con ol de segu e a d’unes ins al·lacions o la
supe isió de l’es a d’es acionamen de ehicles, el emps compu acional ob ingu es o ça
aonable. D’al a banda, pe una aplicació com la lec u a de les ma ícules en ehicles que
ci culen pe una au opis a a g an eloci a , el emps ob ingu se ia bas an c í ic i
segu amen no es pod ia acaba d’implemen a . Pe an , se ia necessa i una compu ado a
més po en i especí ica que la u ili zada en aques eball.
De ecció i econeixemen de ma ícules pe isió a i icial
52
Annex
8.1 Pa p incipal de l’algo isme ANPR
001
002
003
004
005
006
007
008
009
010
011
012
013
014
015
016
017
018
019
020
021
022
023
024
025
026
027
028
029
030
031
032
033
034
035
036
037
038
039
040
041
042
043
044
045
# *******************************************************
# This ile is he main pa o he p ojec , APR and OCR
# Copy igh (C) 2022 Xa ie Ma í Jo ell
# Au ho : Xa ie Ma í Jo ell
# Da e: 2023-04-05
# *******************************************************
# Impo he necessa y packages
om ul aly ics impo YOLO
impo numpy
om ul aly ics.yolo. 8.de ec .p edic impo De ec ionP edic o
impo c 2
om PIL impo Image
impo easyoc
impo os
impo Pla eDe ec ion
impo Ca ac Recogni ion
# Ge he solu ion o ANPR o alida e he code esul
de alidTex ():
alid_ x = ''
wi h open(' es . x ', ' ') as ile:
alid_ x = ile. eadlines()
e u n alid_ x
# W i es he esul o all de ec ions and ecogni ions, o he ex ile
de esul sO ANPR( numbe _co ec s, numbe _inco ec s, esul a _ x ):
pe cen age_co ec s = numbe _co ec s / (numbe _co ec s +
numbe _inco ec s)*100
esul a _ x = esul a _ x + "pe cen age_co ec s " + s ( pe cen age_co ec s)
p in _de ( "pe cen age_co ec s", pe cen age_co ec s)
a chi o = open( ' esul . x ', 'a')
a chi o.w i e( esul a _ x )
a chi o.close()
# Valida ion o he esul s
de alida ion( esul a _ ex , alid_ x , ca _name):
# Read con en s o ile in o a s ing
line = in ( ca _name. eplace("ca _", ""))
con en s = alid_ x [ line-1]
con en s = con en s.spli ( ' ')
# P in con en s o he ile
ca _name_ x = con en s[0]
ca _pla e_ x = con en s[1]
ca _pla e_ x = ca _pla e_ x . eplace( " ", "")
ca _pla e_ x = ca _pla e_ x . eplace( " n", "")

53
046
047
048
049
050
051
052
053
054
055
056
057
058
059
060
061
062
063
064
065
066
067
068
069
070
071
072
073
074
075
076
077
078
079
080
081
082
083
084
085
086
087
088
089
090
091
092
093
094
# W i e in a . x ile he esul s
i len( esul a _ ex ) > 0:
pla e_ esul a = esul a _ ex [0]
i len( pla e_ esul a ) < 7:
o i in ange( 1, 7-len( pla e_ esul a )):
pla e_ esul a += " "
else:
pla e_ esul a = " "
ex _ ile = ''
esul a = ''
i ca _name == ca _name_ x :
my_lis = [ 'ca _1', 'ca _2', 'ca _3', 'ca _4', 'ca _5', 'ca _6', 'ca _7', 'ca _8', 'ca _9']
i ca _name in my_lis :
ins = in ( ca _name. eplace("ca _", ""))
ca _name = "ca _" + "0" + s (ins)
i pla e_ esul a == ca _pla e_ x :
esul a = "co ec "
ex _ ile = "ca _name" + " " + ca _name + " " + ca _pla e_ x + " " +
pla e_ esul a + " " + "co ec " + " " + s ( c op_img_dim[0] * c op_img_dim[1])
else:
esul a = "inco ec "
ex _ ile = "ca _name" + " " + ca _name + " " + ca _pla e_ x + " " +
pla e_ esul a + " " + "inco ec " + " " + s ( c op_img_dim[0] * c op_img_dim[1])
e u n esul a , ex _ ile
de showImageC 2( image):
# img_ gb = c 2.c Colo ( image, c 2.COLOR_BGR2RGB)
# C ea e a PIL Image objec
# img_pil = Image. oma ay(img_ gb)
# img_pil.show()
e u n
de p in _de ( x , x 2):
#p in ( x , x 2)
e u n
i __name__ == '__main__':
# Impo he model
model_pa h = 'D:/xma i/Desk op/TFM/TFM_code/ul aly ics/bes _0419.p '
model = YOLO(model_pa h)
# Impo he OCR
eade = easyoc .Reade (['es'])
# Read he alida ion . x images
alid_ ex = alidTex ()
De ecció i econeixemen de ma ícules pe isió a i icial
54
095
096
097
098
099
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
# Global a iables o he esul s
numbe _co ec s = 0
numbe _inco ec s = 0
pe cen age_co ec s = 0
# Read he images om he alida ion olde
esul a _ x = " n"
o i in ange(1, 196): # 1, 196
ca _name = "ca _" + s (i)
pla e_image, c op_img_dim = Pla eDe ec ion.APR(ca _name, model)
i pla e_image is None:
con inue
# OCR
esul a _ ex , esul a _p ediccio = Ca ac Recogni ion.OCR( eade , pla e_image,
c op_img_dim)
# Valida ion
esul a , ex _ ile = alida ion( esul a _ ex , alid_ ex , ca _name)
esul a _ x = esul a _ x + ex _ ile + " n"
i esul a == "co ec ":
numbe _co ec s += 1
else:
numbe _inco ec s += 1
# W i es de he esul s in he ile esul s. x o he di ec o y
i numbe _co ec s > 0 o numbe _inco ec s > 0:
esul sO ANPR( numbe _co ec s, numbe _inco ec s, esul a _ x )
55
8.2 Algo isme de de ecció de ma ícules
001
002
003
004
005
006
007
008
009
010
011
012
013
014
015
016
017
018
019
020
021
022
023
024
025
026
027
028
029
030
031
032
033
034
035
036
037
038
039
040
041
042
043
044
045
046
# *******************************************************
# This ile does he pla e de ec ion and ecogni ion (APR)
# Copy igh (C) 2022 Xa ie Ma í Jo ell
# Au ho : Xa ie Ma í Jo ell
# Da e: 2023-04-05
# *******************************************************
# Impo s he necessa y packages
impo c 2
impo os
om ul aly ics impo YOLO
impo numpy
om ul aly ics.yolo. 8.de ec .p edic impo De ec ionP edic o
om PIL impo Image
impo ime
# Does he APR
de APR( ca _name, model):
# Upload image
ca _pa h = "D:/xma i/Desk op/TFM/TFM_code/ul aly ics/ es _images_1/" +
ca _name + ".jpg"
# Checks i he image exis s
i os.pa h.exis s(ca _pa h):
img_o in = c 2.im ead(ca _pa h)
else:
e u n
# Does he de ec ion
p edic ion = model.p edic (img_o in)
lis _ esul s_x1 = []
lis _ esul s_y1 = []
lis _ esul s_x2 = []
lis _ esul s_y2 = []
lis _ esul s_a ea = []
lis _ esul s_ ela ion = []
# Pu s he esul in he lis s
o i in ange(len(p edic ion[0].boxes.xyxy)):
xy = p edic ion[0].boxes.xyxy[0]
x1, y1, x2, y2 = xy.numpy()
lis _ esul s_x1.append( in (x1))
lis _ esul s_y1.append( in (y1))
lis _ esul s_x2.append( in (x2))
lis _ esul s_y2.append( in (y2))
lis _ esul s_a ea.append( abs(lis _ esul s_x2[i] - lis _ esul s_x1[i]) *
abs(lis _ esul s_y2[i]-lis _ esul s_y1[i]))
De ecció i econeixemen de ma ícules pe isió a i icial
56
047
048
049
050
051
052
053
054
055
056
057
058
059
060
061
062
063
064
065
066
067
068
069
070
071
072
073
074
075
076
077
078
079
080
081
082
083
084
085
086
087
088
089
090
091
092
093
094
095
096
lis _ esul s_ ela ion.append( 4.72 - (abs(lis _ esul s_x2[i] -
lis _ esul s_x1[i])/abs(lis _ esul s_y2[i]-lis _ esul s_y1[i])))
i len( lis _ esul s_x1) > 0:
lis _ esul s_a ea.so ( e e se = T ue)
lis _ esul s_ ela ion.so ()
# Ge s he highe wo
i ( len(lis _ esul s_a ea) > 1):
lis _ esul s_a ea = lis _ esul s_a ea[0:2]
lis _ esul s_ ela ion = lis _ esul s_ ela ion[0:2]
# 60% pe cen ela ion 40% a ea
esul _1 = lis _ esul s_a ea[0] * 0.4 + lis _ esul s_ ela ion[0] * 0.6
esul _2 = lis _ esul s_a ea[1] * 0.4 + lis _ esul s_ ela ion[1] * 0.6
# Selec s he mos simila
i ( esul _1 > esul _2):
i = lis _ esul s_a ea.index( lis _ esul s_a ea[0])
else:
i = lis _ esul s_a ea.index( lis _ esul s_a ea[1])
else:
i = 0
x = in ( lis _ esul s_x1[i])
y = in ( lis _ esul s_y1[i])
x1 = in ( lis _ esul s_x2[i])
y1 = in ( lis _ esul s_y2[i])
# C op he mos impo an pla e
c opped_image = img_o in[y:y1, x:x1]
c opped_dim = c opped_image.shape
e u n c opped_image, c opped_dim
else:
e u n None, None
i __name__ == '__main__':
# Impo s he model
model_pa h = 'D:/xma i/Desk op/TFM/TFM_code/ul aly ics/bes _0419.p '
model = YOLO(model_pa h)
ca _name = "ca _1"
inici_ap = ime. ime()
pla e_image, c op_img_dim = APR(ca _name, model)
i_ap = ime. ime()
p in ("Temps o al del OCR: ", i_ap - inici_ap )
img_ gb = c 2.c Colo ( pla e_image, c 2.COLOR_BGR2RGB)
img_pil = Image. oma ay(img_ gb)
img_pil.show()
57
8.3 Algo isme de econeixemen de ca àc e s en la ma ícula
001
002
003
004
005
006
007
008
009
010
011
012
013
014
015
016
017
018
019
020
021
022
023
024
025
026
027
028
029
030
031
032
033
034
035
036
037
038
039
040
041
042
043
044
045
046
047
# *******************************************************
# This ile does he objec cha ac e ecogni ion (OCR)
# Copy igh (C) 2022 Xa ie Ma í Jo ell
# Au ho : Xa ie Ma í Jo ell
# Da e: 2023-04-05
# *******************************************************
# Impo s lib a ies
impo easyoc
impo c 2
impo ime
# Does he OCR
de OCR( eade , pla e_image, c op_img_dim):
# Wi hou p e-p ocess eads he pla e ca ac e s
esul = eade . ead ex (pla e_image)
"""
# W i es he esul s on he image
o i in ange( len( esul )):
# ex
ex = esul [i][1]
# bounding box
bbox = esul [i][0]
# con idence
p obabili y = esul [i][2]
# D aw he bounding box
c 2. ec angle(pla e_image, ( in (bbox[0][0]), in (bbox[0][1])), (in (bbox[2][0]),
in (bbox[2][1])), (0, 255, 0), 2)
# D aws he ex
c 2.pu Tex (pla e_image, ex , ( in (bbox[0][0]), in (bbox[0][1]) + 20),
c 2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)
showImageC 2( pla e_image)
"""
# I is used o emo e small ex de ec ions
gene al_ esul = []
# Gene al alue
o i in ange( len( esul )):
ex = esul [i][1]
p obabili y = ound( esul [i][2], 2)
bbox = esul [i][0]
posx = in ( bbox[0][0])
a ea = ound( abs(( bbox[2][0] - bbox[0][0]) * ( bbox[2][1] - bbox[0][1])), 2)
a ea_ ela ion = a ea / (c op_img_dim[0] * c op_img_dim[1])
i a ea_ ela ion > 0.10:
gene al_ esul .append( [ ex , p obabili y, a ea, a ea_ ela ion, posx])
# O de and pu oge he all he ex

De ecció i econeixemen de ma ícules pe isió a i icial
58
048
049
050
051
052
053
054
055
056
057
058
059
060
061
062
063
064
065
066
067
068
069
070
070
071
072
073
074
075
076
077
078
079
080
081
082
083
084
085
086
087
088
089
090
091
092
093
094
095
096
097
i ( len(gene al_ esul ) > 1):
ex = []
p obabili y = []
posy = []
o i in ange(len(gene al_ esul )):
ex .append(gene al_ esul [i][0])
p obabili y.append(gene al_ esul [i][1])
posy.append(gene al_ esul [i][4])
# O de s he ex
ex = [x o _,x in so ed( zip( posy, ex ))]
p obabili y = [x o _,x in so ed( zip( posy, p obabili y))]
# Pu s oge he he ex
ex = ''.join( ex )
p obabili y = sum(p obabili y)/len(p obabili y)
gene al_ esul = [[ ex , p obabili y]]
# Va iables o sa e he esul s
esul a _ ex = []
esul a _p ediccio = []
o i in ange(len(gene al_ esul )):
ex = gene al_ esul [i][0]
p obabili y = gene al_ esul [i][1]
# Remo e " "
ex = ex . eplace(" ", "")
# Remo e -
ex = ex . eplace("-", "")
# Remo e .
ex = ex . eplace(".", "")
# Remo e #
ex = ex . eplace("#", "")
# Remo e _
ex = ex . eplace("_", "")
# Remo e /
ex = ex . eplace("/", "")
# Remo e
ex = ex . eplace(" ", "")
# Remo e (
ex = ex . eplace("(", "")
# Remo e )
ex = ex . eplace(")", "")
# Remo e [
ex = ex . eplace("[", "")
# Remo e ]
ex = ex . eplace("]", "")
# Remo e |
ex = ex . eplace("|", "")
# Remo e '
ex = ex . eplace("'", "")
# Remo e :
59
098
099
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
ex = ex . eplace(":", "")
# Remo e {
ex = ex . eplace("{", "")
# Remo e }
ex = ex . eplace("}", "")
# Remo e @
ex = ex . eplace("@", "")
# Sol ing p oblems wi h he numbe 4, i is no ecognized co ec ly,
# ecognized a L
con ado _nomb es = 0
nombe _coun _ i s _ alues = 0
nombe _coun _las _ alues = 0
o i in ange(len( ex )):
i ex [i].isdigi ():
con ado _nomb es += 1
i i in ange(0, 3):
nombe _coun _ i s _ alues += 1
eli i in ange(len( ex ) - 3, len( ex )):
nombe _coun _las _ alues += 1
i con ado _nomb es >= 3:
pos_l = ex . ind("L")
leng h = len( ex )
i nombe _coun _ i s _ alues >= 2:
i pos_l <= 4:
pa 1 = ex [:4]
pa 1 = pa 1. eplace("L", "4")
pa 2 = ex [4:]
ex = pa 1 + pa 2
eli nombe _coun _las _ alues >= 2:
i pos_l <= leng h - 4:
pa 1 = ex [:4]
pa 2 = ex [4:]
pa 2 = pa 2. eplace("L", "4")
ex = pa 1 + pa 2
# All le e in capi al
ex = ex .uppe ()
# Remo e aw alues
con ado _nomb es = 0
con ado _lle es = 0
indexos_nomb es = []
indexos_lle es = []
o i in ange(len( ex )):
i ex [i].isdigi ():
con ado _nomb es += 1
indexos_nomb es.append(i)
else:
De ecció i econeixemen de ma ícules pe isió a i icial
60
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
con ado _lle es += 1
indexos_lle es.append(i)
# I is used o c ea e spanish pla es, wi h 4 numbe s and 3 le e s
# Res ics he de ec ion o spanish pla es
con ado _ o al = con ado _nomb es + con ado _lle es
index = 0
i con ado _ o al > 7:
i con ado _nomb es > 4:
o i in ange(len( ex )-2):
i ex [i].isdigi () != T ue and ex [i+1].isdigi () != T ue and ex [i+2].isdigi () !=
T ue:
index = i
b eak
ex = ex [index-4:index+3]
i con ado _lle es > 3:
o i in ange(len( ex )-3):
i ex [i].isdigi () == T ue and ex [i+1].isdigi () == T ue and ex [i+2].isdigi ()
== T ue and ex [i+3].isdigi () == T ue:
index = i
b eak
ex = ex [index:index+7]
# Appends ex
esul a _ ex .append( ex )
# Append p edic ion
esul a _p ediccio.append(p obabili y)
# I no esul , e u ns emp y
i len( esul a _ ex ) > 0:
i esul a _ ex [0] == "":
i len(gene al_ esul ) > 0:
esul a _ ex = gene al_ esul [0][0]
else:
esul a _ ex = ""
e u n esul a _ ex , esul a _p ediccio
i __name__ == '__main__':
# Impo s he model
eade = easyoc .Reade (['es'])
pla e_pa h = "D:/xma i/Desk op/TFM/TFM_code/ul aly ics/pla e_1.jpg"
pla e_image = c 2.im ead( pla e_pa h)
inici_oc = ime. ime()
esul a _ ex , esul a _p ediccio = OCR( eade , pla e_image, pla e_image.shape)
i_oc = ime. ime()
p in ("Temps o al del OCR: ", i_oc - inici_oc )
p in ( esul a _ ex , esul a _p ediccio)