UNIVERSIDAD DE VALLADOLID
ESCUELA DE INGENIERIAS INDUSTRIALES
G ado en Ingenie ía en Diseño Indus ial y Desa ollo de
P oduc o
P ojec o ETREL: Inspección au omá ica de
de ec os en iempo eal y en línea a pa i de
da os de múl iples uen es y median e el uso
de máquinas de ap endizaje: con ibución a
la indus ia 4.0
Au o :
P ie o Ga cía, Isabel
Responsable de In e cambio en la U a:
Espe anza Ala cia Es é ez
Uni e sidad de des ino:
Uni e si é de Technologie de Compiègne
Valladolid, eb e o 2022
2
TFG REALIZADO EN PROGRAMA DE INTERCAMBIO
TÍTULO: P oje ETREL: AuToma ics inspEc ion o de ec s in eal ime and
online om mul i-sou ce da a and ia he use o lea ning
machines: con ibu ion o indus y 4.0
ALUMNO: Isabel P ie o Ga cía
FECHA: 28/01/2022
CENTRO: Labo a oi e Robe al, Cen e Pie e Guillauma I
UNIVERSIDAD: Uni e si é de Technologie de Compiègne
TUTOR: Benoî Eyna d
RESUMEN: El p oyec o ETREL p e ende desa olla un en oque au oma izado y
econ igu able pa a el con ol en línea de los p oduc os ab icados.
El p oyec o p e ende combina soluciones de ap endizaje
denominadas "in eligencia a i icial" (IA) y sis emas expe os
denominados "in eg ación de da os de múl iples uen es
p oceden es de adquisiciones" pa a consegui lo, en piezas
p oducidas en g andes se ies a g an elocidad po AML Sys ems, el
socio del p oyec o
PALABRAS CLAVE: Inspección Visual, Mul i-modalidad, Con ol de Calidad,
Da ase
3
UNIVERSITÉ DE TECHNOLOGIE DE COMPIÈGNE
LABORATOIRE ROBERVAL
P oje ETREL : AuToma ics inspEc ion o
de ec s in eal ime and online om mul i-
sou ce da a and ia he use o lea ning
machines: con ibu ion o indus y 4.0
Au o :
P ie o Ga cía, Isabel
Le Tu eu esponsable de l’UTC:
Benoî Eyna d
4
5
Index
1. P ésen a ion du p oje
2. Compila ion de jeux données
3. Module ESL
4. Robo KUKA
5. Concep ion du sys ème d’inspec ion mul imodal du module ESL
6. Inco po a ion du sys ème d’inspec ion à la pla e o me AMS
7. Anima ion Robo KUKA
8. Cons uc ion du sys ème d’inspec ion
9. Mise en se ice du module ESL

6
1. P esen a ion du p oje ETREL- auToma ics inspEc ion o
de ec s in eal ime and online om mul i-sou ce da a and ia
he use o lea ning machines: con ibu ion o indus y 4.0.
Nom du p oje :
ETREL : InspEc ion auToma ique de dé au s en emps Réel e en ligne à pa i de données
mul i-sou ces e ia l’usage de machines app Enan es : con ibu ion à L’induS ie 4.0
En ep ise coo dina ice du p oje :
Raison sociale : Del aCAD Ad esse de l’é ablissemen en Hau s-de-F ance : 795 ue des
Longues Rayes, 60610 Lac oix Sain -Ouen Con ac cha gé du p oje : Nom : ROWSON P énom :
Ha ey Tél : 06 63 94 22 46 Mél. : owson@del acad.
Pa enai es
AML Sys ems, ZAC de l'Epine e - 02500 Hi son
Uni e si é Technologique de Compiègne, ue du D Schwei ze – 60200 Compiègne
Objec i s du p oje
Le p oje ETREL ise à dé eloppe une app oche au oma isée e econ igu able pou le
con ôle en ligne de p odui s manu ac u és. Le p oje ise à combine solu ions app enan es
di es « d’in elligence a i icielle » (IA) e sys èmes expe s di s « d’in ég a ion de données
mul i-sou ces issues d’acquisi ions » pou éalise ceci, su des pièces p odui es en g ande
sé ie à cadence apide pa AML Sys ems, pa enai e du p oje .
Mo s cle s (5 au maximum)
In elligence A i icielle, Inspec ion isuelle, mul i-modali é, Cadence éle ée, Cus omisa ion,
Quali é
Con enu du p oje e ésul a s a endus
L’inspec ion e la dé ec ion des dé au s des p odui s su une chaîne de p oduc ion se éalise en
emps éel e à des cadences ès éle ées. Ce e ac i i é ai pa ie in ég an e de la s a égie
globale d’amélio a ion de la quali é des p odui s, elle pe me de limi e les e ou s clien s
coû eux. Le p oje ETREL ise donc à dé eloppe une app oche au oma isée e econ igu able
pou le con ôle en ligne de p odui s manu ac u és. Ce enjeu es ad essé dans l’é a de l’a
scien i ique soi pa des app oches app enan es ou ia des sys èmes expe s. Le
posi ionnemen de ce p oje es double e ise à combine solu ions app enan es di es «
d’in elligence a i icielle » e sys èmes expe s di s « d’in ég a ion de données mul i-sou ces
issues d’acquisi ions ». La mise en place des echnologies d’IA e l’in ég a ion de données
mul isou ces d’acquisi ion nécessi en de base les expé imen a ions e la compa aison des
ésul a s su des é é ences. ETREL ise 3 ni eaux d’indica ions : (1) dé ec ion dé au s
po en iels, (2) localisa ion du dé au e (3) ca ac é isa ion du dé au pa mesu e. De ai , les
éseaux neu onaux mis en œu e pe me aien de end e in elligible l’iden i ica ion du
dé au . L’app oche en isagée se a hyb ide en couplan à la ois des éseaux de neu ones
7
p o onds onc ionnan s ensemble e une app oche expe e génie indus iel qui e a de la
localisa ion de dé au s jusqu’à la ca ac é isa ion.
COUT TOTAL DU PROJET : 620 069 €
AIDE DEMANDEE : 365 970 €
Ce dossie de demande doi ê e dûmen empli e ad essé pa l’en ep ise coo dina ice aux
se ices ins uc eu s, pa mail à : aapindus iedu u u @hau sde ance. e pa cou ie à
l’a en ion de : Monsieu A naud RIQUIER Di ec ion de l’Inno a ion e de la Pe o mance
Indus ielle Région Hau s-de-F ance ; 151, boule a d Hoo e ; 59555 – LILLE Cedex Une le e
de demande édigée e signée pa chacun des pa enai es doi ê e join e au dossie .
Desc ip ion du p oje
1. Enjeux indus iels e économiques
• Déc i e la p obléma ique e les ésul a s a endus pou la ou les en ep ises
pa enai es du p oje .
• Quel impac économique, en i onnemen al e humain en cas de succès ?
Con ex e
L’inspec ion e la dé ec ion des dé au s des p odui s su une chaîne de p oduc ion se éalise en
emps éel e à des cadences ès éle ées. Ce e ac i i é ai pa ie in ég an e de la s a égie
globale d’amélio a ion de la quali é des p odui s, elle pe me de limi e les e ou s clien s
coû eux. Il exis e déjà des o es su l’au oma isa ion des inspec ions. Elles son sou en
spécialisées à une ypologie de dé au s, comme pa exemple le dénomb emen de composan s
su un pos e, le con ôle de la localisa ion e du posi ionnemen de pièces, la compa aison de
con ou s ou la dé ec ion de dé au s d’aspec s. Même si ces o es disponibles su le ma ché
éponden au besoin p emie en ma iè e d’inspec ion, elles nécessi en bien sou en d’ê e
ep og ammées e calib ées en cas d’é olu ion du p odui ou de la chaine de p oduc ion. Tous
les p odui s même les plus s anda ds d’en e-deux son suscep ibles d’é olue (e.g. o mes,
aspec s, onc ions) pou épond e aux besoins spéci iques de chaque clien . Pa exemple, le
module ESL d’AML Sys ems (u ilisa eu inal e pa enai e du p oje ETREL) es aujou d’hui
ab iqué à des cadences sous la seconde e es inspec é manuellemen pa un opé a eu .
Ce module es p odui à des millions d’exemplai es pa an, a ec des di é ences au ni eau des
couleu s, des insc ip ions e g a u es, e des onc ions selon les cons uc eu s au omobiles. Il y
a donc au an d’inspec ion à ep og amme que de nou elles con igu a ions du p odui , ce qui
es un ein au déploiemen de l’indus ie 4.0. Ainsi, pou es e concu en ielle, l’en ep ise
doi se do e d’une inspec ion au oma ique qui s’adap e apidemen au changemen de
con igu a ions du p odui e qui soi ès pe o man e su la chaîne de p oduc ion. Cela signi ie
que dans ce con ex e de p odui s cus omisés, de nou eaux dé au s enco e inconnus peu en
appa aî e, e doi en donc pou oi ê e dé ec és à moind e ais.
Le p oje ETREL ise donc à dé eloppe une app oche au oma isée e econ igu able pou le
con ôle en ligne de p odui s manu ac u és.
8
P ésen a ion de la mé hodologie u ilisée pou a eind e les objec i s du p oje .
Les ès écen es a ancées en IA en mode non supe isé, e le couplage de ces mé hodes à des
echniques de ision pa o dina eu pe me en d’en isage une éponse pe o man e à ces
e ous scien i iques. Plus globalemen , la eche che en IA pe me d’élabo e des sys èmes
capables d’app éhende des compo emen s complexes non p édé inies. Les éseaux de
neu ones p o onds (Deep Lea ning) on la capaci é de pou oi s’adap e à de nou elles en ées
non enco e ues, ce qui pe me pa exemple d’iden i ie des obje s dans des images, oi e de
géné e au oma iquemen des images à pa i d’un jeu es ein de pa amè es. Le dé au de
ces éseaux de neu ones p o onds es que pou l’ins an leu p ocessus n’es pas in elligible.
Cependan , les pe o mances a ein es son elles qu’il es possible d’in ég e ces éseaux
neu onaux à un pos e de mon age e de con ôle. Ils agi aien comme une assis ance à un
opé a eu le con o an e l’aidan dans son inspec ion.
Conc è emen , les indus iels p oduisen de ai plus de p odui s co ec s que de p odui s
p ésen an un dé au . La base de données de p odui s a ec dé au s es donc pa na u e bien
moins g ande en olume que ce que pou ai ê e la base de données de p odui s co ec s.
Ainsi, la pos u e de eche che echnologique adop ée es d’é udie la p oduc ion de p odui s «
bons » qui son en g and nomb e, e ceci au a e s de ep ésen a ions p éalablemen
dé inies. Pa conséquen , la combinaison de éseaux de neu ones app enan les p odui s «
bons » à un éseau de neu ones « géné a i » des ep ésen a ions di es co ec es pe me ai
pa supe posi ion de l’image géné ée e de celle con ôlée de ou ni jusqu’à 3 ni eaux
d’indica ions : (1) dé ec ion dé au s po en iels, (2) localisa ion du dé au e (3) ca ac é isa ion
du dé au pa mesu e. De ai , les éseaux neu onaux mis en œu e pe me aien de end e
in elligible l’iden i ica ion du dé au . L’app oche en isagée se a hyb ide en couplan à la ois
des éseaux de neu ones p o onds onc ionnan s ensemble e une app oche expe e génie
indus iel qui e a de la localisa ion de dé au s jusqu’à la ca ac é isa ion.
Pou pe me e une la ge exploi a ion des sou ces d’in o ma ion mul iples issues des
di é en s moyens d’acquisi ion (e.g. camé a apide, camé a de p o ondeu , scan lase ), une
nou elle echnique de usion de données 3D se a p oposée. Elle pe me a de amene ou es
les données 3D (e.g. nuage de poin s, maillages, modèles B-Rep) dans un espace commun 2.5D
(e.g. ca e de p o ondeu ) dans lequel les app en issages e les iden i ica ions pou on a oi
lieu [9][10]. Ce e echnique pe me a de ai e aussi bien les données issues d’acquisi ions
éelles, que les données i uelles issues de con igu a ions simulées su le jumeau numé ique.
Le p oje ETREL s’appuie a su une pla e o me expé imen ale nommée AMS (Agile
Manu ac u ing Sys em) e si uée à l’UTC. Elle peu con oye , con ôle , assemble des p odui s
de di é en es na u es : pièces usinées en ou nage, po s, lacons anspa en s e composan s
méca oniques. La chaîne numé ique e le jumeau numé ique CAO de ce e pla e o me son
maî isés e nous disposons des essou ces 3D na i es e de simula ions de l’ensemble P odui
e P ocess. La pla e o me AMS e sa chaîne numé ique es un a an age impo an du p oje ca
elle pe me a de p odui e la masse c i ique de données d’en ée nécessai es pou un bon
app en issage des éseaux neu onaux.
De plus, les données expé imen ales issues de la pla e o me se on consolidées pa des
données i uelles géné ées à pa i du jumeau numé ique de la chaîne de p oduc ion. Su la
pla e o me AMS, il se a implémen é des équipemen s de dé ec ions de di é en es inali és e
cela à di é en es cadences. L’in é ê es de ou ni des POC (P oo O Concep ) indus iels ès
conc e s pou lesquels l’ensemble de la déma che de mise en œu e e les sou ces se on mis
à disposi ion su des pla e o mes d’échanges web e communau ai e. Le p oje es ainsi
s uc u é en ois Wo k Packages.
9
2. Enjeux scien i iques
• Quels son les e ous echnologiques ou o ganisa ionnels que le p oje en end le e ?
• Quelles connaissances nou elles en a end -on ?
• Quelles e ombées pou les labo a oi es pa enai es ?
Comme p ésen é p écédemmen , le p oje ETREL ise à dé eloppe une app oche au oma isée
e econ igu able pou le con ôle en ligne de p odui s manu ac u és.
Ce enjeu es ad essé dans l’é a de l’a scien i ique soi pa des app oches app enan es ou
ia des sys èmes expe s. Le posi ionnen de ce p oje es double e ise à combine solu ions
app enan es di es « d’in elligence a i icielle » (IA) [1,2] e sys èmes expe s di s «
d’in ég a ion de données mul isou ces issues d’acquisi ions » [3,4]. La mise en place des
echnologies d’IA e l’in ég a ion de données mul i-sou ces d’acquisi ion nécessi en de base
les expé imen a ions e la compa aison des ésul a s su des é é ences.
Pou l’IA, ces é é ences son des « da ase s » u iles à la ois pou la alida ion des
en ainemen s que pou la alida ion des ésul a s. Un da ase DAGM a é é c éé en 2007
(h ps:// esou ces.mpiin .mpg.de/con e- ence/dagm/2007/p izes.h ml) pou es e des
algo i hmes app enan s supe isés pou des su aces manu ac u ées. De nomb euses
publica ions y on é é ence mais peu su les app oches non supe isées comme il es
en isagé dans ce p oje [5]. Pou l’in ég a ion des données d’acquisi ion mul i-sou ces, la
no ion de é é en iel commun pe me de amene à la même dimension e donc de acili e le
ai emen e l’analyse expe e. Le p emie e ou de la mise en place de l’IA en con ex e
manu ac u ie es le ne oyage e la p épa a ion des données d’acquisi ion [6]. Elles ne son
pas homogènes e l’ensemble des signaux d’acquisi ions doi en ê e ai és a in que les
données puissen ê e p ê es pou l’en ainemen . De plus, la quan i é de données pou
assu e l’en ainemen es impo an e. Un deuxième e ou es donc de pou oi « app end e »
su une quan i é minimale de données pou ob eni des emps d’app en issage cou s e de
bonnes 5 / 11 pe o man es en ma iè e de aux de éponse. Quelques é é ences commencen
à s’in é esse à app end e en considé an les p odui s « bons » [7]. Ce se a le cas dans ce
p oje en y ajou an l’in ég a ion de données d’acquisi ion mul i-sou ces. Les images, idéos,
scans 3D se on les ois ypes de données mul i-sou ces considé ées e in ég ées
simul anémen a in de end e pe o man e in elligible les ésul a s ob enus. Les e ous
scien i iques de ce p oje son : (1) Commen ne oye les données d’acquisi ion mul i-sou ces
(images, idéos, scanning) pou les end e app enan es ?; (2) Commen in ég e les données
d’acquisi ion e p opose des dé ec ions au oma iques in elligibles ?
Dans ETREL, l’objec i n’es pas de dé eloppe de nou eaux algo i hmes de ision pa
o dina eu ou d’IA. Il s’agi de capi alise su les solu ions exis an es de l’é a de l’a
pe me an de épond e au besoin d’iden i ica ion de dé au s en ligne, e de les adap e su
une pla e o me adap ée à l’indus ie. La déma che mise en œu e e les ésul a s se on mis à
disposi ion en Open Sou ce. La eche che qui se a menée dans ce p oje es donc axée su le
Génie Indus iel.
L’un des ca ac è es no a eu s du p oje éside dans l’adap a ion mé hodologique e
echnologique des app oches usuelles de ision pa o dina eu e de Machine Lea ning au
con ex e de l’indus ie manu ac u iè e.
Un p emie élémen es d’in ég e le ai qu’il exis e de g os olumes de pièces co ec es e
peu de pièces inco ec es. De plus, l’espace des possibili és de pièces inco ec es es in ini e
imp édic ible (une pièce peu oujou s ê e inco ec e d’une nou elle açon). Ainsi le
onc ionnemen des algo i hmes doi ê e « in e sé », il s’agi de a aille pa exclusion (des
pièces co ec es) pou iden i ie les pièces inco ec es. Un second élémen es la capaci é de
géné e des bases de cas ia l’exis ence du jumeau numé ique de la chaine de p oduc ion (qui
16
• Kolek o (2019-2021):
Jeu de données de dé ec ion de dé au s de su ace a ec plus de 3000 images
con enan plusieu s ypes de dé au s, ob enues en abo dan un p oblème indus iel
éel.
Le jeu de données es composé de 356 images a ec des dé au s isibles, 2979 images
sans aucun dé au , des images d'en i on 230 x 630 pixels, jeu d'en aînemen a ec 246
images posi i es e 2085 images néga i es, un jeu de es a ec 110 images posi i es e
894 images néga i es, plusieu s ypes de dé au s di é en s ( ayu es, aches mineu es,
impe ec ions de su ace, e c.
Kolek o SDD: Gi Hub - skokec/segdec-ne -jim2019: Su ace De ec De ec ion wi h
Segmen a ion-Decision Ne wo k on Kolek o SDD
Kolek o SDD2: Gi Hub - icoslab/mixed-segdec-ne -comind2021: O icial PyTo ch
implemen a ion o "Mixed supe ision o su ace-de ec de ec ion: om weakly o
ully supe ised lea ning"
• Tianchi Aluminium P o ile Su ace De ec (2018)
Dans le jeu de données du concou s, il y a 10 000 données d'images de su eillance de
p o ilés en aluminium p ésen an des dé au s dans la p oduc ion éelle, e chaque
image con ien un ou plusieu s dé au s. L'image échan illon pou l'app en issage
au oma ique iden i ie a clai emen le ype de dé au con enu dans l'image.
h ps:// ianchi.aliyun.com/compe i ion/en ance/231682/in o ma ion

17
• NeuSu ace De ec Da abase (2013):
Base de données pou la classi ica ion de 6 ypes de dé au s de su ace pa Kechen
Song e Yunhui Yan.
Six ypes de dé au s de su ace ypiques de la bande d'acie laminée à chaud son
collec és, à sa oi , la calamine (RS), les aches (Pa), le c aquelage (C ), la su ace
piquée (PS), l'inclusion (In) e les ayu es (Sc). La base de données comp end 1 800
images en ni eaux de g is : 300 ( épa ies en 240 images pou la o ma ion e 60
images pou le es ) échan illons de chacun des six ypes de dé au s de su ace
ypiques sui an s.
NEU Su ace De ec Da abase | Kaggle
• DAGM (2007)
Un ensemble de données syn hé iques pou la dé ec ion de dé au s su des su aces
ex u ées. Il a é é c éé à l'o igine pou un concou s lo s du symposium 2007 de la
DAGM (Deu sche A bei sgemeinscha ü Mus e e kennun). Les six p emie s jeux de
données su dix, appelés jeux de données de dé eloppemen , son censés ê e u ilisés
pou le dé eloppemen d'algo i hmes. Les qua e jeux de données es an s, appelés
jeux de données de compé i ion, peu en ê e u ilisés pou é alue les pe o mances
des algo i hmes...
18
• ELPV Da ase (2018-2019)
Le da ase con ien 2 624 échan illons d'images en ni eaux de g is 8 bi s de 300x300
pixels de cellules solai es onc ionnelles e dé ec ueuses a ec di é en s deg és de
dég ada ion, ex ai es de 44 modules solai es di é en s.
Gi Hub - zae-baye n/elp -da ase : A da ase o unc ional and de ec i e sola cells
ex ac ed om EL images o sola modules
• CRACK Fo es Da ase (2017):
Base de données d'images de issu es ou iè es anno ées qui peu en e lé e l'é a de
la su ace des ou es u baines.
h ps://gi hub.com/cuilimeng/C ackFo es -da ase
h ps://pan.baidu.com/s/1108j5QbD 7T3XQ DxAzVpg (passwo d：jajn)
19
• Deep PCB
Da ase con enan 1 500 pai es d'images, chacune é an cons i uée d'une image
modèle sans dé au e d'une image es ée alignée a ec des anno a ions comp enan
les posi ions des 6 ypes de dé au s de PCB les plus cou an s : ou e , cou -ci cui ,
mousebi e, épe on, ou d'épingle e cui e pa asi e.
Gi Hub - angsanli5201/DeepPCB: A PCB de ec da ase .
• LMT Hap ic Tex u e Da abe
LMT Hap ic Tex u e Da abase ( um.de)
20
• AITEX ab ic de ec s da ase (2020):
Ce jeu de données se compose de 245 images de 4096x256 pixels a ec sep s uc u es
de issu di é en es. L'ensemble de données comp end 140 images non dé ec ueuses,
20 de chaque ype de issu. En ou e, il y a 105 images de di é en s ypes de dé au s
de issu (12 ypes) cou an s dans l'indus ie ex ile.
百度网盘 请输入提取码 (baidu.com) (passwo d: b9uy)
• Tianchi Fab ic De ec Da ase (2020)
Ce da ase cou e ous les ypes de dé au s impo an s des issus dans l'indus ie
ex ile, e chaque image con ien un ou plusieu s dé au s. Les données comp ennen
deux ypes de issus : les issus unis e les issus à mo i s. Pa mi elles, en i on 8000
pièces de données de issus unis son u ilisées pou les ma chs p éliminai es, e
en i on 12000 pièces de données de issus à mo i s son u ilisées pou les demi-
inales.
h ps://pan.baidu.com/s/1LMbujx 5iB3SwjFGYHspA (passwo d: ga 2)
• Tex u es Classi ica ion Da ase (2020)
Jeu de données de ex u e de su ace (8674 images), qui con ien 64 classes p o enan
de 3 jeux de données publics. Les images son uni o mémen edimensionnées en 331
x 331. No ammen , 11 classes (3194 images) de la base de données de su ace KTH (y
comp is KTH-TIPS e KTH-TIPS2), 28 classes (4480 pa chs sans o a ion) de la base de
données Kybe ge, e 25 classes (1000 images) de la base de données UIUC. Le jeu de
données es di isé en deux de maniè e aléa oi e, l'un pou l'en aînemen e l'au e
pou la alida ion.
Gi Hub - abin24/Tex u es-Da ase : This is a da ase o ou pape "A compac
con olu ional neu al ne wo k o su ace de ec inspec ion"
21
o Kylbe g Tex u e Da ase
8 ex u e classes. 160 unique ex u e pa ches pe class. (Al e na i e da ase
wi h 12 o a ions pe each o iginal pa ch, 160*12=1920 ex u e pa ches pe
class). Tex u e pa ch size: 576×576 pixels.
Kylbe g Tex u e Da ase . 1.0 – Kylbe g.o g
o KTH Su ace Da ase
o UIUC
SON
• ToyADMOS (2019):
Da ase su les sons de onc ionnemen des machines (2019) (2 ypes de machines
indus ielles) ensemble de données su les sons de onc ionnemen des machines
comp enan en i on 540 heu es de sons no maux de onc ionnemen de machines e
plus de 12 000 échan illons de sons ano maux. Inspec ion du p odui ( oi u e-joue ),
diagnos ic de dé aillance pou une machine ixe (con oyeu -joue ), e diagnos ic de
dé aillance pou une machine en mou emen ( ain-joue ).
Gi Hub - YumaKoizumi/ToyADMOS-da ase : Da ase and i s sample codes o anomaly
de ec ion in sound.
• MIMII (2019):
Jeux de données sono es pou l'in es iga ion e l'inspec ion de machines indus ielles
dé ec ueuses. Il con ien les sons géné és pa qua e ypes de machines indus ielles, à
sa oi les annes, les pompes, les en ila eu s e les glissiè es. Chaque ype de
machine comp end sep modèles de p odui s indi iduels*1, e les données de chaque
modèle con iennen des sons no maux (de 5 000 à 10 000 secondes) e des sons
ano maux (en i on 1 000 secondes).
MIMII Da ase : Sound Da ase o Mal unc ioning Indus ial Machine In es iga ion and
Inspec ion | Zenodo
• DCASE 2020 Task 2 Da ase
Dé ec ion non supe isée de sons ano maux pou la su eillance de l'é a des
machines. L'ensemble de données u ilisé es une combinaison des deux p écéden s.

22
MODÈLÈ 3D
• AAU Sewe De ec Poin Cloud Da ase (2021):
Classi ica ion des dé au s des canalisa ions d'égou s à pa i de poin s de nuages
u ilisan des données éelles e syn hé iques
P emie jeu de données publiquemen disponible de données 3D de canalisa ions
d'égou s e de dé au s. La majo i é du jeu de données es cons i uée de données
syn hé iques, andis que les nuages de poin s de canalisa ions éelles on é é
en egis és dans un en i onnemen de labo a oi e à l'Uni e si é d'Aalbo g, au
Danema k.
AAU Sewe De ec Poin Cloud Da ase | Kaggle
• Thin-walled de o mable objec s da ase (2017)
Il s'agi d'un ensemble de données de modèles d'obje s à pa ois minces a ec des
ep ésen a ions olumé iques, qui es géné é à pa i de 13 obje s éels. Deux sous-
ensembles son p ésen és : objec sModelDemo (30 ichie s obj) e
Objec ModelsVa ian s (2214 ichie s obj).
Gi Hub - ma inajingyixu/ hin-walled-objec s-da ase
MULTIMODAL
Tou au long de la eche che, de nomb eux a icles on é é ou és qui men ionnen des
ensembles de données u iles e in é essan s pou l'a ancemen du p oje . Malheu eusemen ,
ils ne son pas dans le domaine public.
Pa exemple :
Gün he , J., Pila ski, P. M., Hel ich, G., Shen, H., & Diepold, K. (2016). In elligen lase welding
h ough ep esen a ion, p edic ion, and con ol lea ning: An a chi ec u e wi h deep neu al
ne wo ks and ein o cemen lea ning. Mecha onics, 34, 1-11. DOI 10.1016/j.ci p.2016.04.072
Jo anče ić, I., Pham, H. H., O eu, J. J., Gilblas, R., Ha en , J., Mau ice, X., & B è hes, L.
(2017). 3D poin cloud analysis o de ec ion and cha ac e iza ion o de ec s on ai plane ex e io
su ace. Jou nal o Nondes uc i e E alua ion, 36(4), 1-17. DOI 10.1007/s10921-017-0453-1
23
DES AUTRES
• Indus ial Quali y Con ol o Packages (2020):
Dé ec e les paque s endommagés dans un scéna io d'inspec ion de quali é en ligne.
Les images on é é c éées syn hé iquemen à l'aide de Blende . Le code pou p odui e
ces images es en lib e accès.
h ps://gi hub.com/ch is ian- o hemus/p ocedu al-3d-image-gene a ion
• Il exis e égalemen de nomb euses bases de données u iles pou la dé ec ion d'obje s
en géné al, mais non spéci iques au domaine indus iel e au con ôle des dé au s :
CV Da ase s on he web (c pape s.com)
24
Compila ion de Da ase s :
25
32
4. Robo KUKA
Le obo a ec lequel nous allons a aille es le KUKA KR 6 R700-2, qui es déjà ins allé su la
pla e o me AMS de l'UTC.

33
Le obo a é é équipé d'une pince qui lui pe me de saisi e de elâche des obje s. Ce e pince
a é é ob enue à pa i de la pla e o me Windchill, e a é é modi iée dans 3DExpe ience a in
qu'elle puisse ê e ou e e e e mée.
Un nou eau p odui a é é c éé, dans lequel les deux ex émi és de la pince on é é insé ées
a ec le suppo . Il a é é in ég é dans le obo KUKA.
AMS_pince_2
La p océdu e es la sui an e : un con ôle de quali é es e ec ué su chaque module ESL, les
in o ma ions son ai ées e on sai s'il y a un dé au ou non.
AMS_pince_kuka
Ex _AMS_pince_kuka
2ex _AMS_pince_kuka
34
Dans l'é ape sui an e, la disposi ion des pinces su le obo es u ile. Si le module es
dé ec ueux, saisissez-le a ec la pince e déplacez-le e s le ése oi No OK ; si le module n'es
pas dé ec ueux, placez-le dans le ése oi OK.
35
Connexions Mécaniques
G âce aux in o ma ions ou nies pa le dis ibu eu du obo , nous pou ons connaî e
l'ampli ude des mou emen s du obo e les inco po e au obo a in de simule
ul é ieu emen son onc ionnemen .
Dans l'applica ion Mechanical Sys em Design, nous allons ajou e les connexions mécaniques
en e les di é en es pa ies qui composen le obo .
Il exis e au o al 6 liaisons mécaniques pi o an es de é olu ion (A1, A2, A3, A4, A5 e A6).
Pou chaque connexion, il au choisi deux axes coinciden es, deux aces de con ac e l'angle
d'ou e u e indiqué pou chaque connexion.
36
Connexion A1 : é olu ion
• L’ampli ude de l’angle : +-170º
• Angle ini ial : 270º
• Limi e in é ieu e : 270-170=100º
• Limi e supé ieu e : 270+170=440º
Connexion A2 : é olu ion
• L’ampli ude de l’angle : -190º/45º
• Angle ini ial : 90º
• Limi e in é ieu e : 45-90=-45º
• Limi e supé ieu e : 190º
37
Conexión A3: e olución
• Ampli ude de langle : -120º/156º
• Angle ini ial : 90º
• Limi e in é ieu e : 180-156=24º
• Limi e supé ieu e : 180+120=300º
Connexion A4: é olu ion
• Ampli ude de l’angle : +-185º
• Angle ini ial : 0º
• Limi e in é ieu e : -185º
• Limi e supé ieu e : 185º

38
Connexion A5: é olu ion
• Ampli ude de l’angle : +-120º
• Angle ini ial : 90º
• Limi e in é ieu e : -120+90=30º
• Limi e supé ieu e : 120+90=210º
Connexion A6: é olu ion
• Ampli ude de l’angle : +-350º
• Angle ini ial : 0º
• Limi e in é ieu e : -350º
• Limi e supé ieu e : 350º
39
5. Concep ion du sys ème d’inspec ion mul imodal du module
ESL
Module ESL
Réalisée a ec le g oup de a ail de AM29 ; Hugo Quean , Clémence Vincen , An oine Blo ,
Li io Delmaes o, Malo Le ancois.
Objec i s
Nous a ons pou mission de c ée un banc d’essais su la pla e o me Agile Manu ac u ing
Sys em de l’UTC a in d’assu e le con ôle du module ESL, capable de con ôle la quali é
isuelle e ib a oi e.
Pla e o me AMS
40
Le plan à sui e pou ce e sec ion es le sui an :
1. Lis e des exigences de concep ion.
2. Dimensionnemen e concep ion du sys ème e Ins uc ions de mon age
3. Le budge
4. In ég a ion de la concep ion du module ESL à la pla e o me AMS
1. Lis e des exigences de concep ion :
Choix des composan s (camé as, mic o, pièces mécaniques di e ses…) conce nan l’ensemble
su la pla e o me e l’ensemble du module.
• Obse a ion e écou e de l’ensemble su la pla e o me AMS
o Ajou d’un sys ème à l’AMS sans le modi ie .
o L’espace disponible es limi é
o La ixa ion du sys ème d’inspec ion doi s’adap e à la cellule obo ique.
o Le obo Kuka doi pou oi na igue aisémen pou b anche e déb anche le
module ESL su le socle d’alimen a ion.
• Obse a ion e écou e de l’ensemble du module ESL
o L’inspec ion doi ê e éalisée su ou es les ues du module, à l’excep ion de
la ue du bas, occul ée pa le socle d’alimen a ion
o Limi a ion de di é ences de luminosi é.
o Le posi ionnemen d’un mic ophone p oche de la pièce pou mesu e les
ib a ions.
41
2. Dimensionnemen e concep ion du sys ème
2.1 Mic ophone
• U ilisa ion d’un mic ophone posi ionné à p oximi é du module pou ou e les
singula i és dans les ib a ions e les sons pendan son onc ionnemen .
• Compa aison de plusieu s mic ophones du ma ché e sélec ion de l’un d’eux.
Mic ophone sélec ionné : RS COMPONENT Mic ophone à col de cygne
• Unidi ec ionnelle
• F équence: 10 Hz à 16 000 Hz
• Lége e lexible
• Connec eu XLR 3 b oches
2.2 Camé a
P ises de ues des aces du module
• U ilisa ion de 5 camé as (1 pa cô é e une pou le dessus).
• Compa aison de plusieu s camé as indus ielles du ma ché e sélec ion de l’une d’elle.
Camé a sélec ionnée : Vision indus ielle 2D Inspec o VSPI-4F2111
• Flash Led in ég é
• U ilisa ion indus ielle en inspec ion quali é
• Résolu ion : 640 x 480 px
• Dis ance a ail : 50 à 200 mm
• U ilisa ion de la len ille : ocale 6mm
48
2.7 Assemblage inal
Assemblage CAO A b e CREO
CAO dans l’ASM E-Bom sous WindChill B

49
3. Budge ini ial
4. In ég a ion de la concep ion du module ESL à la pla e o me AMS e
mon age
In ég a ion E-BoM à M-BoM à l’AMS
E-Bom M-Bom
Ins uc ions de mon age : El modelado se ha ealizado con el so wa e CREO
• E ape de mon age 1 : S uc u e de base + Plaque opaque
x 4
x 8
x 8
50
• E ape de mon age 2 : Fe me u e de la s uc u e de base + mon an camé a 5
x 2
x 3
• E ape de mon age 3 : Mon age des 5 camé as
x 5 ensemble: isse ie + suppo + camé a
• E ape de mon age 4 : Fixa ion de l'assemblage à la able
x 2
x 9
51
P odui inal
52
6. In ég a ion du sys ème d’inspec ion à la pla e o me AMS
Les p odui s on é é c éés dans le logiciel de modélisa ion 3D CREO e pa agés su une
pla e o me de ges ion du cycle de ie des p odui s appelée Windchill.
C'es à pa i de là que le a ail a commencé a ec l'ou il 3D Expe ience, un en i onnemen
collabo a i qui pe me d'inno e de maniè e en iè emen nou elle e de c ée des p odui s e
des se ices à l'aide d'expé iences i uelles. Il ou ni une ue en emps éel de l'ac i i é e de
l'écosys ème de l'en ep ise, en connec an les pe sonnes, les idées e les données. Ce e
pla e o me, dé eloppée pa Dassaul Sys ems, nous a pe mis de collabo e , de modi ie e
d'in e agi au sein de p oje s déjà en cou s.
Le pos e de con ôle a é é ans é é de Windchill à 3D Expe ience.
Une ois élécha gée su 3DExp, elle a é é inco po ée dans le jumeau numé ique de la
pla e o me AMS. Nous a ons encon é le p oblème que cela é ai déjà mal o ien é
aupa a an , donc le ichie AMS_CAD_REF a é é c éé, où un plan bien o ien é a é é c éé e a
inco po é ou e la ligne de p oduc ion e la s a ion de con ôle à l'in é ieu de la cellule
obo ique.
Le modèle 3D du module ESL a égalemen é é in ég é au sys ème de con ôle, exac emen à
l'end oi où il se ai posi ionné dans la éali é pou ê e inspec é de ous les cô és.
Pla e o me AMS sans le sys ème d’inspec ion
Pla e o me AMS a ec le sys ème d’inspec ion
53
Pla e o me AMS
Cellule Robo ique

54
55
7. Cons uc ion du sys ème d’inspec ion
Nous a ons con ac é MiniTec pou qu'elle nous ou nisse ous les ma é iaux nécessai es.
Budge
56
57
8. Anima ion Robo KUKA
Nous a ons c éé une simula ion du obo KUKA dans Mechanical Sys em Expe ience mon an
le p ocessus depuis la p ise du module jusqu'à sa dépose dans le panie OK.
Les cap u es d'éc an e un en egis emen de l'éc an élécha gé su YouTube son mon és.
h ps://you u.be/9 dIu2D55Uc