Augmented & Virtual Reality in der Produktentstehung: Grundlagen, Methoden und Werkzeuge; Interaktions- und Visualisierungstechniken, Virtual Prototyping intelligenter technischer Systeme mit AR/VR / 12. Paderborner Workshop Augmented & Virtual Reality in der Produktentstehung, 23. und 24. April 2015 ; Heinz-Nixdorf-MuseumsForum, Paderborn; Jürgen Gausemeier, Michael Grafe, Friedhelm Meyer auf der Heide (Hrsg.)

Jürgen Gausemeier Michael Grafe Friedhelm Meyer auf der Heide (Hrsg.) Augmented & Virtual Reality in der Produktentstehung  Grundlagen, Methoden und Werkzeuge  Interaktions- und Visualisierungstechniken  Virtual Prototyping intelligenter technischer Systeme mit AR/VR 12. Paderborner Workshop Augmented & Virtual Reality in der Produktentstehung 23. und 24. April 2015 Heinz Nixdorf MuseumsForum, Paderborn Heinz Nixdorf Institut, Universität Paderborn – Paderborn – 2015 ISSN 2195-5239 Das Werk einschließlich seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung der Herausgeber und des Verfassers unzulässig und strafbar. Das gilt insbesondere für Vervielfältigung, Übersetzungen, Mikroverfilmungen, sowie die Einspeicherung und Verarbeitung in elektronischen Systemen. Als elektronische Version frei verfügbar über die Digitalen Sammlungen der Universitätsbibliothek Paderborn. Satz und Gestaltung: Polina Decheva und Franziska Reichelt Hersteller: Hans Gieselmann Druck und Medienhaus GmbH & Co. KG Druck · Buch · Verlag Bielefeld Printed in Germany Bibliografische Information Der Deutschen Bibliothek Die Deutsche Bibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.ddb.de abrufbar Vorwort Augmented Reality und Virtual Reality eröffnen neue Perspektiven: Virtuelle funktionale Prototypen ermöglichen die immersive und interaktive Präsentation von Gestalt und Verhalten eines zukünftigen Produkts. Das verbessert die Kommunikation in Entwicklungsprozessen, hilft Entwicklungsfehler zu vermeiden und trägt dazu bei, die Anzahl realer Prototypen zu verringern. Unternehmen sparen so Zeit und Geld. Das Heinz Nixdorf Institut der Universität Paderborn veranstaltet zweijährlich unter dem Dach „Wissenschafts- und Industrieforum – Intelligente Technische Systeme“ den Workshop „Augmented & Virtual Reality in der Produktentstehung“. Wir richten uns an Fachleute aus Industrie und Forschungsinstituten, die sich maßgeblich mit der Entwicklung von intelligenten technischen Systemen befassen. Die Veranstaltung bietet ihnen eine Plattform zur Diskussion und zum Erfahrungsaustausch. Für die Begutachtung und Auswahl der Beiträge danken wir den Mitgliedern des Programmkomitees herzlich. Deren Expertise hat wesentlich zur hohen Qualität der Tagung beigetragen. Prof. Dr.-Ing. M. Abramovici, Universität Bochum Prof. Dr.-Ing. U. Lindemann, TU München Prof. Dr.-Ing. R. Anderl, TU Darmstadt Prof. Dr.-Ing. habil. P. Nyhuis, Universität Hannover Prof. Dr. B. Brüderlin, TU Ilmenau Prof. Dr.-Ing. J. Ovtcharova, TU Karlsruhe Prof. Dr. G. Domik, Universität Paderborn Prof. Dr.-Ing. G. Reinhart, TU München Prof. Dr. Ch. Geiger, Fachhochschule Düsseldorf Prof. Dr.-Ing. J. Roßmann, RWTH Aachen Prof. Dr. O. Herzog, Universität Bremen Prof. Dr.-Ing. habil. Dr.-Ing. E. h. M. Schenk, Fraunhofer IFF Prof. Dr.-Ing. habil. G. Höhne, TU Ilmenau Prof. Dr.-Ing. R. Stark, TU Berlin Prof. Dr.-Ing. R. Koch, Universität Paderborn Prof. Dr.-Ir. F.J.A.M. van Houten, University of Twente Prof. Dr.-Ing. S. Kopp, Universität Bielefeld Dr.-Ing. H. Waßmann-Kahl, VW AG Prof. Dr.-Ing. F.-L. Krause, TU Berlin Prof. Dr.-Ing. Ch. Weber, TU Ilmenau Prof. Dr. rer. nat. T. Kuhlen, RWTH Aachen Paderborn, im April 2015 Prof. Dr.-Ing. J. Gausemeier, M. Grafe und Prof. Dr. math. F. Meyer auf der Heide Inhaltsverzeichnis VR-Systeme und Anwendungen M. Oberhauser, D. Dreyer, P. Kovačič Rapid Prototyping in einem funktionalen, virtuellen Flugzeugcockpit ................ 9 S. Husung, A. Siegel, C. Weber, B. Müller, M. Behrendt, D. Landes, A. Albers Audio-visuelle Simulation der Fahrzeugvorbeifahrt unter Nutzung von VR und Prüfstandsmessungen ......................................................................... 21 W. Steger, E. Steindecker, R. Stelzer, M. Gebert, T. Kim Individuelle Funktionen für Teilnehmer an einem VR Design Review ............. 33 AR/VR in der Produktentstehung V. Paelke, S. Heymann Benutzungsschnittstellen für Cyber-Physical-Systems – Herausforderungen und Lösungsansätze ........................................................ 49 J. Berssenbrügge, O. Wiederkehr, C. Jähn, M. Fischer Anbindung des Virtuellen Prototypen an die Partialmodelle intelligenter technischer Systeme ..................................................................... 65 K. Wrasse, E. Brandenburg, H. Hayka, R. Stark Visualisierung von Anforderungen an physische Prototypen mit Augmented Reality ........................................................................................... 79 Rendering und 3D-Produktdarstellung J. Meder Depth Image Based Rendering zur Entkopplung langsamer Renderprozesse von der Darstellung ............................................................... 93 C. Jähn, M. Fischer, M. Gerges, J. Berssenbrügge Automatische Ableitung geometrischer Eigenschaften von Bauteilen aus dem 3-D-Polygonmodell .......................................................................... 107 T. Preidel, S. Cersowsky, R. Krüger, M. Färber Punktebasiertes hierarchisch-probabilistisches Level of Detail ...................... 121 VR für Fabrikplanungsprozesse S. Pick, S. Gebhardt, B. Hentschel, T. Kuhlen, R. Reinhard, C. Büscher, T. al Khawli, U. Eppelt, H. Voet, J. Utsch Ein Konzept zur Integration von Virtual Reality Anwendungen zur Verbesserung des Informationsaustauschs im Fabrikplanungsprozess ......... 139 S. Gebhardt, S. Pick, B. Hentschel, T. Kuhlen, R. Reinhard, C. Büscher Ein Ansatz zur Softwaretechnischen Integration von Virtual Reality Anwendungen am Beispiel des Fabrikplanungsprozesses ........................... 153 R. Langmann, C. Geiger Web-basierte Integrationsplattform für dynamische 3D-Anlagenvisualisierung ............................................................................... 167 AR für mobile Assistenzsysteme M. Neges, M. Wolf, M. Abramovici Zugriffsgesicherte Augmented Reality Lösung zur mobilen Instandhaltungsunterstützung mit zustandsorientierten Arbeitsanweisungen ............ 181 S. Adler, A. Kernchen, T. Reipsch, E. Bayrhammer, U. Schmucker Mobile Assistenzsysteme für sicheren Betrieb und Wartung von Maschinen und Anlagen ................................................................................. 197 Fahrsimulation und Fahrerassistenzsysteme B. Hassan, J. Gausemeier, K. Abdelgawad, J. Berssenbrügge, M. Grafe Systematik zur Entwicklung von rekonfigurierbaren Fahrsimulatoren ............ 213 J. Berssenbrügge, A. Trächtler, C. Schmidt Visualisierung von Scheinwerfersystemen für das Virtual Prototyping von lichtbasierten Fahrerassistenzsystemen .................................................. 231 H. Amelunxen Entwicklung eines Closed-Loop Testsystems für fortgeschrittene Fahrerassistenzsysteme ................................................................................ 247 D. Zimmermann, A. Kohlstedt, S. Gausemeier, A. Trächtler Entwicklung eines prädiktiven Motion-Cueing-Verfahrens für den ATMOS-Fahrsimulator ................................................................................... 261 VR-Systeme und Anwendungen Rapid Prototyping in einem funktionalen, virtuellen Flugzeugcockpit M.Sc. Matthias Oberhauser, Dr-Ing Daniel Dreyer Airbus Group Innovations Willy-Messerschmitt-Straße 1, 81663 München Tel. +49 (0) 89 607 / 21 236, Fax. +49 (0) 89 607 / 21 240 E-Mail: [email protected] Primož Kovačič Technische Universität Graz Rechbauerstraße 12, 8010 Graz E-Mail: [email protected] Zusammenfassung Beim Entwicklungsprozess von Cockpits und Cockpitkomponenten sollten in einer möglichst frühen Phase Nutzerstudien durchgeführt werden, um sowohl ergonomische als auch kognitiv-psychologische Aspekte in der Mensch-Maschine-Interaktion zu berücksichtigen. Für Ergonomieuntersuchungen werden bereits auf digitale Mock-ups und Virtual Reality Systeme zurückgegriffen. Um das Verhalten des Nutzers auch in einer dynamischen Cockpitumgebung untersuchen zu können, wurde der Virtual Reality Flight Simulator (VRFS) entwickelt. Hier wird ein Virtual Reality Cockpit mit einem Flugsimulator verbunden. Im Gegensatz zu ähnlichen VR-Flugsimulatoren liegt bei diesem System der Fokus auf Rapid Prototyping von Cockpitkomponenten und deren Evaluation mit integrierten kognitiv-psychologischen Methoden. In dieser Arbeit wird gezeigt, wie neue Cockpitkomponenten in diesen Simulator integriert werden können und wie mit diesen Elementen interagiert werden kann. Als Basis für die Geometrie dienen hierbei CAD-Daten oder auch 3D-Scans. Die Interaktion kann mit virtuellen Tastern, Hebeln, Drehschaltern oder über simulierte Touchscreens erfolgen. Durch die Integration von einfachen Platten, 3D-gedruckten Bauteilen oder sogar funktionalen Hardwarekomponenten an der entsprechenden räumlichen Position, kann haptisches Feedback erzeugt und die Bedienbarkeit deutlich verbessert werden. Durch diese Flexibilität kann der virtuelle Flugsimulator in jeder Phase des Cockpitdesignprozesses eingesetzt werden. Schlüsselworte Virtual Reality, Flugsimulation, Cockpit Design, Rapid Prototyping Seite 10 Oberhauser, Dreyer, Kovačič Rapid Prototyping in a Functional Virtual Cockpit Abstract In the development process of flight decks, user studies should be conducted as early as possible to gather information on ergonomics as well as cognitive aspects of the humanmachine-interaction (HMI). Virtual Reality is a well-known tool for exploring the ergonomics of a cockpit. Yet, for conducting human factors studies, a dynamic, usable flight deck is necessary. The Virtual Reality Flight Simulator (VRFS), developed by Airbus Group Innovations, provides this functionality by connecting a digital mock-up with a commercially available flight simulation. In contrast to similar VR flight simulations, human factors methods have been integrated to conduct user studies. This research presents the integration of conceptional as well as existing HMI components into the VRFS. CAD data or 3D scans can be used as a basis for this. The interaction with these elements can be fully virtual, aided by using plates, or combined with functional hardware elements. Due to this flexibility, the VRFS can be used in all phases of the cockpit development process. Keywords Virtual Reality, Flight Simulation, Cockpit Design, Rapid Prototyping Rapi d 1 Die t und herr s (M M pon e unte r Inte r rech t [RN 0 Für d zeln e wic k verb u habe ergo n nun g den. kön n (VR F b un d wur d hanc rem Sim u dies e Prot o psyc h 2 2.1 Der V mul a ses S und mier t dan n d Prototyping Einfü h t echnische n zum Teil h s chbar zu m M S) bereitg e e nten sollte r stützt wer d r aktion zu t zeitig erka n 0 4]. d iese Stu d i e e r Kompon k lung und d u nden. Das n sich Virt u n omischer A g des Cock p Um auch k n en, wurde F S) entwic k d en und es k d e an der T ed Virtual E für die Fl u u lator wur d e n V R -Flu g o typing vo n h ologische n Der V i Grund l V irtual Re a a tionssoftw a S ystems be s der Finger t und an di e n an ein He a in einem fun k h rung n Systeme i h ochgradig m achen, m e stellt werd e deshalb b e d en, um er g berücksic h n nt, und m i e n bieten si c enten bis h d er Bau sol c selbe gilt f ü u al Reality A spekte et a p its ab und k ognitive A bei Airbu k elt. Hier w k önnen rea l U Darmsta E nvironme n u gunfallunt e d e von der U g simulatore n n Cockpit E n Methode n rtual Re a l agen a lity Flight a re, die dur s teht aus ei n des Nutze r e grafische ad -Mounte d k tionalen, virt u n moderne n automatisi e m üssen klar e n. Der En t e reits in ei n g onomische h tigen. Au ß i t wenig A u c h verschie h in zu kom p c her Cock p ü r Änderun Systeme i m a bliert. Die s e s können E A spekte bei s Group I n w ird ein Vir t l itätsnahe S d t für das T n t (EVE) v o e rsuchung v U niversität n liegt bei d E lementen n . a lity Flig Simulator b ch Virtual R n em optisc h s erfasst (s i Ausgabe d e d -Display ( H u ellen Flugze u n Flugzeug e e rt. Um di e r e und int u t wicklungs p n er möglic h und kogni t ß erdem kö n u fwand bz w e denste Pro t p lexen Ful l p it-Mock-u p n gen an ein e m Cockpit e s e virtuelle n E rreichbar k der Intera k n novations t ual Realit y S zenarien s i T raining v o o n Airbus H v erwendet Istanbul v o d em hier vo r und deren g ht Simu l b asiert auf R eality Fä h h en Tracki n i ehe Bild 1 e r Simulati o H MD) übe r u gcockpi t e n sind ko m e se Kompl e u itive Men s p rozess vo n h st frühen t ive Aspek t n nen nöti g w . niedrige n t otypen an, l -Flight-Si m p s ist mit e e m solchen e ntwicklun g n Systeme b k eiten und d k tion mit d e der Virtu a y Cockpit m i muliert w e o n Piloten e H elicopter [ und ein w e o rgestellt [ Y r gestellten S Evaluatio n l ator einer kom m h igkeiten er g n g System, d ). Diese K o o n weiterg e r tragen. Da m plex, mit e e xität für e s ch-Maschi n Cockpits u Phase dur c e in der M e e Modifik a n Kosten u m die von de r m ulatoren r e inem erhe b Hardware S sprozess f ü b ilden die r ä d ie Außensi c e m Cockpi t a l Reality F m it einem Fl u r den. Ein ä e ntwickelt [ H [ Bau14-ol] w e iterer virt u Y KT+09]. I S ystem der n mit integ r m erziell ver f g änzt wurd d as die Pos o ordinaten w e geben. Die s in der Flu g S e inander ve r e inen Pilot e ne-Schnitts u nd Cockpi t c h Nutzers t e nsch-Mas c a tionen da d m gesetzt w r Simulatio n e ichen. Di e b lichen Au f S ystem. D e ü r die Eval u ä umliche A cht geteste t t untersuch F light Sim u l ugsimulato ä hnliches S y HK05]. D a wird unter u eller Heli k I m Gegens a Fokus auf R r ierten ko g r fügbaren F l d e. Der Ker n s ition des K w erden tra n se Ausgab e g simulatio n eite 11 r netzt n bet ellen t komudien c hined urch erden n ein- e Entf wand e shalb u ation A nordt wer- e n zu u lator r ver- y stem a s Enan d ek opter a tz zu R apid g nitivl ugsin die- K opfes n sfor- e wird ssoft- Seite Bild Dur c Prot o war e erhe b weit e war e Im R Proj e wur d und i gen mit b neu a nel e 5 Der V rung Dur c nen C sehr mit f 18 8: I ntegr a c h steigend e o typen von e elemente i n b lich und u e rung mit H e Moc k -ups R ahmen des e ktes wurd e d en einzeln e i n einem o p Testumgeb u b ereits exi s a rtige Hea d - e valuiert. Resü m V irtual Re a der Protot y c h eine vol l C ockpits m frühen En t f unktionale n a tion des V R e Produktr e einzelnen S n das virtu e u mfangreic h H ardwarek o vorangetri e Alicia (Al l e der VRF S e MMS Ko m p erationelle n u ng auf di e s tierenden K - Up Displa y m ee und a lity Flight y pen dar, d l virtuelle D m it dem VR F t wicklungs p n Hardwar e R FS in den C e ife und so m S ystemen e n e lle Cockp i h e, realitäts n o mponente n e ben werde n Condition S als Prot o m ponenten n Szenario e Ergebnis s K omponen t y Symbolo g Ausblic k Simulator i e im Ent w a rstellung u F S in eine m p hase getes t e komponen t C ockpitent w m it determ i ntwickelt. D i t integrier e n ahe Szen a n kann bis z n (siehe Bi l Operations o yping- un d in ein konz mit Pilote n s e zu mini m t en durchg e g ie [DBO1 4 k stellt eine w w icklungspr o u nd entspr e m funktion a t et werden. t en kann d e w icklungsp r i nierte Pro d D iese lasse n e n. Dadurc h a rios lasse n z um Erreic h l d 8). and Innov a d Evaluieru n eptionelles n getestet. U m ieren, wu e führt. Es w 4 ] sowie ei n w ertvolle u o zess von C e chende Int e a len Simula t Durch die r Simulato r Oberhau s r ozess d uktmerkm a n sich als f u h steigt die sich simu l h en eines k a tive Cock p n gsplattfor m virtuelles C U m den Ein f r den nur V w urden unt e n optimiert e n d kosteng ü C ockpits ve r e raktionsm e t ionsumfel d Anreicher u r mit dem E s er, Dreyer, K a le werden u nktionale H Simulatio n l ieren. Die s k ompletten H p it Infrastru c m eingeset z C ockpit int e f luss der n e V ergleichss t er andere m es Overhe a g ünstige Er w r wendet w e e chanisme n d bereits in u ng des Sy s E ntwicklun g K ovačič erste H a r dn stiefe s e Er- H a r dc ture) z t. Es e griert e uarti- u dien m eine a d Paw eite- e rden. n köneiner s tems g sp r o- Rapid Prototyping in einem funktionalen, virtuellen Flugzeugcockpit Seite 19 jekt wachsen und die Simulationstiefe entsprechend erhöht werden. Trotzdem kann auch ein Mixed Mock-up System nicht als vollwertiger Ersatz für einen Hardware Simulator verwendet werden, da weiterhin Einschränkungen durch die Virtual Reality Technologie, wie zum Beispiel eingeschränktes Sichtfeld oder Ungenauigkeiten im Tracking, bestehen. Weitere Entwicklungen zielen auf die einfachere Integration von MMS Komponenten ab ebenso wie auf die Erhöhung der Simulationstiefe durch verbesserte Hard- und Software. Literatur [RN04] REUZEAU, F.; NIBBELKE, R.: Flight deck design process. In: D. Harris (Hg.): Human Factors for Civil Flight Deck Design. Hampshire: Ashgate, S. 33-55, 2004. [HK05] HÜSGEN, S.; KLINGAUF, U.: Interaktionsmechanismen zur Verbesserung der Mensch- Maschine-Schnittstelle am Beispiel eines virtuellen Flugsimulators. In: Deutscher Luft- u. Raumfahrtkongress, 2005. [Bau14-ol] BAUER, M.: The Enhanced Virtual Environment (EVE): Learning lessons to improve safety, unter: http://www.highflyer.airbus-group.com/02_2014_tackling_the_cyber_threat.html, 1. März 2015 [YKT+09] YAVRUCUK, I.; KUBALI, E.; TARIMCI, O.; YILMAZ, D.: A Low Cost Flight Simulator Using Virtual Reality Tools. In: AIAA Modeling and Simulation Technologies Conference, Guidance, Navigation, and Control and Co-located Conferences, American Institute of Aeronautics and Astronautics, Reston, 2009 [ADP+14] ASLANDERE, T.; DREYER, D.; PANTKRATZ, F.; SCHUBOTZ, R.: A Generic Virtual Reality Flight Simulator. In: Virtuelle und Erweiterte Realität, 11. Workshop der GI-Fachgruppe VR/AR. Shaker Verlag, S. 1-13, Aachen, 2014. [DBO14] DREYER, D.; BANDOW, D.; OBERHAUSER, M.: HUD Symbology evaluation in a Virtual Reality Flight Simulation. In: HCI-Aero, 2014 [HOD+14] HILLEBRAND, A.; OBERHAUSER, M.; DREYER, D.; MEISTER D.: Modulare Erweiterbarkeit von Flugsimulationen für Human-Factors-Experimente. In: 3. Interdisziplinärer Workshop Kognitive Systeme: Mensch, Teams, Systeme und Automaten, Magdeburg, 2014 [LIE13] LIESECKE S.: Eye-Tracking in Virtual Reality. Mastersthesis. Universität der Bundeswehr Institut für Flugsysteme, München, 2013 [HS88] HART, S.; STAVELAND, L.: Development of NASA-TLX (Task Load Index): Results of empirical and theoretical research. In: Advances in psychology 52, S. 139-183, 1988 [ST90] SELCON, S.; TAYLOR, R.: Evaluation of the situational awareness rating technique (SART) as a tool for aircrew systems design. In: Situational Awareness in Aerospace Operations (AGARD-CP-478). Neuilly Sur Seine, 1990 [End95] ENDSLEY, M.: Measurement of situation awareness in dynamic systems. In: Human Factors: The Journal of the Human Factors and Ergonomics Society 37 (1), S. 65-84, 1995 [MDO14] MAMESSIER, S.; DREYER, D.; OBERHAUSER, M.: Calibration of online Situation Awareness Assessment Systems using Virtual Reality. In: Proceedings of HCI-International 2014, Heraklion 2014 Seite 20 Oberhauser, Dreyer, Kovačič Autoren M.Sc. Matthias Oberhauser arbeitet seit 2012 bei Airbus Group Innovations. Er schloss das Masterstudium Maschinenwesen an der Technischen Universität München mit den Schwerpunkten „Elektronik und Informatik“ und „Luftfahrttechnik“ 2014 ab und arbeitet seitdem an seiner Promotion an der Technischen Universität Graz. Seine Forschungsthemen sind Mensch-Maschine-Interaktion im Cockpit und die Nutzung von Virtual Reality für Human Factors Studien. Dr.-Ing. Daniel Dreyer arbeitet seit 2003 bei Airbus Group Innovations. Er studierte und promovierte an der Technischen Universität München (Luft- und Raumfahrttechnik/ Ergonomie). Der Titel seiner Dissertation lautet „Kontrastschwellensimulation für Sichtbarkeitsuntersuchungen an Displays“. Primož Kovačič studiert Maschinenbau an der Technischen Universität Graz und beschäftigt sich zurzeit mit der 3D Modellierung des Flugsimulators am Institut für Mechanik für die Integration in einen virtuellen Flugsimulator. Anbindung des Virtuellen Prototypen an die Partialmodelle intelligenter technischer Systeme Jan Berssenbrügge, Olga Wiederkehr Heinz Nixdorf Institut Universität Paderborn Fürstenallee 11, 33102 Paderborn Tel. +49 (0) 5251 / 60 62 32, Fax. +49 (0) 5251 / 60 62 68 E-Mail: {Jan.Berssenbruegge|Olga.Wiederkehr}@hni.upb.de Claudius Jähn, Matthias Fischer Heinz Nixdorf Institut und Institut für Informatik Universität Paderborn Fürstenallee 11, 33102 Paderborn Tel. +49 (0) 5251 / 60 64 66, Fax. +49 (0) 5251 / 60 64 82 E-Mail: {claudius|mafi}@upb.de Zusammenfassung Die fachdisziplinübergreifende Systembeschreibung Intelligenter Technischer Systeme erfolgt anhand einer Reihe von Partialmodellen. Die einzelnen Partialmodelle beleuchten jeweils detailliert spezifische Aspekte des Gesamtsystems, wie die Wirkstruktur oder die Gestalt. Die Partialmodelle sind untereinander stark vernetzt. Im Bereich des Partialmodells Gestalt sind die Verknüpfungen zwischen Gestalt und anderen Partialmodelle zwar bekannt, jedoch nicht in Form einer visuellen Darstellung umgesetzt. Der Virtuelle Prototyp, als digitales Abbild des Gesamtsystems, bildet einen geeigneten Ansatzpunkt für die Weiterentwicklung des Gestaltmodells. Ziel ist eine Darstellung der Zusammenhänge zwischen den Partialmodellen im Rahmen der Gestalt, um das Systemverständnis zu erleichtern. Hierzu sollen Aspekte des Gesamtsystems am Virtuellen Prototypen aufgezeigt und verortet werden. Anhand der Spezifikation eines Regalbediengeräts im Rahmen eines Transferprojektes aus dem Spitzencluster it´s OWL stellt der Beitrag die Anbindung einzelner Partialmodelle an den Virtuellen Prototypen und die prototypische Umsetzung vor. Schlüsselworte Partialmodelle, Wirkstruktur, Umfeldmodell, Aktivitätsdiagramm, Virtueller Prototyp, Intelligente Technische Systeme Seite 66 Berssenbrügge, Wiederkehr, Jähn, Fischer Linking the Virtual Prototype with the Partial Models of Intelligent Technical Systems Abstract The interdisciplinary specification of intelligent technical systems is carried out based on a set of partial models. The individual partial models highlight specific aspects of the overall system respectively, e.g. the active structure or the shape. The partial models are highly cross-linked among each other. In fact, for the partial model shape these crosslinks between the shape and other partial models are known, however, they are not visually translated. The virtual prototype, as a digital model of the overall system, forms a suitable starting point for the further development of the shape model. The aim is an illustration of the interrelation between the partial models in the context of the shape, in order to facilitate the system understanding. For this, aspects of the overall system are to be depicted and localized at the virtual prototype. Based on the specification of a storage handling system in the context of a transfer project in the leading edge cluster it´s OWL the paper introduces a link between individual partial models an the virtual prototype along with the implementation prototype. Keywords Partial Models, Active Structure, Activity Diagram, Virtual Prototype, Intelligent Technical Systems Anbindung des Virtuellen Prototypen an die Partialmodelle von ITS Seite 67 1 Einleitung Virtual Prototyping, d.h. die Simulation eines Prototypen anhand des digitalen Produktmodells, ist heute ein wesentlicher Bestandteil bei der Entwicklung von Intelligenten Technischen Systemen (ITS). Der Virtuelle Prototyp besteht dabei im Wesentlichen aus dem 3D-CAD-Modell des ITS, welcher im Rahmen von Virtuellen Design Reviews anhand von Abmaß,- Toleranz-, Baubarkeit-, Kinematikanalysen und weiteren Untersuchungen auf seine geometrischen Eigenschaften überprüft wird. Das 3D-CAD-Modell als Grundlage für das Virtual Prototyping beschreibt jedoch nur die Gestalt und ist damit nur eines von mehreren Elementen, welche zur Entwicklung von Intelligenten Technischen Systemen aufgestellt werden. Denn, bei der Entwicklung von ITS ist bekanntermaßen eine Vielzahl unterschiedlicher Fachdisziplinen involviert; hierzu zählt die Mechanik, Elektrik/ Elektronik, Regelungstechnik sowie die Softwaretechnik. Der Begriff Mechatronik bringt dies zum Ausdruck. Die zunehmende Multidisziplinarität stellt dabei einen wesentlichen Komplexitätstreiber in der Entwicklung dar. Methoden des Systems Engineering können einen wesentlichen Beitrag leisten diesen Herausforderungen zu begegnen; sie fördern die interdisziplinäre Zusammenarbeit und betrachten das System als Ganzes [INC13], [FMS12]. Die modelltechnische Abbildung der Zusammenhänge adressiert das Themenfeld Modelbased Systems Engineering (MBSE). Im Rahmen des MBSE wird ein Systemmodell in den Mittelpunkt der Entwicklung multidisziplinärer Systeme gestellt. Das Systemmodell bildet alle relevanten Aspekte von Beginn an ab und ist die wesentliche Grundlage für die Kommunikation und Kooperation der involvierten Fachleute. Ein Ansatz zur Erarbeitung eines Systemmodells, bildet die fachdisziplinübergreifende Spezifikationstechnik CONSENS (CONceptual design Specification technique for the ENgineering of mechatronic Systems) [GFD+08]. Sie bildet die wesentlichen Elemente zur Entwicklung eines ITS in Form von Partialmodellen ab, beispielhaft seien an dieser Stelle die Wirkstruktur, das Umfeldmodell, Anwendungsszenarien oder eben auch die Gestalt genannt. Die Partialmodelle sind untereinander stark vernetzt, im Bereich des Partialmodells Gestalt gibt es jedoch Weiterentwicklungspotentiale: So sind die Verknüpfungen zwischen der Gestalt und anderen Partialmodelle zwar bekannt, jedoch nicht in Form einer visuellen Darstellung umgesetzt. Konkret geht es um die Visualisierung weiterer Partialmodelle der Systemspezifikation im Rahmen des Gestaltmodells unter Zuhilfenahme von Methoden der Virtual Reality. Der resultierende Virtuelle Prototyp ermöglicht durch die Veranschaulichung und Verortung der Wirkflächen und -prinzipien eine visuelle Analyse von Wirkzusammenhängen zwischen den unterschiedlichen Partialmodellen. Dies unterstützt die multidisziplinären Entwicklungsteams und fördert das Systemverständnis. Hier setzt der vorliegenden Beitrag an. Ziel des Beitrags ist die Visualisierung der Partialmodellen Wirkstruktur, Umfeld und Anwendungsszenarien auf Basis der Gestalt durch Anbindung an einen virtuellen Proto- Seite typ. D tung Pro x ratio n scha f funk t des T ist e i OW L Der Bes c grei f weit e die V ter i t Anb i pen a näc h 2 Die L b ess e reits des S An w ten ( s Nac h [GT S    68 D er Beitra g der Partial m x y-Objekte ( n dieser O b f ten, und V t ionale Na c T ransferpro j i n intellige n L . folgende A c hreibung d f enden Syst e ren Syste m V orstellung t ´s OWL in i ndung anh a a uf Basis d h sten Arbeit Fachd L eistungsf ä e rung der K in zahlreic h S ystems st e w endungssz e s iehe Bild 1 h folgend w S 14]: Das U m feld. D a Element gesetzt. Anwen d auszule g System i szenarie n Bei de m Repräse n gelten w g stellt dah e m odelle üb e ( engl. Prox y b jekte kön n V erknüpfun g c hweis erfo j ektes iRe g n tes Regalb e A bschnitt 2 d er verschie emspezifik a m spezifikati der Anwe n Abschnitt a nd des Pa r d es PADre n en. isziplin ü ä higkeit de r K ommunik a h en Indust r e llt CONS E e narien, A n 1 ). w erden die m feldmodel l a bei wird d en, mit de n d un g sszen a g en ist und i n dieser S i n für einen m Partialmo n tation der w ährend de r e r die Anbi n e r die Anre y für Stellv e n en Funkti o g en zwisch e lgt anhand g abi des Sp i e diengerät e gibt zunä c denen Asp e a tion. Es f o o n im Gest a n dung im R a 3. Abschni t r tialmodell s nd -Systems. ü bergrei f Spezifikati a tion und K r ieprojekte n E NS die fo l n forderunge n einzelnen l b eschreibt d as System n en es inte r a rien chara k s pezifizier e i tuation ve r bestimmte n d ell Anfor d Anforderu n r gesamten n dung aus S e icherung d e e rtreter) he r o nen, wie A e n den Mo d der protot y i tzencluste r e ines Herst e c hst einen Ü e kte eines I o lgt die Vis u a ltmodell i n a hmen des t t 4 themat i s Anwendu n Der Beitr a f ende S y i onstechnik K ooperatio n n unter Be w l genden si e n , Funktio n Partialmo d die Einbet t zunächst a r agiert, de n k terisieren B e n gleichze i r halten soll n Fall das z u derun g en h n gen, dere n n Produkte n Berssen b S icht des vi r e s 3D-CA D r . Durch di e A nimatione n d ellen flex i y pischen I m r s it´s OW L e llers für L a Ü berblick ü I TS im Ra h u alisierung n Form ein e Transferpr o i siert die p r n gsszenari o a g schließt m y stemsp e CONSEN S der involv w eis gestell t e ben Aspe k n en, Wirks t d elle nähe r t ung des z u a ls Black B n sog. Umf e B etriebssit u i tig, in wel c . Somit ch a u löse n de P r h andelt es n Basis die A n twicklung b rügge, Wied e r tuellen Pr o D -Modells d e aspektori e n ode r phy s i bel umges e m plementie r L . Untersuc h a ge r system e ü ber die P a h men der f a ausgewähl t e s Virtuelle n o jektes aus r ototypisch e o an den Vi r m it einem A e zifikati o S sowie ihr i erten Fac h t werden. Z u k te zur Ver f r uktur, Ge s r kurz erl ä entwickel n B ox betrac h e ldelement e u ationen, fü r c her Art un d a rakterisier e r oblem. sich um d i A nforderun als „Messl a e rkehr, Jähn, F o totypen in d urch funkt i e ntierte Ko n s ikalische E e tzt werde n r ung im Ra h ungsgege n e aus der R a rtialmodel l a chdiszipli n t er Elemen t n Prototype n den Spitze n e Umsetzu n i rtuellen Pr o A usblick a u o n Beitrag zu r h leute konn t Z ur Beschre i f ügung: U m s talt und V e ä utert [G L n den in sei n h tet und m i e n, in Bezi e r die das S y d Weise si c e n Anwen d i e rechneri n n gsliste ist. D atte“ für d F ische r Rich- i onale n figu- E igenn . Der h men n stand egion l e zur n übert e der n und n clusn g der o toty- u f die r Vert e be- i bung m feld, e rhal- L12], n Um- i t den e hung y stem c h das u ngsn terne D iese as zu Anbi n B ild    n dung des Vi r entwick e tribute u 1: Partia Funkti o zu entw i sammen h gabe zu tion so l werden Funktio n Ziel der prinzipi e deren M temele m nenten; S schreibe n Währen d vorzune h tialmod e der Wir k erfolgt m r tuellen Proto t e lnde Prod u u nd deren A u lmodelle d e o nen b esch r i ckelnden S h ang zwisc erfüllen. B e l ange in S u können – n skataloge u Wirkstru k e llen Wirk u M erkmale s o m ente reprä s S toff-, Ene r n die Wec h d des Syst e h men. Die s e ll umfasst k flächen u n m it Hilfe gä n t ypen an die P u kt, der es g u sprägung k e r Spezifika t r eiben die h S ystems. Ei hen Einga n e i der Erste l u bfunktion e die Erstell u u nterstützt w k tur ist di e u ngsweise d o wie die B e s entieren S y r gie- und I n h selwirkung mentwurfs s e sind eb e Angaben ü b n d Wirkort e n giger 3D- C P artialmodell e g enügen m u k onkretisie r t ionstechni k h ierarchisch i ne Funktio n n gs- und A u l lung der F u e n untergli e u ng derart i w erden. e Abbildun g d es Systems e ziehungen y steme, M o n formations g en zwische n sind erste F e nfalls Teil ü ber Anzah l e des Syste m C AD-Syste m e von ITS u ss. Jede A r t. k CONSEN S e Aufglied e n ist der a l u sgangsgrö ß u nktionshie r dert bis si n i ger Funkt i g der grun d . Beschrieb der Syste m o dule, Ba u flüsse sow i n den Syst e F estlegung e der Syste m l , Form, La g m s. Die re c m e. A nforderun g S [GTS14] e rung der F u lgemeine u ß en mit de m r archie wir d n nvolle Lö s onshierarc h d sätzlichen S e n werden S m elemente z t eile oder e logische B e melemente n e n der Ges t m spezifikat i g e und An o c hnerintern e S g wird dur c unktionalit ä u nd gewollt m Ziel, ein e d die Haup t s ungen gef u h ien kann d Struktur u n S ystemele m z ueinander. Softwarek o B eziehung e n. t alt des Sy i on. Diese s o rdnung u n e Repräsen t eite 69 h Atä t des e Zu- Auf- t funk- u nden d urch n d der m ente, Sys- o mpo- e n bes tems s Parn d Art t ation Seite  Die g Gan z dell e b ear b 3 Die M stell e an H und K Roll e zipli n geg n kati o zwis c dell e zipli n gien b ess e Aus g Virt u Bau g der S for m vers c Virt u fläc h dert d Das CO N se R Parti Im R eine Reg a 70 Das Pa r ständen tur. g enannten A z es; daher b e n. Die As p b eiten, wen n V isuali s typen M ultidiszi p e n die invo l H erausforde r K ooperatio n e zuteil. Di e n fremder I n n en stellt d e o n dar. Die s chen den u e n können d n äre Entwi c und Wide r e rn. g angsbasis u elle Proto t g ruppen un d S ystemele m m , indem er c hiedenen P u ellen Prot o h en und -p r d as System v Fernziel is N SENS- b as i R ichtung ei n i almodelle a R ahmen de s erste prot o a lbedienger ä r tialmodell und Zusta n A spekte st e b esteht das p ekte und d n gleich es e s ierung d p linarität u n l vierten Fa c r ungen. In d n der am P r e s setzt das n formation e e r Einsatz v s e ermögli c u nterschied l d argestellt u c klerteams r sprüche fr ü ist der Vir t t yp visualis d Kompon e m ente. Dam i die Zuordn u P artialmod e o typens er m r inzipien u n v erständni s t die infor m i erte Mode l n e methodi a uf der Bas i s Transferp r o typische I m ä t eines He r Verhalten n dsübergän g e hen zuein a Systemmo d d ie entspre c e ine gewiss e d er Syst e n d die Prod u c hdiszipline n d iesem Zus a r oduktentst e rasche Erl e e n voraus. E v on Virtual hen bspw. l ichen Part i u nd notwen d werden in ü hzeitig zu t uelle Prot o i ert auf de r e nten des t i t bildet de r u ng und rä u e llen direk t m öglicht. D i n terstützt d i s . m ationstec h l lierungs-T o s che Anbi n i s des Rend e r ojekts iRe g m plementie r r stellers fü r umfasst d i g en sowie d a nder in B e d ell aus ei n c henden P a e Reihenfo l emspez i u ktkomple x n im Rah m a mmenhan g e hungspro z e rnen und V Eine Mögl i Reality-M e eine visuel l i almodelle n d ige Änder u die Lage v erkennen u o typ als ei n r Basis des t echnischen r Virtuelle u mliche V e t an den B i ese Veran s i e multidis z h nische An b o ols. In die s n dung des V e ringsyste m g abi des Sp rung. Den r Lagersyst e Berssen b i e Modelli e d eren Ausw i e ziehung u n n em kohäre n a rtialmodel l l ge gibt [G F i fikation x ität Intelli g en ihrer En g kommt d e z ess beteili g V erstehen i n i chkeit die s e thoden im l e Analyse n . Abweich u u ngen sofo r v ersetzt, di s u nd so die e n rechnerin t Gestaltmo d Systems u Prototyp e i e rortung de r B augruppen s chaulichu n z iplinären E b indung d e s er Arbeit w V irtuellen m s PADren d itzencluste r Ausgangs p e me aus de r b rügge, Wied e e rung von A i rkungen a u n d ergeben n ten Syste m e sind im W F D+08], [G T am Virt u g enter Tec h t wicklung v r zielgeric h g ten Akteur e n sbesonder e s er Heraus f Kontext d e von Wirkz u u ngen zwi s r t initiiert w s ziplinüber g e ntwickelte ernes Mod e d ells zunäc u nd simulie r i ne vielvers r einzelnen und Syste m g und Ver o E ntwicklun g e s Virtuelle n w ird als ers t P rototypen d umgesetz t r s it´s OW L p unkt stellt r Region O W e rkehr, Jähn, F Aktivitäte n u f die Wirk s ein konsis t m von Parti a Wechselsp i T S14]. u ellen P r h nischer Sy s v or eine Vi e h teten Inter a e eine beso e neuer bz w f orderung z e r Systems p u sammenh ä s chen Parti a w erden. Mu l g reifende S e Lösung z u e ll des IT S c hst ledigli c rt das Ver h s prechende Aspekte a u melemente n o rtung der W g steams un d n Prototyp e t er Schritt i n an ausge w t . L entsteht h ein intelli g W L. Im R a F ische r n , Zus trukt entes a lmo- i el zu r otos te m e e lzahl a ktion n dere w . disz u bep ezifiä ngen a l m ol tidis- S yner- u ver- S . Der c h die h alten Platt- u s den n des W i r kd för- e n an n diew ählte ierfür g entes h men Anbi n wer d noc h VR- S 5 Die G an d e Syst e wur d und Gru n proj e Ver h tate e Es i s verb l rung Dan Dies e teriu m gent e träg e chu n Wir Bere die g Lit e [Bul1 [ES1 4 [EJP 1 [FM S n dung des Vi r d en. In der p h manuell, d S ystem ver w Resüm e G rundlage n e n Virtuell e e mverständ n d en im Ra h prototypis c n dlagen au f e ktes iReg a h alten an d e e rscheinen v s t daher ge p l eibenden P s-Tools an z ksagung es Forsch u m s für Bil d e Technisc h e r Karlsruh e n g liegt bei d danken de n itstellung v g ute Zusam m e ratur 3-ol] B UL L 4 -ol] ES C R Dez e 1 1] E IKE Ren d sem e N ix d S 12] F RIE D Mod e r tuellen Proto t p rototypisc h d a bis jetz t w endet wir d e e und A n für die in e n Prototyp e n isses und h men des Q c h implem e f ein konkr e a bi durch d i e n Virtuelle n v ielverspre c p lant, die b P artialmod e z ubinden. u ngs- und d ung und F h e Systeme e (PTKA) b d en Autore n n Projektpa r v on Inform a m enarbeit i m L ET : Physics E R IPT : Extensi b e mber 2014 L , B.; J ÄHN , C d ering“. In: A u e ier, M. Grafe d orf Institut, U D ENTHAL , S.; e ling Langua g t ypen an die P h en Imple m t nur eine g d . A usblick diesem Be i e n eines int Unterstütz u uerschnitts p e ntiert. Ein e e tes Anwe n i e Anbind u n Prototyp e c hend und d b estehende A e lle auszu w Entwicklu n F orschung ( OstWestfa l b etreut. Die n . r tnern von d a tionen und m Rahmen E ngine. Unter b le Script Lan g C .; P ETRING , R u gmented & V und F. Meye r U niversität Pa d M OORE , A.; S g e. Morgan K P artialmodell e m entierung g raphische itrag vorge s t elligenten t u ng der a n p rojektes M e erste Ev a n dungsbeis p u ng der Pa r e n eines Re g d as Feedba c Anbindun g w eiten und g n gsprojekt ( BMBF) i m l enLippe (i t e Verantwo r d er Friedri c Daten zu d des it´s O W : http://bullet p g uage. Unter: R .: „PADrend: V irtual Realit y r auf der Hei d d erborn, Mai 2 S TEINER , R.: A K aufmann, W a e von ITS erfolgt die Repräsent a s tellte Anb i t echnischen n der Entw i M ensch-Ma s a luation a n p iel erfolgt e t ialmodelle g albedieng e c k seitens d g an den V i g gf. an C O wird mit m Rahmen d t ´s OWL)“ r tung für d e c h Remmer t d em betrac h W L-Transfe r p hysics.org, a b http://github . Platform for y in der Prod u d e. Bd. 295. H 2 011, S. 159 – A Practical G u a ltham, 2. Au f Zuordnung a tion der P a i ndung von Systems z u i cklung bet s chine-Inte r n hand der Ü e im Rahm e Wirkstruk t e rätes. Die e e r Projektp a i rtuellen Pr o O NSENS- ba Mitteln d e d es Spitze n gefördert u e n Inhalt di e t GmbH fü r h teten Rega l r projektes i R b gerufen am 4 com/EScrip t , Algorithm D e u ktentstehung. H NI-Verlagssc h 170. u ide to SysM L fl age, 2012 S g der 2D-Fl ä a rtialmode l n Partialmo d u r Förderu n t eiligten A k r aktion era r Ü bertragun g e n des Tra n k tur, Umfel d e rreichten R a rtner ist p o o totypen a u a sierte Mo d e s Bundes m n clusters „I n u nd vom Pr o eser Veröf f r die freun d l bedienger ä R egabi. 4 . Dezember 2 abgerufen a m e velopment a n . Hrsg. von J. c hriftenreihe. H L – The Syste m eite 77 ä chen le im d ellen n g des k teure b eitet g der n sferd und R esul- o sitiv. u f die d elliem inisn telli- o je k tf entlid liche ä t und 2 014 m 4. n d Gau- H einz m s Seite 78 Berssenbrügge, Wiederkehr, Jähn, Fischer [GFD+08] GAUSEMEIER, J.; FRANK, U.; DONOTH, J.; KAHL, S.: Spezifikationstechnik zur Beschreibung der Prinziplösung selbstoptimierender Systeme des Maschinenbaus. In: Konstruktion, Ausgabe 7/8-2008 und 9/-2008, Springer VDI-Verlag, Düsseldorf, 2008 [GLL12] GAUSEMEIER, J.; LANZA, G.; LINDEMANN, U.: Produkte und Produktionssysteme integrativ konzipieren – Modellbildung und Analyse in der frühen Phase der Produktentstehung. Hanser Verlag, München, 2012 [GTS14] GAUSEMEIER, J.; TRÄCHTLER, A.; SCHÄFER, W.: Semantische Technologien im Entwurf mechatronischer Systeme – Effektiver Austausch von Lösungswissen in Branchenwertschöpfungsketten. Hanser Verlag, München, 2014 [INC13] INCOSE: Systems Engineering Vision 2020. unter: http://www.incose.org/Products_Pubs/pdf/SEVision2020_20071003_v2_03.pdf, 2007, abgerufen am 20. August 2013 Autoren Dr.-Ing. Jan Berssenbrügge ist wissenschaftlicher Mitarbeiter in der Fachgruppe Produktentstehung am Heinz Nixdorf Institut der Universität Paderborn. Seine Forschungsschwerpunkte liegen in den Bereichen Virtual & Augmented Reality, Virtual Engineering sowie Virtual Prototyping und Simulation. Herr Berssenbrügge studierte Informatik an der Universität Paderborn und promovierte am Heinz Nixdorf Institut mit einem Thema zum Virtual Prototyping von Scheinwerfersystemen. Dipl. Wirt.-Ing. Olga Wiederkehr studierte Wirtschaftsingenieurwesen mit der Fachrichtung Innovations- und Entwicklungsmanagement an der Universität Paderborn. Nach Abschluss ihres Studiums war Frau Wiederkehr Beraterin bei der UNITY AG, einer technologieorientierten Unternehmensberatung. Seit 2012 ist sie wissenschaftliche Mitarbeiterin am Heinz Nixdorf Institut der Universität Paderborn bei Prof. Dr.-Ing. Jürgen Gausemeier. Ihre Tätigkeitsschwerpunkte liegen in den Bereichen Systems Engineering sowie Entwicklungsmethodik Mechatronik. Dipl.-Inform. Claudius Jähn studierte Informatik an der Universität Paderborn und ist wissenschaftlicher Mitarbeiter in der Fachgruppe Algorithmen und Komplexität am Heinz Nixdorf Institut. Seine Forschungsinteressen liegen im Bereich Computergrafik bei der Darstellung hochkomplexer Szenen und der Analyse von Szeneneigenschaften. Dr. rer. nat. Matthias Fischer studierte Informatik an der Universität Paderborn und ist wissenschaftlicher Mitarbeiter in der Fachgruppe Algorithmen und Komplexität am Heinz Nixdorf Institut. Er promovierte dort über verteilte virtuelle Szenen. Seine Forschungsinteressen liegen im Bereich Computergrafik, Echtzeit-Renderingalgorithmen und verteiltes Rechnen. Visualisierung von Anforderungen an physische Prototypen mit Augmented Reality Kevin Wrasse, Elisabeth Brandenburg, Dr. Haygazun Hayka, Prof. Dr.-Ing. Rainer Stark Fraunhofer-Institut für Produktionsanlagen und Konstruktionstechnik (IPK) Pascalstr. 8-9, 10587 Berlin Tel. +49 (0) 30 / 39 00 62 18, Fax. +49 (0) 30 / 39 30 246 E-Mail: [email protected] Prof. Dr.-Ing. Rainer Stark Fachgebiet Industrielle Informationstechnik (IIT), Technische Universität Berlin Pascalstr. 8-9, 10587 Berlin Tel. +49 (0) 30 / 31 42 54 14 E-Mail: [email protected] Zusammenfassung Tests an physischen Prototypen sind in der Produktentwicklung ein wesentlicher Bestandteil um Bauteile oder Baugruppen gegen Fehlfunktionen und zugunsten ihrer Anforderungskonformität abzusichern. Betrachtet man nun den Fall einer Absicherung an einem physischen Prototyp, so ist die Beziehung eines Bauteils zu den zugrundeliegenden Anforderungen nicht explizit an dem Prototyp sichtbar. Der Entwickler ist durch den Medienbruch mit einem erheblichen Aufwand konfrontiert, die Beziehungen zwischen den physischen Bauteilen und den textuellen Anforderungen herzustellen. Dieser zusätzliche Aufwand kann durch den Einsatz von Augmented Reality (AR) verringert werden. Dazu werden die vorhandenen Zusammenhänge zwischen Anforderung, Geometriemodell und dem physisches Bauteil so verwendet, dass die Beziehungen eines Bauteils oder einer Baugruppe zu den Anforderungen in das Sichtfeld des Entwicklers über ein mobiles Endgeräteingeblendet werden können. Im Rahmen dieses Beitrags wird die Untersuchung der Machbarkeit dieser Lösung beschrieben. Dafür wurden die Komponenten spezifiziert, konzipiert und prototypisch umgesetzt, die zu einer erfolgreichen Lösung des Problems beitragen. Schlüsselworte Augmented Reality, Traceability, Virtuelle Absicherung, Requirements Engineering, Produktentstehung Seite 80 Wrasse, Brandenburg, Hayka, Stark Visualization of Requirements on Physical Prototypes with Augmented Reality Abstract Tests on physical prototypes are an important part within product development because they ensure verification of components or assemblies against malfunctions and hence support their requirement conformity. In case of product verification with a physical prototype, the relationship between components and underlying requirements cannot be seen explicitly on the prototype. The develop engineer is confronted with significant efforts in order to rebuild the relationship between the physical prototype and the textual requirements due to media discontinuity. This additional effort can be decreased by use of Augmented Reality (AR). Therefore, the existing context between requirements, geometrical model and physical component are used in order to display the relationship of a component or assembly to its requirements. The engineering perspective is ensured by the appropriate assistance of mobile devices. In this paper, it is described how the feasibility of this solution can be explored. The components are specified, designed and implemented as prototypes which contribute to solve the problem successfully. Keywords Augmented Reality, Traceability, Virtual Validation, Requirements Engineering, Product Design Visualisierung von Anforderungen an physischen Prototypen mit Augmented Reality Seite 81 1 Einleitung Eines der ersten Ergebnisse im Produktentwicklungsprozess ist die Anforderungsspezifikation. Gegenstand der Anforderung sind Eigenschaften, Funktionalitäten und Qualitäten, die ein Produkt bekommen soll. Mit diesen wird beschrieben, was genau von einem Produkt hinsichtlich der Beschaffenheit, der Funktion, der Nutzbarkeit etc. erwartet wird. Für eine erfolgreiche Nutzung der Anforderungen ist ein Anforderungsmanagement erforderlich, welches dabei hilft diese schriftlich zu dokumentieren, zu strukturieren und für die Verwendung in den nachfolgenden Entwicklungsphasen nutzbar zu machen [Gra11]. Insbesondere bei komplexer werdenden Produktstrukturen bis hin zu domänenübergreifenden Systemen, deren Komplexität vorzugsweise mit den Methoden des Model-Based Systems Engineering (MBSE) [Est07] bearbeitet wird, kommt dem Anforderungsmanagement eine besondere Aufgabe zu. Die Anforderungen werden sowohl von den unterschiedlichen Domänen im Verlauf des Entwicklungszyklus herangezogen, um die Systemmodelle in ihren fortschreitenden Detaillierungsgraden und die Prototypen abzusichern als auch bei der Verifikation des daraus resultierenden physischen Prototypen. In diesem Beitrag wird ein Anwendungsfall betrachtet, bei welchem die Anforderungen an einen physischen Prototyp abgesichert werden. Dabei werden die anhand der Anforderungen definierten Test-Cases abgearbeitet und entsprechend der Ergebnisse bewertet. In diesem systematischen Ablauf können jedoch durch die direkte Interaktion und durch das Erleben des physischen Prototyps Erkenntnisse entstehen, welche keinem Test Case zugeordnet sind, und somit keinen Anforderungen explizit zugewiesen sind. Im Besonderen sind dabei die Anforderungen relevant, welche für Artefakte der mechanischen Domäne entstehen, die vor der Integration in das Gesamtsystem verifiziert werden müssen. 2 Anforderungen in der Produktentstehung Die Anforderungen an das zukünftige Produkt sind das erste Produktartefakt, welches im Smart Systems Engineering Entwicklungsprozess entsteht und dient als Grundlage für die weitere Produktentstehung. Anforderungen sollten stets schriftlich verfasst werden und ggf. hierarchisch strukturiert sein. In einem Dokument oder Datenbank hinterlegt, sind sie ein dynamisches Werkzeug für die anforderungskonforme Entwicklung [Gra11]. 2.1 Smart Systems Engineering Die Entwicklung von komplexen Produktsystemen wird durch die Verwendung von Vorgehensmodellen vereinfacht. Ein Beispiel hierfür ist das V-Modell des Smart Systems Engineering (eine Ausprägung des MBSE), welches in Bild 1 dargestellt ist. Die Erweiterung des Systems Engineering zum Smart Systems Engineering beinhaltet eine erweiterte Sicht auf die Absicherung der Entwicklungsartefakte. Hier können virtuelle, Seite B ild sowi Absi refle x Anf o den d zieh u den A Zus a Teill virt u den K hän g Anf o gen d 2.2 Dies e zurü c Es i s Veri f gen d nan d rung e Pro d grup p wer d ford e 82 1: Erweit e e physisch cherung ve r x ion werd e o rderungsm d ie funktio n u ng zu de n A nforderu n a mmenhän g l ösungen er a u ellen Prod u K omponen t g e aller Tei l o rderungen d en die Nac h Requir e e Fähigkeit c k zu den A s t eine Me t f ikation un d en Traceli n d erfolgende n en, den Fu n d uktstruktur p e aus all e d en, die ein e e rungen ve r e rtes V- M o d e Absiche r r wendet w e e n die Anf o anagement s n alen Zusa m n Anforder u n gen herges t g e in funkti o a rbeitet wu r u ktmodelle. t en der Tei l l komponen t über die w h verfolgba r e ment-T r , Beziehun g A nforderun g t hode des R d Validier u n ks genann t n Produkt m n ktionen i m hergestellt . e n vorange g e n Einfluss r wendet, u m d el l des Sm a r ungsplattf o e rden. Nac h o rderungen s in ein Or d m menhäng e u ngen teilw e t ellt werde n o nalen Teil s r den, begin n Schließlic h l systeme z u t en überpr ü w eiteren Pr o r keit (Trace a r aceabilit y g en zwisch e g en vorzuh a R equireme n u ng der A n t , bilden di m odelle ab. m Funktions m . Über dies e g angenen E auf dessen m die Mod e a rt Systems E o rmen, als h den Phase n formuliert d nungssche m e des Gesa m eise durch n . Weitere B s ystemen e r nt deren A b h we r den a u sammenh ä ü fen zu kö n o duktartefa k a bility) bes c y e n den Obj e alten, wird n ts Enginee r n forderunge i e Beziehu n Die Verbi n m odell, de m e Kette kö n E ntwicklun g Eigenscha f e lle abzusi c W r E ngineerin g auch Kom b n der Prod u und entsp r m a gebrac h m tsystems d direkte A b B eziehunge n r stellt. We n b sicherung a a lle Anford ä ngen [BR W n nen wird e k te voraus g c hrieben. e kten der ei n Traceabili t r ing und h i n . Die Ve r n g zwische n n dung wer d m Verhalte n n nen von ei n g smodellen f ten haben. c hern und e r asse, Brande n g nach R. S b inationen u ktplanung u r echend de n h t. Im Ansc h d efiniert. H leitung der n werden m n n die dom ä a nhand der e rungen v e W +12]. Um e ine Nachv e g esetzt. Da h n zelnen Pr o y genannt [ i lft dem E n r bindungsel e n den Ele m d en zwisch e n smodell u n n em Bautei l alle Elem e Zum eine n e ntsprechen d nburg, Hayk a S tark [BRW + von Beide n und Archit e n Methode n h luss dara n H ier kann di r Funktione m ittelbar üb e ä nenspezifi vorausgeh e e rifiziert, d i m die Zusa m e rfolgbark e h er wird i m o duktmode l [ Bei14], [F i n twickler b e emente, i m m enten de r a e n den An f n d den Teil e l oder eine r e nte identi f n werden di e n d Fehler z u a , Star k + 12] n zur e kturn des n wer- e Ben aus e r die s chen e nden i e mit m menit der m Foll le bis i g14]. e i der m Fol- a ufeif or d e- e n der Bauf iziert e An- u ver- Visualisierung von Anforderungen an physischen Prototypen mit Augmented Reality Seite 83 meiden (Vorwärtstraceability). Zum anderen werden die Zusammenhänge genutzt, um bei Fehlern die Anforderungen ausfindig zu machen, welche nicht berücksichtigt, fehlerhaft oder fehlend sind (Rückwärtstraceability) [GF94]. Die Prüfung von Anforderungen erfolgt u. a. durch Prototypen, neben Inspektionen, Walkthroughs und Checklisten [Gra11]. Und diese Kombination aus Prototyp und Rückwärtstraceability soll in dieser Entwicklung genutzt werden, um nicht Test-Case spezifische Erkenntnisse nutzbar zu machen. 2.3 Absicherung von Anforderungen am physischen Prototyp Ein Prototyp ist eine Annäherung an ein Produkt unter Betrachtung einer oder mehrerer Dimensionen des Interesses, das heißt es werden nur Teile aller Anforderungen umgesetzt. Der Vorteil ist, dass durch das „Arbeiten“ am Produkt, Aussehen, Funktion und Verhalten des Produktes erlebt werden können [Ulr12], [ALS13]. Zusätzlich entsteht bei der Verwendung von physischen Prototypen der Effekt, dass durch diese insbesondere unerwartete Eigenschaften des Produkts zum Vorschein kommen. Während virtuelle Prototypen sehr zielgerichtet zur Untersuchung einer oder mehrerer definierter Eigenschaften erstellt werden, so wirkt beim physischen Prototyp die Gesamtheit der physikalischen Umgebungseinflüsse, wodurch auch vorher unbeachtete Effekte zum Vorschein treten. Darüber hinaus kann durch einen physischen Prototyp ein größeres Spektrum der menschlichen Sinneswahrnehmung angesprochen werden, wodurch auch mögliche implizite Kundenanforderungen besser abgesichert werden können. In einem Projekt am Fachgebiet Industrielle Informationstechnik der Technischen Universität Berlin wurde das Smart-Tripelec, ein dreirädriges elektrisches Fahrrad, entwickelt und prototypisch produziert. An diesem physischen Prototyp des Tripelec wurden nun in ersten Tests funktionale Probleme deutlich. Die Fehler waren eine schwergängige Antriebskette und eine klemmende Lenkung. Um diese Fehler vollständig zu beheben, ist es notwendig alle Anforderungen, die zu der funktionalen Gruppe gehören, zu identifizieren. In einer Werkstattumgebung ist es nicht immer möglich auf kurzem Wege alle Entwicklungsdaten abzurufen. 2.4 Problemstellung und Lösungsansatz Die Absicherung an physischen Prototypen ist ein erforderlicher Prozess, und die Einhaltung der Anforderungen ist notwendig für ein valides Produkt. Die Schwierigkeit des Prüfers besteht jedoch darin, dass an einem physischen Prototyp die Beziehung eines Bauteils zu den zugrundeliegenden Anforderungen nicht immer explizit sichtbar ist. Der Prüfer ist durch den Medienbruch mit einem erheblichen Aufwand konfrontiert, die Beziehungen zwischen den physischen Bauteilen und den textuellen Anforderungen herzustellen. Hier wäre also ein Ansatz sinnvoll, welcher die beiden Informationen in ein Blickfeld integriert. Außerdem ist die Rückverfolgung der Verbindungen zwischen den Produktmodellen nur in einem Anforderungsmanagement-Tool möglich (bspw. Doors). Seite Bild Es e r zu tr tion e Lös u elle I typ) und A 3 Für sinn v Sch n real e iden t Proz e darg e zwis c sich t wer d     84 2: Übersi c r fordert vie ansferieren e n direkt in u ngsansatz i I nformatio n visualisier t A R genaue r V isuali s eine Verei n v oll, diese ü n ittestelle e i e Objekt d t ifiziert un d esse, die i n e stellt. Be n chen diese n t bar sind. A d en, welche Realer p CAD-M Produkt a Verbind u c ht der Dat e l Erfahrun g . Hier wäre den Mont a i st die Ver w n en (die A n t und bearb e r beschrieb e s ierung v n fachung d ü ber eine v i gnet sich e i d etektiert w d deren Ver w n der Anw e n ötigt werd e n Anforder u A uf diese r folgende A hysischer P odell, welc h a nforderun g u ngen von e e n und P ro z g , diese To o folglich ei n a ge- und U n w endung vo n n forderung e e itet werde n e n. v on Anf o d er Validat i isuelle Sch n i n Tablet-P C w erden kan n w altung ge k ndung ver a e n die Anf o u ngen und d r Datengru n A nzeigen en t P rototyp, h es eine U n g en un d e inem Baut z esse f ür di e o ls zu bedi e n e Softwar e n tersuchun g n Augment e n) an eine m n können. I o rderun g i on von A n n ittstelle m C, welches n n. Weiter h k lärt werde a rbeitet we r o rderungen den Bautei l n dlage mu n thält: n terscheidu n t eil zu den e W r e Anforderu e nen und k o e sinnvoll, d g sbereich fü e d Reality ( m realen O I m Folgen d g en an p n forderung e m iteinander z über eine K h in müsse n n. Die Zus a r den, sind i n an das Pro d l en, welch e s s eine G e n g der Bau g e ntsprechen d r asse, Brande n n gsvisualis i o stet Zeit d i d ie die Tra c ü r den Pro t ( AR), mit d b jekt (der p d en wird d e h ysisch e e n am Pro t z u verknüp f K amera ver die erfor d a mmenhän g n einer Üb e d ukt und d i e a m physis e staltungsl ö g ruppen/ B a d en Anfor d nburg, Hayk a ierun g i e Informa t c eabilityinf o t otyp bring t d eren Hilfe t p hysische P e r Lösungs a e m Prot o t otyp ist e s fen. Als vi s r fügt, mit d e derlichen D g e der Date n ersicht in B i e Verbind u s chen Proto ö sung kon z a uteile zulä s d erungen. a , Star k ionen o rmat . Der t extu- P roto- a nsatz o typ s also s uelle e r das D aten n und B ild 2 u ngen t ypen z ipiert s st, Visu a B ild De m vant e kier u Dies gen a halt e Obj e tung s DM U den j hiert ents p den v stell t zuse h 3.1 Die V Les b De m med i Dies e a lisierung von 3: Konzep t m Entwickle r e n Daten ü b u ngen oder ist notwen d a nzupassen e nden Kom p e kts, CAD- D s richtlinien U / CAD-D a j e nach IT - . Die Trac e p rechenden v on dem A t en 3D-CA D h en. Gestal t V isualisier u b arkeit für d m entspreche n i en, VR od e e Betracht u Anforderung t der Daten f r sollen b ei b ersichtlic h Textei n ga b d ig, um im und Fehlf u p onenten z u D aten, An f für A R -A n a ten, auch d - Lösung au s e links zwis Datenban k AR -Werkze u D -Modelle n t ungsric h u ng der In fo d en Betrac h nd variiere n e r AR), An w u ng von M e en an physisc f lüsse für d i der Absic h h dargestell t b en Änder u nächsten I t u nktionen z u ermöglic h fo rderungsd n wendunge n d ie Anford e s dem ents p c hen Anfo r k in das D a u g aus de m n verknüpft . h tlinien f ü fo rmationen h ter, auch z n Gestaltu n w ender un d e nsch, Tec h c hen Prototyp e d ie Anforde r h erung am p t werden, s o u ngen in d e t erationssc h z u beheben. h en wird ei n d aten, Verb i n benötigt. e rungen un d p rechende n r derunge n u a tenmodell m Datenmo d . Eine Übe r ü r AR-Inf o n sollte neb e z ielgericht e n gsrichtlini e d dem Nutz h nologie u n e n mit Augm e r ungsvisual i p hysischen o ndern er s e n Anford e h ritt der Üb e Um die in n entsprech e i ndungsdat e Das Daten m d Tracelin k n Anforder u u nd CAD- D eingefügt. D d ell heraus g r sicht zu de o rmation e e n dem ein f e t auf die z e n je nac h u ngskonte x n d Aufgab e e nted Reality i sierung au f Prototyp n i oll auch in rungen ve r e rarbeitung diesem Lö e nd ein Tr a e n (Traceli n m odell ent h k s. Die An fo u ngsmanag e D aten werd D iese Abh ä g elesen un d n Datenflü s e n f achen Ver s z u erfüllen d h Medium x t (DIN EN ist der Fo r S f dem Tabl e i cht nu r di e n Form von r merken k ö die Anfor d ö sungsansat z a cking des r n ks) und G h ält neben d f orderunge n e ment-tool e d en auch a u ä ngigkeite n d mit den d s sen ist in B ständnis u n d e Aufgabe (Monitor, P ISO 9241 rschungssc h eite 85 e t-PC e rele- Mar- ö nnen. d erunz entr ealen G est a ld iesen n wer- e xt r a- u s der werd arge- B ild 3 n d der sein. P rint- - 11). h wer- Seite 86 Wrasse, Brandenburg, Hayka, Stark punkt der Gestaltung von User Interfaces (UI). Die Gestaltung von AR-UIs muss neben allgemeinen Gestaltungsparametern die folgenden spezifischen AR-Parameter beachten (aus [Weg12]):  Redundanz: Redundanz liegt dann vor, wenn die Informationen auf dem AR- Medium exakt den dahinterliegenden realen Komponenten entsprechen. Es sollten Redundanzen vermieden werden. Wenn redundante Visualisierung verwendet wird, dann sollten die realen Komponenten sichtbar sein.  Realismus und Ähnlichkeit: Die dargestellten Informationen können sowohl abstrakt als auch realistisch abgebildet werden. Die Parameter Größe, Konturform und Farbe sollten nicht realistisch wiederholt werden, da ähnliche Darstellungen die Detekti  onsleitung vermindern. Eine Restähnlichkeit sollte jedoch zur Bezugsbildung erhalten bleiben.  Gruppierung: Gruppierung meint niedrige Distanzen zwischen den AR- Informationen untereinander. Diese Bündelung sollte vermieden werden [AH05].  Dimensionalität: Die Information kann zwei- oder dreidimensional dargestellt werden. Bei der dreidimensionalen Visualisierung kann zusätzlich die Tiefenposition verändert werden. Beide Dimensionsparameter Form und Position sollten dem realen Pendant entsprechen.  Transparenz: Dargestellte AR-Informationen können durchsichtig sein. Dies ermöglicht die Sichtbarkeit der realen Komponente.  Konforme und nonkonforme Aufblendung: Bei der konformen Aufblendung liegen AR- und reale Informationen übereinander, bei der nonkonformen danebenstehend. Diese Positionierung, die die Sichtbarkeit der realen Komponente ermöglicht, ist zu bevorzugen, sollte jedoch mit einer Verbindungslinie unterstützt. Diese Gestaltungsrichtlinien werden in der AR-Anwendung umgesetzt werden. 3.2 Implementierung der AR-Anwendung Für virtuelle Überlagerung von Informationen an realen Objekten im Rahmen von Augmented Reality gibt es verschiedene Möglichkeiten. Die einfachste Möglichkeit ist das markerbasierte Tracking, wobei ein zweidimensionales Muster von der Kamera erkannt und dessen Pose im dreidimensionalen Raum berechnet wird. Dafür ist es erforderlich, dass der Marker einen definierten Abstand zu dem physischen Objekt einhält und sich die gesamte Zeit des Trackings vollständig im Kamerabild befindet. Dies kann insbesondere bei engen Bauräumen kompliziert werden, so dass hier nach einer Alternative gesucht werden muss. Das in einem CAD-System entworfene Geometriemodell lässt sich in einer komprimierten Form als Digital Mock-Up (DMU) speichern. Mit dem Seite 94 Meder Depth Image Based Rendering for decoupling slow rendering processes from display Abstract Since the beginnings of computer graphics limited hardware capabilities fail to provide interactive frame rates of 3D-scenes. Hardware performance increases with time, but so does the amount of objects to display. Existing techniques to alleviate this problem, like Visibility Guided Rendering, still face problems such as for certain use cases unsuitable low frame rates or scene-dependent frame rate fluctuations. This work therefor focuses on researching a rendering technique which is able to guarantee a non-fluctuating frame rate independent of scene complexity. In line with this requirement is a low response time to user inputs (camera movement should cause nearly instantaneous display updates). Literature calls the technique to achieve this Depth Image Based Rendering (DIBR). The basic idea constitutes of using the depth and color image – both common results of today's rasterization methods – to create new view images by projecting the picture contents to new camera views. A challenge is presented by scene parts invisible in the classically rendered images which cause holes in the new view images (information gaps). In detail, possible efficient GPU-implementations of DIBR and methods for dealing with information gaps or rather the diminishing of resulting artifacts will be discussed. The technique presents itself as much cheaper than the classical rendering and can therefor provide high frame rates. Likewise, holes can be greatly reduced using simple methods. In addition, remaining limitations of the DIBR technique and further applications apart from the single-user-workstation, like mobile devices, are discussed. Keywords GPU, rendering, depth, image based, interactive frame rate Dept h 1 Ein b gest e dyn a spre c (60 H Det a die s wirk e Ziel eine r wen d lich. in A wer d folg e Lös u Syst e rens, 1.1 Bild Das vore r Es g e Bild h Image Base d Einfü h b estehende s e lltem Sze n a mischen R c hender Sz e H z) nicht a u a ilveränder u s ubjektiv a l en oder An f ist es dahe r r seits eine h d ig, andere r Die dazu e A bschnitt 1. d en. Kapite l e nd unters u u ng. Einen E e ms liefert , weitere A n Depth 1: DIBR- P DIBR Ver f r st nicht un t e ht von ein 1 zeigt, d e d Rendering z h rung s Problem d n endetailgr a R eduktion j e e nengröße u s (vgl. Ka p u ngen resul t l s unangen e f orderunge n r , dem An w h öhere ang e r seits ist ei n e ingesetzte K 1 erläutert, l 2 b eschre i u cht Kapite l E indruck d e Kapitel 5 u n wendungs m Image B a P rojektion v f ahren ist i n t er diesem N em Farbbil d e finieren di e u r Entkopplu n d er inte r akti a d und der e nes Detail g oder zu g e p itel 5, Bild t ieren dara u e hm empfu n professio n w ender solc h e zeigte Bild r n e zügige R K ernmetho d während i i bt geeigne t l 3 Proble m e r Verfahre n u nd Kapite l m öglichkei t a sed Ren v on Farb- u n der Liter a N amen, so n d und dem e Bildpixel n g langsamer i ven Comp u resultieren d g rads (Cul l e ringer Ha r 7 Quellren u s letztend l u nden werd e n eller Anw e h problema t d rate als die R eaktion de r de „Depth I i n Abschni t t e Implem e m e dieser V n sperforma n l 6 geht au f t en und kü n dering u nd Tiefenb i a tur bereits n dern 3D-I m dazugehör i bereits du r Renderproze s u tergrafik i s d en Bildw i l ing, Level - dwareleist u derer). Au c l ich niedri g e n können e ndungen u n t ische Bild r des eigent l r Anzeige a u I mage Bas e t t 1.2 verg l e ntationen a V erfahren u n n z des in K a f bestehen d n ftige Arbei t i ld in ande r um 1990 b m age-Warp i gen Tiefen p r ch die je w s se von der D a s t die Balan i ederholrat e - of-Detail) u ng für ho h h aufgrund g e, schwan k und produ k n erfüllt las s r aten zu ve r l ichen Ren d u f Nutzerei n e d Renderi n l eichbare A a uf der Gra f n d erläutert a pitel 4 zus d e Limitati o t en ein. r e Ansichte n ekannt ge w i ng [MM9 7 p uffer als E w eilige x-y- B arstellung S n cierung vo n e . Technik e reichen be i h e Bildrate n szenenbed i k ende Bild r k tivitätshin d s en. r bergen. D a d erprozesse s ngaben erf o n g“ (DIBR ) A rbeiten ge f ikkarte. D a die ange w s ammengef a o nen des V e n w orden, wo b 7 ] geführt w E ingabe aus B ildpositio n eite 95 n darn zur i e n tn ziele i ngter r aten, d ernd a zu ist s not- o rder- ) wird nannt a raufw andte a ssten e rfahb ei es w urde. . Wie n und Seite 96 Meder die im Tiefenpuffer gespeicherte z-Koordinate eine 3D-Punktewolke im Bildraum der zugehörigen Kamera1.  󰇛󰇜 (1) Gemäß Formel (1) müssen die vorhandenen Punkte lediglich durch Inversion der Bild- und Kameraraumtransformation zurück in den Weltraum und anschließend durch Anwendung der zur gewünschten neuen Ansicht gehörenden Transformationen in den neu- en Bildraum transformiert werden.  ist dabei die Bildebenenprojektionsmatrix2,  die Rotationsmatrix und  die Translationsmatrix des Kameraraums i sowie  die homogenen Koordinaten eines Punktes in Bildraum i. 1.2 Relevante Arbeiten Eine der hauptsächlich anzutreffenden Anwendungsrichtungen des DIBR ist die Erzeugung von Pseudostereobildpaaren. Ein früher Ansatz von McMillan et al [MB95]. erzeugt diese für Head-Mounted-Displays, wobei er eine für diesen Fall effizientere Projektion verwendet. Der DIBR Begriff wurde erstmals von C. Fehn geprägt, der seinem „Shift-Sensor“-Algorithmus auf einer einfachen, lediglich in x-Richtung stattfindenden DIBR-Projektion aufbaut [Feh03]. Seine Idee und Grundtechnik wurde unter anderem von Zhang et al. [ZT05] und Ndjiki-Nya et al. [NKD+11] weiterverwendet. Letztere adaptierten Fehns Technik auf die für brillenloses 3D bei mehreren Betrachtern notwendige Erzeugung multipler Stereobildpaare aus einem einzigen gegebenen. Xi et al [XWY+13].und Oh et al [OYH09].approximieren eine inverse DIBR-Projektion von Zielzu Quellbild um Abtastungsfehler zu vermeiden. Die andere Hauptanwendungsrichtung, in die sich auch diese Arbeit einordnet, liegt in der Synthese beliebiger Kameraansichten. Ansätze von Max et al. [MO95] Shade et al. [SGH+98]und Popescu et al. [PLA+98].modellieren die Szene in Form diskreter, offline mit hoher Qualität vorberechneter Quellbilder, aus denen eine über DIBR projizierte Untermenge ein gewünschtes Ansichtsbild liefert. Ebenfalls offline vorberechnet sind die Dreiecksnetzte von Darsa et al. [DCV97] und Fu et al. [FWH98] die die Szene durch eine hochauflösende Texturierung imitieren (auch als Impostoren [GFB13] bezeichnet). Ghiletiuc et al. [GFB13] berechnen solche Impostoren online auf einem Server und rendern diese auf mobilen Endgeräten. Dagegen senden Chang et al [CG02]. die Quellbilder direkt zu den Klienten, welche die komplette DIBR-Projektion ausführen. Die Idee des DIBR ist sehr ähnlich der der Motion Compensated Frame Interpolation (MCFI) [LN10]. Beide Techniken zielen auf eine Bildsynthese aus den vorhandenen 1 Im Folgenden werden zur Projektion verwendete Daten wie Farb-, Tiefenbild und Kameraeinstellungen als Quelle bezeichnet bzw. mit dem Präfix Quellversehen und Ergebnisse analog als Ziel. 2  ist hier eine in der Computergrafik gebräuchliche perspektivische Projektion, jedoch ist das Verfahren auch auf andere Projektionsarten anwendbar. Dept h Echt b zelb i und M 2 2.1 Bild Der 3D- B b ild u Eine mitt e lich i fern GP U b ei T b ild s 2.2 Das dern drei S h Image Base d b ildern ab, i lder (berei t M CFI kön n DIBR a Punkt b 2: Lücke n einfache A B ildraumpu n u ng zwisch e Lösung di e e ls Punktre n i st, allerdi n nicht-unif o U realisiert w T exturmap p s nicht ohn e Rein B Projektion s reine Pixe l Schritte ze r d Rendering z allerdings i t s vorhande n n en ineinan d a uf der G b asiert (a) n (weiß) bei nsatz aus A n kte zu tra n e n den Bild p e ses Probl e n dering unt n gs werden o rme Reko n w erden kö n p ing favori s e Weiteres a ildbasie r s verfahren v l abbildung e r legt.   Modellquelle: Boein g u r Entkopplu n i st MCFI a u n e Videos) , d er überfüh r G PU (a) reiner P A bschnitt 1 . n sformiere n p ixeln des Q ms stellt S p er Variatio n d ie Pixel a l n struktions k n nen. Inver s s ierte Lösu n a ngewendet r t v on Morva n n. Hier wi r     g 777 (The Boeing Co m n g langsamer u f zeitlich a , ohne zusä t r t werden [ M P unktproje k .1, lediglic h n , zeigt sch n Q uell- und Z p latting [ W n der Punk t l s Quadrat u k ernel [Wes s es Mappi n n g) kann h i werden. n [Mor09] v r d der Tran s    m pany) Renderproze s a ufeinande r t zliches Ti e M ed14]. k tion, im G e h die durc h n ell Proble m Z ielbilds is t W es90] dar, d t größe auf h u mgesetzt. B 90], die all n g vom Zie l i er aufgrun v erwendet k s formation s  󰇛  s se von der D a r folgende u n e fenbild, au s (b) e gensatz zu h die Input b m e wie in B t oft nicht e i d essen ein fa h eutigen G r B essere A b erdings sc h l in den Q u d des fehl e k ein Primit i prozess au s  󰇜 Modellquelle: Boein g arstellung S u nd korrekt e s gerichtet. D (b) Splatti n b ilder defin i B ild 2a: Di e i neindeutig f ache Umse r afikkarten b schätzung e h wieriger a u u ellbildrau m e nden Zielt i i vrendering s Abschnitt g 777 (The Boeing Co m eite 97 e Ein- D IBR ng i erten e Ab- . t zung mög- e n lie- u f der m (die i efen- , son- 1.1 in (2) m pany) Seite 98 Meder Abgeleitet wird der Algorithmus aus einer Umformung3 von Formel (1) welche in Formel (2) gegeben ist.  bezeichnen die Translationsvektoren der Bildräume und  der Abstand von  zu Kamera 1 im Weltkoordinatensystem4. Die Translationskomponente 󰇛󰇜 kann in einzelne x- und y-Verschiebungen zerlegt werden, was eine einfache zeilen- oder spaltenweise Interpolation zwischen zwei benachbarten Pixeln nach der Verschiebung ermöglicht [Mor09]. Lücken des vorigen Abschnitts werden so vermieden. Die Umsetzung dieser beiden Translationsschritte ist nicht in der Standardgrafikpipeline möglich, da eine Projektion das Schreiben mehrerer Pixel in einem Schritt voraussetzt [Med14]. Die seit einiger Zeit existierenden General-Purpose-Computing Schnittstellen wie CUDA, DirectX Compute Shader oder OpenCL erlauben dies jedoch. Als letzter Schritt wird das entstandene Zwischenbild mittels der verbleibenden Transformationen    in den Zielbildraum projiziert, was einer projektiven Texturabbildung entspricht und damit Standard-GPU-Texturfunktionen zulässt [Mor09]. 2.3 Dreiecksbasiert (a) (b) Bild 3: (a) Vollständige Triangulation des Quellbilds, (b) Adaptive Triangulation anhand des Tiefenbilds, ausgehend von einem groben Dreiecksnetz ( detektierte Tiefenkante) Die in dieser Arbeit erforschte Variante konstruiert aus den durch das Tiefenbild gegebenen 3D-Punkten ein Dreiecksnetz, welches mittels des Farbbilds texturiert wird. Bild 3a zeigt einen einfachen Fall (verwendet in [MM97]), bei dem jedes Bildpixel als Vertex modelliert wird und zwischen vier benachbarten jeweils zwei Dreiecke gebildet werden. Die Transformation aus Abschnitt 1.1 wird auf jedes Vertex angewendet und das Dreiecksnetz klassisch gerendert. Lücken werden durch die GPU-inhärente Interpolation der Vertexattribute vermieden. 3 Eine vollständige Herleitung kann [Mor09] oder [Med14] entnommen werden. 4 aus der durch das Tiefenbild gegebenen Bildraumtiefe von  zurückrechenbar Dept h Auf g heut e Da Q tion e ter V Daz u der h Tess e b aut , tiert. jedo c Die d fika n mati v 3 3.1 Bild Ein H Sze n äuße der F zusa m „Ru b 5 m i s 6 Zu m h Image Base d g rund der e e verwende t Q uellbildbe r e n benötige n V erwendun g u wird ein m h ardwareb e ellatio n -Sh a , dass bei m Dadurch k c h kann, wi d ynamisch e n te Tiefend i v auf den a c Lochr e Detekt 4: a) I m Q b) Bei m H auptprobl e n eninformat rt (siehe B i F orm wie i n m menhäng e b be r -Sheets s t die Breite, n m Zeitpunkt d e Modellquelle: Boein g d Rendering z e ntstehende t en Auflös u r eiche mit g n , wird ein e g der Tessel m alig ein g r e grenzten m a der wird d m aximaler U k önnen Teil b e Bild 3b z e e Unterteil u i fferenz du r c hsenparall e e duktio n ion von I n Q uellbild f e m dreiecksb a e m des DI B ion, was s i i ld 4a). Be i n Bild 4b al s e ndes Drei e “ [Mor09] o n die Höhe de s e r Implement i g 777 (The Boeing Co m u r Entkopplu n n 2⋅󰇛 u ngen wie F g eringen V a e adaptive E l atio n -Sha d r obes Drei e m aximal m ö d ieses Net z U nterteilung b ereiche de s e igt, eine g r ng eines P r r ch den zu g e len Kante n n n formati o e hlende In fo a sierten Ve r BR -Verfahr e i ch als sic h i m Verfahr e s falsche Fl ä e cksgitter l o der als „S k s Quellbilds. i erung waren m m pany) n g langsamer 1󰇜󰇛1󰇜 F ullHD (19 2 a rianzen in d E rzeugung d e r -Fähigke e cksnetz fü r ö glichen U n z entsprech g aller Prim i s Quellbild s r oße Erspa r r imitivs wir d g ehörigen Q n des Primi t o nslücke fo rmation f ü rfahren hi n e ns ist in d e h tbare Lüc k e n dieser A ä chen, was l iegt. Dies e k ins“ [GFB m aximal 64² U Renderproze s Dreiecke 5 2 0x1080 Pi x d en Tiefen w des Dreiec k i ten heutig e r alle Proje k n terteilung e nd der Q u i tive wiede r s immer no n is zum vo r d nur vorg e Q uellbildbe r t ivs überpr ü n ü hrt zu Lüc k gegen zeig e e n verwen d k en in syn t A rbeit zeigt an der Inte r e Artefakte 13] b ezeic h U nterteilunge n Modellquelle: Boeing s se von der D a wird dies e x el) zu auf w w erten nur g k snetzes vo r e r Grafikka r k tionen ko n eines Pri m u ellbildaufl ö r das Netz a c h zu stark r igen Ansa t e nommen, s r eich verlä u ü ft wird (sie k en (weiß) e n sich Art ef d eten Einze l t hetisierten sich das P r r pretation d werden u n h net. n möglich. 777 (The Boeing Co m arstellung S e s Vorgeh e w ändig [M e g robe Tria n o rgenomme n r ten. n struiert. I n m itivs 6 durc h ösung so a a us Bild 3a r triangulier t t z entstehe n s ofern eine u ft, was ap p e he Bild 3b ) in Projekt i ef akte. l bildern fe h Nutzerans i r oblem jed o d es Bildrau m n ter andere m m pany) eite 99 n bei e d14]. n gulan , unn folge h den a ufger esult sein, n . s ignip roxi- ) . i onen. h lende i chten o ch in m s als m als Seite 100 Meder Solche Flächen verhindern die Bildung einer Lückenmaske7 und müssen gesondert detektiert werden. Dies wird über eine Kantenerkennung im Quelltiefenbild, anhand dessen diskreter zweiter Ableitung (Laplace-Operator [Wan07]), erreicht. Während der DIBR-Projektion werden die erzeugten Vertices nun markiert, sofern ihre zugehörigen Quellbildpixel auf einer detektierten Kante liegen. Dreiecke, deren Vertices alle markiert sind, werden als falschen Flächen identifiziert und entfernt. Ist der Tiefenabstand zwischen den Pixelbereichen nicht zu groß relativ zur Kamera, so bieten diese falschen Flächen jedoch eine brauchbare erste Füllung der korrespondierenden Informationslöcher. Die Kantendetektion zwischen zwei Quellpixeln wird daher vermieden, wenn ihr Tiefenabstand einen Schwellwert unterschreitet, welcher proportional zum Abstand der Pixel von der Kamera skaliert. 3.2 Multi-Kamera-Ansatz Zum Füllen der detektierten Löcher wird hier ausschließlich auf vorhandene Szeneninformation zurückgegriffen. In anderen Arbeiten verwendete Inpaintingverfahren (bspw. in [NKD+11]) können zwar optisch plausible Rekonstruktionen liefern, weisen jedoch häufig merkliche Diskrepanzen zur korrekten Darstellung auf [Med14]. Multi-Layer Ansätze wie in [GFB13] hingegen erfordern eine Modifikation des Quellrenderers. Daher wird für die Einzelbildsynthese ein Ansatz mit mehreren DIBR-Projektionen verschiedener zeitlich zurückliegender Einzelbilder verwendet. Löcher die so gefüllt werden können enthalten weitestgehend korrekte Szeneninformation. Neue Quellbildpaare werden vom klassischen Renderer asynchron erzeugt und in einen Puffer gelegt. Da nicht beliebig viele DIBR-Vorgänge ausgeführt werden können, werden die sinnvollsten Quellbilder in diesem Puffer nach folgendem Kriterium aufsteigend ausgewählt: 1‖‖ 0.5󰇛∘1󰇜1 (3) ‖‖ ist der euklidische Abstand von Pufferkamera i zur aktuellen Nutzerkamera u und ∘ das Vektorskalarprodukt ihrer normierten Blickrichtungsvektoren. Es werden also Quellbilder bevorzugt, deren erzeugende Kamera eine geringe Distanz zur Nutzerkamera und ähnliche Blickrichtung wie diese hat. Hingegen werden Quellen mit den höchsten Werten bei Pufferüberlauf verworfen. 3.3 Vorausschauendes Rendern Bereits gerenderte Quellbilder vergangener Kamerapositionen reichen in der Praxis kaum aus, da sich die Nutzerkamera stetig von diesen Positionen entfernen kann (bspw. durch eine simple Vorwärtsbewegung). Überwindet die Nutzerkamera dabei Hindernis- 7 Stellen im Zielbild, die während der DIBR-Projektion nicht beschrieben wurden Dept h se w Que l [M M zum Bild Dies e Ge m mer a Präd i perf e Wei t zer e derz e weg u b ei D pens i 4 Bild Eine rend e h Image Base d w ie eine W a l lbilder ge fü M 97] imple m Rendern v e 5: Linear e e Ansichte n m äß Bild 5 w a linear au s i ktion Fehl e kte Prädik t t erhin wird e ingegeben e e it des Que l u ng für kur z D rehungen ) i ert, was al l Zusa m 6: I mple m Zusamme n e rer erzeug t d Rendering z a nd, so kö n fü llt werde n m entiert, b e e rwendet w e e Kamerap r n sind natü r w erden Posi t s den zeitli c ern unterli e t ion ist alle r die Reakti o e n Steuerbe f l lrenderers z e Zeit zu g ) . Dies wir d l erdings au c m menfas m entiertes S y n setzung de r t fortwähre n u r Entkopplu n n nen die e n n . Daher w e i dem dur c e rden. r ädiktion ( O licherweis e t ion und R o c h a k tuells t e gt, vor all e r dings aufg r o nszeit der f ehle vermi abhängt, k a g rößeren In f d durch ei n c h eine Erh ö s ung de s y stem r beschrieb e n d neue ec h n g langsamer n tstehende n w ird der vo n c h den Que l O riginalbil d e nicht bek a o tation der a t en Kamer a em wenn s r und der DI Prädiktion i ndert. Da s a nn es bei p f or m ationsl ü n e Vergröß e ö hung der Q s Syste m e nen Ablä u h te Einzel b Renderproze s n Lücken m n Mark et l lrenderer z d : [Med14] ) a nnt, sonder n a ngenomm e a s extrapoli s ich der N u B R -Projek t durch Ber ü ie dennoch p lötzlichen Ä ü cken kom m e rung des Q Q uellbildau f m s u fe ist auf B b ilder, wob e s se von der D a m it keinem al. vorges c z ukünftige K n müssen g e nen zukü n e rt. Es fäll t u tzer erratis t ion nicht n o ü cksichtigu n hauptsächl i Ä nderunge n m en (vor al l Q uellkamer a f lösung erf o ild 6 abgeb e i die dafür arstellung Se i der gepu ff c hlagene A K ameraans i g eschätzt w e n ftigen Nut z t auf, dass s ch verhält. o twendig. n g der vo m i ch von de r n der Kam e lem am Bil d a sichtfelds o rdert [Me d b ildet. Der Q verwendet i te 101 f erten A nsatz i chten e rden. z er k adiese Eine m Nutr Ren- e rabed rand komd 14]. Q uell- e K a- Seite mer a Asy n zer fi rend e 5 Die i impl e reali s Impl statt e Bild Zu m Co m Nort h Tief e rend e die R Für j wur d Wie schl e des V abra t Que l 8 http Millisekunden p roBild 102 a ansicht au s n chron daz u fi nal angeze e rer entkop p Exper i i n Abschni t ementiert, w s iert wurd e ementieru n e t mit einer 7: R ende r m Testen wu m pany (ca. 3 h Carolina e nvarianz i n e rer wurde R enderzeit j ede Bilds y d e auf 110° Bild 7 zei g e unigung d e V erfahrens, t en. Auch d l l b ildtriang u ://gamma.cs. u 0 10 20 30 40 50 60 70 80 90 1280 x Bo e p s dem Ka m u erzeugt d e igten Einz e p elt. Der g e i mentell e t t 2 erläuter t w obei pun k e n, währen d n g erfolgte i Intel Core i r zeiten der V rden zwei M 3 00 Millio n (ca. 12,7 M n einem 8x 8 der VG R - R dieser Ver f y nthese w u festgesetzt , g t, ist das r e e s Quellren d wie störe n d er in Absc h u lierung ze i u nc.edu/Powe r x 720‐ e ing 192 0 B m eraprädik t e r DIB R -R e e lbilder. Da m e samte Vor g e Ergeb n t en Verfah r k t- und dre d das bildb a i n C++ un d i 7-3820 CP V erfahren i m M odelle ve r n en Dreiec k M illionen D r 8 x8 Raster r R enderer v o f ahren im S r den zwei , im Gegen s e in bildbasi e d erers zu l a n de Artefa k h nitt 2.3 an g gt sich hier r plant/ 0 x1080‐ oeing 1 P o Auflösung‐ M t or bezoge n e nderer aus m it ist die s g ang findet n isse r en wurden e iecksbasie r a sierte teil w d OpenGL a P U und eine r m Vergleic h r wendet: D a k e) und das r eiecke), le t r epliziert ( c o n 3DIntera c S ystembetri Quellbilde r s atz zu 90° b e rte Verfa h a ngsam. Di e k tbildung [ M g esprochen e r . 1 280x720‐ owerplant M odell n wird, un d den gepuf f s ichtbare K a auf dersel b im Rahme n r te vollstän d w eise in C U a uf einer W r NVIDIA G h (je niedri g a s Boeing 7 Powerplan t t zteres alle r a. 6,5 Milli c tive [BHP 0 eb des vor i r projiziert . b ei der Zie l h ren in der a e s und beo b M ed14], la s e zu hohe A 1920x1080‐ Powerplant d legt dies e f erten Bild e a merabewe g en Hardwa r n dieser Ar b d ig in der S U DA umge s W indows 7 P G eForce G T g er desto b e 7 77 Modell t Modell 8 d r dings zur S arden Drei e 0 7] verwen i gen Absc h Das Quel l kamera. a ktuellen F o b achtete U n sen von ei n A ufwand ei n Bild b Pun k Drei e Ada p Nur e im Puff e e rn die de m g ung vom Q r e statt. b eit auf der S tandardpi p s etzt wurd e P lattform, a T X 650 GP U e sser) von The B d er Univers S imulation h e cke). Als Q n det. Es wir d h nitts vergl i l lkamerasic h o rm für ei n n zulänglich k n er Verwe n n er vollstä n b asiert k tbasiert ecksbasiert p tivdreiecksba Quellrenderer Meder e r ab. m Nut- Q uell- GPU p eline e . Die a usge- U . oeing ity of h oher Q uelld nun i chen. h tfeld n e Bek eiten n dung digen siert Depth Image Based Rendering zur Entkopplung langsamer Renderprozesse von der Darstellung Seite 103 Sowohl das punktbasierte als auch das adaptive dreiecksbasierte Verfahren erlauben auf der Testplatform eine Beschleunigung der angezeigten Bildrate auf über 60 Hz. Da das punktbasierte Verfahren durchschnittlich deutlich mehr Primitive benötigt, ist seine Renderzeit (Bild Boeing) im Vergleich zum adaptiven Verfahren oft höher. Ist die Grafikkarte allerdings bereits stark durch den Quellrenderer ausgelastet oder die Szene sehr komplex, so nähert sich das adaptive dem punktbasierten Verfahren zeitlich an oder kann langsamer sein (Bild Powerplant). Die Ursache dafür ist einerseits der höhere Aufwand pro Primitiv des adaptiven Verfahrens (bspw. Kantentests, Tessellierung, Flächenentfernung) und andererseits die mit der Varianz des Tiefenbilds steigende Dreieckszahl des adaptiv erzeugten Gitters. Tabelle1: Mittlere Renderzeiten (μ) und Standartabweichung (σ) der Renderer im Parallelbetrieb auf derselben Hardware (Millisekunden) 1280x720 1920x1080 Boeing Powerplant Boeing Powerplant μ σ μ σ μ σ μ σ Adaptiv Dreiecksbasiert DIBR 2,89 2,40 8,69 5,05 5,39 4,15 16,85 10,80 Quellrenderer (1.43x Auflösung) 68,45 42,28 167,58 71,25 119,13 75,78 479,04 326,24 6 Resümee und Ausblick Im Verlauf dieser Arbeit wurde eine effiziente, vollständig in der Standard-GPU- Pipeline umgesetzte DIBR-Implementation gezeigt. Außerhalb konstruierter Härtefälle ist die Renderzeit deutlich niedriger als bei anderen Herangehensweisen. Die dadurch hohe Performanz der Anzeige und ihre systematische Trennung vom Quellrenderer ermöglichen das Verbergen hoher Quellbildlatenzen. Weiterhin werden beim DIBR- Verfahren einhergehende Informationslücken durch den Multi-Kamera-Puffer ohne großen Aufwand bereits stark reduziert. Die Aufteilung des Systems in Abschnitt 4 ist geeignet für eine Client-Server- Implementierung wie in [GFB13]. Der Server führt dabei den Quellrenderer aus und liefert die Quellbilder an die Klienten, während diese den DIBR-Renderer benutzen. Dadurch kann auch auf hardwareschwachen Geräten mit Massive-Data-Rendering gearbeitet werden, das heißt auch auf mobilen Geräten. Bei den meisten aktuellen Tablets empfiehlt sich allerdings eine Modifikation des Verfahrens, so dass der Server den Tessellierungsteil ausführt und lediglich das erzeugte, texturierte Dreiecksnetz sendet. Diese Modifikation ist darin begründet, dass sowohl die Hardwarebestückung mit Shadereinheiten auf diesen Geräten noch zu gering ist und auch generell Tessellation-Shader-Fähigkeiten dort wenig verbreitet sind. Dieses Konzept ist jenem in [GFB13] identisch, allerdings werden die Dreiecksnetzte hier schneller und mit höherer Auflösung erzeugt. Automatische Ableitung geometrischer Eigenschaften aus dem 3-D-Polygonmodell Seite 111 über Clustering-Algorithmen die Teilmengen der Punkte gesucht, die Symmetrieeigenschaften besitzen. Unser Ansatz zur Bestimmung von Rotationsachsen unterscheidet sich in seiner Einfachheit und in den verwendeten Kriterien, um eine Symmetrieachse zu finden. 3 Algorithmen zur Bestimmung geometrischer Eigenschaften Im Folgenden beschreiben wir die unterschiedlichen Algorithmen zur Bestimmung der geometrischen Eigenschaften: 3.1 Beschreibung der Eingabe Beim Design von Maschinen durch CAD werden häufig parametrisch beschriebene Modelle verwendet. Dazu gehören einfache geometrische Figuren, wie Quader, Kugeln oder Zylinder; aber auch komplexere Oberflächen, wie NURBS-Flächen oder logische Verbindungen zwischen mehreren solcher Figuren. Um die dadurch beschriebenen Objekte in einem VR-System darstellen zu können, müssen die Oberflächen der parametrisch beschriebenen Objekte durch Polygone angenähert werden. Praktisch werden hier meistens Dreiecke verwendet, die auf der Oberfläche der Objekte mit einstellbarem Detailgrad erzeugt werden. Die Daten zu den Eckpunkten der Dreiecke (die Vertices) beinhalten die 3-D-Position des Punktes im Raum; können jedoch weitere Daten wie Normalenvektoren (zur Bestimmung der räumlichen Ausrichtung der Oberfläche), Farbwerte oder auch Texturkoordinaten enthalten. Als Eingabe für die weitere Verarbeitung gehen wir von einer Menge von triangulierten Oberflächenmodellen (Gittermodelle) aus. (Bild 1 und Bild 2 zeigen in der unteren Reihe die Gittermodelle für verschiedene Objekte.) Die vorgestellten Verfahren benötigen nur die Information, welche Vertices zu einem Dreieck gehören und die 3-D-Positionen der Vertices. Andere Eigenschaften, wie beispielsweise die Normalenvektoren, werden nicht benötigt. Um diese Eingabe aus den zugrundeliegenden CAD-Daten zu generieren, können entsprechende Exportfunktionen gängiger CAD-Systeme verwendet werden, oder es können externe Konverter verwendet werden. Die zu animierenden Bauteile sollten dabei als einzelne Objekte repräsentiert werden. Werden ganze Baugruppen (beispielsweise mit mehreren Zahnrädern) als ein gemeinsames Objekt dargestellt, können die Einzelteile jedoch in den meisten Fällen auch im VR-System noch getrennt werden (durch eine einfach umzusetzende Aufteilung des Gittermodells in Zusammenhangskomponenten). 3.2 Bestimmung der Ausrichtung eines Objektes Das Ziel dieses Schrittes ist es, Kandidaten für die Ausrichtung eines Gittermodells im Raum zu ermitteln, da die Objekte beliebig im orientiert sein können. Das Ergebnis sind ein oder mehrere 3-D-Richtungsvektoren, die die Ausrichtung beschreiben. Für ein Seite Zah n oder Aus r jekt e gen. ents p trac h eini g b ei d Der v rith m den b eine s lieg e trier t Kan d meh r Aus r hat, w ding u b etr a Da d den B il d 112 n rad oder e i für ein qu a r ichtung nu t e n, eine gro Die Norm a p rechen da n h tung einer g en Objekt e d enen keine v on uns en t m us wählt w beiden Ec k s anderen D e n. Der Nor m t . Liegen di e d idat für d e r fachen Wi e r ichtung de s werden di e u ng sind 5 0 a chtet werd e d ie Position s Berechnun g d 1: Versc h Objek t der v o i nen zylin d a derförmige t zt unser V e ße Anzahl a lenvektore n n n den ges u Häufung d e n ebenfalls (oder nur k t wickelte ra n w iederholt e k punkten d e D reiecks, w i m alenvekt o e drei Pun k e n Richtun g e derholung s Objektes. e besten K a 0 0 Treffer, w e n. s daten tech n g en zu Un g h iedene Ob j t e mit Visu a o m Algorith m d rische Ach s s Objekt di e e rfahren di e von Dreie c n der Eben e u chten Au s d er Norma l zum gewü n k leine) gera d n domisiert e e ine zufälli g e r Kante u n i rd die Ebe n o r der Eben e t e auf eine r g svektor r e besonders Sobald ei n a ndidaten z u w obei dann n isch bedin g enauigkei t j ekte mit zy l a lisierung d m us dafür v se ist dies z e drei Rich t e Beobacht u c kskanten, a e n mit eine r s richtungen l envektore n n schten Er g d e Flächen e Algorith m g e Kante e n d einem w n e im Rau m e wird als K r Geraden, w e gistriert. D oft registri e n K andidat u rückgege b alle Richt u n gt als Flie ß t en. Um m e l indrischen d er automat i v erwendete n Jäh n z .B. die R i t ungen der S u ng, dass b e a uf den gle i r Häufung d der Obje k n der Dreie c g ebnis führ e orthogonal m us arbeitet ines zufäll i w eiteren, z u m bestimm t K andidat fü r w ird auch d D ie Richtu n e rt werden, eine einst e b en. Ein Ri c u ngen mit m ß kommazah l e hrere 3-D - Bereichen ; i sch erkan n n Kreise. n , Fischer, Ge r i chtung der S eiten. Zur e i vielen ge o i chen Eben e d er darauf li e t e. Die na h c ke des O b e n, jedoch n zur Ausric h folgender m g gewählte u fällig gew ä t , auf dene n r den Richt u i e Richtun g n gsvektoren sind die K a llbare Tre ff c htwert für m ehr als 25 0 l en vorlieg e - Vektoren s ; (unten) Gi n ten Rotatio r ges, Berssen b r Rotations a Bestimmu n ometrische n en im Rau m egenden K a h eliegender e b jektes ka n n icht für O bj h tung exist i m aßen: Der A e n Dreiecks w ählten Eck p n die drei P u ngsvektor r g der Gerad e n , die nach a ndidaten f ü f ferquote er r die Abbr u 0 Treffern w e n, kommt e s innvoll v e i ttermodell d o nsachsen u b rügge a chse, n g der n Obm lie- a nten, e Ben n bei j ekte, i eren. A lgo- . Aus p unkt unkte r egis- e n als einer ü r die r eicht u chbew eiter e s bei e rgleid er n d Automatische Ableitung geometrischer Eigenschaften aus dem 3-D-Polygonmodell Seite 113 chen und zusammenfassen zu können, werden die Koordinaten mit einer einstellbaren Schrittweite diskretisiert (Standardwert 0.01 mm). 3.3 Bestimmung von Rotationsachsen Nachdem im vorherigen Schritt Kandidaten für Richtungen der Rotationsachsen identifiziert wurden, werden damit im Folgenden Kandidaten für Rotationsachsen identifiziert. Dazu werden für Achsen jeweils Kandidaten für 3-D-Punkte gesucht, die als Ursprung der Achse dienen können. Für unseren Algorithmus versuchen wir die folgende Beobachtung auszunutzen: Bei geometrischen Objekten mit erkennbaren Rotationsachsen, liegen oft viele Eckpunkte von Dreiecken im gleichen Abstand, kreisförmig um die Rotationsachsen verteilt – findet man diese Kreise, liefert ihr Zentrum Kandidaten für den gesuchten 3-D-Punkt. Unser randomisierter Algorithmus arbeitet wie folgt: Für jeden Kandidaten der Richtungsvektoren aus dem vorherigen Schritt wird die Gesamtmenge der Vertices des Objektes zunächst in mehrere Teilmengen aufgeteilt. Jede Teilmenge enthält die Vertices, die mit dem Richtungsvektor jeweils die gleiche Ebene aufspannen (mit entsprechender Diskretisierung). Alle Vertices einer Teilmenge liegen also auf einer Ebene. Für jede Teilmenge, die genügend Vertices enthält, werden mögliche Kreise bestimmt (Richtwert für die Mindestgröße einer Teilmenge ist 30% der Größe der größten Teilmenge). Dazu wird wiederholt eine zufällige Teilmenge von drei Vertices aus der Menge gewählt und der durch die Vertices aufgespannte Kreis registriert. Sobald ein Kreiskandidat genügend Treffer aufweist (Richtwert 200 Treffer), oder nach einigen Iterationen noch kein Kandidat gefunden wurde (Richtwert 10000 Iterationen), wird mit der nächsten Teilmenge fortgeführt. Abschließend werden alle Kreiskandidaten gefiltert, so dass nur Kandidaten weiter betrachtet werden, die relativ zum besten Kandidaten ausreichend Treffer aufweisen (Richtwert: 30%). Da Rotationsachsen meistens durch das Zentrum mehrerer Kreise verlaufen, werden die Kreise anhand ihrer Normalen und ihrer Zentren zusammengefasst. Die Zentren und Richtungen mit insgesamt den meisten Treffern ergeben die gesuchten, möglichen Rotationsachsen. Der Algorithmus funktioniert sowohl bei zylindrischen Objekten, wie auch bei kreisförmigen Löchern (siehe Bild 1). Der Kreis kann durch Aussparungen unterbrochen sein, bis hin zu regelmäßigen Unterbrechungen wie bei Zahnrädern. Grenzen des Algorithmus zeigen sich dort, wo die Anzahl der Vertices in den gesuchten Kreisen im Verhältnis zur Gesamtanzahl der Vertices im Objekt sehr gering ist. Beispiele hierfür sind komplexere Werkstücke mit vielen Bohrlöchern, die nur sehr schwer als Achsen erkannt werden. Seite 3.4 Neb e mati s verh ä stim m Zäh n das m größ e gen d Um k gel l i der A Wel l che n Bild Uns e dem nie w Posi t sitio n 3-D- der N zeug 114 Besti m e n den Rot a s chen Kett e ä ltnissen. D m ten Kreis e n e eine ein f m anuelle Z eren Zahnr ä d e Idee für k reises, mö g i egt, die ke i A nzahl der Z l e verbund e n den Umkre 2: Z ahnr ä der M o und K u e r Algorith m vorherige n w erden in k t ion wird d e n als Zentr u Raum erze u N achbarsc h g t wurden, w m mung v o a tionsachse n e , wie beisp D er Umfan g e n bestim m f ache und e x ählen von ä dern mit H das autom a g lichst viel e i nen Verte x Z ähne des Z e n, können s ise als Aus g ä der mit un t o delle mit u geln zur B e m us verwe n n Schritt) u n k leinen Sch r e r nächstlie u m und der u gt. Die K u h aft mit kl e w erden noc h o n Übers e n benötigt m ielsweise i n g von Räde r m en. Für Za h x akte Besti m e iner Han d H undert od e a tisierte Zä h e , große Ku x des Objek t Z ahnrades. S s o auch me h g angsbasis v t erschiedle r Visualisier u e stimmung d n det als Ei n n d die Men g r itten (Ric h g ende Vert e Distanz zu m u gel wird g e e inerem Ra d h alle klein e e tzungsv e m an für da s n Getriebe n r n lässt sic h h nräder erl a mmung vo n d voll Zähne e r mehr Zä h h len von Z u geln zu ve r t es enthält. D S ind mehr e h re Anzahl e v erwendet w r Zahnanza h u ng der a u d er Zahnan z n gabe eine n g e der Vert h twert: 0.0 0 ex ermittel t m nächsten espeichert, d ius gesch n e n Kugeln ( Jäh n e rhältnis s s Modellie r , auch Info r h direkt au s a ubt die K e n Übersetz u n probleml h nen sehr z ahnrädern i r teilen, so d D ie Anzah l re Zahnräd e e n bestimm w erden. h len und F o u tomatisch z ahl. n im 3-D- R ices des O b 0 36 Grad) P t (mit Hilfe Vertex als wenn sie v n itten wird . ( mit einem n , Fischer, Ge r s en en einer k o r mationen z s den im l e e nntnis übe r u ngsverhält n o s funktio n z eitaufwän d i st, entlang ass in jede m der Kugel n e r in einem t werden, w o rmen; (un t erkannten R aum platz i b jektes. Ent ositionen g eines Octr e Radius, wi r on keiner a . Nachdem Radius vo n r ges, Berssen b o mplexeren z u Übersetz e tzten Schr i r die Anza h n issen. Wä h n iert, ist di e d ig. Die gr u eines erk a m Zahn ein e n entsprich t Objekt au f w enn die en t t en) Gitter m Rotationsa c i erten Krei s t lang der K r g ewählt. Fü r e es). Mit d e r d eine Ku g a nderen Ku g alle Kuge l n kleiner al s b rügge kine- u ngs- i tt beh l der h rend e s bei u ndlennten e K ut dann f einer t sp r em odell c hsen s (aus r eislir jede e r Pog el im g el in l n ers 90% Auto m des m Erfo l Der Zah n Ver z rund mög l Zah n (sie h Aus r vale n nac h Der wün s Bild 4 Die Dev e typ Fun k tion Ben u Als E durc h sie d über p m atische Abl e m aximalen l gsfall der A Algorithm u n formen. A z ahnungen w aufgebaut e l ichst frei l n abstände v h e Bild 3). r ichtung) w e n t zu den K h Größe kla s Benutzer w s chten aus. 3: Versch zur au t Gesta l vorgestellt e e lopment a n durch Ani m k tionen als i vorzuberei t u tzer die F u E rgebnis w h Zylinder d amit als R p rüfen. W u e itung geome t Radius) e n A nzahl der Z u s erkennt A uch Kegel r w erden erk a e Zahnräde r iegen. Mit v on Zahnst Entlang ei n e rden an d e K ugeln auf d s sifiziert u n w ählt schli iedene Zah t omatische n l tung de r e n Algorit h n d renderi n m ationen u i nteraktive W t en, selekti e u nktion zu r w erden ein o dargestellt. R otationsac h u rde die ge w r ischer Eigen s n tfernt. Die Z ähne des Z robust Za h r äder, Zah n a nnt (siehe B r . Auch m ü einem ähn l angen und n er eng u m e n Kanten u d en Umkr e n d der Abst a eßlich aus nstangen u n Bestimmu n r Benut z h men wurd e n g) umgese t u nd Intera k W erkzeug e e rt der Be n r Bestimm u o der mehre r Der Benut z h se. Durch w ünschte A schaften aus d Anzahl d e Z ahnrades. h nräder mi t n räder mit B ild 2). Di e ü ssen die A l ich gestalt e der Vors c m schließend e u nd mittig e n e isen der Z a a nd zwisch e den erka n u nd Außen g n g des Zah n z erschni t e n im PA D t zt. Währe n k tionsmeth o e zur Verfü g n utze r zun ä u ng der Ro t r e Kandida t z er wählt d Drehen de s A chse nich t d em 3-D-Pol y e r verbleib e t unterschi e Schrägver z e Erkennun g A ußenkante n e ten Algor i c hub von A e n Boundi n n tlang der S a hnräder. D e n Kugeln g n nten, mög l g ewinde mi t n abstandes t tstelle D ren d -Syste m n d ein Ben u o den anrei c g ung. Um e ä chst das Z t ationsachs e t en für Ro t ie gewüns c s Objektes, t gefunden, gonmodell e nden Kug e e dlichen Z a z ahnung u n g beschrän k n der Zäh n i thmus lass e A ußengewi n n gbox (mit S eiten Kug e D ie Kugeln w g leicher Gr l ichen Abs t Visualisie r b zw. der St e m (Platfor m u tzer einen v hert, stehe n in Zahnrad a hnradobje k e auf (sieh e ationsachs e h te Achse a lässt sich können di Se i e ln entspric a hnanzahle n n d innenlie g k t sich jedo c n e an einer e n sich au c n den besti m der berec h e ln verteilt; werden ge f r öße ausge g tänden, de n r ung der K e igung. m f or Alg o virtuellen P n die ein z für eine A n k t. Nun ru f e Abschnit t e n im 3-D- R a us und be s die Wahl s i e Paramet e i te 115 h t im n und g ende c h auf Seite c h die m men h neten ä q uif iltert, g eben. n ge- K ugeln o rithm P rotoz elnen n i m af t der 3.3). R aum s tätigt s ofort e r des Seite 116 Jähn, Fischer, Gerges, Berssenbrügge Algorithmus angepasst werden. Um den Benutzer nicht zwingend mit den Details des Algorithmus zu konfrontieren, werden Werte für alle Parameter in mehreren Voreinstellungen (Schnell, Standard, Gründlich) zusammengefasst. Um für die Bestimmung eines Übersetzungsverhältnisses, die Anzahl der Zähne des Zahnrads zu bestimmen, wählt der Benutzer zunächst die Funktion, die die in Abschnitt 3.3 bestimmten Kreise im 3-D-Raum als offene Zylinder darstellt. Der Benutzer kann nun den Zylinder auswählen, der die Zähne des Zahnrades umschließt, um hierfür die Berechnung zu starten (siehe Abschnitt 3.4) Die Anzahl der gefundenen Zähne wird ausgegeben und zur Überprüfung der Ergebnisse werden die, zwischen den Zähnen platzierten, Kugeln visualisiert. 5 Laufzeit Die Zeit, die zum Berechnen der Eigenschaften benötigt wird, hängt neben der Anzahl der Vertices eines Objektes, auch von der geometrischen Struktur des Gittermodells ab. Die folgende Tabelle zeigt die benötigten Zeiten für die Berechnung für die in den Abbildungen gezeigten Objekte mit unserer prototypischen Implementierung1 (dominante Schritte): Tabelle 1: Laufzeiten für die Berechnung geometrischer Eigenschaften. Objekt (Abbildung) Anzahl Dreiecke Ausrichtung erkennen Kreise erkennen Zähne erkennen Gesamtzeit Blech mit Bohrungen Welle Handgriff Schraube (1.1) (1.2) (1.3) (1.4) 420 958 3566 768 0.1 s 1.2 s 3.5 s 0.9 s 9.3 s 0.5 s 1.6 s 0.3 s 9.5 s 1.8 s 5.1 s 1.3 s Zahnräder (2.1) (2.2) (2.3) (2.4) 4088 1360 1457 23753 0.8 s 0.2 s 2.2 s 1.6 s 2.1 s 2.9 s 4.1 s 14.6 s 0.3 s 0.3 s 0.3 s 0.3 s 3.3 s 3.5 s 6.7 s 16.8 s Zahnstange Zahnstange (rund) Gewinde Gewindestange (3.1) (3.2) (3.3) (3.4) 1172 874 2696 7912 0.4 s 4.9 s 8.9 s 9.0 s 1.5 s 1.7 s 1.3 s 3.4 s 1.9 s 6.6 s 10.2 s 12.3 s An den Messungen zu erkennen ist, dass die Zeiten für die einzelnen Schritte der Algorithmen stark variieren können. Können mehrere Kreise auf einer Ebene erkannt werden, wie bei dem Blech mit mehreren Bohrungen (Bild 1.1) oder bei dem Zahnrad mit mehreren kleineren Gewindebohrungen (Bild 2.4), wird die Laufzeit im Wesentlichen durch das Erkennen dieser Kreise bestimmt (mit mehreren Hunderttausend Iterationen). 1 Testsystem: Intel Core i7-3770 CPU 3.4GHz; Windows 8.1 64Bit; PADrend 1.1beta Automatische Ableitung geometrischer Eigenschaften aus dem 3-D-Polygonmodell Seite 117 Eine andere Herausforderung für die Effizienz ist die Erkennung der Ausrichtung. Liegen nur wenige Vertices auf den gesuchten Ebenen (orthogonal zur Ausrichtung), müssen eine große Anzahl von Stichproben geprüft werden. Dies ist vor allem bei Außengewinden der Fall (Bild 3.3 und Bild 3.4). Die prototypische Implementierung der Algorithmen wurde in einer Skriptsprache (EScript) geschrieben. Durch eine Umsetzung z. B. in C++ lässt sich die Laufzeit schätzungsweise halbieren. 6 Resümee und Ausblick Die von uns vorgestellten Algorithmen bieten einen unkomplizierten Weg Rotationsachen und die Anzahl von Zahnradzähnen aus polygonalen Modellen zu bestimmen. Die Verfahren stellen nur wenige Anforderungen an die Eingabe und erlauben so die robuste Behandlung unterschiedlicher Modelle, ohne dass die Algorithmen gesondert angepasst werden müssen. Wenn die Möglichkeit besteht, die erforderlichen Daten direkt aus den originalen CAD-Daten zu extrahieren, kann dies genauere Werte liefern. Wenn diese Möglichkeit jedoch nicht besteht, dann bietet unsere Lösung eine pragmatische und effiziente Alternative und kann so den Aufwand zum Erstellen von komplexen Animationen für ein virtuelles Design-Review deutlich reduzieren. Als nächste Schritte planen wir die Erweiterung der Algorithmen, um weitere Eigenschaften zu erkennen; beispielsweise um den genauen Verlauf von schienenbasierten Transportsystemen zu bestimmen. Um die Effizienz zu steigern, lassen sich die meisten Schritte der vorgestellten Algorithmen gut parallelisieren, da sie auf unabhängig durchgeführten Zufallsexperimenten beruhen. Weiterführende Anknüpfungspunkte sind die Unterstützung von Modellen, die nicht aus Polygonen, sondern aus Punktwolken aus 3- D-Laserscans bestehen oder die Kombination mit Verfahren zur Objekterkennung, so dass komplexere Strukturen, wie gesamte Getriebe, in einem stärkeren Maße automatisch erkannt und animiert werden können. Danksagung Dieses Forschungs- und Entwicklungsprojekt wird mit Mitteln des Bundesministeriums für Bildung und Forschung (BMBF) im Rahmen des Spitzenclusters „Intelligente Technische Systeme OstWestfalenLippe (it´s OWL)“ gefördert und vom Projektträger Karlsruhe (PTKA) betreut. Die Verantwortung für den Inhalt dieser Veröffentlichung liegt bei den Autoren. Seite 118 Jähn, Fischer, Gerges, Berssenbrügge Literatur [Ata85] ATALLAH, M. J.: On Symmetry Detection. IEEE Transactions on Computers, Vol. 34, Nr. 7, S. 663-666, 1985. [CPM+07] CORNELIUS, H.; PERĎOCH, M.; MATAS, J.; LOY, G.: Efficient Symmetry Detection Using Local Affine Frames. Bd. 4522, in Image Analysis, Herausgeber: BjarneKjær Ersbøll und KimSteenstrup Pedersen, Springer Berlin Heidelberg, S. 152-161, 2007. [EJP11] EIKEL, B.; JÄHN, C.; PETRING, R.: PADrend: Platform for Algorithm Development and Rendering. Herausgeber: Jürgen Gausemeier, Michael Grafe und Friedhelm Meyer auf der Heide. Augmented & Virtual Reality in der Produktentstehung. Paderborn: Heinz Nixdorf Institut, Universität Paderborn, S. 159-170, 2011. [KFR04] KAZHDAN, M.; FUNKHOUSER, T.; RUSINKIEWICZ, S.: Symmetry Descriptors and 3D Shape Matching. Proceedings of the 2004 Eurographics/ACM SIGGRAPH Symposium on Geometry Processing. New York, NY, USA: ACM, S. 115-123, 2004. [KLA+14] KORMAN, S.; LITMAN, R.; AVIDAN, S.; BRONSTEIN, A.: Probably Approximately Symmetric: Fast Rigid Symmetry Detection With Global Guarantees. Computer Graphics Forum, 2014. [LE06] LOY, G.; EKLUNDH, J. O.: Detecting Symmetry and Symmetric Constellations of Features. Proceedings of the 9th European Conference on Computer Vision – Volume Part II. Berlin, Heidelberg: Springer-Verlag, S. 508-521, 2006. [MSH+06] MARTINET, A.; SOLER, C.; HOLZSCHUCH, N.; SILLION, F. X.: Accurate Detection of Symmetries in 3D Shapes. ACM Transactions on Graphics, Vol. 25, Nr. 2, S. 439-464, 2006. [MGP06] MITRA, N. J.; GUIBAS, L. J.; PAULY, M.: Partial and Approximate Symmetry Detection for 3D Geometry. ACM Transaction on Graphics, ACM SIGGRAPH 2006, Vol. 25, Nr. 3, S. 560-568, 2006. [OSG08] OVSJANIKOV, M.; SUN, J.; GUIBAS, L.: Global Intrinsic Symmetries of Shapes. Proceedings of the Symposium on Geometry Processing. Aire-la-Ville, Switzerland, Switzerland: Eurographics Association, S. 1341-1348, 2008. [RBK+11] RAUSCHERT, I.; BROCKLEHURST, K.; KASHYAP, S.; LIU, J.; LIU, Y.: First Symmetry Detection Competition: Summary and Results. CSE Dept. Technical Report, Department of Computer Science and Engineering, Pennsylvania State University, 2011. [RBB+10] RAVIV, D.; BRONSTEIN, A. M.; BRONSTEIN, M. M.; KIMMEL, R.: Full and Partial Symmetries of Non-rigid Shapes. International Journal of Computer Vision (Springer US), Vol. 89, Nr. 1, S. 18-39, 2010. [TK12] TSOGKAS, S.; KOKKINOS, I.: Learning-Based Symmetry Detection in Natural Images. Bd. 7578, in Computer Vision – ECCV 2012, Herausgeber: Andrew Fitzgibbon, Svetlana Lazebnik, Pietro Perona, Yoichi Sato und Cordelia Schmid, Springer Berlin Heidelberg, S. 41-54, 2012. [WWV85] WOLTER, J. D.; WOO, T. C.; VOLZ, R. A.: Optimal algorithms for symmetry detection in two and three dimensions. The Visual Computer, Springer-Verlag, Vol. 1, Nr. 1, S. 37-48, 1985. Autoren Dipl.-Inform. Claudius Jähn studierte Informatik an der Universität Paderborn und ist wissenschaftlicher Mitarbeiter in der Fachgruppe Algorithmen und Komplexität am Heinz Nixdorf Institut. Seine Forschungsinteressen liegen im Bereich Computergrafik bei der Darstellung hochkomplexer Szenen und der Analyse von Szeneneigenschaften. Automatische Ableitung geometrischer Eigenschaften aus dem 3-D-Polygonmodell Seite 119 Dr. rer. nat. Matthias Fischer studierte Informatik an der Universität Paderborn und ist wissenschaftlicher Mitarbeiter in der Fachgruppe Algorithmen und Komplexität am Heinz Nixdorf Institut. Er promovierte dort über verteilte virtuelle Szenen. Seine Forschungsinteressen liegen im Bereich Computergrafik, Echtzeit-Renderingalgorithmen und verteiltes Rechnen. B. Sc. Maria Gerges studiert Informatik an der Universität Paderborn, ihre Interessen liegen im Bereich der Computergrafik. Dr.-Ing. Jan Berssenbrügge ist wissenschaftlicher Mitarbeiter in der Fachgruppe Produktentstehung am Heinz Nixdorf Institut der Universität Paderborn. Seine Forschungsschwerpunkte liegen in den Bereichen Virtual & Augmented Reality, Virtual Engineering sowie Virtual Prototyping und Simulation. Herr Berssenbrügge studierte Informatik an der Universität Paderborn und promovierte am Heinz Nixdorf Institut mit einem Thema zum Virtual Prototyping von Scheinwerfersystemen. . Punktebasiertes hierarchisch-probabilistisches Level of Detail Dipl.-Inf. Thomas Preidel, Dipl.-Inf. Steffen Cersowsky, Dipl.-Inf. Ronny Krüger, Dr.-Ing. Markus Färber Softvise GmbH Ehrenbergstraße 11, 98693 Ilmenau Tel. +49 (0) 3677 / 67 97 700, Fax. +49 (0) 3677 / 67 97 799 E-Mail: [email protected] Zusammenfassung CAD-Modelle wachsen stetig in ihrer Größe und Komplexität. Detailreiche Teile überfordern bei der Visualisierung die Grafikkarte bzw. werden nicht korrekt wiedergegeben. Zur Milderung dieses Problems wird ein Level-of-Detail-Verfahren benötigt. Die Eignung eines LoD-Verfahrens im produktiven Umfeld wird nicht nur von der erzielbaren Darstellungsqualität bestimmt, sondern auch von der Integrierbarkeit in bestehende Systeme und Prozesse. Praxistaugliche Verfahren erfordern geringe Vorverarbeitungszeiten und sparsame Speicherverwendung. In dieser Arbeit wird ein punktebasiertes hierarchisch probabilistisches Level-of-Detail-Verfahren vorgestellt, das diese Anforderungen erfüllt. Ausgehend von weitestgehend geschlossenen CAD-Modellen wird für jede Oberfläche eine fixe Anzahl homogen verteilter Punkte per Zufallsexperiment generiert. Das Gesamtmodell wird in einer hierarchischen räumlichen Datenstruktur (R*-Baum- Variante) organisiert, wodurch sich räumlich lokale Objektgruppen ergeben, für die Punktewolken generiert werden. Teilmengen dieser Punktewolken werden schrittweise auf höhere Ebenen des R*-Baums propagiert, wo sie mit den Teil-Punktewolken benachbarter Objektgruppen zusammengefasst werden, bis eine Punkt-Repräsentation des Gesamtmodells im Wurzelknoten des Baums entsteht. Für die Visualisierung ist zu entscheiden, ab wann die Darstellung der originalen Objekte unnötig und stattdessen die passende Punktewolke gerendert wird. Aufgrund der Arbeitsweise der GPU-Rendering-Algorithmen fügen sich dreiecks- und punktbasierte Visualisierung nahtlos im Bild zusammen. Schlüsselworte Level of Detail, Point-Rendering, R*-Baum, Visualisierung, große Datenmengen Seite kiert e Cull i Bild alisi e des Geo m eini g kan n Bild Der z gest e verb u schr i das B Abh ä Syst e ober h 3 Im v te D a 128 e Knoten k i ng die Kn o 3 zeigt, wi e e rung vora n Gesamtmo d m etrie für d g er Zeit di e n . 3: Anpas s Ausga n z u einem Z e llte Bildre l u ndenen V i ebene Filt e B ildrelevan z ä ngig von e ms und G h alb des op t Proba b v orangegan g a rstellung v önnen sich o ten als ver d e das Rend e n schreitet. I d ells gere n d ie nächste R e gesamte r s ung des Bi l n gspunk b) n Z eitpunkt re l evanzband . V eränderun g e rung des R z band, und der Model l G eschwindi g t imalen Bil b ilistisc h g enen Absc h v on Teilen d nach einig e d eckt erken n e ring-Syste m m ersten F r n dert. Nac h R *-Baum- E r elevante G l drelevanzb n ach e r ster levante Te i . Während d g von Posi t R *-Baums k der Render l größe, Le i g keit der F e d relevanzb a h e Punk t h nitt wurd e d es Modells e n Frames e n t. m im Lauf e r ame wird n h erfolgrei c E bene werd e G eometrie a u b andes für e Anpassun g i l des Gesa m d er Interak t t ion und O k ontinuierli c r er folgt mi t i stungskraf t e stplatte w ä a ndes liege n t -Reprä s e deutlich g e s für das rel e P r e rgeben, w e e mehrerer F n ur die Le v c hem Nac h e n diese ge r u f dem Bil ine bestim m g c) Endlag e m tmodells b t ion mit de m O rientierung c h wiederh o t der entspr e t der Grafi k ä hlt der R e n de Näher u s entatio n e macht, wi e e vanzorien t r eidel, Cerso w e nn erfolgr e F rames zur v el-of-Deta i laden der r endert, bis dschirm d a m te Ansicht e b ildet das i n m 3D-Mod e der Kam e o lt. Dadur c e chenden D k karte, Sp e e nderer geg ng. n e wichtig d i t ierte Rend e w sky, Krüger, e iches Occ l optimalen i l-Repräsen t Level-of- D schließlic h a rgestellt w a) n Bild 3 ro e ll und der d e ra wird d i c h veränder t D arstellung. e icherausba u g ebenenfall s i e detailred u e ring ist un d Färbe r l usion V isut ation D etailh nach erden t dard amit e bet sich u des s eine u zierd dass Punk t dies e core - Die A te, d a gen d Rep r fähr 3.1 Die O gens c tern: 1 2 Es k Obe r Betr a den d Für j wer d gew ä ecks 3.1. 1 Zun ä b esti eck glei c wäh l Ein D meh r glei c t ebasiertes hi e e mit Hilfe d - fähigen Al g A nalyse de r a ss die Det a d es gewähl t r äsentation 30 Minute n Reprä s Objekte bz w chaften, di e 1 . Objekte 2 . Objekte eine ein z k ann daher r fläche ein e a chtung au s d ie Origina l j edes Obje k d en zufällig ä hlt. Für je d bestimmt. Bestim 1 ä chst wird d i mmt. Ansc h auszuwähl e c hverteilte Z l t, für das g i D reieck ka n r ere Punkt e c hmäßig üb e e rarchischp r o d er Speich e g orithmen e r existieren d a ilreduzier u t en Render i eines sehr g n erstellt w e s entation w . Objekt fr e den Einsa t haben oft g haben in d e z ige Farbe. angenom m e s Objektfr a s der Entfe r l dreiecke g e k tfragment Dreiecke e d es Dreiec k mung de r d er Anteil d h ließend w e n, für das Z ufallszahl i lt:    n n mehrma e abgetast e e r die gesa m o babilistische s e rung des M e rreicht we r d en Arbeite u ng durch R i ng-Ansatz e g roßen 3D - e rden. eines O b fr agmente e t z von Pun k g eschlossen e e r Regel ni e m en werden , a gments di e r nung ein ä h e rendert. w ird eine P e ntspreche n k wird ansc h r abzutast e d er Fläche j e e rden Zufa l später ein  b estimm t  . l s gewählt e t. Auf di e m te Oberflä c s Level of De t M odells in e r den kann. e n und die D R endern vo n e s sehr gut - Gesamtmo d b jektfrag m ines CAD- k ten als Le v e Oberfläc h e derfreque n , dass ein g e relevant e h nliches o d P unktewol k n d ihrem A n h ließend ei n e nden Dr e e des Dreie c l lsexperim e Punkt a bz t und es wi r werden. E n e se Weise che des Ob j t ail e inem R*-B D urchführu n n Punkten b erfüllt. Ins b d ells wie d a m ents d u M odells b e v el-of-Deta i h en und ent h n te Material g leichmäßi g e n Informat d er gar iden t k e in folge n n teil an de r n zufällige r e iecke c ks an der G e nte durchg e z utasten sei n r d das Drei n tsprechen d wird sich e j ekts vertei l a um und g e n g verschie d b zw. Splats b esondere k a s der Boe i u rch Pun k e sitzen cha r i l-Approxi m h alten kau m e igenschaf t g es Abtast e i onen erfa s t isches Bil d der Form e r Oberfläch e r Punkt im I G esamtfläc h e führt, um j n wird. Es e ck mit de m d werden in rgestellt, d l t sind. Se i e eigneten o u d ener Tests die Anfor d k ann die P u i ng 777 in u k te r akteristisc h m ationen er l m innere De t t en, oft sog a e n der ges a s st, sodass d ergibt, al s e rstellt: Zu n h e des Frag m Innern des h e aller Dr e j eweils ein wird daz u m Index  a n diesem D r d ass alle P i te 129 u t-of- zeigd erun- u nkte- u ngeh e Eil eicht ails. a r nur a mten deren würn ächst m ents Drei- e iecke Drei- u eine a usger eieck unkte Seite Die Pun k Rep r Abs c Bild 3.1. 2 Für j ren e un d Alle lieg e Teil m für d Dur c Beis p glei c ge A 3.2 Die rung den And e Für i men t Drei e Ans c in d a 130 Anzahl de r k te wird i m r äsentation e c hnitt 3.2. 4: Z ufälli g Bestim 2 j edes ausge w e in zufällig e d sind da b abgetastet e e n aufgrun d m enge dies e d as Zusam m c h die zufä l p iel der M c hmäßige E r A nalyse not w Misch e beschriebe n sverfahren für Knote n e renfalls w e i hre Generi e t e herange z e cksoberfl ä c hließend w a s neu erze u r Zufallsex p m Hinblic k e n mehrere r g e Auswah l mung ein e w ählte Dre i e r Punkt  i  b ei gleichv e e n Punkte f d der zufäll i e r Punkte g m enfassen v o l lige Abtas t M oiré-Effek t r fassung b e w endig ist. e n von P u n en Punktr e nicht direk t n , die auf O e rden Punk t e rung wer d z ogen. Zun ä ä che an der w erden die e u gte Punktf r p erimente z k auf die s r Objektfra g l eines Drei e e s abzuta s i eck  w m Innern d e 1  e rteilte Zuf a f ür ein Fra i gen Dreie c g leichvertei l o n Fragme n t ung der O b t vermiede n e liebig gefo r u nktfrag m e präsentati o t genutzt. B O bjektfrag m t fragmente g d en die in d e ä chst wird f Gesamt-D e rsten  r agment ko p zur Dreiec k spätere Z u g mente ge w e cks gewic h stenden P w ird mit de m e s Dreieck s  󰇛1  a llszahlen z a gment wer c ksauswahl lt über der n ten genutz t b jektfragm e n . Auch s o rmter Obje k m enten o nen für O b B ei der Ab a m entebene l g erendert. e n Kindern f ür jedes K i D reiecksobe r ∙ Pun k p iert. P r k sauswahl u sammenfas w ählt (sieh e h tet nach d e P unktes i m m in [OFC + s bestimmt:  󰇜  z wischen 0 u d en zunäc h gleichvert e Oberfläch e t . e nte werde n o rgt der Z k tfragment e b jektfragm e a rbeitung d e l iegen, im m des Knote n i n d -Punktf r r fläche alle r k te des Kin r eidel, Cerso w und damit sung von e Bild 4). S e r Dreiecks f m Dreieck + 02] besch r   u nd 1. h st gespeic h e ilt vor. So m e des Frag m n Abtast-A r u fall auto m e , ohne das s e nte werde n e s Bildrele v m er die Dr e n s gespeic h agment de r r Kindfrag m d fragments w sky, Krüger, die Anza h Level-of- D S iehe dazu f läche r iebenen V e h ert. Die P m it ist auc h m ents. Dies r tefakte wi e m atisch fü r s eine auf w n im Visu a v anzbande s e iecke gere n h erten Pun k r Anteil  s m ente best i ausgewäh l Färbe r h l der D etailauch e rfah- u nkte h jede wird e zum eine w en d i- a lisies wern dert. t frags einer i mmt. l t und Punk t Das n alle O R*- B Um Wei s Frag m 3.3 Der V 5) m frag m Die P eine Pun k ten a in di e Posi t Sha d Die w misc Im B 350 link s b etr ä Bild t ebasiertes hi e n eue Frag m O bjektfrag m B au m -Aste s die Generi e s e ausführe n m ents zufä l V isuali V isualisier u m it den zug e m ente. P unktfrag m Normale, m k t belegt. L e a bgetastet, s e sem Frag m t ion, Nor m d er übergeb e w eiteren R e hte Darstel l B il d 5 ist di Millionen s 8.327.455 ä gt jeweils 9 5: Visual i e rarchischp r o m ent enthäl t m ente reprä s gespeiche r e rung der o n zu könne n l lig permut i sierung v u ngsalgorit h e hörigen D m ente entha l m aterialspe z e tzterer wi r s o repräsen t m ent. m ale und F e n, der im O e ndering-S c l ung von D r e Boeing 7 Dreiecken Punkten u 9 14 x 914 P i sierung de r o babilistische s t nun – ana l sentieren, d r t sind. o berhal b d e n , werden z u i ert. v on Pun k h mus erhäl t D aten für O b l ten für je d z ifische Da t r d wie folg t t iert ein Pu n lächeninha l O bjektraum c hritte sind r eiecken u n 77 aus Bil d des origin a u nd rechts 2 P ixel. r Boeing 77 Sourceda t s Level of De t l og zu den K d ie in den B e s Knotens z um Abschl u k tfragme n t in jedem F bjektfragm e d en Punkt z t en (Farben t geschätzt: n kt   der S u l t werden m ein Splat i n für Dreiec k n d Splats ei n d 1 nochm a alen Mode 2 62.252 P u 7 7 mit Hilfe t aprovidedbya t ail K in d -Punk t B lattknoten d liegenden P u ss noch al l n ten F rame ein B e nte (Drei e z usätzlich z u. ä.) sowi e Wird ein O u mme der F zur Visual n Quadratf o k e und Spl a n visuell an s a ls wiederg e lls werden u nkten ver w von Punkt fr n dusedwithpe t fragmente n d es im Kn o P unktfrag m l e Punkte d e B ildrelevan z e cksgeomet r z ur Positio n e den Fläch e O bjektfrag m F lächeninh a isierung ei o rm erzeugt a ts identisc h s prechende s e geben. An s Punktrepr ä w endet. Die fr agmenten r missionofthe B Se i n –  Punk t o ten beginn e m ente auf g l d es neu erze z band (sieh e r ie) bzw. P n im Objek t h eninhalt, d e m ent mit  P a lte der Dr e i nem Geo m . h , sodass d i s Bild erze u stelle von k ä sentatione n e Bil d -Aufl ö BoeingCompan y i te 131 t e, die e nden l eiche u gten e Bild P un k tt raum e n der P unk- e iecke m etry- i e ge- u gt. k napp n mit ö sung y  Seite Bild 4 Es w vorg e Das B ild 132 7: Kombi n men a n Resü m w urde ein S y estellt, das Modell wi r 6: Stanfo r 14.027 . mit 11. links o b Punkte n n ation von B n die LoD- R m ee und y stem zur V zur Detail r r d in Obje k r d Lucy[20 ] . 872 Punkt e 564.988 D r b en im Bil d n B oeing un d R epräsentat i Ausblic k V isualisieru n r eduzierun g k tfragmente ] in verschi e e , 28.055.7 4 r eiecken, b) im Größen d Lucy; ver g i on bzw. du r k n g sehr gro ß g approxim zerlegt un d e denen Lo D 4 2 Dreieck e 68.173 Pu n n vergleich z u P r g rößerte Da r ch Ve r grö ß ß er dreieck s ative Punk t d in einer V D - R epräsen t e , Auflösun g n kte (vergr ö u a, und c) g r eidel, Cerso w r stellung d u ß erung des s basierter 3 D t -Repräsen t V ariante de t ationen, O r g 914x914 a ö ßerte LoD g röbste Lo D w sky, Krüger, u rch Heran z Orginalbil d D -CAD-M o t ationen ei n e s R*-Bau m r ginal: a ) Darstell u Darstellun g D -Stufe mit Färbe r z ood es o delle n setzt. m s ge- u ng g 4096 Punktebasiertes hierarchisch-probabilistisches Level of Detail Seite 133 speichert. Neben den Dreiecksgeometrien der Objektfragmente in den Blattknoten werden in den inneren Knoten Punktfragmente abgelegt. Die Erzeugung der Punktfragmente erfolgt schnell (Komplexität ist linear) und speichereffizient durch Monte-Carlo-Sampling der Dreiecksgeometrien und anschließendem Ausdünnen und Mischen der entstehenden Punktewolken. Punkte und Dreiecke können durch weitgehend identische Visualisierungstechniken mit sehr guter Darstellungsqualität und in Echtzeitgeschwindigkeit gerendert werden. Alle Algorithmen und Datenstrukturen sind out-of-core-fähig, sodass die Visualisierung nicht durch die Größe von Haupt- und Grafikkartenspeicher begrenzt ist. In Zukunft soll der Visualisierungsansatz auf sich dynamisch ändernde Objekte ausgedehnt werden. Eine einfache Erweiterung zur Visualisierung von Laserscans erscheint ebenfalls naheliegend wie auch die weitere Beschleunigung der Datenerzeugung durch Parallelisierung. Literatur [Aut14-ol] AUTODESK, INC.: Projektprüfungssoftware Navisworks®. http://www.autodesk.de/products/navisworks, abgerufen am 27.11.2014. [BKS+90] BECKMANN, NORBERT; KRIEGEL, HANS-PETER; SCHNEIDER, RALF; SEEGER, BERNHARD: The R*-tree: An Efficient and Robust Access Method for Points and Rectangles. Proceedings of ACM SIGMOD 1990, pp. 322-331. [BHP07] BRÜDERLIN, BEAT; HEYER, MATHIAS; PFÜTZNER, SEBASTIAN: Interviews3D: A Platform for Interactive Handling of Massive Data Sets. IEEE Computer Graphics and Applications, 27(6):48-59, 2007. [Euc14-ol] EUCLIDEON PTY LTD: Unlimited Detail Engine. http://en.wikipedia.org/wiki/Euclideon, abgerufen am 27.11.2014. [GM04] GOBBETTI, ENRICO; MARTON, FABIO: Layered Point Clouds: A Simple and Efficient Multiresolution Structure for Distributing and Rendering Gigantic Point-sampled Models. Computers & Graphics, 28(6):815-826, 2004. [GM08] GOBBETTI, ENRICO; MARTON, FABIO: Far Voxels: A Multiresolution Framework for Interactive Rendering of Huge Complex 3D Models on Commodity Graphics Platforms. Proceedings of ACM SIGGRAPH Asia 2008 courses, pp. 32:1-32:8. [GEM+13] GOSWAMI, PRASHANT; EROL, FATIH; MUKHI, RAHUL; PAJAROLA, RENATO; GOBBETTI, ENRICO: An Efficient Multi-resolution Framework for High Quality Interactive Rendering of Massive Point Clouds using Multi-way kd-trees. The Visual Computer, 29:69-83, 2013. [GP07] GROSS, MARKUS; PFISTER, HANSPETER: Point-Based Graphics. Morgan Kaufmann, 2007. [GD98] GROSSMAN , J. P.; DALLY, WILLIAM J.: Point Sample Rendering. Proceedings of EUROGRAPHICS 1998, pp 181-192. [LW85] LEVOY, MARK; WHITTED, TURNER: The Use of Points as a Display Primitive. Technical Report 85-022, University of North Carolina at Chapel Hill, 1985. [OFC+02] OSADA, ROBERT; FUNKHOUSER, THOMAS; CHAZELLE, BERNARD; DOBKIN, DAVID: Shape Distributions. ACM Transactions on Graphics 21(4):807-832, 2002. Seite 134 Preidel, Cersowsky, Krüger, Färber [PSL05] PAJAROLA, RENATO; SAINZ, MIGUEL; LARIO, ROBERTO: Xsplat: External Memory Multiresolution Point Visualization. Proceedings of IASTED International Conference on Visualization, Imaging and Image Processing, 2005, pp. 628-633. [PC12] PENG, CHAO; CAO, YONG: A GPU-based Approach for Massive Model Rendering with Frame-to-frame Coherence. Computer Graphics Forum 31(2pt2):393-402, 2012. [PZB+00] PFISTER, HANSPETER; ZWICKER, MATTHIAS; BAAR, JEROEN VAN; GROSS, MARKUS: Surfels: Surface Elements as Rendering Primitives. Proceedings of ACM SIGGRAPH 2000, pp. 335-342. [RD10] RICHTER, RICO; DÖLLNER, JÜRGEN: Out-of-Core Real-Time Visualization of Massive 3D Point Clouds. Proceedings of AFRIGRAPH 2010, pp. 121-128. [RL00] RUSINKIEWICZ, SZYMON; LEVOY, MARC: QSplat: A Multiresolution Point Rendering System for Large Meshes. Proceedings of ACM SIGGRAPH 2000, pp. 343-352. [Sam95] SAMET, HANAN: Applications of Spatial Data Structures: Computer Graphics, Image Processing, and GIS. Addison-Wesley, 1995. [Sch14] SCHEIBLAUER, CLAUS: Interactions with Gigantic Point Clouds. Dissertation, Technische Universität Wien, 2014. [ST99] SCHMALSTIEG, DIETER; TOBLER, ROBERT F.: Fast Projected Area Computation for 3D Bounding Boxes. Journal of Graphics Tools 4(2):37-43, 1999. [Sta15] STANFORD UNIVERSITY COMPUTER GRAPHICS LABORATORY: The Stanford 3D Scanning Repository. http://graphics.stanford.edu/data/3Dscanrep, abgerufen am 10.03.2015 [TRB+04] ZWICKER, MATTHIAS; RÄSÄNEN, JUSSI; BOTSCH, MARIO; DACHSBACHER, CARSTEN; PAULY, MARK: Perspective Accurate Splatting. Proceedings of Graphics Interface Conference, London, ON, Canada, 2004, pp. 247-254. Autoren Thomas Preidel ist Diplom-Informatiker und als Geschäftsführer der Softvise GmbH in Ilmenau tätig. Nach seinem Diplom an der Technischen Universität Ilmenau war er zunächst wissenschaftlicher Mitarbeiter am Fachgebiet Grafische Datenverarbeitung der TU Ilmenau, später Software-Entwickler bei der 3DInteractive GmbH in Ilmenau, bis er im Jahr 2014 mit seinen Kollegen die Softvise GmbH gründete. Während seiner Zeit bei 3DInteractive war er Projektleiter in den BMBF-Forschungsprojekten AVILUS und ARVIDA. Zu seinen speziellen Kompetenzen gehört die Entwicklung von Verfahren zur Bildsynthese sowie die Handhabung und Verarbeitung von CAD-Daten. Steffen Cersowsky ist ebenfalls Diplom-Informatiker. Nach dem Diplom an der TU Ilmenau hat er als wissenschaftlicher Mitarbeiter am Fachgebiet Grafische Datenverarbeitung gearbeitet. Nach einer mehrjährigen Tätigkeit als Software-Entwickler bei 3DInteractive ist er seit 2014 Mitarbeiter und Gesellschafter der Softvise GmbH. Er entwickelt unter anderem räumliche Datenstrukturen und effiziente Visualisierungstechnologien. Ronny Krüger ist wie seine Kollegen Diplom-Informatiker. Er war nach dem Diplom an der TU Ilmenau als wissenschaftlicher Mitarbeiter am Fachgebiet Grafische Datenverarbeitung und anschließend als Software-Entwickler bei der 3DInteractive GmbH in Punktebasiertes hierarchisch-probabilistisches Level of Detail Seite 135 Ilmenau angestellt. Er ist Mitgründer der Softvise GmbH und arbeitet seit 2014 in diesem Unternehmen als Geschäftsführer und Software-Entwickler. Ronny Krüger ist Fachmann für Architekturen interaktiver 3D-Grafiksysteme mit den Schwerpunkten Out-of-Core-Algorithmen sowie Interaktionstechniken für 3D-Modellierung. Markus Färber Markus Färber hat an der Technischen Universität Dresden Informatik studiert. Nach dem Abschluss als Diplom-Informatiker arbeitete er als wissenschaftlicher Mitarbeiter am Fachgebiet Grafische Datenverarbeitung der TU Ilmenau. Dort war er in verschiedenen Projekten beschäftigt, zuletzt als wissenschaftlicher und geschäftsführender Koordinator der Graduiertenschule für Bildverarbeitung und Bildinterpretation in Ilmenau und Jena. 2014 wurde er an der TU Ilmenau promoviert. Er ist ebenfalls Gesellschafter der Softvise GmbH und als Software-Entwickler tätig. Seine Kompetenzschwerpunkte sind unter anderem räumliche Datenstrukturen, approximative Visualisierungstechniken sowie Algorithmen zum geometrischen Modellieren. VR für Fabrikplanungsprozesse Ein Konzept zur Integration von Virtual Reality Anwendungen zur Verbesserung des Informationsaustauschs im Fabrikplanungsprozess Dipl.-Inform. Sebastian Pick Dipl.-Medieninform. Sascha Gebhardt Dr. rer. nat. Bernd Hentschel Prof. Dr. rer. nat. Torsten W. Kuhlen IT Center, RWTH Aachen University Seffenter Weg 23, 52074 Aachen Tel. +49 (0) 241 / 80 24 867 E-Mail: [email protected] Dipl.-Math. Rudolf Reinhard Dipl.-Wirt.-Ing. Christian Büscher Lehrstuhl Informationsmanagement im Maschinenbau (IMA) der RWTH Aachen IMA der RWTH Aachen, Dennewartstr. 27, 52068 Aachen Tel. +49 (0) 241 / 80 91 131 E-Mail: [email protected] Toufik Al Khawli, M.Sc. Dipl.-Phys. Urs Eppelt RWTH Aachen University Lehr- und Forschungsgebiet für Nichtlineare Dynamik der Laser- Fertigungsverfahren NLD Steinbachstr. 15, 52074 Aachen Tel. +49 (0) 241 / 89 06 80 60 E-Mail: toufik.al.k[email protected] Hanno Voet, M.Sc. Dipl.-Wirt.-Ing. Julian Utsch, M.Sc. Werkzeugmaschinenlabor WZL der RWTH Aachen Abteilung Fabrikplanung Manfred-Weck Haus, Steinbachstraße 19, 52074 Aachen Tel. +49 (0) 241 / 80 20 531 E-Mail: [email protected] Seite ten g stell e farb k Kart e b e i n Flus s Die E mitt e prüf e Daz u ximi e Sch ä reic h auf d jekt e Sich t b eid e che n prox i sche n B ild Da m won n nen. Ann o Zeic h von A nota t [PK 1 kom p dass 3 http 146 g eschieht d a e für den Z k odierten B e n (akkum u n formiert d e s richtung v e E insehbark e e ls Handzei e n, indem e u werden A ert und mit ä tzung der E h e zunächst d iesen Pun k e in der Fab r t linien und e n Arbeits b n intensiv se i i mierten S i n Sichtbar k 4: Erstell u menta r m it Erkennt n n en werde n Der Benu t o tationen e r h nungen o d A nnotation t ions-Fram e 1 5]. Dabei p atibel ist u Benutzer b ://www.w3.o r Pick, Gebha r a bei mittel s ugriff auf d ögen (Tran s u lierte Tran e n Planer d e ranschauli c e it zwische n chen siche r e r entsprec h A rbeitsberei c einander v e E insehbark e mit Punkt e k ten basiere r ikhalle ge s der Gesa m b ereichen a b i n können, w i chtbarkeit k eitswert be s u ng von A n r en (hier: B e n isse und A n , nicht ver l t zer kann d r stellen un d d er Audio k en vor alle m e work umg wurde ein e u nd so An n b eliebig zw i r g/TR/soap/ r dt, Hentschel s SOAP W e d ie Daten d s portkoste n s portkoste n d abei über d c ht. n Arbeitsb e r stellen zu k h ende Sicht b c he zunäch s e rbunden (s e it berechn e e n abgetast e n de „Sichtl s tört wird. A m tzahl an Si c b geschätzt w w erden sie erfolgt du r s chriftet si n n notatione n e schriftung s nmerkunge l oren gehe n d azu an be l d diese mi t k ommentar e m innerhal b esetzt, wel c e Persisten z n otationen z i schen vers c , Kuhlen, Rei n e b-Service s d arstellen. D n zwischen e n über eine n d ie genaue n e reichen ist k önnen. Mi t b arkeitsinf o st interakti v iehe Bild 3 et. Hierzu e t und so d i l inie“ algor i A us dem V e c htlinien k a w erden. D a asynchron r ch farbko d n d (siehe Bi l n zum Pers s - und Blic k e n, welche w n , erlaubt f l a l iebigen St e t weiteren M e n versehe n b von CA V ches geeig n z schicht re a zentral dor t c hiedenen V n hard, Büsch e s 3 , welche e D ie Visuali s e inem Paar n Arbeitspl a n Kosten, w wichtig, u m t flapAssist o rmationen v durch ge o ). Anschlie w erden di e i skretisiert. i thmisch d e e rhältnis z w a nn so die E a diese Ber e ausgeführt . d ierte Pfeil e l d 3). istieren vo n k punktanno t w ährend ei n a pAssist di e e llen Besc h M etadaten, n (siehe Bi l V Es einfach n ete Intera k a lisiert, we l t ablegen k V R System e e r, al Khawli, e ine standa r s ierung erf o von Endp u a tz/eine Ma s w ährend ei n m etwa die kann der B e semi-auto m o metrische P ß end wird a approxim i Anschließ e tektiert, ob w ischen der E insehbark e e chnungen m Die Visua e , welche m n Erkenntn t ationen). n er virtuell e e Erstellun g h riftungs- o wie etwa T d 4). Dam i möglich is t k tionsmeta p l che mit d e k ann. Der V e n oder auc Eppelt, Voet , r disierte S c o lgt in For m u nkten) und s chine). Di e n e Animati o Kommuni k enutzer sie m atisch gen e Primitive a a utomatisc h i erten Arbe e nd wird fü r diese durc h Zahl unge s e it zwische n m itunter se h a lisierung d e m it dem n u n issen und K e n Begehu n g von Ann o o der Blick p Texten, Bi l i t die Erst e t , wurde ei n p hern berei e r VPI-Pla t V orteil dab e c h Arbeitsp l , Utsch c hnittm von Info- e Far- o n die k ation über- e riert. a pp r oh eine itsber jede h Obs törter n den h r r e- e r a p- u me r i- K omn g ge- o tatiop unktl dern, e llung n Antstellt t form e i ist, l ätzen Konz e wec h Spe z 2.3 Eine nen k pert e hier f zahl den Q Para m b esti nähe B ild Um j ierli c Dies tion ü mitt e len F nöti g zure c dert e dar. Para m b esti e pt Integratio n h seln könn e z iell wird hi Proze s weitere A n k onfigurati o e n für den P f ür meist T e möglicher Q ualitätskr i m eterkomb i mmten Pr o rungsweis e 5: Analys e von fla p j edoch Zug r c he Abbild u kann mith i ü ber einem e ls einer F u F unktionen g , die es d e c htzufinde n e n Qualität s Es erlaubt m eterraum i mmen. n von Anwen d e n und den n erdurch im s sanalys e n wendungs d o n. Hierbei a P rozess der e chnologie t Parameter k i terien am n inationen h o zess auszu w e erreicht w e e einer M a p Assist in d r iff auf all e u ng von P a i lfe so gen a bekannten u nktion :  allerdings e m Anwe n n und so P a s kriterien e Anwender n von Proze d ungen zur V n och Zugri f Sinne der V e mit me m d omäne die a nfallende A entspreche n t abellen he r k ombinatio n n ächsten ko m h interlegt is t w ählen. So e rden. a schinenko nf d er aixCAV E e verfügbar e a rametern a a nnter Met a Modell ei n  → a u inhärent s c der erleich t a rameterko m r füllen. m e n mittels e x s sen zu en t erbesserung d f f auf alle b V PI der kol l m oSlic e e im Zuge d A ufgaben w n den Masc h r angezogen n en diejeni g mmt. Da j e t , ist es nic h können V o nf iguration VE der RWT H e n Kombin a a uf Kriteri e a modelle u m n es Produkt i u f Kriterie n c hwer zu v e tern sich i m m binatione n e moSlice st e x plorativer V n twickeln u n d es Informati o ereits erste l l aborative P d er VPI bet r w erden übli c h inen durch , die es er m g e auszuw ä e doch nur e i h t möglich j o rgaben an mit dem m H -Aachen. a tionen zu e e n vorliege n m gesetzt w e i onsprozes s n abbilden. D e rstehen si n m multidi m n auswähle n e llt ein eb e V isualisier u n d ideale P o nsaustauschs l lten Annot a P lanungspr o r achtet wir d c herweise v g eführt. H e m öglichen u ä hlen, die d i ne endlich e j ede Komb i Kriterien i e moSlice- W e rhalten, m u n und aus g e rden, welc h es darstell e D a solche m n d, sind A n m ensionale n n zu könne n e nsolches A u ng ein Ve r P arameterk o Se i t ationen er h o zess unter s d , ist die M a v on Domä n e utzutage w u nter einer d en zu errei e Zahl mög l ination für i n der Reg e W idget inn e u ss eine ko n g ewertet w e h e eine Ab s e n und Para m m ultidimen s n alysewerk z n Paramete r n , die die g A nalysewer k r ständnis f ü o mbination e i te 147 h alten. s tützt. a schienex- e r den Vielchen- l icher einen e l nur e rhalb n tinu- e rden. s trakm eter s ionaz euge r raum g efork zeug ü r den e n zu Seite Es v ange Para m des P ten u Wie Scat t zwis c reic h der M Met a Mög auc h stell t Eine moS l durc h gra m jewe Blic k Die d eine n zuei n lang 3D- S räu m In d e hilfe n feld e An w terra u nen u von B 3 Sow o schn i lerdi n einfl u 148 v ereint meh passt wurd e m eterraum. P arameterr a u nd schnell e in Bild 5 z t erplot-Mat r chen einze l h an Kriteri e M atrix stel l a modell zu g g lichkeit fü r h in stark e i t werden k ö HyperSlic e l ice. Sie st e h einen ge m m me angeze i ils einer A k die Ausw i d ritte Haup n dreidime n n ander ort h der drei da r S chnitt übe r m igen Über b e r HyperSli c n angezeig t e s des Met a w ender schn e u ms navigi e u nterstützt. B edeutung Integr a o hl f lapAs s i ttene Lös u n gs beeinfl u sst beispi e Pick, Gebha r rere Visua l e n und bie t Da eine fl ü a ums ist, w u e Berechnu n z u sehen is t r ix [BC87] l nen Para m e n für jede n l en keine v o g runde lieg t r den Ben u i ngeschrän k ö nnen. e -Visualisi e e llt alle ort h m einsamen i gt, die alle A chse reprä i rkungen v o tkompone n n sionalen S c h ogonale 2 D r gestellten A r lagert, der b lick über d c e- und 3D - t . Eine Traj e a modells b e e ll zum nä c e ren, was i h Eine weite r ist, stellt di e a tionsk o s ist als au c u ngen, die v ussen sich e lsweise di e r dt, Hentschel l isie r ungste c et Hilfestel ü ssige, inte u rde bei de r n gen gelegt . t , besteht d i unterstützt m etern und z n einzelnen o rberechne t t in Echtze i u tzer, Ber e k ten Para m e rung [WL 9 h ogonalen S Fokuspun k eindimens i sentieren. B o n Änderun g n te bildet ei n c hnitt durc h D -Schnitte A chsen r ep r als direkte s i e Umgebu n - Visualisie r e ktorie, die e rechnet wi r c hstgelegen e h n weiter b e r e Navigati e Anzeige v o nzept c h memoSl i v on untersc h die betrac h e Konfigur a , Kuhlen, Rei n chniken, d i lungen für e raktive Be d r Entwickl u . i e Anwend u den Anwe n z eigt zugle i Parameter t en Werte d it neu bere e chnungsvo m etersubräu m 9 3] b ildet d S chnitte vo n k t dar. Zus ä i onalen Sc h B eides er m gen der Pa r n e 3D-Vis u h den Foku s angezeigt, r äsentieren . s Volumenr e n g des Fok u r ung werde n e mittels Pa r r d, dient al s e n lokalen M ei der Iden t i onshilfe, d i v on Trainin g i ce sind a u h iedlichen D h teten Prob l ation einz e n hard, Büsch e i e für die A die Naviga t d ienung we u ng großer W u ng aus dr e n der bei de r i ch auf ein e verfügbar i d ar, sonder n chnet wer d r schriften a m en Scatte r d ie zweite H n paarweis e ä tzlich wer d h nitte durch m öglicht es r ameter zu e u alisierung, s punkt dars t die präzis e . Zum ande r e ndering d a u spunkts gi b n ergänzen d r ticle-Traci n s Navigatio M inimum o t ifizierung i i e besonder g spunkten d u f spezifisc h D omänene x l emstellung lner Masc h e r, al Khawli, A nalyse vo n t ion im mu s entlich fü r W ert auf k u e i Hauptko m r Analyse v o e n Blick, w i st. Die ein z n können d en. So erg i a nzugeben, r plots mit h H auptkom p e n Paramet e d en auf de r den Param e dem Anw e e rfassen. die auf ve r t ellt. Zum e i Paramete r r en werden a rgestellt is t b t. d noch weit n gs entlang n shilfe. D u o der Maxi m i dealer Pro z s für Meta m d es Metam o h e Anwen d x perten gen u en teils ge g h inen teilw e Eppelt, Voet , n Metamo d u ltidimensi o r die Explo r u rze Antw o m ponenten. o n Korrela t w elcher We r z elnen Pun k d adurch, da s i bt sich au c aufgrund h oher Dich t p onente vo n e rkombina t r Diagonal e e terraum e n e nder, auf r schiedene A inen werde n r änderunge n diese von e t und einen t ere Naviga t g des Gradi e u rch sie ka n m um des Pa r z esskonfig u m odellentw i o dells dar. d ungsfälle n utzt werde n g enseitig. S e ise die ge s , Utsch d ellen o nalen r ation o rtzei- Eine ionen r tebek te in s s ein c h die derer t e ern meionen e Dian tlang einen A rten n drei n ent- e inem weitt ions- e ntenn n der r a m e- u ratio- i ckler zugen . Al- S o bes amte Konzept Integration von Anwendungen zur Verbesserung des Informationsaustauschs Seite 149 Prozessplanung, was besonders im Kontext der KVP von Relevanz ist. Zwar können beide Anwendungen auch getrennt voneinander genutzt werden um solche Auswirkungen zu untersuchen, allerdings liegen so sämtliche relevanten Informationen getrennt voneinander vor. Zudem schließt die getrennte Nutzung auch einen teils ungünstigen Arbeitsablauf mit ein, da nicht nur eine Anwendung, sondern zwei Anwendungen separat voneinander bedient werden müssen. Insgesamt wird durch eine derartige Separierung die Synchronisierung der Informationen in beiden Anwendung erschwert. Diesen Schwierigkeiten wirkt eine Kombination der beiden Einzelanwendungen in eine integrierte Gesamtlösung entgegen. Die größten Vorteile hiervon sind sicherlich, dass alle relevanten Informationen an einer Stelle vorliegen, aber auch, dass Experten aus verschiedenen Domänen in der Lage sind, dieselbe Anwendung zu bedienen, was weiterführend Diskussionen in einem kollaborativen Kontext positiv beeinflusst. Durch die Zusammenführung der Informationen aus zwei unterschiedlichen Domänen, kann das integrierte Planungswerkzeug somit zu einer zentralen Plattform für Diskussionen zwischen den unterschiedlichen Anwendungsbereichen werden. Darüber hinaus ergeben sich unmittelbar Synergien durch die kombinierten Funktionalitäten beider Einzelwerkzeuge. Die bei der beschriebenen kollaborativen Planung gewonnenen Erkenntnisse können unmittelbar über das in flapAssist zur Verfügung gestellte Annotationssystem festgehalten werden. Vor dem Hintergrund dieser Überlegungen wurde memoSlice als ein Teilwerkzeug in flapAssist integriert. Dort kann es für zuvor definierte Maschinen direkt innerhalb von flapAssist aufgerufen werden. Bild 5 illustriert die Nutzung von memoSlice innerhalb von flapAssist bei einer virtuellen Fabrikbegehung in einer CAVE, wo es für eine Laserschneidemaschine aufgerufen wurde. Die beteiligten Experten können sofort im Kontext der gesamten Fabrik die Konfiguration der Maschine diskutieren und gegebenenfalls gewonnene Resultate sofort mit dem Annotationssystem festhalten. Der Vorteil dieser Lösung besteht nun darin, dass die so persistierten Ergebnisse nicht nur während des laufenden oder zukünftigen kollaborativen Planungstreffen zur Verfügung stehen (zeitlich und räumlich synchrone Kollaboration), sondern auch zu jedem beliebigen anderen Zeitpunkt von allen Experten eingesehen und ggf. weiter modifiziert werden können (zeitlich und räumlich asynchrone Kollaboration). Bei späteren Planungstreffen kann dann wieder gemeinsam auf die Informationen zugegriffen und mit diesen weitergearbeitet werden. Darüber hinaus bleibt die Nutzung von memoSlice und flapAssist als eigenständige und unabhängige Komponenten von deren Integration unberührt. Mithilfe der VPI-Plattform können Ergebnisse, welche mit einer Einzelkomponente erzielt wurden, wieder in die integrierte Gesamtlösung überführt werden. Insgesamt definiert die Kombination aus memoSlice und flapAssist somit eine zentrale Anlaufstelle für Experten verschiedener Anwendungsdomänen, ganz im Sinne des VPI-Grundgedanken. Natürlich gilt es bei der Umsetzung des genannten Systems sicherzustellen, dass die integrierte Lösung weiterhin ein nutzerfreundliches Bedienkonzept zur Verfügung stellt Seite und a tige n Insg e Vort e lich e jedo c Ana l 4 In d i Unt e al P r für d heitl i te A r wic k Da n Die A freu n „Int e De m plav i Inte g Lit e [AK0 [BC8 7 [GP H [Gru 9 [Krc1 [Luh 5 150 a uch die te c n Fragestell u e samt kann eile für die e n Anwend u c h nur ein e l ysewerkze u Resü m i eser Arbei t e rstützung v r oduction I n d ie Kommu n i che Planu n r beit zu ev a k eln. n ksagun g Autoren b e n dliche Un t e grative Pr o m onstrations i s GmbH g ration. e ratur 0 8] A SS E Virt u 7 ] B EC K 198 7 H +15] G EB H von V Wor k 9 3] G RU B Acq u 1] K RC M 5 8] L UH N Vol. Pick, Gebha r c hnischen A u ngen wid m festgehalt e Kommuni k u ngsbereic h e n ersten S c u ge weiter a m ee und t haben wir v on Planun g n telligence b n ikation z w n gsprozess v a luieren u n g en e danken si c t erstützung o duktionste c fabrik Aac h für die U n E NMACHER , I. ; u al Reality, S E K ER , R. A.; C L 7 H ARDT , S.; P I C V irtual Realit y k shop Augm e B ER , T. R.: A u isition, Vol. 5 M AR , H.: Ein fü N , H. P.: A bu 2, No. 4, S. 3 r dt, Hentschel A nforderun g m en wir uns e n werden, d k ation und h en mit sic h c hritt dar, w a usgebaut w Ausblic k ein Konze p g saufgaben b eschriebe n w ischen Ex p v erbessert w d weiterge h c h bei der D der Forsc h c hnik für H h en für di e n terstützun g ; K UHLEN , T.: E ARIS Work s L EVELAND , W . C K , S.; H ENTS C y Anwendun g nted & Virtu a t ranslation ap 5 , No. 2, S. 1 9 fü hrung in das s iness intelli g 14-319, 1958 , Kuhlen, Rei n g en der Ein s genauer i n d ass die In t den Infor m h bringt. D w elcher du r w erden kan n k p t zur Inte g im Fabrik k n . So biete t p erten versc h w erden kan n h ende inte g D eutschen h ungsarbei t H ochlohnlä n e Bereitste l g bei der The ViSTA V s hop, S. 23-2 8 . S.: Brushin g C HEL , B.; K U H g en am Beisp i a l Reality in d p proach to po r 9 9-220 s Information s g ence system. n hard, Büsch e z elkompon e der Arbeit t egration v o m ationsaust a D abei stellt d r ch die Int e n . g ration zwe i k ontext vor t die integri h iedener D o n . In Zuku n g rierte Vis u Forschung s t en im Ra h n der“. Die l lung von F Entwicklu n V irtual Realit y 8 , 2008 Scatterplots. H LEN , T. W.: S el des Fabrik p d er Produkten t r table ontolog y s management. IBM Journal e r, al Khawli, e nten berü c [GPH+15]. o n memoSli c a usch zwisc h d ie vorgest e gration we i er separate r d em Hinte r erte Gesa m o mänen, w o ft planen w alisierungs l s gemeinsch a h men des E Autoren d a F abrikmod e n g der vi s y Toolkit. IE E Technometri c S oftwaretech n p lanungsproz e t stehung, 201 5 y specificatio n Berlin: Spri n o f Resea r ch a Eppelt, Voet , c ksichtigt. D . c e und flap A hen unters c t ellte Umse e iterer geei g r Werkzeu g r grund der V m tlösung V o o durch der w ir die vorg e l ösungen z u aft DFG f ü E xzellenzcl u a nken fern e e lldaten un s TABLE®t o E E Conferenc e c s, S. 127-14 2 n ische Integra t e sses. Paderb o 5 n s. Knowled g n ger, 2011 a nd Develop m , Utsch D erar- A ssist c hiedt zung g neter g e zur V irtu- o rteile ga n z- e stell- u entü r die u sters e r der d der o uch- e on 2 , t ion o rner g e m ent, Konzept Integration von Anwendungen zur Verbesserung des Informationsaustauschs Seite 151 [Mei12] MEISEN, T.: Framework zur Kopplung numerischer Simulationen für die Fertigung von Stahlerzeugnissen. Dissertation, RWTH Aachen University [MMS+11] MEISEN, T.; MEISEN, P.; SCHILBERG, D.; JESCHKE, S.: Adaptive Information Integration: Bridging the Semantic Gap between Numerical Simulations. Proceedings of the 13th International Conference on Enterprise Information Systems, Vol. 1, S. 51-65, 2011 [NPS+11] NEUGEBAUER, R.; PURZEL, F.; SCHREIBER, A.; RIEDEL, T.: Virtual reality-aided planning for energy-autonomous factories. Proceedings of the 9th IEEE International Conference on Industrial Informatics, S. 250-254, 2011 [PK15] PICK, S.; KUHLEN, T. W.: A Framework for Developing Flexible Virtual-Reality-centered Annotation System. IEEE Conference on Virtual Reality, SEARIS Workshop, 2015 [RMB+12] REINHARD, R.; MEISEN, T.; BÜSCHER, C.; SCHILBERG, D.; JESCHKE, S.: Virtual Production Intelligence – Ein Beitrag zur digitalen Fabrik. Verein Deutscher Ingenieure (Hg.): VDI- Berichte/VDI-Tagungsbände - Automation 2012. 13. Branchentreff der Mess- und Automatisierungstechnik. VDI Verlag (2171), 2012 [Sch10] SCHILBERG, D.: Architektur eines Datenintegrators zur durchgängigen Kopplung von verteilten numerischen Simulationen. Dissertation, RWTH Aachen University, 2010 [WL93] VAN WIJK, J. J.; VAN LIERE, R.: HyperSlice: Visualization of Scalar Functions of Many Variables. Proceedings of the IEEE Conference on Visualization, S. 119-125 Autoren Dipl.-Inform. Sebastian Pick erhielt Ende 2009 sein Diplom in Informatik von der RWTH Aachen. Seit Anfang 2010 ist er Doktorand in der Virtual Reality Group des Lehrstuhls für Hochleistungsrechnen am IT Center der RWTH Aachen. Dipl.-Medieninform. Sascha Gebhardt erhielt 2011 sein Diplom in Medieninformatik von der Ludwig-Maximilians-Universität München. Seitdem ist er Doktorand in der Virtual Reality Group des Lehrstuhls für Hochleistungsrechnen am IT Center der RWTH Aachen. Dr. Bernd Hentschel ist leitender Mitarbeiter der Virtual Reality Group an der RWTH Aachen. Seine Forschungsinteressen umfassen die wissenschaftliche Visualisierung großer Daten, immersive Visualisierungsverfahren und die Entwicklung paralleler Visualisierungsalgorithmen. Er legt dabei besonderen Wert auf die enge, interdisziplinäre Zusammenarbeit mit Wissenschaftlern anderer Fachgebiete mit dem Ziel, anwendungsrelevante Visualisierungsverfahren zu entwickeln. Dr. Hentschel studierte Informatik an der RWTH Aachen (Dipl.-Inform., 2003) und promovierte dort in der Fakultät für Mathematik, Informatik und Naturwissenschaften (2009). Prof. Dr. Torsten W. Kuhlen studierte an der RWTH Aachen Informatik und promovierte dort an der Fakultät für Elektrotechnik und Informationstechnik. Von 1998 bis 2014 leitete er die Virtual Reality Group am IT Center der RWTH Aachen. Als Wissenschaftler am Jülich Supercomputing Centre arbeitet er aktuell in interdisziplinären Kooperationen mit Ingenieuren und Neurowissenschaftlern an der Entwicklung von VR- Techniken für technisch-wissenschaftliche Anwendungen. Seit 2008 ist er Professor in der Fachgruppe Informatik der RWTH Aachen. Er ist Mitverfasser von über 200 begut- Seite 152 Pick, Gebhardt, Hentschel, Kuhlen, Reinhard, Büscher, al Khawli, Eppelt, Voet, Utsch achteten Beiträgen und Mitglied im Programm- und Organisationskomitee mehrerer internationaler Konferenzen zur Virtuellen Realität, Computergraphik und Visualisierung. Dipl.-Math. Rudolf Reinhard arbeitet seit März 2010 als wissenschaftlicher Mitarbeiter des IMA/ZLW & IfU der RWTH Aachen in der Forschungsgruppe Produktionstechnik. Seit Oktober 2012 ist er als Projektleiter innerhalb des Exzellenzclusters "Exzellenzcluster „Integrative Produktionstechnik für Hochlohnländer" für die Research Area "Virtual Production Intelligence" verantwortlich. Dipl.-Wirt.-Ing. Christian Büscher hat an der RWTH Aachen Wirtschaftsingenieurwesen mit Fachrichtung Maschinenbau und Studienrichtung Produktionstechnik studiert. Seit Juli 2010 arbeitet Herr Büscher als wissenschaftlicher Mitarbeiter am I- MA/ZLW & IfU in der Forschungsgruppe Produktionstechnik, die er seit Oktober 2014 leitet. Seit November 2013 ist Herr Büscher zudem Geschäftsführer des Vereins Deutscher Ingenieure (VDI) Aachener Bezirksvereins. M. Sc. Toufik Al Khawli absolvierte das Bachelorstudium "Mechatronics Engineering" an der Hariri Canadian University im Libanon. Er erhielt 2009 seinen Master von der RWTH Aachen. Seit 2009 ist er wissenschaftlicher Mitarbeiter des Lehr- und Forschungsgebietes Nichtlineare Dynamik der Laser-Fertigungsverfahren (NLD) an der RWTH Aachen, wo er momentan promoviert. Dipl.-Phys. Urs Eppelt studierte Physik an der RWTH Aachen und schloss 2004 sein Studium am Lehrstuhl für Lasertechnik ab. Er erhielt den Schöneborn-Preis als Auszeichnung für sein Diplom. Seit 2004 ist er wissenschaftlicher Mitarbeiter am Lehrstuhl für Lasertechnik der RWTH-Aachen und wechselte 2006 zum Lehr- und Forschungsgebiet Nichtlineare Dynamik der Laser-Fertigungsverfahren, wo er momentan promoviert. Hanno Voet, M.Sc. studierte Wirtschaftsingenieurwesen mit Fachrichtung Maschinenbau an der RWTH Aachen. Seit 2012 ist er wissenschaftlicher Mitarbeiter am Werkzeugmaschinenlabor WZL der RWTH Aachen in der Abteilung Fabrikplanung des Lehrstuhls für Produktionssystematik. Dipl.-Wirt.-Ing. Julian Utsch, M.Sc. studierte Wirtschaftsingenieurwesen mit Fachrichtung Maschinenbau an der RWTH Aachen und Automotive Engineering an der Tsinghua University in Beijing. Seit Anfang 2014 ist er wissenschaftlicher Mitarbeiter am Werkzeugmaschinenlabor WZL der RWTH Aachen in der Abteilung Fabrikplanung des Lehrstuhls für Produktionssystematik. Ein Ansatz zur Softwaretechnischen Integration von Virtual Reality Anwendungen am Beispiel des Fabrikplanungsprozesses Dipl.-Medieninform. Sascha Gebhardt Dipl.-Inform. Sebastian Pick Dr. rer. nat. Bernd Hentschel Prof. Dr. rer. nat. Torsten W. Kuhlen IT Center, RWTH Aachen University Seffenter Weg 23, 52074 Aachen Tel. +49 (0) 241 / 80 29 737 E-Mail: [email protected] Dipl.-Math. Rudolf Reinhard Dipl.-Wirt.-Ing. Christian Büscher Lehrstuhl Informationsmanagement im Maschinenbau (IMA) der RWTH Aachen IMA der RWTH Aachen, Dennewartstr. 27, 52068 Aachen Tel. +49 (0) 241 / 80 91 131 E-Mail: [email protected] Zusammenfassung Die Integration verschiedener eigenständiger Anwendungen stellt eine schwierige Aufgabe aus Sicht der Softwareentwicklung dar. Sie kann jedoch gerade im Bereich der durch virtuelle Realität (VR) gestützten Fabrikplanung deutliche Vorteile mit sich bringen, zum Beispiel um Wechselwirkungen zwischen verschiedenen Aufgabenbereichen zu kommunizieren. Um dies zu verdeutlichen wurden in dieser Arbeit zwei unabhängig voneinander entwickelte VR- und Visualisierungsanwendungen zu einer umfassenderen Planungslösung zusammengefasst. Bei der Integration wurden zusätzlich zu allgemeinen Anforderungen die Aspekte Parallelisierung und Interaktion besonders berücksichtigt. Zusammenfassend werden in dieser Arbeit anhand der Integration zweier Anwendungen aus dem Fabrikplanungsumfeld technische Lösungen präsentiert, mit denen mehrere VR-Anwendungen effektiv zu einer effizienten Gesamtlösung integriert werden können, wobei insbesondere die Aspekte Parallelität und Interaktion berücksichtigt werden. Die Effektivität des Ansatzes wird anhand von Leistungsmessungen belegt. Schlüsselworte Anwendungsintegration, Virtuelle Realität, Parallelisierung, Interaktion, Informationsvisualisierung Seite 154 Gebhardt, Pick, Hentschel, Kuhlen, Reinhard, Büscher An Approach for the Softwaretechnical Integration of Virtual Reality Applications by the Example of the Factory Planning Process Abstract The integration of independent applications is a complex task from a software engineering perspective. Nonetheless, it entails significant benefits, especially in the context of Virtual Reality (VR) supported factory planning, e.g., to communicate interdependencies between different domains. To emphasize this aspect, we integrated two independent VR and visualization applications into a holistic planning solution. Special focus was put on parallelization and interaction aspects, while also considering more general requirements of such an integration process. In summary, we present technical solutions for the effective integration of several VR applications into a holistic solution with the integration of two applications from the context of factory planning with special focus on parallelism and interaction aspects. The effectiveness of the approach is demonstrated by performance measurements. Keywords Application Integration, Virtual Reality, Parallelization, Interaction, Information Visualization Ansa t 1 Die I rige reic h selw i ren. D Inte g füllt holr a eine inte g Um Vis u kon fi delt e nun g geh u mem schi n Virt u und A Bei d ford e der V ein g Auf g ne k o anh a gest e Zus a mem senti sung tion b 2 Bei d um f das d t z zur Softwa r Einle I ntegration Aufgabe a u h der Fabri k i rkungen z w D a hierbei V g ration ent s werden, w i a te oder ko n Lösung, m g riert werde dies zu ve r u alisierungs a fi guration z u e s sich zu n g swerkzeug u ngen und z oSlice, die n n enkonfigu r u al Produc t A ufbereitu n d er Integra t e rungen au c V PI umges e g emeinsam e g abenve r tei l o nsistente B a nd von Me s e llten Anfo r a mmenfass e oSlice b ei g i ert, mit de n g integriert w b erücksich t Anwe n d en Werkz e f lapAssist, d d en Anwe n r etechnischen itung verschiede n u s Sicht d e k planung d e w ischen ve r V irtual Re a s prechende r i e die Ver w n sistente In t m it der una b n können. r deutlichen a nwendung u einer um n ächst um fl visTABL E z usätzliche n t dazu, ba s r ationen z u t ion Intelli g n g bereitste l t ion der A n c h die As p e tzt. Um all e e s Paralleli s l ung garant B edienung b s sungen de m r derungen, b e nd werden g leichzeitig n en mehrer w erden kön n t igt werden . n dunge n e ugen, die z d as den A n n dungsbere i Integration v o n er eigenst ä e r Software e e utliche V o r schiedene n a lity (VR) i m r Anwendu n w endung ve r t eraktionsk o b hängige V R wurden z w en aus de m f assendere n l apAssist, e i E ® touch u m Visualisier u s ierend auf u ermitteln. g ence (VPI l lt. wendunge n p ekte Parall e Anforder u s ierungsko n i ert. Zude m b eider Anw m onstriert, b esonders i n in dieser A er Kopplu n e VR-Anw e n en, wobei n z u einer Ge n wendungs b i ch Maschi n o n Virtual Re ä ndiger An w e ntwicklun g o rteile mit s n Aufgaben b m mer meh r n gen jedoc h r teilter Sys t o nzepte. D e R Anwend u w ei unabhä n m Bereich d n Planungs l i ne Anwen d m die Mögli u ngstechni k multi-dime Zudem w i I ) Plattfor m n wurden z u l elisierung u u ngen umz u n zept entwi m wurde ei n w endungen e die verdeu t n Bezug au f A rbeit anh a n g an die V P endungen e insbesond e e samtanwe n b ereich Fa b n enkonfigu r ality Anwen d w endunge n g dar. Sie k s ich bringe n b ereichen d r an Bedeut u h noch zus t eme, niedr e shalb präs e u ngen effe k n gig vonei n d er Fabrikp l l ösung zus a d ung, die d chkeit im m k en erweit e n sionalen M i rd f lapAss m unterstüt z u sätzlich z u u nd gemei n u setzen, wu r ckelt, das e n Interaktio n e rlaubt. De r t lichen, das s f Systemlei a nd der Int e P I-Plattfor m e ffektiv zu e re die Asp e n dung integ r b rikplanun g r ation adre s u ngen stellt gene r k ann jedoc h n , zum Be i er Planung u ng gewin n ätzliche A n i ge Latenz e ntieren wi r k tiv zu ein e n ander ent w l anung und a mmengefa s as kommer m ersiver vir t rt. Die zw e M etamodell e i st durch d z t, welche D u den bereit n samer Da t r de für bei d e ine feingr a n skonzept e Erfolg der s die integr i s tung, erfül e gration vo n m technisc h einer effizi e kte Paralle l r iert wurde n adressiert s siert. Bes o Se i rell eine sc h h gerade i m i spiel um W zu kommu n n t müssen b e n forderung e und Bildw i r in dieser A e r Gesamtl ö w ickelte V R der Masc h s st. Hierbe i r zielle Fabr i t ueller Fab r e ite Anwen en optimal e d ie Webba Dateninteg r t s genannte n t enaustausc h d e Anwend u a nulare un d e rarbeitet, d Integratio n i erte Lösu n l lt. o n f lapAssi s h e Lösunge n i enten Ges a lität und In t n handelt e s und memo o nders f lap A i te 155 h wiem Be- W echn izie- e i der e n er- i eder- A rbeit ö sung R und h inen- i han- i kplar ikbed ung, e Ma- a sierte r ation n Anh mit u ngen d faire d as ein wird g alle s t und n p r ä- a mtlöt er a ks sich Slice, A ssist Seite 162 Gebhardt, Pick, Hentschel, Kuhlen, Reinhard, Büscher narien unterschiedlicher Komplexität miteinander verglichen. Alle Messungen wurden jeweils unter Volllast und ohne zusätzliche Last durch nebenläufige Aufgaben durchgeführt. Tabelle 1 zeigt die Ergebnisse dieser Messungen. Gemessen wurde die Systemleistung jeweils im Einzelplatz-, bzw. im Clusterbetrieb sowie bei Verwendung verschiedener Zahlen von Kernen für nebenläufige Aufgaben unter Volllast und ohne Last. Für flapAssist und das Gesamtsystem wurden zwei verschiedene Fabrikmodelle verwendet, ein geometrisch einfaches (Fabrik #1) sowie ein komplexes (Fabrik #2). Tabelle 1: Analyseergebnisse für die Teilsysteme sowie das integrierte Gesamtsystem in Bildern pro Sekunde inkl. Standardabweichung (σ). Die Ergebnisse zeigen, dass die Bildwiederholraten für flapAssist und das Gesamtsystem wie erwartet stark von der Komplexität des angezeigten Fabrikmodells abhängen. Gleichzeitig wird aber auch ersichtlich, dass die Bildwiederholrate in allen Fällen nur marginal abfällt, sobald die Kerne für nebenläufige Aufgaben ausgelastet sind. Für memoSlice und das Gesamtsystem ist teils sogar ein leichter Anstieg der Bildwiederholrate zu beobachten. Dieser lässt sich dadurch erklären, dass memoSlice während Berechnungen reduzierte Darstellungen ausgibt, die die Bildwiederholrate positiv beeinflussen. Insgesamt kann anhand der Ergebnisse empirisch die Effektivität des vorgestellten InflapAssist Fabrik #1 flapAssist Fabrik #2 memoSlice Gesamtsys. Fabrik #1 Gesamtsys. Fabrik #2 Einzelplatzbetrieb 1 Kern ohne Last 122,7 (σ=1,5) 31,8 (σ=1,0) 61,6 (σ=1,4) 46,9 (σ=0,64) 20,7 (σ=1,1) Volllast 120,8 (σ=3,5) 31,1 (σ=1,2) 66,4 (σ=10,8) 50,4 (σ=2,0) 21,5 (σ=1,0) 5 Kerne ohne Last 122,8 (σ=0,8) 30,9 (σ=0,4) 61,2 (σ=0,3) 46,2 (σ=0,6) 21,0 (σ=0,4) Volllast 121,5 (σ=3,2) 32,4 (σ=1,1) 63,8 (σ=10,3) 50,0 (σ=2,2) 21,9 (σ=0,8) Clusterbetrieb 1 Kern ohne Last 34,8 (σ=1,4) 14,4 (σ=1,2) 29,0 (σ=2,2) 17,2 (σ=0,7) 11,2 (σ=1,0) Volllast 35,7 (σ=2,0) 14,3 (σ=1,3) 34,0 (σ=2,8) 17,0 (σ=0,8) 11,4 (σ=0,6) 5 Kerne ohne Last 34,9 (σ=1,9) 14,6 (σ=1,0) 29,7 (σ=2,6) 16,9 (σ=1,1) 10,9 (σ=0,8) Volllast 32,3 (σ=3,0) 13,1 (σ=1,0) 29,9 (σ=3,6) 16,3 (σ=1,4) 10,5 (σ=0,6) Ansa t tegr a derh o ents p 5 In d i unte r stell e umf a zeig t wur d Als n kün ft Plan u Anb i Da n Die A freu n „Int e De m plav i Inte g t z zur Softwa r a tionskonze p o lraten des p richt. Resü m i eser Arbei t r stützende W e n. Als Ke r a ssenderen t werden k o d e. n ächste Sc h ft ig weitere u ng befind e i ndung an d n ksagun g Autoren b e n dliche Un t e grative Pr o m onstrations i s GmbH g ration. r etechnischen p ts bestäti g Gesamtsys t m ee und t wurden d W erkzeuge r npunkt w u Fabrikplan u o nnte, dass d h ritte auf d e Visualisie r e n. Ferner w d ie VPI-Pla t g en e danken si c t erstützung o duktionste fabrik Aac h für die U Integration v o g t werden, d t ems den k o Ausblic k ie Anwen d auf versch i u rde dann d u ngsanwen d d ie Integrat e m Weg zu r ungen von w ird zum Z t tform ausg e c h bei der D der Forsc h c hnik für H h en für di e U nterstützun o n Virtual Re d a im Rah m o mbinierte n k d ungen flap A i edenen Eb e d ie Integrat i dung besc h t ion ohne g r einer umf a n Kennzahl e Z weck eine s e weitet. D eutschen h ungsarbei t H ochlohnl ä e Bereitste l n g bei der ality Anwen d m en der M e n Bildwiede A ssist und e nen des F a i on der bei d h rieben, be v r ößere Leis t a ssenden F a e n umgeset z s besseren I Forschung s t en im Ra h ä nder. Die A l lung von F Entwickl u u ngen e ssgenauig k r holraten d e memoSlic e a brikplanu n d en Anwe n v or im Er g t ungseinbu ß ab rikplanun g z t, die sic h I nformation s gemeinsch a h men des E A utoren d a F abrikmod e u ng der vi Se i k eit die Bil d e r Einzelsy s e vorgestel l n gsprozesse s n dungen zu g ebniskapit e ß en durchg e g slösung w h derzeit n o n saustausch e aft DFG f ü E xzellenzcl u a nken fern e e lldaten un i sTABLE ® t o i te 163 d wies teme l t, die s dareiner e l ge- e führt erden o ch in e s die ü r die u sters e r der d der o uch- Seite 164 Gebhardt, Pick, Hentschel, Kuhlen, Reinhard, Büscher Literatur [AK08] ASSENMACHER, I.; KUHLEN, T. (2008): The ViSTA Virtual Reality Toolkit. Proceedings of the IEEE VR Workshop Software Engineering, S. 23-28. [GPL+13] GEBHARDT, S., PICK, S., LEITHOLD, F., HENTSCHEL, B., & KUHLEN, T. (2013): Extended Pie Menus for Immersive Virtual Environments. Visualization and Computer Graphics, IEEE Transactions on (Vol. 19, No. 4), S. 644-651. [PGH+15] PICK, S., GEBHARDT, S., HENTSCHEL, B., KUHLEN, T. W., REINHARD, R., BÜSCHER, C., ET AL. (2015). Ein Konzept zur Verdeutlichung der Wechselwirkungen zwischen verschiedenen Aufgabenbereichen des Virtual Reality gestützten Fabrikplanungsprozesses. Paderborner Workshop Augmented & Virtual Reality in der Produktentstehung. [PGS+14] PICK, S., GEBHARDT, S., KREISKÖTHER, K., REINHARD, R., VOET, H., BÜSCHER, C., ET AL. (2014). Advanced Virtual Reality and Visualization Support. Entwerfen Entwickeln Erleb- en, S. 187-198. [RBM+12] REINHARD, R., BÜSCHER, C., MEISEN, T., SCHILBERG, D., & JESCHKE, S. (2012): Virtual Production Intelligence – A Contribution to the Digital Factory. In C.-Y. Sum, S. Rakhe- ja, & H. Liu, Lecture Notes in Computer Science; Intelligent Robotics and Applications, S. 706-715. Autoren Dipl.-Medieninform. Sascha Gebhardt erhielt 2011 sein Diplom in Medieninformatik von der Ludwig-Maximilians-Universität München. Seitdem ist er Doktorand in der Virtual Reality Group des Lehrstuhls für Hochleistungsrechnen am IT Center der RWTH Aachen. Dipl.-Inform. Sebastian Pick erhielt Ende 2009 sein Diplom in Informatik von der RWTH Aachen. Seit Anfang 2010 ist er Doktorand in der Virtual Reality Group des Lehrstuhls für Hochleistungsrechnen am IT Center der RWTH Aachen. Dr. Bernd Hentschel ist leitender Mitarbeiter der Virtual Reality Group an der RWTH Aachen. Seine Forschungsinteressen umfassen die wissenschaftliche Visualisierung großer Daten, immersive Visualisierungsverfahren und die Entwicklung paralleler Visualisierungsalgorithmen. Er legt dabei besonderen Wert auf die enge, interdisziplinäre Zusammenarbeit mit Wissenschaftlern anderer Fachgebiete mit dem Ziel, anwendungsrelevante Visualisierungsverfahren zu entwickeln. Dr. Hentschel studierte Informatik an der RWTH Aachen (Dipl.-Inform., 2003) und promovierte dort in der Fakultät für Mathematik, Informatik und Naturwissenschaften (2009). Prof. Dr. Torsten W. Kuhlen studierte an der RWTH Aachen Informatik und promovierte dort an der Fakultät für Elektrotechnik und Informationstechnik. Von 1998 bis 2014 leitete er die Virtual Reality Group am IT Center der RWTH Aachen. Als Wissenschaftler am Jülich Supercomputing Centre arbeitet er aktuell in interdisziplinären Kooperationen mit Ingenieuren und Neurowissenschaftlern an der Entwicklung von VR- Techniken für technisch-wissenschaftliche Anwendungen. Seit 2008 ist er Professor in der Fachgruppe Informatik der RWTH Aachen. Er ist Mitverfasser von über 200 begutachteten Beiträgen und Mitglied im Programm- und Organisationskomitee mehrerer Ansatz zur Softwaretechnischen Integration von Virtual Reality Anwendungen Seite 165 internationaler Konferenzen zur Virtuellen Realität, Computergraphik und Visualisierung. Dipl.-Math. Rudolf Reinhard arbeitet seit März 2010 als wissenschaftlicher Mitarbeiter des IMA/ZLW & IfU der RWTH Aachen University in der Forschungsgruppe Produktionstechnik. Seit Oktober 2012 ist er als Projektleiter innerhalb des Exzellenzclusters "Exzellenzcluster „Integrative Produktionstechnik für Hochlohnländer" für die Research Area "Virtual Production Intelligence" verantwortlich. Dipl.-Wirt.-Ing. Christian Büscher hat an der RWTH Aachen Wirtschaftsingenieurwesen mit Fachrichtung Maschinenbau und Studienrichtung Produktionstechnik studiert. Seit Juli 2010 arbeitet Herr Büscher als wissenschaftlicher Mitarbeiter am I- MA/ZLW & IfU in der Forschungsgruppe Produktionstechnik, die er seit Oktober 2014 leitet. Seit November 2013 ist Herr Büscher zudem Geschäftsführer des Vereins Deutscher Ingenieure (VDI) Aachener Bezirksvereins. Web-basierte Integrationsplattform für dynamische 3D- Anlagenvisualisierung Reinhard Langmann, Christian Geiger Fachhochschule Düsseldorf Josef-Gockeln-Str. 9, 40474 Düsseldorf Tel. +49 (0) 211 / 43 51 308, Fax. +49 (0) 211 / 43 51 303 E-Mail: [email protected] Zusammenfassung Der Beitrag stellt eine Integrations- und verteilte Steuerungsplattform für die 3D- Anlagenvisualisierung vor, die ausschließlich auf Webtechnologien basiert. Die Plattform ermöglicht es per Webbrowser eine 3D-Anlagenvisualisierung zu projektieren, die einzelnen 3D-Modelle mit realen Prozessdaten aus einer automatisierten Anlage zu verbinden und in einem RUN-Mode die so erstellt Anlagenvisualisierung auch auszuführen. Zur flexiblen Nutzung der Plattform ist diese mehrnutzerfähig. Nutzer können sich mit unterschiedlichen Rollen (Gast, User, Admin) in die Plattform einloggen. Schlüsselworte 3D-Anlagenvisualisierung, Integrationsplattform, CPS-basierte Automation, Industrie 4.0 Seite 168 Langmann, Geiger Web-based integration platform for dynamic 3D plant visualization Abstract The contribution presents a distributed integration and control platform for 3D plant visualization based completely on Web technology. The platform allows the projecting of a 3D plant visualization by a Web browser, the connection of separate 3D objects with real process data from an automated station and the executing of the projected plant visualization in a RUN mode in the Web browser. The platform is multi-client capable for flexible using. Users can log in into the platform by different roles (guest, user, admin). Keywords 3D plant visualization, integration platform, CPS-based automation, Industry 4.0 Webb 1 Die F von sind dies e eine onsp der E soft w che [G M Phy s Ein g anla g kön n in ei n oder B ild Neb e die B den b Inte r and D sen s Die SC A Ü b e r lässt zur D b asierte Inte g Motiv a F orderung Produkten u mit klassis e n Forderu n Neugestalt u rozess, we l E insatz von w aretechnis c ü b er eine M A14]. CPS s ical Produ c g rundlegen d g en, welch e n en. Um di e n verteiltes „CPS- b asi e 1: CPS-b a e n den Vor t B asis für ei n b ei einer d i r face (HMI ) D ata Acqu i s ich SCAD A Verwendu n A DA Syste m r wachungs m sich auch D arstellung g rationsplattfo r a tion nach imm e u nd die da m chen Prod u n gen ergeb e u ng vorhan d l cher aktue l Cyber Phy s c hen Kom p Dateninfr a im Kontex t c tion Syste m d es Ziel vo n e sich hoch f e s zu realis i Netz von F e rte Autom a a sierte Aut o t eilen für d a n e neue Fo r i rekten Int e ) und bei ei n i sition (SC A A Systeme d n g von W e m s auf We b m öglichkeit e der aufko m von 2D- u n r m für dyna m r kürzeren m it einher g u ktionssyst e e n sich eine d ener Infra s l l auch mit s ical Syste m p onenten m a struktur, w t der produ z m s (CPPS) b n CPPS ist f lexibel an i eren wand e F unktionen a tion“ b eze i o mation na c a s eigentli c r m von Ü be e raktion mi t n er geräteü b A DA) Syst e d ezentraler e btechnolog b browser u n e n zulasse n m mende St a n d 3D-Obj e m ische 3D-An l Innovation g ehende Fl e e men meist Umstrukt u s trukturen. dem Begri f m s (CPS). C m it mechani s w ie das I n z ierenden I n b ezeichnet. die Konstr u die jeweili g e lt sich die und Diens t i chnet (Bil d c h [ GMA1 4 ] c he Produk t e rwachung s t einem G e ü b ergreifen d e m bezeich n und somit v g ien und di u nd -server n , speziell i n a ndard We b e kten i m W l agenvisualisi e szyklen, di e e xibilisieru n nicht meh r u rierung vo n Grundlege n f f „Industri e C PS verste h s chen und n ternet, m i nd ustrie, w e u ktion neu a g en Produ k klassische t en, auch al d 1). 4 ] t ionssystem s - und Steu e e rat ü b liche r d en Interak t n et. Durch v erteilt und e damit v e können vö n der Darst e b Graphics W ebbrowser e rung e höhere I n n g von Pro d realisierba r n Produktio n d bei dies e e 4.0“ besc h en sich als e e lektronisc h i teinander e rden häufi g a rtiger Indu s k tionserford e Automatisi s „Automa t liefert die s e rungssyste m r weise als H i on als Sup den Einsat z kollaborati e rbundene A llig neue P e llung von P L ibrary ( W mit Unters t Se i n dividualisi e d uktionsabl a r [KAG14] o nsprozesse n e m Transfo r c hrieben wi r ein Verbun h en Teilen , verbunden g auch als C s trieproduk t d ernisse an p i erungshier a t isierungs w s e Strategie e men. Dies e H uman M a p ervisory C o z von CPP S i v gestalten . A uslagerun g P roduktions P rozessdat e W ebGL), w e t ützung de r i te 169 e rung äufen . Aus n und r matir d, ist d von , welsind C yber t io n sp assen a rchie w olke“ auch e wer- a chine o ntrol S las- . g des - und e n. So e lcher r G r a- Seite fikk a b asi e Bedi dukt i 3D- D senti prop r umg e Icon i 2 Die R SC A doc h Mög kon fi ser ( u zwa r Dars Web Echt z Auc h rein e fehlt satz. an d i ver w schr ä Zus a folg e    Bish e tion s 170 a rte genutzt e rten SCA D enelement e i onsanlage u D arstellung i eren. Der r ietä r , betr i e setzt. Bei s i cs Genesis Stand R echerche n A DA/Visual i h gibt es b i g lichkeit, ei n fi gurieren, e u nd I n tern e r einige we tellungen z technologi e z eitdaten is h in der Ge b e n Webtec h es jedoch Die erzeu g i e Bedienu n w endet und ä nkt. a mmengefa s e nde Forsc h Es fehl t Systems Webtec h und Fun k Neue W System e erige Prod u s umfang zu wird, in d a D A-System , e n, sondern u nter Berü c lassen sic h Ansatz die i ebssystem a s piele dazu 64 [GEN1 4 der Tec h n im Stand i sierungssy s i sher kaum n kundensp e ditieren un d e t), bietet k e nige SCA D z ulassen, j e e n zur Da r t in der Re g b äudeauto m h nologien a u an standar d g baren Ben u n g eines pr i damit ist a s st ergibt s i h ungsbedar f t eine dur auf Basis v h nologien w k tion eines W eb-Techno e bisher kau m u kte nutzte n erzeugen, e a s System i n , können P r auch als d r c ksichtigun g h Prozessd a ser Darste l a bhängig u n sind die S 4 ]. h nik un d der Techn i s teme gibt, Systeme, w ezifisches S d zu bearb e e ines der S y D A/HMI-S y e doch nutz t r stellung u n g el nicht m ö m atisierung, u fbauen u n d isierten S c u tzeroberfl ä i vaten Anw a uch die N u i ch deshalb f : c hgängige v on webbas i w erden zw a Automatis i l ogien wie m eingeset z n das Web n e ine vollstä n n tegrieren. M r ozessdate n reidimensi o g der Echtz a ten ü b ersi c l lung ist n i n d in zentr S CADA-Sy s d Aufga b i k haben g e die sich a u w elche oh n S CADA-S y e iten, also e i y steme. W e y steme gib t t keines d i n d Komm u ö glich. in der es z w n d die sich c hnittstelle n ä chen sind i n w enders ang e u tzung für aus den N und kons i ierten Stan d a r eingesetz t i erungssyst e Websock e z t. n ur, um Sys t n dige Proj e M it Hilfe v o n nicht nur o nale virtu e e itdaten da r c htlicher un i cht neu, j e alisierten S s teme Mo v b enstellu e zeigt, das s u f Webtec h n e Browser y stem volls t i ne Projekt i e iter hat di e , die auch i eser Syste m u nikation u n w ar deutlic h teilweise a u n , speziell fü n der Rege l e passt. 3D- große Ge b N achteilen d i stente Mo d ardtechno l t , die flexi b e ms wird a b e ts und W e t eme mit e i e ktierung i m o n WebGL klassisch i n e lle Repräs e r gestellt we r d zugleich e doch wur d S CADA-Sy s icon NEX T ng s es zwar z h nologien k PlugIn‘s a t ändig über i erungsum g Recherch e eine Verw e m e aktuell e n d die Vi s h mehr Sys t u ch dezent r fü r den pro f l nur sehr e i D arstellun g äudekompl es Standes dellierung ogien. b le Verteil u b er nicht ge n e bGL werd e nem einge s m Browser i s Langmann, und einem n Form vo n e ntation de r rden. Durc h realitätsna h d e er bish e s temen teil w T [MOV14 z unehmend k onzentrier e a uskomme n den Brow s g ebung im B e gezeigt, d a e ndung vo n e standard i s ualisierun g t eme gibt d r alisieren l a f essionelle n i nfach und g en werden l exe stark e der Techn i eines SC A u ng von St r n utzt. e n für SC A s chränkten F st nicht mö G eige r webn 2D- r P r oh eine h prä- e r nu r w eise ] und mehr e n, jen . Die s er zu B row- a ss es n 3D- i sierte g von i e auf a ssen, n Einsomit nicht e inge- i k der A DA- r uktur A DA- F u n kg lich. Webb 3D- M zur P nun g Auf g Auf g 1. S a 2. F 3. R v 4. A l e Da s Vis u dien s mit d b eze i 3 3.1 Die A und eine r scha u Die P     1 IGF b asierte Inte g M odelle un d P rozessvisu a g &Beobach t g rund des S t g abenstellu n S chaffung e a usschließli c F estlegung o R eduzierun g v ollständig e A nwendun g e in 3D. s ich die Pl a u alisierung e s te) wie z. B d em Arbeit i chnet. Lösu n Archit e A rchitektu r basiert au f r SQL-Dat e u licht diese P lattform be PIACS- Kompo n PIACS- Geräte. HTTP- S zur Ver f SQL-D a nutzers p – Industriell e g rationsplattfo r d -Darstell u a lisierung e t ung von A n t ands der T n gen für di e e iner man d c her Verw e o ffener Sch n g der erfor d e Systemko n g und Unter s a ttform mi t e ignet, son B . Alarmm a stitel Platt f n gskonz e e ktur der r von PIAC f einem ze n e nbank so w Architekt u e steht aus d Server B a n enten. Client Fro S erver: St e f ügung. a tenbank: p ezifischen V e Gemeinsch a r m für dyna m u ngen wer d e ingesetzt, o n lagen/Pro z echnik und e zu entwic k d antenfähig e ndung von n ittstellen fü d erlichen K n trolle über s uchung vo t zukünftig d ern sich a a nagement i n f orm Indep e e pt Integrati S nutzt Pri n n tralen Bac k w ie verschi u r. d en folgend e a ckend: Z e ntend: Be n e llt der Be n D ient zur S V isualisier u ftsforschung m ische 3D-An l d en bisher ü o bwohl die s z essen sehr d des ermitt e k elnde Inte g e n und ro l standardisi e f ür eine Er w K onfiguratio die Client- W o n WebGL z geplanten a uch ander e ntegrieren l e ndent Aut o onsplatt f n zipien aus k en d -Serve r i edenen Fr o e n fünf Ha u e ntraler K o n utzerober fl n utzeroberf l S icherung d u ngsprojekt l agenvisualisi e ü berwiege n s für die in f effizient w ä e lten Forsc h g rationsplat t l lenbasierte e rten Webt e w eiterbarkei t nen auf de r W eboberfl ä z ur Darstel l Erweiteru n e Automat i l assen, wur d o mation C o f orm dem IGF 1 - r in Java, d o ntends ko m u ptkompon e o mmunikat i l äche, vert e äche die b e d er Konfig u e. e rung d zur Sim u f ormations o ä re. h ungsbedar f t form zu lö s n Rahmen - e chnologie n t durch Dri t r Serversei t ä che. l ung kompl e n gen nicht sierungsfu n d e die Inte g o ntrol S y st e - Projekt W O d er mittels m munizier t e nten: i onsknoten e ilt auf Des k e nötigten D u rationen/ E Se i u lation und o rientierte B f waren fol g sen: -Plattform n . t te. t e und mö g exer Anlag e nur für di e n ktionen ( b g rationspla t e m, kurz P I O AS [WO A Websocke t t . Bild 2 v zwischen k top und m D aten und B E instellung e i te 171 nicht B edieg ende unter g lichst e ntei- e 3D- zw. - t form ACS, A S14] t s mit v eranallen m obile B ilder n der Seite  B ild Der A folg e     3.2 Für Steu e Plug I wic k Ger ä Blue PIA C es e r 172 1..n Ge r ren bzw . 2: Archit e A nsatz ein e e nde Vortei l Stand-A lich. Keine U Offene u durch D r Es lasse n ren („R e Einbin d die dyna m e rungen) l ä I n‘s komm u k elte Schnit t ä ten stehen tooth, Zig B C S soll ein rm öglichen , r äte-Gate w . zu Autom a e ktur de r I n t e r vollständ i l e: lone-Progr a U pdates bei d u nd wohld e r itte. n sich neue e nt an Auto m d ung vo n m ische An b ä sst sich d e u nizieren m t stellen. Fü r diverse K o B ee, etc. zu r hohes Ma ß , jede Art v w a y s: Stelle n a tisierungs g t egrationsp i gen Realis i a mme (Liz e d en Nutzer n e finierte S y Geschäfts m m ation Ser v n Autom a b indung vo n e r Kommu n m it dem Ke r r d ie Kom m o mmunikati Verfügun g ß an Erweit e v on Gerate n n Kommu n g eräten ber e p lattform P IA i erung auf B e nzen) sin d n erforderli c y stemstrukt u m odelle au f v ice“). a tisierun g n Automa t u nikationss e r n des Bac k m unikation onskanale w g . e rbarkeit u n n und Sen s n ikationska n e it IA C S B asis von W bei den N u c h. u r mit Er w f Basis des g sgeräte n t isierungsg e e rver durch k end Serve r zwischen d w ie Ethern e n d offene S s oren in da n äle zu Sen W ebtechnol o u tzern nic h w eiterung d e Dienst-Par a n e räten (Se n PlugIn‘s e r s durch ei g d en PlugIn‘ s e t, WiFi, S S chnittstelle n s System e Langmann, n soren und A o gien besit z h t mehr erf o e r Funktio n a digmas re a n soren, Ak t e rweitern. D g ens hierfü s und den r S erial Port, e n bieten, w e inzubinde n G eige r A ktoz t u.a. o rdern alität a lisiet oren, D iese r entr eale n USB, w elche n . Um AR für mobile Assistenzsysteme Zugriffsgesicherte Augmented Reality Lösung zur mobilen Instandhaltungsunterstützung mit zustandsorientierten Arbeitsanweisungen Matthias Neges, Mario Wolf, Michael Abramovici Lehrstuhl für Maschinenbauinformatik (ITM), Ruhr-Universität Bochum Universitätstrasse 150, 44780 Bochum Tel. +49 (0) 234 / 32 22 109, Fax. +49 (0) 234 / 32 14 443 E-Mail: [email protected] Zusammenfassung Technische Anlagen und Produktionsstätten sind in aller Regel komplexe Systeme, die aus einer heterogenen Landschaft von Subsystemen bestehen. Die technischen Dokumentationen und Instandhaltungshistorien stehen bei Wartungstätigkeiten häufig nicht vollständig oder nur in Papierform zur Verfügung, während der aktuelle Status der Anlage nicht mit den vorhandenen Informationen überlagert werden kann um den die Durchführung der geplanten Aktion zu vereinfachen. In diesem Beitrag wird ein Ansatz präsentiert, der Servicetechnikern eine interaktive, intuitive und protokollierbare Methode zur Verfügung stellt, auch an unbekannten Systemen Instandhaltungsmaßnahmen vorzunehmen. Hierzu wird über Graphen die Funktion des Systems abgebildet und algorithmisch eine Problemlösung nach Aufnahme des Ist-Zustandes bereitgestellt, die den Techniker schrittweise in der Herstellung eines bestimmten Betriebszustands unterstützt. Das hier dargestellte Konzept nutzt Augmented Reality (AR) nicht nur als reines Visualisierungswerkzeug für Informationen und Arbeitsanweisungen, sondern ebenfalls für die Aufnahme des Ist-Zustandes und die Erstellung von erweiterten, multimedialen Serviceberichten. Das vorgestellte Konzept umfasst insgesamt sechs Phasen: den über RFID authentifizierten Zugriff auf die digitalen Daten, die Synchronisation eines mobilen Endgerät mit dem Server, die Bereitstellung von Informationen über AR, die Aufnahme des Ist-Zustandes über AR, die algorithmische Problemlösung, die Bereitstellung von intuitiven AR-Arbeitsanweisungen zur Herstellung des Betriebszustandes und die Dokumentation der durchgeführten Arbeiten in AR-Serviceberichten. Schlüsselworte Augmented Reality, mobile Geräte, Kennzeichnungstechnik, Authentifizierung, Instandhaltung Seite 182 Neges, Wolf, Abramovici Secure Access Augmented Reality Solution For Mobile Maintenance Support Utilizing Condition-Oriented Work Instructions Abstract In most cases, technical facilities and manufacturing plants are complex systems with a heterogeneous variety of subsystems. Technical documentation and maintenance protocols are often either incomplete, not available on site or available only in print form. Additionally there is often no information about the current state of the maintenance object, which could be used to analyze and enhance the task at hand. In this paper, we present an approach that offers service technicians an interactive, intuitive and documentable way to maintain unknown machinery. To realize context awareness, we use graph-based algorithms to guide the technician in achieving the machine’s desired operating condition after evaluating the current state of the machine, once again with guidance from our mobile application. Our approach makes use of augmented reality not only as a tool for visualization, but also as interactive input method to capture the current machine state and to generate multimedia maintenance reports, i.e. by taking pictures with redlined components and saving them in their actual context Our concept is divided into six phases: Rfid-based authorized access to maintenance relevant data, synchronization of data between server and mobile application, visual provisioning of context relevant data, capturing the current state of the maintenance object, provisioning of intuitive stepwise instructions to achieve certain operating conditions and the documentation of executed actions, used materials, tools etc. Keywords Augmented Reality, mobile devices, marking technology, authentication, maintenance Zugri 1 Im L pho n mög l b iler We n räte n auc h durc h größ e Hea d b eid e mun i mit d Schr i Um b zu k ö halt u ten Z logi e kom p zun g Roh r glei c Um s ausg e trof fe deut i gen d von sche n zur N Co m kryp t Die h one n soll, Uns e Logi ffsgesicherte A Einlei t L aufe des l e n es und Ta b l ichen weit r Kommuni k n n man die A n nutzen m ö h verschied e h ihre gro ß eren Displ a d Mounted D e r Hände e r i cations Sy s den Mögli c i tt in Richt u b eispielsw e ö nnen, mu s u ngsobjekt u Z eitaufwan d e n wie Au g p lexen Wa r g eines War t r leitungssy s c hzeitig die s icherzuste l eführt wer d fe nen Anla g i gen Identi f d e Mehrhei t optischen K n Barcodes N utzung v o m municatio n t ographisc h h ier vorges t n hinaus, d a sondern a u e r Fokus li e kmodell, d u A R-Lösung z t ung e tzten Jahr z b lets, den M r eichende A k ation und d A nsätze de s ö chte, erge b e n Einsatz z ß e Verbreit u a ys besser e D evices (H M r möglichen s tem (UM T c hkeiten v o u ng Ubiqui t e ise eine W a s s sich der S u nd dessen d führt [W F g mented R e r tungsaufg a t ungsproze s s tem eine R Fehlerrate [ l len dass d i d en, ist ein e g e erforderl i f izierung d e t der Smar t K ennzeich n . Geräte ak t o n elektro m n (NFC) o d h sichere A u t ellte Lösu n a nicht nur e u ch eine akt e gt auf de m u rch den k o u r mobilen W z ehnts habe n M arkt vollk o A nwendung d es mobile n s Internets d b en sich au s z wecke. B e u ng beson d e Möglich k M Ds), wie . Kommun i T S), Long T o n Kennze i t ous Comp u a rtungsauf g S ervicetec h Funktions w 07]. Dabei e ality (AR) a be unterst ü s ses mit A R R eduzierun g [ HWT13]. e nötigen A e Authentif i i ch [LT06] . e s Technik e Devices v n ungstechn o t uellerer G e m agnetisch e d e r Radio F u thentifizie r n g geht üb e e ine Darste l i ve Analys e m Abgleich d o ntextsensi t W artungsunter s n mobile E o mmen du r g en in den B n Internets. d er Dinge m s den indivi e trachtet w d ers in den k eiten fü r u Google Gl a i kationssta n T erm Evol u i chnungste c u ting, bzw. I g abe im Ra h h niker zunä c w eise versc h kann der E den Servi c ü tzen [vK P R beispiels w g der Arb e A rbeiten an i zierung de s . Der Sinn e rs und der erfügt übe r o logien wi e e neratione n e n Kennze i Frequency r ung erlaub e e r die heute llung berei t e des aktue l d es erfasst e t ive Anwei s tützung E ndgeräte ( S chdrungen B ereichen v m it verschi e duellen Ei g w erden hier Fokus rüc k u mfangreic a ss, die ein e n dards wie U u tion (LTE) c hnologie n I nternet de r h men einer c hst einen Ü h affen, was insatz von S c etechniker P 10]. Eine w eise ermö g e itszeit u m kritischen M s Technike r der Authe n zu warten d r Kameras u e Q R -Cod e n verfügen z i chnungste c Identificat i e n. üblichen I n t s vorhand e l len Zustan d e n Ist-Zusta sungen zur S mart Devi c [AGN14]. D o n Mobile e denen Typ e g enschaften sowohl S m k en. Table t h e Darstel l e uneingesc h U niversal M , und Blue t ermöglich e r Dinge [C O Instandhalt u Ü berblick ü wiederum S mart Devi bei der D u kontextsen s g licht bei e i bis zu 5 5 M aschinen t r s vor Ort, d n tifizierung d en Maschi n u nd erlaubt e s, Datama t z um Teil ü b c hnologien i on (RFID ) n standhaltu n e ner Daten r d s der betr e n ds mit ei n Verfügun g Se i ces), wie S Diese Ger ä Computin g en von Mo b der Geräte martphone s t s, die dur c l ung biete n hränkte N u M obile Tel e t ooth, zusa m e n den nä c O O13] . t ung durch fü ü ber das In s zu einem e i ces und Te c u rchführun g sitive Unt e i nem kom p 5 % und h a t eilen tatsä c d irekt an d e liegt in de n e. Die üb e t so die N u t rix oder k b er Schnitts wie Near ) , die auc h ngsdokum e r ealisiert w e ffenden A n n em hinterl e g gestellt w i te 183 S ma r tä te erg , m ob ilget ypen s , die c h die n und t zung e comm men c hsten fü hren s tand- e rhöhc hnog von e rstütp lexen a lbiert c hlich e r ber ein- e rwiet zung k lassitellen Field h eine e ntatierden n lage. e gtem erden Seite kön n den S 2 2.1 Inst a CM M EA M Auf g       CM M eing e klei n und o und [ 2.2 Die N tifik a gabe Wei t cher t kon k mod e dem für d chu n lem 184 n en. Weiter h S ervicetec h IT-An s Comp u a ndhaltungs M S, Comp u M (Enterpri s g aben: Manage m Auftrag s Asset M Garanti e Lagerve r und Bet r Statistik a Unterst ü en nach M S sind ty p e schränkte N n ere Displa y o ptimierte D [ BKK+10] RFID- E N utzung v o a tion von A von z.B. B t erhin könn e t werden, w k rete, geke n e rnen Mob i Gerät ges p d en Datena b n gstechnolo g Inhalt und h in unterst ü h nike r b ei d e s ätze für u terized M orientierte u terized M a s e Asset M a m ent von Z s verwaltun g M anagemen t e informatio n r waltung: V r iebs- und V a nalyse für ü tzung eine s [DIN 3105 1 p ischerwei s N utzbarkei t y -Größe, al s D arstellung diskutiert. E insatz i n o n Auto-ID- A nlagen, M a B ezeichnun g e n mit Ken n w ie z.B. ga n n nzeichnete i lgeräten a b p eicherte D a b ruf aus ei n g ien mit S m damit die V ü tzen die m e r Arbeit, a l die Inst a M aintena n F irmen un d intenance M a nagement) eitplänen f ü g mit Planu n : Verwaltu n n en, Inspek t V erwaltung V erbrauchs m einzelne M s kontinuie r 1 ] Soll-/ Ist - e als Desk t t der Daten s auch die B bedingen. A der Inst a Verfahren m a schinen un g en nicht a n n zeichnun g n ze URLs z Produkt. D b gerufen u n a ten zugeg r n er Daten b m art Devic e V erknüpfu n m ultimedial e l s auch die D a ndhalt u n ce Man a d Dienstlei s M anageme n b ekannt si n ü r die Insta n n g, Kosten u n g von M a t ionsinterv a und Orga n m aterial M aschinen r lichen Ver b -Wert-Ver g t op-Applik a auf einem M B edienung u Ansätze fü r a ndhaltu n m it Smart D n d Teilen u n n fällig für F e g stechnolog z u weitere n D iese zusätz l n d genutzt w r iffen werd e b ank genut z e s kann als n g von rea l e Instandh a D okument a u ng a gement s ter setzten n t Systems [ n d. Diese S y n dhaltung u nd Doku m a schinen, S p a lle, etc. n isation vo n b esserungs p g leich], Ass e a tionen aus g M obilgerät , u nd Einsat z r derlei Op t n g D evices er m n d ist im G e e hler [Fin0 2 i en auch z u n Ressourc e l ichen Ress w erden. D a e n, oder di e z t werden. D o die Refe r l er un d vir t N ege s a ltungsrepo r a tion im Na c Systems heutzutag e [ MRP+10], y steme hab e m entatio n p ezifikatio n n Ersatzteil p rozesses B e t-Kostenü b g elegt. Die s , da besond z umstände e t imierung w m öglicht die e gensatz zu r 2 ]. u sätzliche N e n, jeweils b ourcen kö n a bei kann e e mobile In t D ie Nutzu n r enzierung v t ueller Wel t s , Wolf, Abra m r ts dabei s o c hgang. e auf soge n welche au c en die folg e n en, Check l l en, Werkz e B etriebsken n b erwachun g s ermöglic h d ers die erh e e ine verein f w erden in [ S eindeutige r manuelle n N utzdaten g e bezogen a u n nen mithil f e ntweder a u t ernetverbi n n g von Ke n v on multi m t verstärke n m ovici o wohl n annte c h als e nden l isten, e ugen n zahlg ) h t nur e blich f achte S G13] Idenn Ein- e spei- u f das f e von u f auf n dung n nzeim edian und Zugri som i [M R tung RFI D ten z die v zeic h 2.3 In ei n vom von g glei c che n kön n den. ausf o dun g ist, k ßere 2.4 Aug m kom b kan n wer d küns Mus t dies e te in jekti n Wei t han d prop r und halt u gen m le, k o plex e ffsgesicherte A i t die Visio n R P+10] ent n relevante n D -Tags bie t z u hinterleg v orgestellte h nungstech n Entsc h n er aktuell e Instruktio n g rafischen D c h zum Bei s n umso me h n ten ebenso Arbeitsan w o rmuliert. I g en zwisch e k ann allerdi n Interaktivi t AR-Ei n m ented Re a b iniert die v n mit Hilfe v d en. Um de n tliche Mar k t ern und D e M a rker in das Brille n n itiativen w t erentwickl u d ene A R -L ö r ietäre Har d berücksich t u ngsaufgab e m üssen un d o stengünst i e n Rohrleit u A R-Lösung z n des Inter n n ehmen kan n n Informati o t en sogar d i en. Doch a n Lösung m i n ologien ei n h eidungs f e n Untersu c n smedium a D arstellun g s piel zu Fl i h r für eine M mit einer s w eisungen I n aller Re g e n zwei Op t n gs über v e t ät erlaube n n satz in d a lity (AR) v irtuellen 3 v on Smart D n Blickwin k k er verwen d D imensione n Echtzeit e r n display od e w ie ARVIK A u ng und de ö sungen fü r d -und Soft w t igen vord e e n, die in e d eine leich t i ge Softwa r u ngssyste m u r mobilen W n ets der Din n , gibt es v e o nen zu s p i e Möglich k n statt sich a i t verschie d n setzbar sei f indung i c hung habe n a nalysiert. E g bei Aufg a eßbandarb e M odernisie r s tandardisi e sind heutz u g el beschrä n t ionen. Die e rschiedene würden [ A er Insta n ermöglicht D-Modelle D evices, wi e k el des Bet d et. Dies s i n . Basieren d r kannt und a e r in die Li v A , STARE M n Einsatzp o r Montagew are ein, si n e finierte U m inem für d e t e, benutzer e erfor d er n m s in öffent l W artungsunter s n ge zum Te i erschieden e p eichern u n k eit lokal, d a uf RFID a l d enen, vor a i n. n Arbeit s n Schlick e t E rgebnis d e a ben, die m i e iten) ausg e r ung der bi s e rten Symb o u tage häuf i n ken sich d Entscheid u andere M e A KW14]. n dhaltun g eine Erw e und Infor m e z.B. HM D t rachters er f i nd sehr m a d auf grafi a ls Refere n ve-Ansicht M ATE ode r o tentialen v und Insta n n d aber bed i m gebungen. e n Service m r freundlich e n . Als Beis p l ichen Geb ä s tützung i l umsetzen e erprobte A n d verfügb a d irekt an d e l s Träge r -T e a llem aber s plänen f ü t al. [SJM1 4 e r Studie i s i t nur gerin e führt werd e s her üblich e o lik (vgl. [ V g noch sc h d ie Auswa h u ng welche r e thoden get r g e iterung di e m ationen m i D s, Smartp h f assen zu k ö a rkante Bil d schen Erk e n z-Objekte b der Kame r r ARTESA v on AR im n dhaltungsa u i ngt durch h Es existie r m itarbeiter e Standar d - H p iel kann h i ä uden gena n [FF05], [E O A rten die f ü ar zu mac h e r jeweilige n e chnologie optischen A ü r die In s 4 ] die Lern e s t dabei de r g er Wiede r e n. Diese L e n Arbeits a V DI2860]) h rittweise u h len auf ei n r Schritt al s r offen wer d ses digital e i t dem real e h ones oder T ö nnen, wer d d er mit be k e nnungsalg o b enutzt, um a einzuble n S b eschäfti g industriell e u fgaben se t h öheres Ge w r en jedoch unbekannt e H ardware s o i er die Wa r n nt werden . Se i O P07]. Wi e ü r die Insta n h en. Soge n n Maschin e festzulege n A rten von K s tandhalt e rfolge ab h e r bessere E r holrate (i m L ernerfolge a nweisunge n kombinier t u nd in Tex n fache Ent s s nächster z d en, die ein e e n Ansatze s e n Produkt . T ablets, rea l d en in der R k annten vis u o rithmen w m virtuelle O n den. Groß e g ten sich m e n Umfeld. t zen jedoc h w icht unha n ebenso In s e n Umfeld o wie eine fl r tung eines . Aktuell v e i te 185 e man n dhaln annte e , Dan , soll K ennung ängig E rfolg m Versp r en und t wert form s cheiz u tun e g r ös und Dies l isie r t R egel u ellen erden O bjek- e P r om it der Vorh eine n dlich s tanderfol- l exibkom- e rfüg- Seite b are Gru n Die A firm e An w Erge sche , ple m pun k Fun k 3 3.1 Im R (TH W räte n trieb n Ken n lese n tion f Die K der i weis e wes e oder Stud i Anl e gege fühl kum e Die S grup p nied r erst m neh m 186 HMDs kö n n d werden T AR -Techn o e n, die si c w endungen, bnisse aus , Tracking- V m entiert sin d k tbasiertes u k tionsumfa n V orhe r Cases t R ahmen ei n W ) Se k tion n Methode n n ahme un d n zeichen a n n werden k o f ür das ent s K urzdoku m m Kennzei e bebildert e e ntlichen A vorliegend i e lag in d e e itung. Zw e nübergeste l der Benut z e ntation od e S tudie zeig t p e mit Vor w r igere Fehl e m it der sp e m en. n nen dabei T ablets und o logie führt e c h mit ko m wie das m e den genan n V erfahren a d . Ein stabi l u nd ein k a n g. r gehend t udy mit b n e r Fallst u Bochum w n und Lösu n d Bedienun g n den Gerät e o nnten. Die s s prechende G m entation w u chen gespe e Anweisu n A rbeitsschri t e Fehlfunk t e r Gegenüb e e i Testgrup p l lt, um die z er über ei n e r einer fre i t e sehr gut e w issen zwa r e rrate aufw i e ziell ange fe keine zuf r Smartpho n e in den le t m merzielle n taioSDK o d n ten Proje k a n, welche v l es 2D-Tra c a ntenbasier t e Arbeit e b ebildert e u die in Zu s w urden anh a n gen getest e g dieser G e e n angebra c s sicherte e i G erät und d u rde in Fo r i cherten U R n gen (Foto s t t unterstüt z t ionen der G e rstellung v p en mit je w Gesamtzei t n e anschlie ß i en Bedien u e Erfolge b e r minimal l ä i es. Die Be n fe rtigten A n r iedenstelle n n es zunehm e t zten Jahre n n Softwar e d er Vufori a k ten und bi e v ollständig c king von v e t es 3D-Tr a e n e n A nlei t s ammenarb e a nd der Un t e t, die es er m e räte zu u n c ht, die vo m i nen schnel l d essen Bed i r m eines P D R L abgeru fe s ) mit Ann o t zen. Hierb G eräte berü c v on Erfahr u w eils gleic h t , die Fehl e ß ende Befr a u ng zu bew e e i der Anw e ä nger für d e n utzergrup p n leitung in d n de Nutzu n e nd für AR - n zur Entst e e -Lösungen a , b eschäfti g e ten somit in eigene n e rschieden e a cking geh ö t ungen e it mit de m t ersuchung v m öglichen n terstützen. m Benutzer l en Einstie g enung. D F-Dokum e fe n. Die Do k o tationen, d ei wurden c ksichtigt. D u ngswerten g h en Inbetri e e r(-anfällig k a gung gege n e rten. e ndung de r e n Ablauf b p e ohne Vo r d er Lage d i N ege s n g garantie r - Anwendu n e hung zahlr e zur Erst e g en. Diese b bereits rob u Programm b e n Marke r - T ö ren mittle r m Technis c v on schwe r d ie Anwen d Zu diese m ü ber ein S m g in die rich t e nts hinte r l e k umentatio n d ie den Be n keine Zu s D as Haupta u g egenüber e e bnahme-A u k eit) und d a n über der t r Methode, d b rauchte, ab r wissen hi n i e Maschin e s , Wolf, Abra m r en. Aus d i n gen einges e r eicher Soft w e llung von b edienen si c b uste, meist m bibliothe k e T ypen, sow e rweile mit c hen Hilfs w r em Bergu n d er bei der m Zweck w u m artphone e t ige Doku m e gt und au fg n enthält s c n utzer bei j s tandsaufn a a ugenmerk d einer kom p A ufgaben w u a s Sicherhe r aditionelle da die Ben u b er eine erh e n gegen war n en in Betri m ovici i esem e tzt. w a r e- A R - c h der optin imie ein zum w erks n gsge- Inbe- u rden e ingem entag rund c hrittedem h men d ieser p akten u rden itsger Do- u tzer- e blich sogar eb zu Zugri 3.2 Die A für- S rung b un g elle n erm ö Stru k umg e rück s reitg e ker k elles Foto for m jekt e pun k tung Eine ple m Eins a riell e 3.3 Im R Uni B artig e gest e stan d Mög stan d Die d Hint e Sze n Zust a stan d kuss i und e stell t sow o ffsgesicherte A AR-Ar b A utoren p u S chritt A R - A von einz e g , der entsp r n Hinweise n ö glicht. Di e k tur als X M e setzt wer d s ichtigt da s estellten I n k ann aufgr u 3D-Model s dokumen t m alisierten S e s, welche w k t der darge der Daten, detailliert e m entierten T a tz in AR I e A R -Anw e Zusta n R ahmen de s B ochum w u e, interakt i e llt werden d s spielt in g lichkeit ge g d angepasst e d urchgefü h e rgrund w u n arios durc h a ndsaufnah m d s des Syst e i ert. Durch e ntspreche n t . Während o hl technis c A R-Lösung z b eitsanw e u blizierten i A rbeitsan w e lnen Arbe i r echenden V n in Form v e so gener i M L exporti e d en. Neben s Konzept d n formatione n u nd dieser I n l auswähle n t ieren. Die S truktur, In f w iederum d stellten Lö s der Arbeit s e Evaluatio n T racking-V e I nstandhalt u e ndungen li e n dsorient s Kompete n u rde in [A K i ve Instand h können. B diesem A n g eben, sow o e Arbeitsa n h rte Casest u u rde an ein h geführt ( s m e inkl. F e e ms durch Ä Verwendu n n der Kennz der Durc h c he Doku m u r mobilen W e isunge n n [AN14], w eisungen. H i tsschritte u V isualisier u v on z.B. Ri c i erten Arb e e rt und so der reine n d ie Erstellu n n für eine g n formation e n und Defe k so erstellte n f ormatione n u rch den 3 D s ung steht e s aufträge u n n der kom m e rfahren die u ngsprozes s e fern. ierte Arb e n zzentrums K W14] ein h altungssu p B esonders d n satz eine o hl eine A n w eisungen u dy mit üb e em eigens s iehe Kapi e hlerdetekti o Ä nderung d n g eines N e ichen wur d h führung d e m entationen W artungsunter s n und AR - [AN13] ei n H ierbei w u u nter Berü c u ng der bet r c htungspfe i e itsanweis u in eine A R n Visualisi e u ng von Se r g enaue Pr o e n betroffe n kte, wie z. B n Serviceb e n über den r D -Viewer i n e in Webb a s n d Synchro n m erziellen A erforderlic s en liefern k e itsanw e für hydra u Konzept e n p portmetho d d ie Berücks entscheide n n alyse des a zu erhalte n e r 160 Teil n konstruiert i tel 5). D a on. Die Wi d er Konfig u N FC (Near F r de die korr e r Studie st als herstel l s tützung - Service b n en Ansatz u rde über e i c ksichtigun r offenen B a i len oder 3 D u ngen kön n R -Anwendu n e rung der A r viceberich t o blembesch r n e Bauteile B . Bruchst e e richte lief e r ealen Zus t n terpretiert s iertes Man a n isation zu m AR -Werkze u h e Robust h k önnen un d isungen u lische Strö m n twickelt, m d en auf M i chtigung d n de Rolle. a ktuellen Z u . n ehmern o h en Pumpe n a s e r ste S z ederherstel l u ration wu r F ield Com m ekte Erken n a nden den l ergeliefert e b erichte zur Erstell u i n 3D-Vie w g einer T ä a uteile und z D -Komme n en über e i n g auf de m AR -Arbeits a t en und nu t r eibung. D e ü ber ein üb e llen, mitte l e rn somit, i n t and des In s werden kö n a gementsy s m Smart De v u ge zeigt h h eit und Ge n d somit die B m ungsmas c m ithilfe des s obilgeräte n d es aktuell e So wird d e u stands, als h ne besond e n teststand a z enario u m l ung eines f r de im zwe i m unicatio n ) n ung des S y Probanden e s Dokume n Se i ung von S c w er die Ge n ä tigkeitsbes c z usätzliche n tarlabels i n i ne formal i m Smart D e a nweisunge t zt damit d i e r Servicet e b erlagertes, l s kommen t n einer ebe s tandhaltu n nnen. Im M s tem zur V e vice. h ie r , dass d i n auigkeit f ü Basis für i n c hinen der R s en verschi n zur Verf ü e n Maschi n e m Benutz e auch an de e ren techni a nhand von m fasste ein e f unktionale n i ten Szenar i ) -fähigen T a y stems sic h auf dem T n t, als auc h i te 187 c hrittn eriec hreivisu- n tuitiv i sierte e vices n be- i e be- e chnivirtu- t ierter nfalls gsob- M ittel- e rwal- i e imü r den n dust- R uh r - edenü gung enzu- e r die n Zus chen zwei e Istn Zu- i o fo- a blets h erge- T ablet h eine Seite dyn a wur d eine r Ohn e b esti plik a nah m 3.4 Text u folg s digit a tieru n zwis c stan d leml ö Hier z die i n b iet e laub t 4 Bild Aut h nike r dem dem b eli e (Pha eine n darg e b len d pun k Dur c erhä l che n wird til d ef 188 a mische Ist - d en darauf h r algorithm i e technisc h i mmten Be t a tion wurd e m e erreicht. Bewer t u ell umfan g s verspreche n alen Medi u n g in der R chen Reali t d der Masc h ö sung ber e z u kann A R n teraktive A e t deutlich e t eine ange m Konz e 1 zeigt ein e h entifizieru n r Zugriff a u digitalen 3 D Logikmod e e bige Dok u se 2). Auf n Überblic k e stellt, kan n d ung der I n k tbasierten u c h die Übe r l t der Servi n den Eleme n der Zusta n ef ekt “ , erfa s - Zustands- A h in möglic h i schen Aus w h e Dokume n t riebszusta n e eine 100 % t ung g reiche un d n de Anleit u u m auf die R R ealität. A R - t ät und dig i h ine reagie r e itstellen z u R nicht nur A ufnahme d e rhöhte Sic h m essene Re e pt e Übersicht n g über z.B u f die Inst a D -Modell, w e ll, auf des s u mentation, Grundlage k über das n eine Erk e n formation e u nd kante n r lagerung d e cetechnike r n te auf de m n d der Elem e s st und für d A nalyse zur h e soforti g w ertung an g n tation wa r n d zu erreic h % ige Erfol g d grafisch a u ngen. Sie b R ealität üb e - gestützte A i talen Infor m r en zu könn e u können, m als reine V d es Ist-Zus t h erheit im U a ktion auf F über das G . einen Q R - a ndhaltungs u w elches fü r s en Basis e i wie Insta n dieser Inf o ihm vorlie g e nnung des e n und di g n basierten E e s realen R r zudem di e m Display d e nte, wie z. d ie Analyse Verfügun g g e Wiederi n g eboten. r kein Pro b h en. Durch g squote bei a ufwändig e b eanspruch e e rtragen w e A nleitungss e m ationen h en und situ a m üssen d i e V isualisieru n t andes eing e U mgang m i F ehlerfälle. G esamtkonz - Code oder u nterlagen r die später e i ne Zustan d n dhaltungs b o rmationen g ende Syst realen Ob j g italen 3D- M E rkennungs v R ohrleitung s e Möglichk d en Ist-Zust a B. „Ventil g bereitgest e g . Auf Basi s n betriebna h b and in der die Verwe n Fehlerdete e Beschreib u e n jedoch Z e rden zu kö n e quenzen s t h er. Um fle x a tionsabhä n e se Ansätz e n gstechnik, e setzt werd i t einer un b ept und de s ein RFID- T (Phase 1). e A R -Visu a d s-Analyse e b erichte o d und Daten e m. Wie v o j ektes und M odelle d u v erfahren r s systems m i eit, durch d a nd des Sy s g eöffnet “ , „ e llt (Phase 3 N ege s s des erfas s h me-Anleit u Lage mit n dung der e k tion und W u ngen sind Z eit, um vo m n nen. Es m t ellen diese n x ibel auf d e n gige Anlei t e jedoch e r sondern v i e n. Die Ist - b ekannten M s sen sechs P T ag, erhält Darin enth a l isierung b e e rfolgen ka n d er technis c erhält der S o n den Au t die kontex t u rch eine K r ealisiert w e i t dem digi t d ie Markier u s tems aufz u „ Ventil ges c 3 ). s , Wolf, Abra m s ten Ist-Zu s u ngen auf Sicherheit e ntwickelte n W iederinb e d präzise u n m Benutze r m angelt an O n direkten B e n aktuelle n t ungen zur r weitert w e i elmehr au c - Zustandsa n M aschine u n P hasen. Na c der Servic e alten sind n e nötigt wir d a nn, auch w c he Daten b Servicetec h t oren in [ A t spezifisch e K ombinatio n e rden (Pha s t alen 3D- M r ung der en t u nehmen. H c hlossen “ , „ m ovici s tands Basis einen n Ap- e triebn d err vom O rien- B ezug n Zu- Prob- e rden. c h für n alyse n d erc h der e techn eben d , und eitere b lätte r h ni k er A N14] e Einn aus s e 3). M odell t sp r e- H ierzu „ Ven- Zugri B ild Dur c Fun k wert u des B niss e über t auto m [AN Arb e Hin b Änd e Fun k stell e wen d über stan d kan n sikal stell e das v Der F Ist- Z Real i ffsgesicherte A 1: Die se c c h die inte r k tion und L u ng und P r B eitrages u n e der Analy t ragen. Die s m atisch au 14] stellte n e itsanweisu n b lick auf di e e rungen, z. B k tionsweise e n, so kan n d et werden. die Funkt i d haltungspr n , sind die P l ischen Sys t e n und dies v irtuelle M o F okus dies e Z ustandes u n i tät. A R-Lösung z c hs Phasen r aktive Ist- L ogik des S y r oblemfind u n d wird da h se lassen si s setzt eine f Basis d e n die Auto n gen und A e erweitert e B . die Verä n des Syste m n der aufge n Der Beric h i onstüchtig k ozesses ei n P osition un d t em stets a u e mit Kom m o dell zurüc k e s Beitrage s n d der Ve r u r mobilen W des Gesam t Zustands- A y stems her s u ng auf Ba s h er detailli e ch nachfol g starke Mo d s vorliege n r en bereits AR -Service b e Aufnahm e n derungen v m s oder ein e n ommene I s h t enthält s o k eit der ei n n e kontinu i d der Blick w u slesbar. D i m entaren u k geführt we s liegt, wie k nüpfung d W artungsunter s t konzepts A ufnahme ü s tellen. Di e s is von Gr a e rt in Kapit e g end auf di e d ularisieru n n den Ist-Z u einen An b erichte vo r e des Ist-Z u v on Ventil s e generelle s t-Zustand o mit z.B. a l n zelnen Ele i erliche A R w inkel des S i es ermögli u nd Redlini n er den könn e bereits bes c d er Inform a s tützung ü ber AR l ä s ermöglic h a phen. Dies e e l 4.1 und 4 e Generier u n g der Arb e u standes z u satz für d i r . Diese A n u standes de s s tellungen, e Anpassun g e benfalls f ü l le Ventilst e mente. Da R -Unterstüt z S ervicetech n cht es, pos i n gs zu vers n (Phase 5 u c hreiben, z u a tionen zwi ä sst sich e i h t eine alg o e Analyse b 4 .2 beschri e u ng der Ar b e itsschritte v u generiere n i e Visualis i n sätze lasse n s Systems e e rforderlic h g der Funkt i ü r einen Se r e llungen o d während d z ung gewä h n ikers in R e i tionsbezog e hen, welc h u nd 6). u nächst au f schen Fun k Se i i ne Relatio n o rithmische b ildet den F e ben. Die E b eitsanweis u v oraus, um n (Phase 4 i erung von n sich jedo c e rweiterbar . h um die ko r i onsweise h r viceberich d er eine A u d es gesamt e ä hrleistet w e lation zu m g ene Fotos z h e wiederu m f der Analy s k tion, Logi k i te 189 n zur Aus- F okus E rgeb- u ngen diese 4 ). In A R - c h im Sind r rekte h erzut ver- u ssage e n Inerden m phyz u erm auf s e des k und Seite 196 Neges, Wolf, Abramovici [VDI 2860] VDI-RICHTLINIE 2860: Montage- und Handhabungstechnik - Handhabungsfunktionen, Handhabungseinrichtungen, Begriffe, Definitionen, Symbole. Beuth Verlag, Berlin, 1990 [WF07] WOHLGEMUTH, W.; FRIEDRICH, W.: Advanced Augmented Reality Technologies for Industrial Service Applications: ARTESAS. BMBF-Leitprojekt ARTESAS, zusammenfassender Schlussbericht: Siemens AG, 2007. Autoren Prof. Dr.-Ing. Michael Abramovici promovierte an der TU Berlin bei Prof. Spur und ist seit 1994 Professor für Maschinenbauinformatik an der Ruhr-Universität Bochum. Er ist Direktor des Instituts für Unternehmensführung (ifu) der Ruhr-Universität Bochum sowie Gastprofessor an der Tongji-Universität in Shanghai, China. Er ist Vorstandsvorsitzender der Wissenschaftlichen Gesellschaft für Produktentwicklung – WiGeP. Seit 2009 ist Prof. Abramovici Mitglied der Deutschen Akademie für Technikwissenschaften (acatech). Dr.-Ing. Matthias Neges ist seit 2008 wissenschaftlicher Mitarbeit am Lehrstuhl für Maschinenbauinformatik der Ruhr-Universität Bochum. Sein Forschungsgebiet liegt im Bereich der virtuellen Produktenwicklung, mit Fokus auf die Virtual & Augmented Reality. Er promovierte im Oktober 2014 zum Thema „Smart Augmented Reality für die Indoor-Navigation und Instandhaltung“ und ist für die Gruppe „Virtual Engineering“ am Lehrstuhl verantwortlich. Mario Wolf, M. Sc. ist seit 2012 wissenschaftlicher Mitarbeit am Lehrstuhl für Maschinenbauinformatik der Ruhr-Universität Bochum. Sein Forschungsgebiet liegt im Bereich der industriellen Nutzung von Smart Devices zur Instandhaltungsunterstützung, mit besonderem Fokus auf kryptografisch sicheren Anwendungen. Er ist für das lehrstuhleigene Smart Product Labor und die Arbeit im Kompetenzzentrum für hydraulische Strömungsmaschinen verantwortlich. . Mobile Assistenzsysteme für sicheren Betrieb und Wartung von Maschinen und Anlagen Dr.-Ing. Simon Adler, Alexa Kernchen, Tilman Reipsch, Eric Bayrhammer Prof. Dr. sc. techn. Ulrich Schmucker Fraunhofer-Institut für Fabrikbetrieb und -automatisierung IFF Sandtorstr. 22, 39106 Magdeburg Tel. +49 (0) 391 / 40 90 776 E-Mail: simon.adl[email protected] Zusammenfassung Die Nutzung digitaler Maschinen- und Anlagenmodelle in der Betriebsphase ist ein wesentliches Element im Kontext von Industrie 4.0. Dabei sollen die digitalen Modelle direkt aus der Entwicklung, idealerweise in durchgängigen digitalen Entwurfssystemen, übernommen werden und in der Betriebsphase einer nutzbar sein. Am Fraunhofer IFF wurde dazu das System V-ASSIST entwickelt, das Betriebszustände durch Vergleich mit dem parallel laufenden virtuellen Maschinenmodell überwacht und kontextbezogen analysiert. Im Fehlerfall wird der Bediener durch das mobile System (u.a. Tablet, HMDs) direkt zu dem fehlerhaften Bauteil navigiert und mit Zustandsdaten der Anlage ortsbezogen unterstützt. Vor Ort hat er Zugriff auf detaillierte Fehlerbeschreibungen inkl. möglicher Fehlerursachen sowie Maßnahmen zur Störungsbehebung. V-ASSIST basiert auf dem am IFF entwickelten durchgängigen digitalen Entwurfssystem VINCENT (Virtual Numeric Control Environment), welches notwendige Informationen aus den Entwurfsdomänen der Mechanik, Elektrotechnik sowie Steuer- und Regelungstechnik verknüpft und konsistent hält. Dadurch wird ein weitgehend paralleler Entwurf einer Maschine oder Anlage ermöglicht. Entwicklungszeit und –kosten werden reduziert, der Entwurf wird weitestgehend abgesichert und die Steuerungssoftware kann entwickelt und getestet werden, bevor die Maschine oder Anlage gebaut wird. V-ASSIST verlängert die Nutzungskette der digitalen Daten in die Betriebsphase und unterstützt effektiv die Arbeit von Bedienern und Servicetechnikern einer Maschine. Der Beitrag beschreibt neben dem Grundkonzept von VINCENT detailliert den Aufbau, die Eigenschaften, Einbindung, Nutzung sowie Erweiterungsmöglichkeiten von V- ASSIST. Anhand praktisch realisierter Beispiele werden die Nutzungsmöglichkeiten demonstriert. Schlüsselworte Mobile Assistenz, Virtual Engineering, Digital Engineering, virtuelle Inbetriebnahme Seite 198 Adler, Kernchen, Reipsch, Bayrhammer, Schmucker Mobile Assistance-System for safe operation and service of machines and plants Abstract The use of digital models of machines and plants during their operation is a fundamental element of Industry 4.0. The digital models are drawn directly from development, ideally in integrated digital systems, and can be used during the operation of machines and plants. The Fraunhofer Institute IFF developed the V-ASSIST system, which monitors and contextually analyzes operating condition by comparing a real virtual model running in parallel. In the event of a malfunction, the mobile system (on, among other devices, a tablet or HMD) navigates the operator directly to the malfunctioning component and supports him or her with localized data on the plant’s condition. The operator has access on site to detailed descriptions of the malfunction, including potential causes and corrective actions. V-ASSIST is based on the integrated digital design system VINCENT (Virtual Numeric Control Environment) developed by the Fraunhofer Institute IFF, which links and keeps all data from the design domains of mechanics and electrical and control engineering consistent. This makes it possible to design a machine or plant largely in parallel. Development times and costs are reduced, the design is extensively validated and the control software can be developed and tested before the machine or plant is built. V-ASSIST extends the chain of use of the digital data during operation and effectively supports operators and service technicians’ work on a machine. This paper describes the basic concept of VINCENT as well as the design, features, integration, use and upgrade options of V-ASSIST in detail. Examples from the field demonstrate the potential uses. Keywords Mobile Assistance-Systems, Virtual Engineering, Digital Engineering, virtual Operations Mobi l 1 Bei d line n fehl e der h lung s xer A digit a para l scha f gene gen b Zeit u Um d tegr a ausf o tersc Für d b un g Neb e tisc h 2 Im F gital e b en. Date der d ASS I chu n 2.1 Dur c Dur c gra m Die Täti g rung l e Assistenzs y Motiv a d er traditio n n häufig n o e nde Durch g h äufig auft s zeit, -kost e A nlagen is t alen Engin e l lelisiert, d i f ten frühze i ntwicklun g b etrieb nutz b und Qualit ä digitales E n a tion vorha n o rderung is t hiedlichen D d ie Unters t g ) müssen r e e n den anla g h e Kopplun g Lösu n F olgenden w e n Enginee r Hierbei w e ndurchgän g d igitalen D a I ST beschr i n gen gegeb e V irtual c h das Virt u c hgängigke i m mierung a d traditionell e g keit von K und Inbet r y steme für sic h a tion n ellen Mas c o ch sequen t g ängigkeit, retende Pr o e n und -qu a t daher ei n e ering erfo r i e Gesamte n i tig abgesi c g hinaus au c b ar. Hierd u ä t im gesa m n gineering n dener Ent w t hierbei d e D iszipline n t ützung bei m e levante T e g enspezifis g an ERP-S y n gsansa t w ird der a m r ings für di e rden zunä c g igkeit im a ten aus de n i eben wurd e n. Numeri c u al Numer i i t und Par a d ressiert. e Entwickl u K onstruktio n r iebnahme v h eren Betrieb c hine n - un d t iell tätig. D die fehlen d o jektverzu g a lität aus [S Wandel v r derlich. D u n twicklung s c hert werde n c h zur Unt e u rch wirkt s m ten Anlage n z u ermögli c w urfswerkz e e r semantis c n . m Anlagen b e ilinformati o c hen Date n y steme der t z m Fraunhofe e Entwickl u c hst die be t Entwicklu n n Entwickl u e , wird ein c Control i c Control E a llelisierun g u ng im M a n , Elektrote c v or [Sch14 ] b und Wartun g d Anlagene n D abei wirk e d e Rückko p g bei Entw i S ch14]. Für v om seque n u rch das di s zeit signi fi n . Die dab e e rstützung s ich das di g nlebenszy k c hen muss e uge gewä h c he Bezug n betrieb (u. a o nen auto m n , bietet per s Betreiber w e r IFF entw i u ng von So n t eiligten K o n gsprozess u ngsprozes s Ausblick a Environ m E nvironme n g zwischen a schinenba u c hnik, Mon t ]. Die Fun k g von Maschi n n twicklung e n sich de r p plung zwis i cklungsfe h eine effizi e n tiellen Wo r g itale Engi n fi kant verk ü e i erstellte n d er Inbetri e g itale Engi n k lus aus [B K eine konsi s h rleistet we r zwischen d a . Prüfung, m atisiert zur s pektivisch w eitere Pot e i ckelte Ans n dermasch i o mponente n betrachtet. s en in den A a uf die wei t m ent (VI N n t (VINCE N der Konst r u sieht die t age (Aufb a k tionen un d n en und Anla g sind die b e r Informati o chen den D h lern, negat e ntere Ent w rk flow zu m n eering kö n ü rzt und ge w n Daten sin d e bnahme s o n eering po s K S+09]. s tente Date n r den. Eine w d en (Daten- Wartung o Verfügung die Anbin d ntiale. a tz zur Re a i nen und – a n erläutert u Nachdem A nlagenleb e eren Arbei t N CENT) N T) wird d r uktion un d sequentiel l a u), Steuer u d Mechanis m g en Se i e teiligten D o nsverlust d D isziplinen s t iv auf Ent w w icklung ko m m durchgä n n nen Tätig k w ünschte E d über die A o wie beim A s itiv auf K o n haltung u n w esentlich e - )Sichten d e o der Fehle r g gestellt w e d ung un d s e a lisierung d a nlagen bes c u nd Aspek t die Ausw e enszyklus a t en und Un t d ie Kooper d Steuerun g l e und get r u ngsprogra m men, die z u i te 199 iszipd urch s owie w ickm plegigen k eiten E igen- A nla- A nla- o sten, n d In- e Her- e r unb ehe- e rden. e manes d ic hriet e der e itung a ls V- t ersuation, g sp r or ennte m mie- u Be- Seite ginn gra m sche n kant finit i pon e Dur c Steu e tuell e tradi t die b zu h o 2.2 Um d wur d len T Dab e zeic h Daf ü VIN C chis c on, R die F ents p gun g Bild Der erste 200 vom Kon s m mierung a m n Konstru k und resulti e i on der Be w e nten, da au c h VINCE N e rungsprog r e n Anlage e t ionellen V b ei der virt u o hen Einsp a V irtuel d ie parallel e d en in Anle h T eachen v o e i werden d h net und in ü r werden z u C ENT im p c h in Bezie h R otation) s o F unktions w p rechenden g sablauf de r 1: a) Übe B eweg u Haupt s Steuerungs p e n Eindruc k s trukteur e n m Ende d e k tion und S t e rt bisher i n w egungsabl s diesen di e N T werden P r ammierer e rfolgt, die V orgehensw e u ellen Inbet r a rungen an le koope r e Arbeit un d h nung an d a o n Sonder m d ie Beweg u einen Steu e u nächst di e p ortiert, ent s h ung geset z o wie entsp r w eise der A n Bewegun g r Anlage in t rsicht über u n g der Ob j s equenzen m p rogrammi e k von der A n twickelt w e r Entwickl u t euerungsp r n einem Br u äufe und f u e Steuerung s P robleme d u a ufgehobe n mit einer r e ise kann d r iebnahme a Entwicklu n r ative St e d Kooperat i a s Teach-I n m aschinen e u ngen der M e rungscode e CAD-Dat e s prechend d z t. Zu jeder echende F r n lage bew e g sachsen (s i t eraktiv als U das Interf a j ekte entla n m it Abhängi g e rer bekom A nlagenfun k Adler e rden, führ e u ngskette [ r ogrammie r u ch der Du r u nktionale n sprogram m u rch die A b n , indem di e r ealen Steu e d er Steueru n a uftreten, a n n gszeit und – e uerung s i on der Dis z n -Verfahre n e ntwickelt u M aschine a m überführt. e n der Anl a d er Kinem a Gruppe de f r eiheitsgrad e e gt der Ko n i ehe Bild 1 a U ntersequ e a ce zur ko op n g der Ach s i gkeiten m mt anhand k tion. Er o p , Kernchen, R e n zu Vor g [ Böh14]. D a r ung unters c r chgängigk e n Zusamme n m ierung abg e b hängigkeit e Program m e rung gek o n gsprogram m n den Kons – kosten fü h s program z iplinen au f n bei Robot e u nd in VI N m virtuelle n a genkompo n a tik der A n f iniert er B e e . Auf Gru n n strukteur i a ) und legt nzen (sieh e p erativen S s en, b) Unt e dieser Unt e p timiert di e R eipsch, Bayr h aben in de r a s Abstrak t c heidet sic h e it. Wesent l n hänge der e leitet wird . zwischen K m ierung be r p pelt ist. I m m ierer frü h t rukteur zu r h rt. mierung f eine neue e rn, Metho d N CENT um g n Modell v o n enten vom n lage grup p e wegungsa c n dlage sei n i nte r aktiv n so schritt w e Bild 1b) f e S teuerungs p e rsequenze n e rsequenze n e Unterseq u h ammer, Sch m r Steuerun g t ionsnivea u h jedoch si l ich sind di Maschine n . K onstruktio n r eits mit d e m Gegensa t h zeitig Pro b r ückmelde n Ebene zu h d en zum V i g esetzt [B ö o rgeführt, a m Konstrukt e p iert und h c hsen (Tra n n es Wissen s n acheinand e w eise den B e st. p rogrammi e n , c) struktu n zunächst u enzen aus m ucke r g sp r o- u zwignifi- e Den komn und e r virt z zur leme, n , was h eben, i rtuelö h14]. a ufge- e ur in h ierarn slatis über e r die B ewe- e rung. rierte einen Sicht Mobi l der S in ei n den U mier e [KB 1 hard w Fehl e Bei d sprü f iden t rung rung rem geb a b etri e Bild VIN C von S das N Dur c den R wer d 2.3 Die G tegr a sis. D 1 http l e Assistenzs y S teuerungs p n en logisc h U nterseque n er, wodurc h 1 3]. VINC E w are, der e rreaktione n d ieser koop f ung durch g t ifizieren. F sprogram m sbefehle w e auch die M a ute Anlage n eben werd e 2: VINC E Werkst C ENT wir d S chweißpu n N C-Progra m c h Simulati o R obotern o d d en. Dateni n G rundlage f a tion aus v e D ie Sichten ://www.smca l y steme für sic h p rogrammi e h en Gesamt a n zen erfol g h eine dire k E NT gene r durch de n n etc.) wir d erativen St e g eführt, u m F ür die weit m s wird VI N e rden dann M öglichkeit n elemente m e n. E NT für da s ück sind d u d zum Beis p n kten bei d e m m autom a o n der Be w d er mit de m n tegrati o f ür das dig i e rschiedene der unters c l voerde.de/in d h eren Betrieb e rung und e a blauf für d g t stets in A k te Komm u r iert den S t n Steueru n d . e uerungspr o m mögliche e rgehende S N CENT dir e von der vi r der Inbetri e m it bisher n virtuelle P u rch Tests a m p iel als Of fl e r Firma S M a tisch, auf w egung kan n m Werkstüc k o n i tale Engin e n Domäne n c hiedlichen d ex.php?opti o b und Wartun g e rstellt Hau p d ie Maschin A bstimmun g u nikation m t euerungsc o n gsprogram m o grammier u Fehlerquel l S teuerungs e e kt mit rea l r tuellen An l e bnahme v o n ur virtuell P unktschwe iß m virtuelle n f line-Progr a M C Calvör d Basis der E n die poten t k bereits i n e ering sowi e n zu einer g Domänen m o n=com_cont e g von Maschi n p tsequenze n e bringen ( s g zwischen m ithilfe des o de als Pr o m ierer er w u ng wird b e l en beim A e ntwicklun g l en Steueru n l age umges o n Teilanla g verfügbare n iß en. Kolli s n Modell di r a mmiersyst e d e genutzt 1 E ingabe de t ielle Gefa h n der virtuel e die Unter s g emeinsam e m üssen dab e e nt&view=art i n en und Anla g n , die diese s iehe Bild 1 K onstrukte u virtuellen M o grammger ü w eitert (Be e reits eine E A nlagenbetr i g und das T n gen geko p e tzt. Dies b g en, indem n Kompon e ionen zwis c r ekt sichtb a e m für die v (siehe Bild r Schweiß p h r von Koll i l en Planun g s tützung bi l e n durchgä n e i erhalten b i cle&id=167 & g en Se i Untersequ e 1 c) Die Arb u r und Pro g M odells e n ü st für die e dienhandl u E chtzeitkoll i i eb frühzei t T esten des S p pelt. Die S b ietet unter bereits re a e nten geme i c hen Anlag e a r (rechts). v irtuelle Pl a 2). Hierbe i p unkte gen e i sionen zwi g ausgeschl l det die Da t n gigen Da t b leiben. & Itemid=122 7 i te 201 e nzen eit an g ramn tsteht Ziel- u ngen, i siont ig zu S teue- S teuean d el auf- i nsam e und a nung i wird e riert. s chen ossen t eninenba- 7 Seite Ein B Unt e Kon s die K lage dene für d iert w Für d als D Live grif f die G eine s dire k 2.4 Bish e eine n b ei e über Date 2.4. 1 Die Z Inbe t wie S b iet e Dur c rale D keit e V-A S zeic h Insb e gen fr lerh a an d e We n gest e 202 B eispiel fü r e rsequenze n s trukteur al s K opplung d aufgebaut w n entsprec h d ie digitale U w er d en. d iese Arten D atenmana g -Austausch f erfolgt dy n G rundlage fü s Elektropl a k t auf die 3 D V-ASS I er stellt de r n Workflo w e ine do m än EMELI he n bis in die Anford e 1 Z ielstellun g t riebnahme S martphon e e n neben ei n c h die drah t D atenbank e e n mittels d u S SIST-Sof t h net. e sondere b e fr agmentier u a fter Bedie n e r Anlage, a n n ein Fehl e e llt. Dieser r gemeinsa m n in VINC E s auch aus s d er Anlage n w ird, werd e h ende Dok u U nterstütz u der Dateni n g ementsyst e von Date n n amisch üb e fü r die Assi s a ns wird es D -Darstellu n I ST r dargestell t w ausgehen d enübergrei f rgestellt w i Anlagenb e e rungen g von V-AS und Betri e e s, Tablets o n em festen V t lose Daten ü e n. V-ASSI u rchgängig e t wareanwe n e im Betrie b u ng) stelle n n ung, Wart u a us dem zu s e rzustand e i Code besc h m e Daten u E NT (Abs. s teuerungst e n planung m i e n auch An u mentation e u ng in der B n tegration w e m entwick e n verschied e e r ein CO M s tenz zur F e dadurch e r n g im Anla t e Lösungs a d von der K f ende Basi s rd. Durch V e triebsphas e SIST ist di e e b von Anl o der Hea d - M V erbund a u ü bertragun g ST ist die M e r Daten d e n dung der b mehrerer S n diese Täti g u ng oder B e s ätzliche K o ntritt wird ü h reibt den F Adler u nterschied l 2.2). Dies e e chnischer i t den Date n n lagenkomp en vorlieg e B etriebspha w urde de r E e lt. Zudem e ner Zielan w M -Interface e hlerbeheb u r möglicht ü b a genzusam m a nsatz zur R K onstruktio s durch die V -ASSIST w e realisiert. e Assistenz agen durc h M ounte d - D u s Bildschi r g ermöglic h M ethodik z u e s virtuelle n mobilen G S ondermas c g keiten hä u e trieb droht o sten result i ü ber die St e F ehler und , Kernchen, R l icher Do m e Angaben Sicht erfol g n aus dem A onenten vo n e n. Diese K s e, mit den E ngineerin g bietet EM E w endungen (Compone n u ng mittels V b er die Ba u m enhang in V R ealisierun g n zur Steu e Verknüpf u w ird die D u des Anwe n h mobile E n D isplays (H M r m und Ka m h en sie den d u r Assisten z n Engineeri n G eräte vere i c hinen ver s u fig eine H e im Fehler fa i eren. e uerung ei n ggf. die Fe h R eipsch, Bayr h ä nen ist di e können s o g en. Ein an d A nlagenba u n Drittanbi e K omponent e Konstrukti g Modeling E LI die Sch n und –dom ä n t Object M V -ASSIST. u teilbeschre V INCENT g des digita l e rungsentw i u ng heterog e u rchgängig k n ders bei W n dgeräte. M M D) sind l e m era versch i d irekten Z u z anlagens p n gs. Im Fo l i nfacht als chiedener H er ausforder u fa ll ein zusä t n Fehlercod h lermelden d h ammer, Sch m e Festlegu n o wohl durc h d eres Beisp u . Wenn di e e tern genu t e ndaten m ü i onsdaten a s Linke r (E M h nittstelle f ü ä nen. Dies e M odel) und b . Dem Bear b e ibung im E zuzugreife n l en Engine e i cklung da r e ner Daten b k eit der dig W artung, Pr ü M obile End g e istungsstar k i edene Sen s u griff auf d e p ezifischer T l genden wi r V-ASSIS T H ersteller ( A u ng dar. B e ä tzlicher Sc h d e zur Verf ü n de Kompo n m ucke r n g der h den iel ist e Anzt, zu ü ssen, s sozi- M ELI) ü r den e r Zub ildet b eiter E -Plan n . e rings r , wob asen italen ü fung, g eräte k und s oren. e zent- T ätigr d die T be- A nla- i fehh aden ü gung n ente, Mobi l nich t tailli e men h sche n Dok u son d V-A S Suc h anla g Eini g (u.a. sem a schli 2.4. 2 Die auc h son d b ere i Bei m und B Mes s Ort k wer d V-A S Mo d [Adl b ere h trieb e Lase einz u Einz e wer d der, V reic h b eso n l e Assistenzs y t aber dess e erter unter s h änge ledi g n Problem e u ment lang w d ere bei älte r S SIST erm h e nach Fe h g espezifisc h g e Tätigke i Ex-Zonen ) a ntische Ve i eßend als A Assist e 2 Inbetriebn a h häufig ei n d ere bei Ma s i tung aussc h m obilen S o B etrieb bei s systeme g e k ann zu u m d en müssen , S SIST biet e d ul wurde i n 14], um de n h abilitierun elager dur c rtracker ei n u haltende R elaufgaben d en. Die te x V ideo, VR / h ert werde n n ders Rele v y steme für sic h e n Ursache. s ucht werd e g lich aus d e e n ist daher w ieriges S u r en Anlage n öglicht de n h lerquellen u h en Daten i ten erford e ) , spezielle rbindung d i A usblick be s e nz beim B a hme von S n e korrekte s chinen zu r h laggebend o ndermasc h jedem Ein e prüft und fü m gebungss p , sondern a u e t entsprec h n Zusamm e n internatio n g zu unter s c h Nachfrä s n gemessen R eihenfolg e festlegen. x tuelle Bes c / AR) sowie n . Diese B e v anz für de n h eren Betrieb Um die U r e n. In klas s e r Anlagen d zusätzlich d u chen und N n sind dies e n in situ Z u u nd gibt L ö sind die I n e rn beispie Ressource n i eser Date n s chrieben. B etrieb m o S ondermas c Vorbereitu n r Materialv e für die gef o h inen müss e s atz in glei c fü r den Auf t p ezifischen u ch für die w h end ein M o e narbeit mi n alen Eins a s tützten. Di e s en, wobei wird. Exp e e der Arbe Abhängig k c hreibung d e durch beli e e schreibung n Einsatz m b und Wartun g U rsache zu e s ischen Sys t d okumenta t d er E-Plan N achverfol g e Dokumen t u griff auf r e ö sungsstrat e n formation e lsweise Pe n (z.B. Kra n n ist aktuell e o biler So n c hinen erf o n g von Ab h e rarbeitung fo rderten G e e n deren M chbleibend e t raggeber d o Anpassun g w eitere An l o dul zur A s i t der VA K a tz einer m o eser Vorga n die Dreh m e rten könn e e itsprozesse k eiten zwi s e r Arbeitsa u e bige weite r en dienen z m obiler Son d g von Maschi n e rmitteln m u t emen geh e t ion hervor. zu konsulti g en von Ve r t ationen nu r e levante In f e gien zur F e e n zur Um rsonal mit n ), Betrieb s e r Forschu n n dermasc h o rdert nebe n h ängigkeite sind die B e e nauigkeite n M ontage, E i e r Qualität o kumentier t g en führen l agenentwi c s sistenz bei K OMA Gm b o bilen Son d n g umfasst m aschine d u e n über ein als Arbei t s chen Auf g u fgabe kan n r e Dokume n z unächst z u d ermaschin e n en und Anla g u ss der An l e n die fun k Beispiels w e ren, der s e r bindungen r bedingt v e f ormatione n e hlerbeheb u g ebung po t speziellen s mittel ode r n gsgegenst a h inen n der korr e n in der U m e dienung u n n . i nmessung, garantiert u t werden. J e die nicht n c klung rele v der Inbetri e b H in Mag d ermaschin e u.a. die K o u rch Mess u Autorensy t spakte, U n aben könn e n durch M e n te von Dri t u r Vorbere i e n mit wec h g en Se i l agenzusta n k tionalen Z u w eise bei e l e lbst als di g erfordert. I e rfügbar. n , unterstüt z u ngen an. N t entiell rel e Qualifika t r Ersatzteil e a nd und wi r e kten Bedi e m gebung. I n d korrekt e Inbetrieb n u nd häufig d e de Situati o n ur dokum e v ant sein k ö e bnahme. D g deburg rea l e zur Groß g orrektur d e u ngen mit e y stem die h i n tergruppe n en frei de f e dieninhalt e t tanbietern i tung und h h selnden T e i te 203 n d d e- u s a ml ekt r ig itales I nsbez t die N eben e vant. ionen e . Die r d ab- e nung I nsbe- Vor- n ahme d urch o n vor e ntiert nnen. D ieses l isiert g etrier Ge- e inem i erbei n und f iniert e (Bilange- h aben e ams. Seite Bild Aus b ei d abge im A gefr a die E In d e tung s gen u Der A b en, den A Abh ä als w Erfa s sung 2.4. 3 We n schr i mitt e oder 204 3: V-ASS I sowie C Arbeitsauf g d em jeder V schlossen i A utorensyst e a gt werden E ingaben, a e m konkre t s werten als u tzt. A nwender erfasste K e A nwender b ä ngigkeit d e w esentliche r s sung und a g en bei uner w Assisti e 3 n n ein Fehl e i eben und b e lgroßen A n einer Ko m I ST Modul z C heckliste m g aben und A V organg q u st, können e m zusätzli c sollen. Der a uch zwisc h t en Fall de r neues Kn o ergänzt Bil e nngrößen, E b ilden dan n e r Arbeitsa u r Aspekt d e a utomatisc h w arteten U m e rte Fehl e e r an der A b ildet die A n lagen (ca. m ponente u n z ur M onta g m it Zusatzd o A bhängigk e u ittiert wer d Folgetätig k c h festgele g Autor legt h en verschi e r Vakoma G o w-How u n der, Video s E rgebnisse die Basis f u fgaben v o e r Qualität s h e Validier u m gebungs b e rlokalisa t A nlage auf t A usgangsba s 20 bewegt e n d deren L o Adler g eunterstütz u o kumenten e iten wird z d en muss (s k eiten bear b g t werden, o zur Plausi b e denen Tät i G mbH, we r n d für die W s oder Tex t der Validi e f ür die Gen e o neinander w s sicherung, u ng von Me b edingunge n t ion t ritt, dann w s is für die e Achsen) e o kalisierun g , Kernchen, R u n g mit V R z usätzlich e iehe Bild 3 b eitet werd e o b Eingab e b ilisierung G i gkeiten, a u r den Abwe i W eiterentwi c t eingaben. D e rung sowi e e rierung de r w ird die E i gewährlei s sswerten, w n identifizi e w ird dies d Fehlersuch e e ine direkte g nur schw e R eipsch, Bayr h -Ansicht d e e ine Art C h 3 ). Erst we n e n. Zu jed e n (u.a. Me s G leichunge n u tomatisch v i chungen g e c klung der D ie Bearbe i zusätzlich e r Dokumen t i nhaltung d e tet. Durch w erden insb e e rt und erfa s d urch eine n e . Allerdin g Identifikat i e r möglich h ammer, Sch m e r Arbeitss c h eckliste er z n n eine Tät i e r Tätigkeit s sergebniss e n fest, mit d v alidiert w e e genüber E Sonderma s i tung der A e Angaben d t ation. Dur c e r Reihenf o die konse q esondere A s st. n Fehlerco d g s ist berei t i on eines F e [BAK+14 ] m ucke r c hritte z eugt, i gkeit kann e ) a bd enen e rden. E rwars chine A ufgad urch c h die o lgen, q uente A npasd e bet s bei e hlers ] . Die Mobile Assistenzsysteme für sicheren Betrieb und Wartung von Maschinen und Anlagen Seite 205 Interpretation von Fehlermeldungen zum Auffinden möglicher fehlerhafter Komponenten, erfordert das Studieren der Dokumentationen. Bild 4: Integrationsschema zur Nutzung des digitalen Engineering in der Betriebsphase. Daher besteht beim Anlagenbetrieb eine Live-Kopplung von der realen Steuerung mit der virtuellen Anlage (siehe Bild 4 E). Wenn die reale Anlage einen Fehlerzustand erreicht wird ein Fehlercode in der Anlagensteuerung generiert (Bild1a) und an EMELI übertragen (Bild 4 B). EMELI ermittelt die zu diesem Fehlercode zugeordneten Komponenten und meldet diese EMELI-spezifischen Identifikatoren an das gekoppelte V- ASSIST-System (Bild 4 C). Der Anwender wird nun auf seinem mobilen Gerät über diesen Fehler informiert und erhält Informationszugriff auf die Anlage, den Fehlercode sowie erste Informationen zur Fehlerart. Wenn der Anwender vor Ort ist, wird er durch Augmented Reality (AR) bei der Fehlerlokalisation unterstützt. Er betrachtet hierzu die Anlage durch die Kamera seines mobilen Endgerätes und bekommt die Fehlermeldung direkt ortsbezogen an der entsprechenden Anlagenkomponente überlagert dargestellt. Hierfür ist die einmalige Registrierung zwischen der realen Anlage und dem virtuellen Modell erforderlich. Eine Möglichkeit ist die Anbringung von ID-Markern an der Anlage [WLS08]. Diese QR-Code ähnlichen künstlichen Marker können durch Verfahren der Bildverarbeitung robust im Kamerabildern erkannt werden. Durch ihre Struktur und bekannte Größe wird aus ihnen die relati- ve Kamerapose (Position und Orientierung) des mobilen Gerätes bestimmt. Über einen kalibrierten Markerverbund wird bei Bedarf eine größere räumliche Abdeckung erreicht. Diese Kalibrierung erfolgt durch eine Videoaufnahme, nach Anbringung der Marker, automatisiert. Ergänzend wird für V-ASSIST ein Mono-SLAM-Tracking verwendet [KM09]. Hierbei wird aus der Bewegungsparalaxe eine Tiefenkarte (Mapping) und die Kamerapose (Localization) bestimmt. Bei SLAM wird eine große Datenmenge erzeugt und verarbeitet. Aufgrund der Ressourcenlimitierungen mobiler Geräte, kann die Kamerapose damit nur in einem begrenzten Arbeitsbereich kontinuierlich bestimmt werden. Indem der Bereich zwischen ID-Markern mittels SLAM überbrückt wird, wird der Bewegungsbereich vergrößert und die Markeranzahl reduziert.