SOMA - Systematische Optimierung von Modellen in IT- und Automatisierungstechnik (Schlussbericht)

Schriftenreihe CIplus, Band 1/2014 Herausgeber: T. Bartz-Beielstein, W. Konen, H. Stenzel, B. Naujoks SOMA – Systematische Optimierung von Modellen in ITund Automatisierungstechnik Wolfgang Konen und Patrick Koch SOMA Systematische Optimierung von Modellen in ITund Automatisierungstechnik Schlussbericht F¨ orderlinie IngenieurNachwuchs 2009 (Informatik) im Rahmen des Programms Forschung an Fachhochschulen Prof. Dr. Wolfgang Konen Dr. Patrick Koch Institut f¨ ur Informatik Fakult¨ at f¨ ur Informatik und Ingenieurwissenschaften Fachhochschule K¨ oln 14. M¨ arz 2014 Inhaltsverzeichnis 1 Kurzdarstellung ............................................... 5 1.1 Aufgabenstellung.......................................... 5 1.2 Vorraussetzungen zur Durchf¨ uhrung des Projektes . . . . . . . . . . . . . 5 1.3 Planung und Ablauf des Projektes . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.4 Wissenschaftlicher und technischer Stand . . . . . . . . . . . . . . . . . . . . . 8 1.5 Zusammenarbeit mit anderen Stellen . . . . . . . . . . . . . . . . . . . . . . . . 10 2 Eingehende Darstellung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.1 Verwendung der Zuwendung und erzielte Ergebnisse . . . . . . . . . . . 11 2.2 Zahlenm¨ aßigerNachweis ................................... 21 2.3 Nutzen und Verwertbarkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.4 Fortschritt anderer Stellen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.5 Publikationen im Projekt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 4 Inhaltsverzeichnis Kurzfassung Das im Rahmen der F ¨ orderlinie IngenieurNachwuchs gef ¨ orderte Forschungsvorhaben “Systematische Optimierung von Modellen f ¨ ur Informationsund Automatisierungstechnik” (kurz: SOMA) startete im August 2009. Eine wesentliche Zielsetzung war die Entwicklung und Optimierung von Modellen zur Prognose von Zielgr ¨ oßen. Ein wichtiges Merkmal ist dabei die effiziente Optimierung dieser Modelle, welche es erm ¨ oglichen soll, mit einer streng limitierten Anzahl an Auswertungen gute Parametereinstellungen zu bestimmen. Mithilfe dieser genaueren Parametrierungen der unterliegenden Modelle k ¨ onnen unter Einbeziehung neuer merkmalserzeugender Verfahren insbesondere f ¨ ur kleine und mittelst ¨ andische Unternehmen verbesserte L ¨ osungen erzielt werden. Als direkter Gewinn derartiger Verbesserungen konnte f ¨ ur KMUs ein geeignetes Framework f ¨ ur Modellierungsund Prognoseaufgaben bereitgestellt werden, sodass mit geringem technischem und personellen Aufwand performante und nahezu optimale L ¨ osungen erzielt werden k ¨ onnen. Dieser Schlussbericht beschreibt die im Projekt durchgef ¨ uhrten Maßnahmen und Ergebnisse. 1. KURZDARSTELLUNG 5 1 Kurzdarstellung 1.1 Aufgabenstellung In dem Forschungsprojekt Systematische Optimierung von Modellen f ¨ ur ITund Automatisierungstechnik (SOMA) sollten spezielle Modelle zur Prognose von Zielgr ¨ oßen entworfen und f ¨ ur ihre jeweiligen Einsatzzwecke optimiert werden. Als Anwendungsgebiete waren einerseits ingenieurwissenschaftliche Anwendungen als auch Anwendungen im Business Intelligence vorgesehen. Hierbei ist hervorzuheben, dass durch die gegebene Generalisierbarkeit der im Projekt SOMA eingesetzten Modelle auch Verwendungen in anderen Gebieten vorstellbar sind. Ein besonderer Fokus lag bei der Modellbildung insbesondere auf der Optimierung der freien Modellparameter. Hierbei wurden speziell angepasste Optimierverfahren verwendet, um innerhalb k ¨ urzester Zeit nahezu optimale Parametereinstellungen f ¨ ur die Modelle bestimmen zu k ¨ onnen. Dabei ist festzuhalten, dass die Parametereinstellung derartiger Prognosemodelle f ¨ ur den Anwender oftmals eine sehr komplexe H ¨ urde darstellt, da sie ein spezielles Fachwissen ¨ uber die ablaufenden Prozesse erfordert. Aus diesen Gr ¨ unden ist die genaue Einstellung der Parameter oftmals ein zeitaufw ¨ andiges Unterfangen, sodass in der Praxis oftmals auf eine systematische Optimierung verzichtet wird. Im Projekt SOMA wurde gezeigt, dass durch den Einsatz der sogenannten modellbasierten Optimierung sehr gute Parameter f ¨ ur derartige Modelle bestimmt werden werden k ¨ onnen. Bei der modellbasierten Optimierung wird im Gegensatz zur klassischen Optimierung ein sog. Metaoder Surrogat-Modell der Zielfunktion gelernt. Mit Hilfe dieses Modells k ¨ onnen Auswertungen auf der realen Zielfunktion weitesgehend reduziert werden und ein großer Anteil der Optimierung findet auf dem Meta-Modell statt. Allein mit Hilfe der verbesserten Parameterwerte gelang es anschließend, die Prognosegenauigkeit der unterliegenden Anwendungen signifikant zu verbessern und zu stabilisieren. Verschiedene Modelloptimierungen wurden in dem Projekt SOMA vorgenommen, welche jeweils detailliert analysiert und der Fachwelt zug ¨ anglich gemacht worden. Heute ist es m ¨ oglich mit den im Projekt SOMA entwickelten Software-Tools ohne gr ¨ oßeren Aufwand und ohne besonderes Problemwissen eine deutlich verbesserte Genauigkeit der komplexen Modellierungsaufgaben in industriellen Prozessen zu bekommen. 1.2 Vorraussetzungen zur Durchf¨ uhrung des Projektes Das Projekt SOMA hatte eine Gesamtlaufzeit von insgesamt drei Jahren und 11 Monaten. Die Durchf ¨ uhrung des Projektes fand am Institut f ¨ ur Informatik an der Fachhochschule K ¨ oln, Campus Gummersbach statt. Hier ist der Projektleiter Wolfgang Konen Professor f ¨ ur angewandte Mathematik. Der Projektleiter war w ¨ ahrend des gesamten Projektzeitraums in dem an Fachhochschulen ¨ ublichen Umfang in Hochschulverwaltung und Lehre eingebunden. Zu Projektbeginn im August 2009 nahm Herr Dipl.-Inform. Patrick Koch seine T ¨ atigkeit im Projekt SOMA auf. Herr Koch war w ¨ ahrend des gesamten Projektlaufzeit in Vollzeit als wissenschaftlicher Mitarbeiter im Projekt SOMA angestellt. Weitere Nachwuchswissenschaftler (studentische und wissenschaftliche Hilfskr ¨ afte) wurden nach Bedarf angeworben und eingestellt. Weitere Vorraussetzungen waren f ¨ ur dieses Forschungsvorhaben nicht notwendig. 6 Inhaltsverzeichnis 1.3 Planung und Ablauf des Projektes Das Projekt SOMA wurde anhand eines detaillierten Projektplans in sechs verschiedene Module eingeteilt. In Abb. 1 ist dazu der Arbeitsplan des Projektes SOMA in Form eines Gantt-Diagramms dargestellt. Die sechs beschriebenen Module umfassen im Wesentlichen die folgenden Arbeitspakete: B Bereitstellung und Test CI-Verfahren: Dieses Modul diente der Zusammenf ¨ uhrung verschiedener CI-Verfahren, sodass eine Nutzung in einem gemeinsamen Optimierungs-Framework erm¨ oglicht wurde C Case Studies: Beinhaltet die Projekte, welche in Form von studentischen Projekten (Case Studies) im Masterstudiengang Automation & IT bearbeitet wurden E Entwurfsalgorithmen Feature Generierung: Umfasst die Bereiche zur Merkmalsvorverarbeitung und Feature-Konstruktion, welche wesentlicher zu den im Projekt SOMA entwickelten Prognoseverfahren dient S SPO-Metastrategien und alternative Optimierer: In diesem Modul werden alle wesentlichen Optimierverfahren beschrieben, welche zur Optimierung der Parameter von Prognoseverfahren eingesetzt wurden. P Promovend: Zu der Teamzusetzung der wissenschaftlichen Nachwuchsgruppe geh ¨ orte der Promovend Patrick Koch. Herr Patrick Koch war mit voller Stelle als wissenschaftlicher Mitarbeiter in dem Projekt SOMA angestellt und begleitete die Entwicklung in den verschiedenen Arbeitspaketen. K Koordination: Dieses Modul diente der besseren Abstimmung der einzelnen Arbeitspakete und der Vernetzung der wissenschaftlichen Arbeiten untereinander. Abbildung 1: Projektplan SOMA 1. KURZDARSTELLUNG 7 Bei der Definition der Arbeitspakete wurde insbesondere auf eine nicht zu langfristige Planung geachtet, sodass w ¨ ahrend des Projektablaufs ein interner Abgleich m¨ oglich war und auch durchgef¨ uhrt wurde. Bereitstellung und Test CI-Verfahren Ziel des Moduls Bereitstellung und Test CI-Verfahren war es, verschiedene Verfahren zur Prognose von Daten in einem geeigneten Framework zusammenzuf ¨ uhren. Zur Einstellung der freien Parameter erfolgte fr ¨ uhzeitig eine Einarbeitung in das Optimierungsframework Sequential Parameter Optimization Toolbox (SPOT), welches als m ¨ ogliches Werkzeug f ¨ ur die verschiedenen Optimierungsaufgaben diente. Es gelang eine Auswahl geeigneter Prognose-Verfahren auf synthetischen und praktischen Beispielen gegen ¨ uber zu stellen. Als Verfahren wurden z.B. Methoden wie Support Vector Machines (SVM) und Ensembles von Entscheidungsb ¨ aumen (Random Forest) ber ¨ ucksichtigt. Zur Evaluierung der eingesetzten Prognosemodelle wurden verschiedene Arten der Aufteilung in Trainingsund Testmengen und verschiedene Fehlermaße ber¨ ucksichtigt und miteinander verglichen. Case Studies aus IT und Automatisierungstechnik In dem Masterstudiengang “Automation & IT” an der Fachhochschule K ¨ oln werden jeweils im Sommersemester verschiedene Case Studies angeboten. Die Case Studies sind Lerngruppen von ca. 2-4 Studierenden, welche ein vorgegebenes Thema als Projekt bearbeiten. Lernziele sind dabei Projektmanagement, Literaturrecherche, Pr ¨ asentation von Ergebnissen, Programmierung, sowie praxisnahe Untersuchungen und statistische Auswertungen. F ¨ ur die Studierenden stellten die f ¨ ur das Projekt SOMA angebotenen Case Studies eine interessante Umgebung dar, da praxisrelevante Themen bearbeitet werden konnten und eine direkte Verbindung zu aktuellen Forschungsthemen gegeben war. Entwurfsalgorithmen Feature Generierung + Feature Evolution Verfahren zur Merkmalsextraktion und Merkmalsgenerierung spielen in immer komplexer werdenden Anwendungen eine wesentliche Rolle. Das Arbeitspaket Entwurfsalgorithmen Feature Generierung + Feature Evolution diente dazu, vorhandene Algorithmen in der Literatur zu implementieren und f ¨ ur verschiedene Anwendungsbeispiele einzusetzen. Bei den im Projekt SOMA durchgef ¨ uhrten Tests zeigte sich, dass durch geeignete Verfahren zur Merkmalsauswahl und Generierung deutliche Verbesserungen der Prognosequalit¨ at erzielt werden konnten. SPO-Metastrategien und alternative Optimierer In dem Modul SPOMetastrategien und alternative Optimierer sollten Verfahren zur Optimierung der Modellparameter erfasst werden. Zur Auswahl geeigneter Optimierer musste zun ¨ achst untersucht werden, welche verschiedenen Parameter ¨ uberhaupt relevant f ¨ ur die Anwendung waren. Hierzu wurde etwa bestimmt, wie sensitiv das Prognosemodell auf Einstellungen einzelner Parameter reagiert. Weiterhin wurde experimentell analysiert, inwieweit Korrelationen zwischen Parametern auftreten k¨ onnen. 8 Inhaltsverzeichnis Als weiterer Schritt war es wichtig festzuhalten, welche verschiedenen Parametertypen in der Modellbildung auftreten k ¨ onnen. Dazu spielten insbesondere die folgenden Punkte eine wichtige Rolle: –Handelt es sich um kontinuierliche oder diskrete Parameter? – Sind die Parameter in bestimmten Bereichen restringiert, oder frei einstellbar? –Handelt es sich um numerische oder faktorielle Parameter? – Wie sensitiv reagiert das Prognosemodell auf eine ¨ Anderung der Parameter? –Bestehen m¨ ogliche Wechselwirkungen mit anderen Parametern? Darauf aufbauend konnte eine Auswahl an Optimierverfahren bestimmt werden, die anschließend an praxisnahen Anwendungen getestet worden sind. Zur Beurteilung der Qualit ¨ at einzelner Optimierverfahren wurde der Prognosefehler auf unabh ¨ angigen Daten mit Bezug auf die notwendigen Funktionsauswendungen betrachtet. Promovend Der in dem Projekt SOMA t ¨ atige wissenschaftliche Mitarbeiter Patrick Koch f ¨ uhrte eigenst ¨ andige Untersuchungen und Analysen zur Parameteroptimierung von Prognoseverfahren durch. Es fand eine enge inhaltliche Zusammenarbeit mit dem Projektleiter statt. Weiterhin geh ¨ orten koordinative Aufgaben der im Projekt SOMA durchgef ¨ uhrten Aufgaben zu seinem T ¨ atigkeitsbereich. Herr Koch stellte in Abstimmung mit dem Projektleiter zu Beginn des Projektes SOMA den Kontakt zu der Partneruniversit ¨ at Universiteit Leiden (Niederlande) her. Bereits Ende 2009 erkl ¨ arte sich Prof. Dr. Thomas B ¨ ack von der Universit ¨ at Leiden (Niederlande) bereit, das Promotionsvorhaben von Herrn Koch zu unterst ¨ utzen. Prof. B ¨ ack ist Lehrstuhlinhaber an der Universit ¨ at Leiden und bearbeitet fachlich am Leiden Institute of Advanced Computer Science (LIACS) ein thematisch vergleichbares Forschungsgebiet. Zur besseren Abstimmung des Promotionsvorhabens wurden fr ¨ uhzeitig die notwendigen Schritte (Einschreibung, Themenauswahl) eingeleitet. Herr Koch konnte seine Promotion kurz nach Ablauf des Projektes SOMA am 29.10.2013 erfolgreich abschließen. 1.4 Wissenschaftlicher und technischer Stand Der wissenschaftliche und technische Stand umfasst die Auswahl geeigneter Prognoseverfahren und Algorithmen zur Merkmalsgewinnung. Außerdem war es von besonderer Bedeutung, die Modellparameter und auftretenden freien Parameter in der Prognoseanwendung einzustellen. Hierzu war es notwendig, einen aktuellen ¨ Uberblick ¨ uber zahlreiche Verfahren zur Optimierung von Modellparametern zu gewinnen. Bei den Themengebieten handelt es sich um schnell wachsende und sich stetig ¨ andernde Forschungsfelder, sodass es nicht einfach war, einen kompletten ¨ Uberblick ¨ uber die Gebiete zu geben. Es hat sich jedoch herausgestellt, dass sich einige Verfahren in den jeweiligen Forschungsgebieten und im praktischen Einsatz etabliert haben. Auf Seite der Prognoseverfahren sind hier insbesondere Support Vector Machines [ 5 ] sowie Ensembles von Entscheidungsb ¨ aumen, wie z.B. Random Forests [ 3 ] hervorzuheben. Auf Seite der Optimierverfahren ist zu differenzieren zwischen modellbasierten und klassischen Ans ¨ atzen. Auf klassischer Seite seien 1. KURZDARSTELLUNG 9 hier die CMA-ES von Hansen und Ostermeier [ 11 ] und Differential Evolution von Storn und Price [ 31 ] genannt, welche beide gute Ergebnisse in der Praxis liefern k ¨ onnen. Bei den modellbasierten Ans ¨ atzen gibt es Unterschiede bez ¨ uglich der Methoden aufgrund der verwendeten Surrogat-Modelle. Die sequentielle Parameter Optimierung von Bartz-Beielstein u.a. [ 1 ] stellt hier ein sehr universell einsetzbares Tool dar, welches eine flexible Anpassung der verwendeten SurrogatModelle erlaubt. In der Praxis hat sich jedoch gezeigt, dass mit Hilfe von KrigingModellen (in der Fachliteratur h ¨ aufig als Gaussian Processes bezeichnet [ 26 ]) in vielen F ¨ allen die besten Ergebnisse erzielt werden k ¨ onnen. Aus diesem Grund wurde in den in diesem Projekt angestellten Untersuchungen auf den Einsatz weiterer Surrogat-Modelle weitestgehend verzichtet. Dies stellt jedoch keinen Nachteil dar, da in der sp ¨ ateren Anwendung ein Austausch des Surrogat-Modells sehr einfach vorgenommen werden kann. Weitere verf ¨ ugbare Modelle liegen in den erstellten Implementierungen vor, und k ¨ onnen daher direkt eingesetzt werden. In den angestellten Untersuchungen hat sich der Einsatz der sog. Efficient Global Optimization [ 13 ] bew ¨ ahrt, ein Verfahren, welches Kriging als SurrogatModell nutzt, und eine globale Optimierung des Suchraumes durch Verwendung des sog. Expected Improvement Infill-Kriteriums erlaubt. Dabei wird neben der L ¨ osungsqualit ¨ at auch die Unsicherheiten der zu untersuchenden Parameter ber¨ ucksichtigt. Auf Seite der Feature-Methoden sind insbesondere Verfahren zur Dimensionsreduktion relevant, als auch transformierende und konstruierende Verfahren zu nennen, wie z.B. Slow Feature Analysis [32] und Genetic Programming [25]. Die behandelten Inhalte wurden auf zahlreichen nationalen und internationalen Fachtagungen und Konferenzen vorgestellt (s. Tabelle 1). Auf nationaler Ebene existiert der Workshop Computational Intelligence der Gesellschaft Messund Automatisierungstechnik, der j ¨ ahrlich in Dortmund stattfindet. Auf internationaler Ebene gibt es die j ¨ ahrlich stattfindende Genetic and Evolutionary Computation Conference (GECCO), als auch die zweij ¨ ahrlich stattfindende Conference on Parallel Problem Solving from Nature (PPSN). Weiterhin findet j ¨ ahrlich der Congress on Evolutionary Computation (CEC) statt, welcher allerdings alle zwei Jahre im Rahmen des World Congress on Computational Intelligence (WCCI) ausgetragen wird. Im Rahmen der WCCI werden ebenfalls renommierte Konferenzen wie etwa die International Joint Conference on Neural Networks (IJCNN) in einer Konferenz zusammengefasst. Eine Liste der Fachtagungen, auf denen SOMA-Projektbeteiligte Vortr ¨ age hielten, ist nachfolgend aufgef¨ uhrt: Literaturrecherche Es wurde eine umfassende Literaturrecherche durchgef ¨ uhrt, die sowohl die ver ¨ offentlichten Arbeiten auf Fachtagungen und Konferenzen, als auch Zeitschriftenbeitr ¨ age und B ¨ ucher umfasste. Außerdem wurde zu Projektbeginn eine Patentrecherche mittels Patent-Datenbanken vorgenommen, um patentrechtlich gesch ¨ utzte Werkzeuge und Verfahren zu ber ¨ ucksichtigen. Nach abschließender Erkenntnis sind die im Projekt SOMA eingesetzten Verfahren unter freien Lizenzen (z.B. GNU Public Licence) verf ¨ ugbar, bzw. liegen in f ¨ ur die Forschung frei verwendbaren Implementierungen vor (Open Source Lizenzen). 16 Inhaltsverzeichnis Abbildung 5: Beispiel f ¨ ur die Random Forest Importance. Die Features werden je nach Bedeutung eingeordnet (je weiter rechts, desto wichtiger ist das Merkmal). Die Bedeutung der Features f ¨ ur das Klassifikationsergebnis wird anhand eines Qualit ¨ atskriteriums (hier: MeanDecreaseAccuracy) berechnet, woraufhin durch das Optimierverfahren eine reduzierte Feature-Menge ausgew¨ ahlt werden kann. 2. EINGEHENDE DARSTELLUNG 17 einer experimentellen Studie [ 24 ] gezeigt, dass mit diesem Verfahren in der Praxis eine sehr gute Feature Auswahl erzielt werden kann (vgl. Tab. 2). Tabelle 2: Klassifikationsgenauigkeit (in %) f ¨ ur eine Industrieanwendung (Vorhersage der S ¨ aurekonzentration in Biogasanlagen) unter Ber ¨ ucksichtigung verschiedener Feature-Entwurfsalgorithmen. Verglichen werden die Bildung neuer Features ¨ uber Hauptkomponentenanalyse (PCA) sowie Monome, als auch die Feature-Selektion mittels Random Forest Importance (FS-RFI) und Genetischen Algorithmen (FS-GA). An dem Beispiel zeigt sich, dass die Verwendung der entsprechenden Feature-Entwurfsverfahren kombiniert mit einer Feature Selektion basierend auf dem Random Forest Prognosemodell das beste Ergebnis liefern. PCA Monome FS-RFI FS-GA Klass.genauigkeit 1 X X X - (89.95 ±0.41)% 2 X X - X (89.47 ±0.52)% 3 X - X - (86.72 ±0.77)% 4 - X X - (83.38 ±0.78)% 5 - - X - (82.90 ±1.35)% 6 X X - - (82.60 ±0.92)% 7 - - - - (82.59 ±0.42)% Zum Feature Entwurf wurden verschiedene Verfahren eingesetzt. Einerseits ist f ¨ ur Zeitreihendaten ein allgemeines Feature-Entwurfsverfahren entwickelt worden, welches es erm ¨ oglicht normale Klassifikationsoder Regressionsmodelle f ¨ ur Zeitreihendaten anzuwenden. Koch u.a. [ 16 , 15 ] untersuchten dieses allgemeine Verfahren f ¨ ur eine Anwendung in der Wasserwirtschaft und erzielten verbesserte Ergebnisse gegen ¨ uber einem speziellen Zeitreihen-Prognosemodell. In einer weiteren Studie wurde die Hauptkomponentenanalyse (Principal Component Analysis, PCA) zum Feature-Entwurf eingesetzt. In einer weiteren PrognoseAnwendung konnte mit Hilfe der PCA das bisherige Referenzverfahren sowohl hinsichtlich der Vorhersagegenauigkeit, als auch der ben ¨ otigten Trainingszeit verbessert werden [24]. Die Anwendung von Slow Feature Analysis (SFA) kann bei als Zeitreihen vorliegenden Daten zu vielversprechenden Feature Sets f ¨ uhren. Dies wurde f ¨ ur das Anwendungsbeispiel der Gestenerkennung gezeigt [ 20 ]. SFA war dabei in der Lage die vorherzusagenden Gesten teilweise genauer zu prognostizieren als das bekannte Referenzverfahren Random Forest. Dabei erfordert SFA nur einen Bruchteil an Speicheraufwand und Rechenzeit um eine Prognose durchzuf ¨ uhren und ist daher insbesondere f ¨ ur die Anwendung auf mobilen Ger ¨ aten interessant. Das bestehende SFA Toolkit in Matlab (sfa-tk) wurde f ¨ ur die Klassifikation grundlegend weiterentwickelt. Im Rahmen einer durchgef ¨ uhrten Case Study im Projekt SOMA ist außerdem eine weitere Implementierung von SFA in der Sprache R entstanden, welche im Rahmen der GPL Lizenz auf dem R-Projektserver CRAN 18 Inhaltsverzeichnis verf ¨ ugbar gemacht worden ist ( http://cran.r-project.org/web/packages/ rSFA/index.html). Tabelle 3: Fehlerraten (in Prozent) mit der Slow Feature Analysis f ¨ ur ein Gestenerkennungsproblem (Auswahl aus f ¨ unf Gesten: Kreis, Wurf, Frisbee, Bowling, ’z’-Geste). Dick gedruckte Werte sind am Besten. Die Erkennung der Gesten wurde in einer Vergleichsstudie mit dem Random Forest Klassifikator und dem Gauss-Klassifikator verglichen. Klassifikator Min. Durchschn. Max. Std.Abw. SFA 1.68 2.03 2.24 0.18 Random Forest 1.54 2.09 2.37 0.30 Gauss 13.55 14.02 14.39 0.22 In einer mit der Technischen Universit ¨ at Dortmund behandelten Studie ist untersucht worden, ob es mittels Genetischer Programmierung (GP) m ¨ oglich ist, verbesserte Kernel-Funktionen f ¨ ur Support Vector Machines zu bestimmen. Als Ergebnis konnten Standard-Kernel-Funktionen mit GP gefunden werden, allerdings konnten keine verbesserten Ergebnisse mit diesem Verfahren erzielt werden. Die Methode GP wird jedoch aktuell in einer sehr aktive Forschungsgemeinschaft behandelt, sodass in Zukunft nach Anpassung der Variationsoperatoren evtl. bessere L ¨ osungen m ¨ oglich sind. Aus diesem Grund sind die Ergebnisse der Studie in der Fachzeitschrift Evolutionary Intelligence festgehalten worden [15]. Case Studies In dem Projekt SOMA wurden verschiedene Case Studies im Master-Studiengang Automation & IT der FH K ¨ oln durchgef ¨ uhrt. Durch die internationale Beschaffenheit des Studiengangs, konnten insbesondere gemischte Gruppen mit nationalen und internationalen Studierenden f ¨ ur die Case Studies gewonnen werden. Die folgende Liste gibt einen kurzen ¨ Uberblick ¨ uber die im Projekt SOMA veranstalteten Case Studies und die behandelten Fragestellungen: WS 2009/2010 Predicting Fill Levels of Stormwater Overflow Tanks. Teilnehmer: Michael Tamutan, Thomas Ludwig, Aldo Sede˜no WS 2010/2011 Predicting Ammonium Concentrations in Wastewater Treatment Plants. Teilnehmer: Velasco Diego, Maxim Shatskiy WS 2011/2012 Extensions for Tuned Data Mining. Teilnehmer: Martin Zaefferer, Fasika Ayodele, Ashwin Kumar, Prawyn Jebakumar WS 2012/2013 Building and analyzing SVM ensembles with Bagging and AdaBoost on big data sets. Teilnehmer: Ricardo Ramos Guerra, J¨ org Stork Die durchgef¨ uhrten Case Studies waren sehr erfolgreich und konnten f¨ ur die weitere Aufgabenverteilung und Forschung im Projekt SOMA genutzt werden. Die im WS 2009/2010 behandelten Arbeiten zum Thema “Predicting Fill Levels of Stormwater Overflow Tanks” dienten als Vorarbeit f ¨ ur anschließende Publikationen in diesem Bereich [ 16 , 19 ]. Die Prognose von F ¨ ullst ¨ anden in 2. EINGEHENDE DARSTELLUNG 19 Regen ¨ uberlaufbecken ist nur ein erfolgreiches Beispiel f ¨ ur die sehr gute Modellqualit¨ at der in dem Forschungsvorhaben SOMA optimierten Prognosemodelle. 0 1000 2000 3000 4000 5000 0 40 80 Index Fill Level (%) Real Predicted Abbildung 6: Prognose von F ¨ ullst ¨ anden in Regen ¨ uberlaufbecken. Die helle blaue Fl ¨ ache gibt die tats ¨ achlichen F ¨ ullst ¨ ande an, w ¨ ahrend die dunkle Linie die prognostizierten F ¨ ullst ¨ ande beschreibt. Die Abbildung zeigt ein mittels TDMR und SPOT optimiertes Regressionsmodell auf Basis von Support Vector Regression. Aus der im WS 2011/2012 durchgef ¨ uhrten Case Study zum Thema “Extensions for Tuned Data Mining” konnten Teile der entwickelten Software zur Erg ¨ anzung und Erweiterung des TDMR Frameworks genutzt und ¨ ubernommen werden. Die in diesem Rahmen erstellte Implementierung der Slow Feature Analysis in der Sprache R wurde zudem als eigenst ¨ andiges Software-Paket auf dem freien Projekt-Server CRAN zur Verf¨ ugung gestellt. Das in der Case Study Building and analyzing SVM ensembles with Bagging and AdaBoost on big data sets behandelte Thema ist ein bedeutendes Anwendungsgebiet, und wurde als Publikation im Rahmen der European Conference on Data Analysis als Konferenzbeitrag eingereicht [ 30 ]. Der Votrag fand großen Anklang bei der internationalen Forchergemeinde, sodass auch nach Abschluss des Projektes SOMA weitere Arbeiten angedacht sind. Bachelorarbeiten Der Student Markus Thill schrieb seine Bachelor-Arbeit zum Thema Reinforcement Learning mit N-Tupel-Systemen f ¨ ur das Brettspiel ”Vier Gewinnt”. Die erreichten Ergebnisse ¨ ubertrafen das bisherige Referenzverfahren (Temporal Difference Learning). Damit gelang es in k ¨ urzerer Zeit in ¨ uber 90% der F ¨ alle gegen einen optimal spielenden Agenten zu gewinnen, sofern das Spiel einen Gewinn zul ¨ asst. Eine Ver ¨ offentlichung in diesem Bereich wurde auf der internationalen Fachkonferenz Parallel Problem Solving from Nature (PPSN) in Taormina, Italien vorgestellt. Markus Thill wurde außerdem f ¨ ur seine ¨ uberzeugende Arbeit mit dem Opitz-F¨ orderpreis (1. Platz) ausgezeichnet. 20 Inhaltsverzeichnis Masterarbeiten Die Studentin Kristine Hein untersuchte das Problem der Gestenerkennung mittels der im Projekt SOMA behandelten Methode zur Merkmalsgenerierung Slow Feature Analysis [ 12 ]. Dabei konnten f ¨ ur den erzeugten Klassifikator vergleichbare Prognoseraten wie f ¨ ur ein auf Random Forests basierendes Modell erzielt werden. Dies kann als ein großer Erfolg gewertet werden, denn das auf SFA basierende Prognosemodell ist in seiner Anwendung deutlich schneller sowohl im Training, als auch in der Anwendung, was insbesondere bei zeitkritischen Anwendung in integrierten Systemen eine Rolle spielen kann. Kristine Hein wurde als Auszeichnung f ¨ ur ihre hervorragende Arbeit mit dem begehrten Opitz-F¨ orderpreis 2011 ausgezeichnet. Aufbauend auf den Ergebnissen von Frau Hein untersuchte der Student Daniel Bertram die beschleunigungsbasierten 3DGestendaten auf einem Smartphone und erzielte erstaunlich stabile Ergebnisse bei der Erkennung auf diesen Ger ¨ aten [ 2 ]. Herr Bertram wurde außerdem f ¨ ur seine Masterarbeit mit dem CBC-F¨ orderpreis 2013 ausgezeichnet. Die Studentin Ren´ee Schulz f ¨ uhrte die erfolgreichen Arbeiten im Bereich Gestenerkennung fort [ 28 ] und arbeitete neben dem Interface auf Basis der Nintendo Wii auch mit Microsofts XBox Kinect, welches sensorisch weiterentwickelt ist und komplexere Bewegungserkennungen erlaubt. Frau Schulz wurde mit dem Ferchau-F¨ orderpreis 2013 ausgezeichnet. Meilensteine MS1: Abschluss der ersten Case Studies. Abh ¨ angig von der Evaluation der Case Studies und der Hinweise auf Erfolg bzw. Misserfolg einzelner Verfahren wird die Schwerpunktsetzung in den darauffolgenden Arbeitspaketen gesteuert. MS2: Das Framework f ¨ ur den Einsatz verschiedener Modellierungsverfahren in Verbindung mit SPO ist fertiggestellt. MS3: Abschluss der letzten Case Studies. Abh ¨ angig von der Evaluation der Case Studies und der Hinweise auf Erfolg bzw. Misserfolg einzelner Verfahren wird die Schwerpunktsetzung in den darauffolgenden Arbeitspaketen gesteuert. MS4: Abschluss der methodischen Arbeiten zu Modul E, es liegen erste Anwendungsresultate vor. Abh ¨ angig von diesen Resultaten wird mindestens ein geeignetes Referenzprojekt ausgew ¨ ahlt, das in Arbeitspaket C3 (Dokumentation von Referenzprojekten) f ¨ ur die Fach ¨ offentlichkeit aufbereitet wird. MS5: Abschluss der methodischen Arbeiten zu Modul S, es liegen erste Anwendungsresultate vor. Abh ¨ angig von diesen Resultaten wird mindestens ein geeignetes Referenzprojekt ausgew ¨ ahlt, das in Arbeitspaket C3 (Dokumentation von Referenzprojekten) f¨ ur die Fach¨ offentlichkeit aufbereitet wird Die Meilensteine konnten wie geplant eingehalten werden. Die durchgef ¨ uhrten Case Studies waren in ihren Ergebnissen sehr erfolgreich und zielf ¨ uhrend zur Aufgabenstellung. So konnten die Ergebnisse der Case Studies zum Teil direkt f ¨ ur weiterf ¨ uhrende Publikationen genutzt werden. Beispielsweise wurden die Untersuchungen der im Wintersemester 2012/2013 durchgef ¨ uhrten Case Study im Rahmen einer europ ¨ aischen Fachkonferenz (European Conference on Data Analysis) vorgestellt und stießen insgesamt auf großes Interesse bei den Forschern. 2. EINGEHENDE DARSTELLUNG 21 Aus der im Wintersemester 2011/2012 durchgef ¨ uhrten Case Study entstand außerdem die Open Source Software rSFA, welche auch im Rahmen des Data Mining Frameworks TDMR zur Feature-Gewinnung genutzt wird. Alle weiteren Meilensteine konnten wie geplant abgeschlossen werden. Als wesentlicher Bestandteil des Projektes SOMA ist das Framework TDMR [ 21 ] f ¨ ur den Einsatz der verschiedenen Modellierungsverfahren der ¨ Offentlichkeit zug ¨ anglich gemacht worden. Auch die Meilensteine M4 und M5 wurden erf ¨ ullt und sind durch die zahlreichen Ver ¨ offentlichungen im Projekt SOMA der Fachwelt zug¨ anglich gemacht worden. 2.2 Zahlenm¨ aßiger Nachweis Das Projektbudget wurde entsprechend der im Projektantrag beschriebenen Planung verausgabt. ¨ Anderungen dieser Planung waren entweder nicht notwendig, oder wurden dem Projekttr ¨ ager fr ¨ uhzeitig mitgeteilt und genehmigt. Der im Projekt SOMA finanziell verf ¨ ugbare Rahmen wurde somit planm ¨ aßig eingehalten. Wie im Finanzierungsplan veranschlagt, wurde der wesentliche Anteil des Projektbudgets f ¨ ur das wissenschaftliche Personal verausgabt. Innerhalb der Personalausgaben kam es geringen Verschiebungen innerhalb der Positionen 817 Besch ¨ aftigungsentgelte E1-E11 (wissenschaftliche Hilfskr ¨ afte) zu der Position 812 Entgeltgruppe E12-E15 (wissenschaftliche Mitarbeiter). Mit dieser Verschiebung ist es erm ¨ oglicht worden, den Projektmitarbeiter Patrick Koch ¨ uber den gesamten Projektzeitraum zu besch¨ aftigen. Insgesamt wurde das Projekt auf Antrag im Mai 2013 mit einer kostenneutralen ¨ Ubertragung von Mitteln in H¨ ohe von 30.244ein das Jahr 2013 bis zum 31.06.2013 verl ¨ angert. Diese Verl ¨ angerung konnte durch Umwidmung von Personalkosten f ¨ ur wissenschaftliche Hilfskr ¨ afte erzielt werden. Diese Umwidmung war ein notwendiger Schritt, der vom Projekttr ¨ ager genehmigt worden ist, da die Programmiert ¨ atigkeiten, die bis dahin von studentischen und wissenschaftlichen Hilfskr ¨ aften durchgef ¨ uhrt wurden, zunehmend schwieriger und komplexer geworden sind. Die in SOMA eingearbeiteten Hilfskr ¨ afte, die bisher ¨ uber die Position Mittel f ¨ ur Besch ¨ aftigungsentgelte finanziert wurden und nahezu seit Projektbeginn f ¨ ur SOMA arbeiteten, hatten inzwischen anderweitige T ¨ atigkeiten aufgenommen und standen deshalb nicht mehr f ¨ ur SOMA zur Verf ¨ ugung. Eine Einarbeitung von neuen Hilfskr ¨ aften in die umfangreiche Programmcodeumgebung von SOMA w ¨ are mit hohen Aufw ¨ anden sowohl f ¨ ur die Hilfkr ¨ afte als auch f ¨ ur den die Hilfskr ¨ afte betreuenden Doktoranden verbunden. In Anbetracht der geringen Restlaufzeit des Projekts war demzufolge das Verh ¨ altnis von Aufwand zu Ertrag bei der Besch ¨ aftigung neuer Hilfskr ¨ afte sehr ung ¨ unstig. Stattdessen wurden die geplanten Arbeiten vom Doktoranden selbst ausgef¨ uhrt. Auf Seiten der Investitionen (Position 850) wurde gegen ¨ uber dem Projektantrag eine ¨ Anderung vorgenommen, die dem Projekttr ¨ ager aber ebenfalls schnellstm ¨ oglich mitgeteilt worden ist. Zur Verbesserung der Lehre in den Case Studies und der Pr ¨ asentation auf Fachtagungen und Konferenzen wurde in dem Projekt ein mobiles Ger ¨ at angeschafft. Dazu wurden insgesamt 1589 e aus Position 812 auf Position 850 umgewidmet. Die Genehmigung dieser Umwidmung wurde vom Projekttr¨ ager im Mai schriftlich mitgeteilt. 22 Inhaltsverzeichnis 2.3 Nutzen und Verwertbarkeit Die in diesem Forschungsvorhaben untersuchten Methoden umfassen ¨ uberwachte Lernverfahren, Verfahren zur Merkmalsextraktion und Merkmalsgewinnung sowie die Kombination dieser Verfahren mit effizienten Optimieralgorithmen. Aufgrund der einfachen vorgefertigten Struktur innerhalb der Software TDMR besteht damit insbesondere f ¨ ur kleine und mittlere Unternehmen (KMUs) ein großes Nutzenpotential. In dem Projekt SOMA wurde darauf Wert gelegt, dass keine tiefergehende Einarbeitung in die Thematik notwendig ist, um eine erste Prognoseaufgabe durchzuf ¨ uhren und die unterliegenden Modellparameter integrativ zu optimieren. Hier ist außerdem wichtig, dass keine besondere Hochleistungsrechenarchitektur f ¨ ur derartige Vorhaben notwendig ist, denn durch die effiziente Implementierung und Kupplung mit Sub-Sampling basierten Ans ¨ atzen, werden f¨ ur die meisten anfallenden Aufgaben in KMUs keine Hochleistungsrechner ben¨ otigt. Die in dem Forschungsvorhaben entwickelten Softwarebibliotheken k ¨ onnen gerne von jedem Interessenten genutzt werden und sind bereits in Form von Open-Source Software der Allgemeinheit zug¨ anglich gemacht worden. 2.4 Fortschritt anderer Stellen Dem Zuwendungsempf ¨ anger (ZE) sind weitere in ¨ ahnlichen Bereichen forschenden Stellen bekannt. Dieses Wissen konnte genutzt werden, um das eigene Vorhaben zu unterst¨ utzen und zu erweitern. Mitarbeiter vom Lehrstuhl von Prof. Claus Weihs an der TU Dortmund f ¨ uhrten ebenfalls Untersuchungen im Bereich der Optimierung unter limitierten Budgets mit Surrogat-Modellen durch. Diese Untersuchungen waren dem ZE fr ¨ uhzeitig bekannt. Es bestehen jedoch wesentliche Unterschiede hinsichtlich der Zielsetzung der unterliegenden Anwendungen. Anhand der vorliegenden Ergebnisse konnten Vergleiche mit den Studien der TU Dortmund unternommen werden. Insgesamt wurden ¨ ahnliche Ergebnisse wie in dem Projekt SOMA beobachtet. Die ¨ Ahnlichkeit der Forschungsrichtungen konnten f ¨ ur einen Ausbau der Kooperation mit der TU Dortmund genutzt werden, ohne dass die eigenen Ziele des Projektes bzw. der Verwertbarkeit gef ¨ ahrdet waren oder sind. Die Daten sind abgeglichen worden und in die Literatur hinzugef ¨ ugt worden, um einen vollst ¨ andigen Blick auf die untersuchten Bereiche zu gew¨ ahrleisten. Der an der Ruhr-Universit ¨ at Bochum forschende Prof. Dr. Laurenz Wiskott gilt als Mitentwickler der in dem Projekt SOMA eingesetzten Slow Feature Analysis. Durch diesen bestehenden Kontakt zu der Ruhr-Universit ¨ at Bochum konnten Teile der bestehenden Software genutzt und weiter entwickelt werden. An der FH D ¨ usseldorf fanden einige Forschungsarbeiten im Bereich Deep Learning und Deep Neural Networks unter der Leitung von Prof. Dr. Thomas Zielke statt. Mit dem Lehrstuhl besteht ein guter Kontakt, sodass vergleichende Arbeiten m¨ oglich waren und durchgef¨ uhrt wurden. 2.5 Publikationen im Projekt Insgesamt sind aus dem Projekt SOMA zahlreiche Publikationen sowohl auf nationaler, als auch auf internationaler Ebene hervorgegangen. Neben der Ver ¨ offentlichung 2. EINGEHENDE DARSTELLUNG 23 der Artikel in der wissenschaftlichen Gemeinschaft konnte somit auch die Sichtbarkeit der Arbeitsgruppe und der Fachhochschule K ¨ oln international gest ¨ arkt werden. Wie aus nachfolgender Aufstellung ersichtlich, handelt es sich um insgesamt 10 technische Berichte, 5 Workshop-Beitr ¨ age, 10 Konferenzbeitr ¨ age und 3 Artikel in Fachzeitschriften. E-prints und technische Berichte – Guerra, R. R. and Stork, J.: Building and analyzing SVM ensembles with Bagging and AdaBoost on big data sets, Case Study Report, Cologne University of Applied Sciences, CIOP Technical Report 1/13, 2013. – Konen, W. and Koch, P.: The TDMR Framework: Tuned Data Mining in R, Cologne University of Applied Sciences, CIOP Technical Report 02/12, 2012. – Konen, W. and Koch, P.: The TDMR Tutorial: Examples for Tuned Data Mining in R, Cologne University of Applied Sciences, CIOP Technical Report 03/12, 2012. – Thill, M.: Einsatz von N-Tupel-Systemen mit TD-Learning f ¨ ur strategische Brettspiele am Beispiel von Vier Gewinnt, Praxisprojektbericht, Cologne University of Applied Sciences, CIOP Technical Report 01/12, 2012. – Konen, W.: SFA classification with few training data: Improvements with parametric bootstrap, Cologne University of Applied Sciences, CIOP Technical Report 09/11, 2011. – Konen, W.: Der SFA-Algorithmus f ¨ ur Klassifikation, Cologne University of Applied Sciences, CIOP Technical Report 08/11, 2011. – Hein, K.: Lernende Klassifikation beschleunigungsbasierter 3D-Gesten des Wii-Controllers, Cologne University of Applied Sciences, CIOP Technical Report 01/10, 2010. – Flasch, O., Bartz-Beielstein, T., Davtyan, A., Koch, P., Konen, W., Oyetoyan, T.D., Tamutan, M.: Comparing CI Methods for Prediction Models in Environmental Engineering, Technical Report Cologne University of Applied Sciences, Germany, 2010 – Konen, W.: On the numeric stability of the SFA implementation sfa-tk. e-print published at http://arxiv.org/abs/0912.1064, 2009. – Konen, W. and Koch, P.: How slow is slow? SFA detects signals that are slower than the driving force. e-print published at http://arxiv.org/abs/ 0911.4397, 2009. Workshop-Beitr¨ age – Koch, P. and Konen, W.: Subsampling strategies in SVM ensembles. In: Hoffmann, F., H ¨ ullermeier, E. (Eds.): Proceedings 23. Workshop Computational Intelligence, Dortmund. Universit¨ atsverlag Karlsruhe, 2013. – Konen, W.: Self-configuration from a Machine-Learning Perspective. e-print published at http://arxiv.org/abs/1105.1951 and Dagstuhl Preprint Archive, Workshop 11181 Organic Computing – Design of Self-Organizing Systems, 2011. 24 Inhaltsverzeichnis – Konen, W., Koch, P., Flasch, O. and Bartz-Beielstein, T.: Parameter-Tuned Data Mining: A General Framework. In: F. Hoffmann, E. H ¨ ullermeier (eds.), Proceedings 20. Workshop Computational Intelligence, Dortmund. Universit¨ atsverlag Karlsruhe, 2010. – Koch, P., Flasch, O., Konen, W. and Bartz-Beielstein, T. (2010): Optimization of Support Vector Regression Models for Stormwater Prediction. In: Hoffmann, F. and H ¨ ullermeier, E. (ed.): Proceedings 20. Workshop Computational Intelligence, Dortmund. Universit¨ atsverlag Karlsruhe, 2010. – Flasch, O., Bartz-Beielstein, T., Koch, P., Konen, W.: Genetic Programming Applied to Predictive Control in Environmental Engineering. In: F. Hoffmann, E. H ¨ ullermeier (eds.), Proceedings 19. Workshop Computational Intelligence, Dortmund. Universit¨ atsverlag Karlsruhe, 2009. Konferenzbeitr¨ age – Stork, J., Ramos, R. R., Koch, P. and Konen, W: SVM ensembles are better when different kernel types are combined. Proceedings of the European Conference on Data Analysis (ECDA), Luxembourg, p. 1–10, 2014. Submitted. – Thill, M., Koch, P. and Konen, W.: Reinforcement learning with n-tuples on the game Connect-4. In: C. Coello Coello, V. Cutello et al. (eds.), PPSN’2012: 12th International Conference on Parallel Problem Solving From Nature, Taormina, Springer, pages 195–204, 2012. – Koch, P. and Konen, W.: Efficient sampling and handling of variance in tuning data mining models. In: C. Coello Coello, V. Cutello et al. (eds.), PPSN’2012: 12th International Conference on Parallel Problem Solving From Nature, Taormina, Springer, pages 184–194, 2012. – Konen, W., Koch, P., Flasch, O., Bartz-Beielstein, T., Friese, M. and Naujoks, B.: Tuned Data Mining: A Benchmark Study on Different Tuners, Proc. GECCO 2011, Dublin, July 2011. – Bartz-Beielstein, T., Friese, M., Zaefferer, M., Naujoks, B., Flasch, O., Konen, W. and Koch, P.: Noisy optimization with sequential parameter optimization and optimal computational budget allocation In Proceedings of Genetic and Evolutionary Computation Conference, pages 119–120, 2011. – Koch, P., Konen, W. and Hein, K., Gesture Recognition on Few Training Data using Slow Feature Analysis and Parametric Bootstrap. In P. Sobrevilla (ed.), Proc. IEEE World Congress on Computational Intelligence (WCCI), Barcelona, 2010. – Koch, P., Konen, W., Flasch, O., Bartz-Beielstein, T.: Optimizing Support Vector Machines for Stormwater Prediction. In: R. Schaefer (ed.), Proc. 11th International Conference on Parallel Problem Solving From Nature (PPSN), Krakow, 2010. – Flasch, O., Bartz-Beielstein, T., Davtyan, A., Koch, P. and Konen, W.: Comparing SPO-tuned GP and NARX Prediction Models for Stormwater Tank Fill Level Prediction. In P. Sobrevilla (ed.), Proc. IEEE World Congress on Computational Intelligence (WCCI), Barcelona, 2010. – Ziegenhirt, J., Bartz-Beielstein, T., Flasch, O., Konen, W. and Zaefferer, M.: Optimization of Biogas Production with Computational Intelligence – A Comparative Study. In P. Sobrevilla (ed.), In Proceedings of the IEEE World Congress on Computational Intelligence (WCCI), Barcelona, 2010. 2. EINGEHENDE DARSTELLUNG 25 – Konen, W. and Koch, P.: How slow is slow? SFA detects signals that are slower than the driving force, In: B. Filipic, J. Silc (eds.), Proc. 4th Int. Conf. on Bioinspired Optimization Methods and their Applications, In Proceedings of the Conference on Bioinspired Optimization Methods and their Applications (BIOMA) 2010, Ljubljana, Slovenia, 2010. Zeitschriftenbeitr¨ age – Koch, P., Wagner, T., Emmerich, M. T. M., Baeck, T., and Konen, W.: Efficient multi-criteria optimization on noisy machine learning problems. Applied Soft Computing, 2014, (under review). – Koch, P., Bischl, B., Flasch, O., Bartz-Beielstein, T., Weihs, C. and Konen, W.: Tuning and evolution of support vector kernels. Evolutionary Intelligence, 5(3):153-170, 2012. – Konen, W. and Koch, P., The slowness principle: SFA can detect different slow components in nonstationary time series. In: Jurij ˇ Silc and Bogdan Filipiˇc (eds.) International Journal of Innovative Computing and Applications (IJICA), 2010. Bachelor-Arbeiten – Thill, M.: Reinforcement Learning mit N-Tupel-Systemen f ¨ ur Vier Gewinnt, Bachelor Thesis, Fachhochschule K ¨ oln, 2012. Preistr ¨ ager (1. Platz) beim Opitz-Innovationspreis 2013. Master-Arbeiten – Schulz, R.: Entwicklung und Vergleich von Verfahren zur Verbesserung der Gestenerkennung f ¨ ur den Einsatz in Natural User Interfaces. Master Thesis, Fachhochschule K¨ oln, 2013. Preistr¨ agerin beim Festo-F¨ orderpreis 2013. – Bertram, D.: Untersuchungen zur Varianzreduktion beschleunigungsbasierter 3D-Gestendaten, Master Thesis, Fachhochschule K ¨ oln, 2012. Preistr ¨ ager (3. Platz) beim CBC-F¨ orderpreis 2013. – Hein, K: Gestenerkennung mit Slow Feature Analysis (SFA) – Klassifizierung von beschleunigungsbasierten 3D-Gesten des Wii-Controllers, Fachhochschule K¨ oln, 2010. Preistr¨ agerin (3. Platz) beim Opitz-Innovationspreis 2011. Dissertationen – Koch, P.: Efficient Tuning in Supervised Machine Learning. PhD Thesis, Universit¨ at Leiden, Niederlande, 2013.