CIMO - CI-basierte Mehrkriterielle Optimierungsverfahren für Anwendungen in der Industrie (Schlussbericht)

Schriftenreihe CIplus, Band 5/2015 Herausgeber: T. Bartz-Beielstein, W. Konen, H. Stenzel, B. Naujoks CIMO - CI-basierte Mehrkriterielle Optimierungsverfahren f¨ur Anwendungen in der Industrie (Schlussbericht) Thomas Bartz-Beielstein und Martin Zaefferer CIMO CI-basierte mehrkriterielle Optimierungsverfahren für Anwendungen in der Industrie (Förderkennzeichen 17002X11) Schlussbericht Förderlinie „FHprofUnt“ im Rahmen des Programms „Forschung an Fachhochschulen“ Prof. Dr. Thomas Bartz-Beielstein Institut für Informatik Fakultät für Informatik und Ingenieurwissenschaften Fachhochschule Köln Inhaltsverzeichnis 1 Allgemeines 2 2 Vorhaben 3 2.1 Aufgabenstellung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2.2 Voraussetzungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3 Planung und Ablauf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.4 Wissenschaftlich-technischer Stand . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.5 Zusammenarbeit mit anderen Stellen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3 Wissenschaftlich-technische Ergebnisse 14 3.1 Modul DASY „Datenerfassung und Systematisierung“ . . . . . . . . . . . . . . . . . . . . 14 3.1.1 DASY-1 Datenerfassung und Anpassung für Daten aus der Energiewirtschaft . 14 3.1.2 DASY-2 Validierung von Parametereinstellungen mit CFD . . . . . . . . . . . . . 17 3.1.3 DASY-3 Planung weiterer Experimente . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2 Modul 2 „Anlagenoptimierung“ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.1 AO-1 Hierarchische Mehrkriterielle Optimierung . . . . . . . . . . . . . . . . . . 17 3.2.2 AO-2 Anbindung der Multikriteriellen Optimierung an SPO . . . . . . . . . . . 18 3.2.3 AO-3 Experimente und Studien mit den neu entwickelten Verfahren . . . . . . 19 3.2.4 AO-4 Auswertung und Validierung beim Anwender . . . . . . . . . . . . . . . . . 20 3.3 Modul 3 „Erweiterte Modellbildung mit Kriging“ . . . . . . . . . . . . . . . . . . . . . . . 20 3.3.1 EMB-1 Informationsaustausch zur multikriteriellen Prozessoptimierung für die Industrie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.3.2 EMBK-1 Implementierung von Kriging-Modellen . . . . . . . . . . . . . . . . . . 21 3.3.3 EMBK-2 Kriging für Hierarchische Optimierungsansätze . . . . . . . . . . . . . . 21 3.3.4 EMBK-3 Anwendung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.3.5 EMBK-4 Surrogatmodellierung strukturierter Daten . . . . . . . . . . . . . . . . 25 3.4 Modul 4 „Restriktionsbehandlung“ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 1 Allgemeines 3.4.1 RESTR-1 Restriktionsbehandlung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 3.4.2 RESTR-2 Restriktionen und Surrogatmodellierung . . . . . . . . . . . . . . . . . 26 3.4.3 RESTR-3 Validierung der Restriktionsbehandlungsmethoden für die Surrogatmodellierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 3.5 Modul 5 „Generalisierbarkeit“ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 3.5.1 GEN-1 Weitere Anwendungen und Partner . . . . . . . . . . . . . . . . . . . . . . 27 3.5.2 GEN-2 Integration DataModeler . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.5.3 GEN-3 Validierungsaspekte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.6 Spezielle Arbeitspakete . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.7 Wissenschaftliche Publikationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 4 Voraussichtlicher Nutzen 31 5 Ergebnisse Dritter 32 6 Veröffentlichungen der Projektteilnehmer 33 7 Veröffentlichungen Dritter 36 Abkürzungsverzeichnis 46 1 | Allgemeines Dieser Schlussbericht beschreibt die im Projekt „CI-basierte mehrkriterielle Optimierungsverfahren für Anwendungen in der Industrie“ (CIMO) im Zeitraum von November 2011 bis einschließlich Oktober 2014 erzielten Ergebnisse. Zuwendungsempfänger Institut für Informatik, Fakultät Informatik und Ingenieurwissenschaften, Fachhochschule Köln Projektleiter Prof. Dr. Thomas Bartz-Beielstein Förderkennzeichen 17002X11 Vorhabensbezeichnung CI-basierte mehrkriterielle Optimierungsverfahren für Anwendungen in der Industrie (CIMO) Laufzeit des Vorhabens 11/2011 – 10/2014 Berichtszeitraum 11/2011 – 10/2014 Projektpartner Steinmüller Engineering GmbH,Evolved Analytics LLC,TU Dortmund,Universiteit Leiden,Universiteit Gent,Universiteit van Tilburg Der Bericht ist wie folgt gegliedert: Abschnitt 2 gibt einen Überblick über Aufgabenstellung, Voraussetzungen, Planung und Verlauf, wissenschaftlich-technischen Stand und über die Zusammenarbeit mit Dritten im Projekt CIMO. Abschnitt 3 beschreibt die erzielten wissenschaftlich-technischen Ergebnisse. Abschnitt 4 vergleicht den aktuellen Stand des Vorhabens mit der ursprünglichen Arbeits-, Zeitund Ausgabenplanung. Abschnitt 5 beschreibt Informationsrecherchen nach projektrelevanten Ergebnissen Dritter. Abschnitt 6 führt alle im Projekt erfolgten Veröffentlichungen auf. 2 2 | Vorhaben 2.1 Aufgabenstellung Das Projekt CIMO befasste sich mit der Entwicklung von Verfahren aus der Computational Intelligence (CI) für den industriellen Einsatz. Hierbei lag der Schwerpunkt auf hierarchischen, mehrkriteriellen Optimierungsverfahren unter der Verwendung datengetriebener Surrogatmodelle. Die Berücksichtigung verschiedener Zielkriterien ermöglicht die gleichzeitige Optimierung konfliktärer Ziele wie z.B. die Minimierung der Betriebskosten bei gleichzeitiger Minimierung der Schadstoffemissionen. Am Beispiel von Kohlekraftwerken lässt sich schnell zeigen, dass bei der Optimierung selten nur ein Ziel im Vordergrund steht. Vielmehr sind häufig verschiedene Ziele wichtig, wie zum Beispiel die Reduzierung von Umweltschadstoffen, die Verbesserung der Energieeffizienz oder die Verringerung von Betriebsund Wartungskosten. Um derartig verschiedene Ziele zu integrieren, sind mehrkriterielle Verfahren, vor allem aus dem Bereich der mehrkriteriellen evolutionären Algorithmen, von Nutzen. Diese Verfahren können auch bei sehr komplexen Zusammenhängen und Aufgabenstellungen Verbesserungen finden. Typisch für diese Verfahren ist, dass sie häufig eine sehr große Anzahl von Auswertungen (d.h. Simulationen, Experimente) benötigen. Im industriellen Einsatz kann es allerdings häufig sehr teuer oder zeitaufwändig sein, entweder aufwendige Experimente oder komplexe Simulationen für die Optimierung einzusetzen. Zur Zeitund Kostenreduktion soll die Optimierung daher mit Hilfe von Surrogatmodellen erfolgen, die abgestuft mit weniger aufwändigen, ungenauen Simulationen und aufwändigeren aber genaueren Simulationen zum Einsatz kommen. Bei der Anlagenplanung und während des Betriebs können durch eine mehrkriterielle Optimierung unterschiedliche Zielgrößen gleichzeitig berücksichtigt werden. Moderne datengetriebene Modelle können zudem Daten verschieden genauer und aufwändiger Simulationen integrieren und für die Verbesserung der Modellierung nutzen. Das resultierende, neue Verfahren wird als hierarchische mehrkriterielle Optimierung bezeichnet. Die Entwicklung und Verknüpfung der folgenden Methoden stand im Fokus des Projektes CIMO: • Datengetriebene Modellierungsansätze, die bereits mit wenigen Datenpunkten aus einer genauen aber aufwändigen Simulation hinreichend repräsentative Modelle erstellen können. Hierbei kommen computational fluid dynamics (CFD) Simulationen zum Einsatz. • Einbindung von Daten verschiedener Hierarchieebenen (CFD, analytische Modelle, datengetriebene Modelle) in den Modellierungsund Optimierungsprozess. • Mehrkriterielle Optimierungsverfahren für die Verknüpfung verschiedener Optimierungsziele. Derartige Methoden sind in vielen Bereichen der industriellen Anwendung von großer Bedeutung. Sie kommen überall zum Einsatz, wo Prozessoder Produktqualität mit verschiedenen Kriterien messbar oder simulativ beschrieben werden können und die Ermittlung der Qualität teuer oder zeitaufwändig ist. In der Anwendung konzentrierte sich das Projekt auf die Optimierung eines Zyklons (Fliehkraftabscheiders), der zum Beispiel in Kohlekraftwerken die Staubanteile aus Gasgemischen filtert. Grundlage für die Optimierung waren vor allem analytische Modelle, die durch ihre geringe 3 2 Vorhaben rechnerische Komplexität ausführliche Experimente erlaubten. Aufwändigere, teurere Experimente wurden beispielhaft in anderen praktischen Anwendungsgebieten durchgeführt. Für die Optimierung und Simulation des Fliehkraftabscheiders war die Zusammenarbeit mit dem Projektpartner Steinmüller Engineering GmbH von großer Bedeutung, da dieser ein großes Interesse an der Entwicklung effizienter Staubabscheider besitzt. Über die Thematik der mehrkriteriellen Optimierung ergab sich zudem ein sehr reger Austausch mit den universitären Projektpartnern (TU Dortmund,Universiteit Leiden). Auch mit dem Partner Evolved Analytics LLC wurden intensive Gespräche zur Entwicklung und Anwendungsfähigkeit der Verfahren geführt. 2.2 Voraussetzungen Das Projekt CIMO hatte eine Gesamtlaufzeit von 3 Jahren (01.11.2011 bis zum 31.10.2014) und wurde mit einer bewilligten Gesamtsumme von 255.867,00 € (exklusive 10% Projektpauschale) gefördert. Davon entfielen 226.156,00€auf Personalausgaben, 18.545,00€auf sächliche Verwaltungsausgaben und 11.166,00€auf Gegenstände über 410 Euro (Investitionen). Inklusive der Projektpauschale von 10% betrug die bewilligte Fördersumme also 281.453,70 €. Die nachgewiesenen Kosten umfassten 219.533,73 €. Durchgeführt wurde das Projekt am Institut für Informatik an der Fakultät für Informatik und Ingenieurwissenschaften am Campus Gummersbach der Fachhochschule Köln. An dieser Fakultät hat der Projektleiter Prof. Bartz-Beielstein seit Oktober 2006 eine Professur für Angewandte Mathematik inne. Zu Projektbeginn hatte er mehr als 100 Publikationen im Bereich CI veröffentlicht. Er arbeitete von 2000 bis 2006 im Sonderforschungsbereich „Design und Management komplexer technischer Prozesse und Systeme mit Methoden der Computational Intelligence“ an der TU Dortmund in einem Projekt zur Umsetzung der Grundlagenresultate in praxisorientierte Algorithmen und Werkzeuge. Prof. Bartz-Beielstein leitet die Arbeitsgruppe SPOTSeven ( www.spotseven.de ), die aus einem sehr interdisziplinär geprägten Team von Forschern besteht. Die vom Projektleiter entwickelte Sequentielle Parameteroptimierung (SPO) wurde als wichtiges Werkzeug zur Entwicklung von Optimierungsalgorithmen erfolgreich eingesetzt 1 (Siehe [ 47 ]für eine Zusammenstellung zugehöriger Veröffentlichungen). SPO stützt sich auf Methoden der Versuchsplanung, Statistik, Datenanalyse und Optimierung. Prof. Bartz-Beielstein leitete zudem das Projekt FIWA „Methoden der Computational Intelligence für Vorhersagemodelle in der Finanzund Wasserwirtschaft“, dass Ende 2012 abgeschlossen wurde. FIWA befasste sich unter anderem mit Genetischem Programmieren (GP) und SPO, allerdings im Zusammenhang der Verbesserung von Vorhersagemodellen und weniger mit der Optimierung technischer Zusammenhänge. Er initiierte den extern evaluierten Forschungsschwerpunkt CIplus der FH-Köln ( www.ciplus-research.de ). Als Sprecher dieses Forschungsschwerpunktes arbeitet er gemeinsam mit den Professoren Dr. Boris Naujoks, Dr. Wolfgang Konen und Prof. Dr. Horst Stenzel an Aufgaben aus dem Bereich CI. Ziel dieser Zusammenarbeit ist die Vernetzung und bessere Sichtbarkeit 1 SPO ist in Form des open-source Pakets Sequential Parameter Optimization Toolbox (SPOT) frei verfügbar. Siehe auch www.cran.r-project.org/package=SPOT 4 2.2 Voraussetzungen der Fachdisziplinen Optimierung, Simulation, Modellierung, Data Mining, Statistik und Mathematik unter besonderer Berücksichtigung naturanaloger Verfahren wie z.B. evolutionärer Algorithmen. Der Projektleiter ist Mitglied in den Programmkomitees der führenden Konferenzen und Zeitschriften auf dem Gebiet der CI. Bereits zu Projektbeginn existierte eine intensive Zusammenarbeit des Projektleiters mit Forschern auf internationaler Ebene, unter anderem mit den Universitäten Antwerpen, Tilburg, Eindhoven und Leiden. Weitere Forschungsthemen, die in dieser Arbeitsgruppe behandelt werden, stammen aus den Bereichen statistische Versuchsplanung, Simulation und Optimierung. Ab Projektbeginn stand Herr M. Eng. Martin Zaefferer dem Projekt erst als wissenschaftliche Hilfskraft und dann als hauptverantwortlicher Sachbearbeiter und Promovierender zur Verfügung. Des weiteren standen Dr. Katya Vladislavleva und die Promovierenden Beate Breiderhoff und Christian Jung dem Projekt zeitweise in Teilzeit zur Verfügung. Die durchgeführten Promotionen werden kooperativ durch den Projektleiter und Prof. Günter Rudolph (Lehrstuhl für Algorithm Engineering, Fakultät für Informatik, TU Dortmund) betreut. Bereits zu Beginn des Projektes bestand eine aktive Zusammenarbeit mit Prof. Günter Rudolph. Er stand dem Projekt beratend und als Betreuer der Promotionen zur Verfügung und forscht an CI-Verfahren zur Optimierung. Um den fachlichen Austausch im Bereich CI zu unterstützen, findet innerhalb der Arbeitsgruppe SPOTSeven wöchentlich ein Doktorandenseminar statt. An dem Seminar nehmen momentan acht Doktorandinnen und Doktoranden sowie weitere Bachelorund Masterstudenteninnen und -studenten aus der Arbeitsgruppe von Prof. Bartz-Beielstein teil. Prof. Bartz-Beielstein ist zudem assoziiertes Mitglied der Kompetenzplattform Sustainable Technologies and Computational Services for Environmental and Production Processes (STEPS) , die ein Kolleg für alle Promovierenden der Hochschule organisiert. Die am Projekt beteiligte Steinmüller Engineering GmbH verfügt über ein breit gefächertes ProzessKnow-how im Bereich des Maschinenund Anlagenbaus in der Energieund Umwelttechnik. Die Mitarbeiter der Steinmüller Engineering GmbH waren an Entwicklung, Bau und Betrieb einer Vielzahl von Anlagen der Energieund Umwelttechnik bei der vormaligen L&C Steinmüller GmbH in Gummersbach beteiligt. Dieser Erfahrungsschatz bildet das Herzstück des Unternehmens und steht den Kunden von Steinmüller Engineering sowohl in Form von Ingenieur-Beratungsleistungen als auch im Rahmen von Lieferungen von Teilund Gesamtanlagen zur Verfügung. Im Bereich der Verringerung von Schadstoffemissionen bei Kohlekraftwerken besteht seit September 2009 ein regelmäßiger fachlicher Austausch der Steinmüller Engineering GmbH mit der Arbeitsgruppe SPOTSeven des Projektleiters. Die Steinmüller Engineering GmbH stellte dem Projekt somit umfassende fachliche Kenntnisse und Beratung zur Verfügung, sowie Daten und Prozesswissen für die bearbeiteten Problemstellungen. Auch stand sie für die Betreuung von Abschlussarbeiten zur Verfügung. Es fanden regelmäßige Arbeitstreffen statt, in denen der aktuelle Stand der Zusammenarbeit besprochen wurde und Abschlussarbeiten und gemeinsame Seminare abgestimmt wurden. Eine sehr enge Zusammenarbeit bestand auch mit der Arbeitsgruppe von Herrn Professor Günter Rudolph der TU Dortmund. Dieser bereits langjährig und erfolgreich bestehende Austausch spiegelt sich vor allem in der Betreuung der im Projekt verwurzelten Dissertationen wider. 5 2 Vorhaben Als weitere Partner standen dem Projekt die Evolved Analytics LLC,Universiteit Gent,Universiteit Leiden und Universiteit van Tilburg zur Seite. Hier fand ein reger Austausch zu wissenschaftlichtechnischen Themen statt. Tabelle 1 stellt eine Übersicht der Beiträge der einzelnen Projektpartner im Projekt CIMO dar. 2.3 Planung und Ablauf Das Projekt wurde in Module mit insgesamt 18 Kern-Arbeitspaketen aufgeteilt, die im Gantt-Chart in Abbildung 1 dargestellt sind. Am Ende jedes Semesters wurde intern kontrolliert, ob die definierten Ziele erreicht wurden. Neben diesen projektbegleitenden Kontrollen wurden fünf Meilensteine (MS-1 bis MS-5) definiert. Für die Arbeitspakete wurden die folgenden Bezeichnungen verwendet: DASY : Datenerfassung und Systematisierung, EMB : Erweiterte Modellbildung, AO : Anlagenoptimierung, EMBK : Erweiterte Modellbildung mit Kriging, RESTR : Restriktionsbehandlung, GEN : Generalisierbarkeit, MT: Master-Theses, CS: Case-Studies. Ein ursprünglich geplanter Meilenstein zur Abnahme eines GP Systems wurde aus dem Arbeitsplan entfernt, da die Surrogatmodellierung sich im Verlaufe des Projektes hier vor allem mit Modellierungsverfahren wie Kriging beschäftigte. Die entsprechenden Arbeitspakete EMB-2 bis EMB-4 wurden durch EMBK-1 bis EMBK-3 ersetzt. MS-1: Datenerhebung Mit diesem Meilenstein wurde die Vollständigkeit der bislang erfolgten Datenerhebung überprüft. Zu diesem Zeitpunkt gab es noch deutliche Verzögerung in den zugeordneten Arbeitspaketen, vor allem DASY-1. Dieses Paket schloss dementsprechend erst später ab. Grund für die Verzögerung waren vor allem die Schwierigkeiten bei der ursprünglich vorgesehenen Simulation eines Feuerraumes auf einem gemeinsam von Steinmüller Engineering GmbH und FH Köln geplanten Rechencluster. Um trotzdem den zeitigen Fortgang des Projektes zu gewährleisten, wurde auf die verfügbaren Daten eines Zyklon (Fliehkraftabscheider) zurückgegriffen und dessen mehrkriterielle Optimierung im weiteren Verlauf in den Mittelpunkt gerückt. MS-2: Daten systematisiert Mit diesem planmäßig erreichten Meilenstein wurde überprüft, ob die Schnittstellen für die Daten aus der Energiewirtschaft korrekt spezifiziert wurden, so dass Modellierungsverfahren und Tests im Projektrahmen problemlos ausgeführt werden konnten. MS-3: Abnahme Restriktionsbehandlung für Surrogatmodelle Ursprünglich sollte dieser Meilenstein sicher stellen, dass die in Arbeitspaket MB-1 entwickelten Surrogatmodelle korrekt implementiert wurden, sodass eine Freigabe dieser Funktionalität für die Validierung im Arbeitspaket MB-2 erfolgen kann. Dies konnte frühzeitig erfolgen. Allerdings wurde in Beratungsgesprächen mit dem Projektpartner Steinmüller Engineering GmbH deutlich, dass die Behandlung von Restriktionen im Zusammenhang mit Surrogatmodellen von größerer Bedeutung ist. Deshalb wurden die zusätzlichen Arbeitspakete RESTR-1, RESTR-2 und RESTR-3 eingeführt. 6 2.3 Planung und Ablauf Tabelle 1: Übersicht der Partnerbeiträge für das Projekt CIMO. Projektpartner Beiträge FH Köln • Entwicklung eines innovativen Verfahrens zur hierarchischen mehrkriteriellen Optimierung • Koordination des Projektes CIMO • Betreuung studentischer Case-Studies, Bachelorund Masterarbeiten • Durchführung des Promotionsvorhabens Steinmüller Engineering GmbH • Bereitstellung von Prozessdaten aus der Kraftwerkstechnik • Beratende Mitarbeit bei der Erschließung von Expertenwissen aus dem Bereich der Kraftwerkoptimierung • Durchführung weiterer CFD-Simulationen zur Validierung der im Projekt erzeugten Surrogatmodelle • Analyse und Beurteilung der Qualität der erzeugten Surrogatmodelle • Prototypischer Einsatz der im Projekt erstellten Softwaresysteme • Betreuung von Case-Studies sowie anteilige Betreuung von Bachelorund Masterarbeiten TU Dortmund • Mitarbeit an gemeinsamen Publikationen in den Bereichen GP, Experimentplanung und mehrkriterielle Optimierung • Betreuung und Durchführung der geplanten Promotion eines Projektmitarbeiters • Betreuung studentischer Bachelorund Masterarbeiten • Zusammenarbeit in Forschung (z.B. gemeinsame Publikationen) und Lehre Evolved Analytics LLC • Lieferung von Know-How für den Einsatz von GP in großindustriellen Anwendungen • Bereitstellung der Software DATAMODELER für die prototypische Implementierung von Elementen der hierarchischen mehrkriteriellen Optimierung • Beratung bei der Datenanalyse und dem Einsatz der Software DATAMODELER Universiteit Leiden • Zusammenarbeit in Forschung (z.B. gemeinsame Publikationen) und Lehre • Experimentelle Analyse der im Projekt entwickelten Algorithmen im Rahmen gemeinsamer Publikationen • Betreuung und Durchführung weiterer projektrelevanter Promotionen Universiteit Gent • Zusammenarbeit bei der Entwicklung von Komponenten für die Surrogatmodelle • Bereitstellung und Support der Software SUMO für die Analyse von Surrogatmodellen Universiteit van Tilburg • Lieferung von Know-How für das Design und die Analyse experimenteller Simulationen 7 2 Vorhaben MS-4: Abnahme hierarchische mehrkriterielle Optimierung Für die modellgestützte hierarchische Optimierung wurden in den EMBK Arbeitspaketen die notwendigen Modelle (vor allem auf Kriging beruhende Verfahren) eingeführt. Die notwendigen Optimierungsmethoden wurden erfolgreich in den entsprechenden Paketen (AO) entwickelt und in verschiedenen Anwendungen getestet. MS-5: Abnahme Steinmüller In mehreren Treffen mit Steinmüller Engineering GmbH wurden Stand und Ergebnisse des Projektes diskutiert. Ein wichtiges Ergebnis sind hierbei Planungen, welche die in CIMO bearbeiteten Themen für Folgeprojekte zusammen mit Steinmüller Engineering GmbH vorbereiten. 2.4 Wissenschaftlich-technischer Stand Die im Projekt CIMO behandelten Aufgabenstellungen erfordern Methoden aus den Bereichen Data Mining (Regression) sowie Optimierung (Evolutionäre Algorithmen, mehrkriteriell). Der Schwerpunkt des Projektes CIMO lag im Schnittpunkt dieser Methoden, also der mehrkriteriellen Optimierung mit datengetriebenen Surrogatmodellen auch unter Berücksichtigung von Problemhierarchieebenen für den Einsatz in der Industrie. Datenerfassung und Systematisierung Kordon [ 114 ]beschreibt umfassend Erfahrungen im Umgang mit komplexen Daten. Er greift wichtige Aspekte der Datenerfassung aus praktischer Sicht auf („The Nasty World of Real-World Applications“) und beschreibt exemplarisch die Vorgehensweise bei der Datenerfassung, Datenvorverarbeitung, Sensitivitätsanalyse, Variablenselektion bis hin zur Modellierung und anschließender Optimierung. Als Beispiel dient u.a. die Schadstoffreduktion in Kraftwerken. Bei der von ihm beschriebenen Datenerfassung lagen anfangs 50 unterschiedliche Eingabegrößen vor. Es konnte gezeigt werden, dass schlussendlich der Prozess durch vier Eingabegrößen ausreichend genau beschrieben wird. Für die im Projekt CIMO geplante Vorgehensweise können Empfehlungen aus dem Bereichen der experimentellen Versuchsplanung herangezogen werden. [ 134 ]stellt hierfür eine gute Referenz dar. Des Weiteren sind hier auch die Arbeiten von Jack. P.C. Kleijnen zu nennen, wie z.B. [105]. Eine gute Referenz zum Einstieg in die Kraftwerkstechnik stellt [ 146 ]dar. Vertiefend behandelt wird der heute etablierte Stand der Technik bei allen verfügbaren Energiequellen (fossil, regenerativ, nuklear). Die wichtigsten Designund Betriebsparameter heutiger Kraftwerkstypen werden ausführlich erläutert. Gleichzeitig werden auch Fragestellungen der Ökologie und Ökonomie angemessen berücksichtigt. Als Referenz für die Technik von im Projekt behandelten Staubabscheidern bietet sich [122]an. Bei den im Projekt betrachteten Optimierungsproblemen fallen Daten unterschiedlicher Eigenschaften an. Sie lassen sich auf verschiedene Arten systematisieren, beispielsweise nach Einflussgrößen wie der Brennstoffzusammensetzung, Abgastemperatur, Brennergeometrie und Eigenschaften der Abgase oder transportierten Staubtypen. Während die Emissionen kontinuierlich gemessen werden können und sollten, kann man bei den Einflussgrößen diesbezüglich weitere Kategorisierungen vornehmen. So sind Daten, die zum Beispiel die Geometrie beschreiben, für eine Anlage konstant, während sich 8 3.1 Modul DASY „Datenerfassung und Systematisierung“ führt dies zu einer Beschleunigung bei klassischen Optimierungsverfahren und auch bei Verfahren aus dem Bereich CI. Relevant sind hier verschiedene Restriktionen, die technische Vorgaben des Gesamtsystems betreffen, aber auch physikalische oder geometrische Restriktionen. Im Rahmen weiterer Datensichtung ergab sich, dass die geplante Feuerraumsimulation sehr aufwändige weitere Datenaufnahmen und Modellierungen erfordert. Um die dafür notwendigen Simulationen durchzuführen, wurde ein Rechencluster bei Steinmüller Engineering GmbH installiert, der die notwendige Rechenlast verarbeiten kann. Dabei nahm die Konzeption und Installation mehrere Monate in Anspruch. Um trotzdem erste Daten für die Optimierung zu generieren, wurde deshalb der Fokus auf einen weniger komplexen Teil eines Kohlekraftwerks gelegt, nämlich einen Zyklon (Fliehkraftabscheider). Bei einem Zyklon handelt es sich um einen Filter, der Staubanteile aus Gasgemischen, die bei der Verbrennung entstehen, abscheiden soll. Die Berücksichtigung von Staubabscheidegrad, Druckverlust und Herstellungskosten zeigt hier sehr anschaulich warum eine mehrkriterielle Optimierung notwendig ist. Aus der Literatur sind zudem physikalisch motivierte, einfach zu berechnende, analytische Modelle bekannt (siehe z.B. in [ 122 ]). Diese bilden zusammen mit den deutlich komplexeren CFD Modellen ein sehr gutes Beispiel für die datengetriebene Modellierung und Optimierung mit verschiedenen Hierarchieebenen. Abbildung 2 zeigt eine Zeichnung eines typischen Zyklons, Abbildung 3 zeigt die Visualisierung eines 3D Meshs, das für eine CFD Simulation erstellt wurde. Für die Arbeit mit den verschiedenen Modellebenen waren die relevanten Betriebsgrößen, NebenDa Dt Be He Ht H Be Da Dt Front View Top View Dt Abbildung 2: Zeichnung eines Zyklon Staubabscheiders mit zu optimierenden Geometrieparametern. 15 3 Wissenschaftlich-technische Ergebnisse Abbildung 3: 3D Mesh eines Zyklon Staubabscheiders. bedingungen und Geometrien zu klären. Nach der systematischen Aufnahme dieser Daten standen erste CFD-basierte und analytische Modelle zum Test der entwickelten Optimierungsmethoden bereit. Bei abschließenden Diskussionen zur Datenaufnahme mit Steinmüller Engineering GmbH wurde festgestellt, dass die parametrische Herangehensweise nicht zwangsläufig die sonst üblichen, manuellen Arbeitsabläufe bei der Entwicklung im Unternehmen abbildet. Zwar ist die Optimierung zuvor festgelegter Geometrieparameter von großer Bedeutung, zusätzlich werden im manuellen Prozess aber häufig diskrete, strukturelle Änderungen vorgenommen. Ein Beispiel wäre die Integration eines Leitbleches zur Veränderung einer Strömungsrichtung. Derartige strukturelle Änderungen können nicht über Parameter abgebildet werden. Eine Optimierung müsste somit auch diskrete, strukturelle Änderungen berücksichtigen können. Hierzu wären kombinatorische Optimierverfahren notwendig. Diese wiederum benötigen datengetriebene Surrogatmodelle die strukturelle Daten abbilden können. 16 3.2 Modul 2 „Anlagenoptimierung“ 3.1.2 DASY-2 Validierung von Parametereinstellungen mit CFD Die CFD Modellierung eines Zyklons (Fliehkraftabscheiders) mit OpenFOAM fand in dem von Prof. Bartz-Beielstein geleiteten Forschungsprojekt MCIOP statt. Für CIMO lag dadurch als Ergebnis dieser Arbeiten ein erstes Modell für den Druckverlust vor. Für die Validierung von Optimierungsmethoden und gelieferten Parametereinstellungen fehlte allerdings eine passende Modellierung des Abscheidegrades (Simulation der Partikel in der Strömung). Daher wurde auf die analytischen Modelle zurückgegriffen, bzw. die analytische Berechnung des Druckverlustes mit der CFD Simulation verifiziert. Wie auch im Modul zur Generalisierbarkeit (GEN) geplant und beschrieben, wurden weitere Validierungen mit Aufgabenstellungen aus der Stahlindustrie und Biogaserzeugung durchgeführt. 3.1.3 DASY-3 Planung weiterer Experimente Das Arbeitspaket DASY-3 widmete sich der Planung von weiteren Experimenten. Detaillierte Beschreibungen dieser Experimente sind in den folgenden Abschnitten zu den Modulen EMBK, AO und GEN zu finden. 3.2 Modul 2 „Anlagenoptimierung“ Das Modul AO umfasst Arbeitspakete, die sich mit Optimierungsmethoden, ihren experimentellen Tests und mit der Anwendung auf die im Projekt behandelte Problemstellung befassen. 3.2.1 AO-1 Hierarchische Mehrkriterielle Optimierung Das im Projekt entwickelte Verfahren für die hierarchische mehrkriterielle Optimierung stützt sich vor allem auf das Modellierungsverfahren Co-Kriging. Dabei werden anfangs zwei (d.h. für jede Hierarchieebene genau ein) Versuchspläne erstellt. Der Versuchsplan für die höhere (genauere, teurere) Ebene ist kleiner und stellt eine Untermenge des Versuchsplan für die niedrigere (ungenauere, billigere) Ebene dar. Beide Pläne werden jeweils auf der entsprechenden Problemebene ausgewertet. Entsprechend können die entstehenden Daten verwendet werden, um mit Hilfe von Co-Kriging eine genaue, günstige Modellierung der höheren Ebene zu generieren. Für den mehrkriteriellen Fall ist hier vor allem zu berücksichtigen, dass separate Modelle für jedes Ziel erstellt werden müssen. Die entstehenden Modelle können dann mit geeigneten mehrkriteriellen Verfahren optimiert werden und somit Lösungskandidaten für das Optimierungsproblem generieren. Dieses Konzept ist für Probleme gedacht bei denen die niedrigere Ebene des Optimierungsproblems keine signifikanten Kosten verursacht und somit die Gesamtkosten (oder Gesamtdauer) der Optimierung nur durch die höhere Ebene bestimmt werden. Sollten die Kosten der niedrigeren Problemebene relevant werden, ist es möglich, auch diese Ebene getrennt mit einem eigenen Surrogatmodell zu repräsentieren, dass dann die niedrigere Ebene im Rahmen der hierarchischen Modellierung schrittweise ersetzt. 17 3 Wissenschaftlich-technische Ergebnisse 3.2.2 AO-2 Anbindung der Multikriteriellen Optimierung an SPO Das Arbeitspaket AO-2 verband die bisherigen Arbeiten des Projektleiters mit den Zielsetzungen des Projektes. Mit der Sequentiellen Parameter Optimierung (SPO) stand bereits ein Framework für die Optimierung auf Basis datengetriebener Surrogatmodelle zur Verfügung. Im Rahmen des Projektes wurde dieses Framework vor allem in drei Punkten erweitert. 1. Zuerst wurde mit der Implementierung von Co-Kriging und entsprechend notwendiger Methoden für die Erstellung hierarchischer Versuchspläne die Möglichkeit geschaffen, Probleme mit mehreren Hierarchieebenen effektiv in SPO zu verarbeiten. 2. Zudem wurde SPO um die Möglichkeit erweitert, Surrogatmodelle nicht nur für einzelne Zielgrößen, sondern auch für mehrere zu generieren. Diese wurden mit ebenfalls neu implementierten Methoden zur mehrkriteriellen Optimierung verbunden, um somit auch Probleme mit konfliktäre Ziele zu lösen. 3. Schließlich wurde SPO selbst auch so konfiguriert, dass die eingesetzten mehrkriteriellen Algorithmen in Hinsicht auf ihre Parameterwahl optimiert werden konnten. AO-2 befasst sich vor allem mit den beiden letzteren Aspekten. Die entsprechenden in der SPO Toolbox (SPOT) implementierten Ansätze sind frei verfügbar 4 . Eine einfache Einführung sowie eine Demonstration zur Verwendung der mehrkriteriellen Optimierung sind inzwischen auch als Veröffentlichungen verfügbar [35, 32]. Generell folgt SPO dem folgenden Schema: SPO-1 Zuerst wird mit Methoden aus dem Bereich der statistischen Versuchsplanung ein initialer Versuchsplan erzeugt. SPO-2 Dieses wird mit der Zielfunktion (Simulation, Experiment) ausgewertet. SPO-3 Die bestehenden Daten werden genutzt um ein datengetriebenes Modell zu erstellen (Surrogatmodell). SPO-4 Das Surrogatmodell wird optimiert um einen neuen, vielversprechenden Lösungskandidaten zu ermitteln, SPO-5 Der nun wieder mit der Zielfunktion ausgewertet wird. Schritte SPO-3 bis SPO-5 werden wiederholt bis ein Abbruchkriterium erreicht ist (z.B. die maximale Anzahl erlaubter Zielfunktionsauswertungen). Für die Erweiterung von SPO für mehrkriterielle Probleme ist die Erzeugung des Versuchsplanes (Schritt SPO-1) erstmal von geringerer Bedeutung, die hier vorhandenen Methoden können unverändert verwendet werden. Bei Schritt SPO-2 ist lediglich zu berücksichtigen, dass Zielfunktionswerte nun nicht mehr Skalare, sondern Vektoren sind. Entsprechend musste hier die Datenhaltung geändert werden. Komplexere 4Siehe: http://cran.r-project.org/package=SPOT 18 3.2 Modul 2 „Anlagenoptimierung“ Änderungen sind notwendig, wenn die verschiedenen Zielkriterien nicht aus dem selben Experiment oder der selben Simulation stammen und dadurch unterschiedliche Kosten verursachen In Schritt SPO-3 gibt es nun zwei Möglichkeiten, um den verschiedenen Zielkriterien gerecht zu werden: Es könnten multivariate Modelle verwendet werden oder aber es könnte jeweils ein univariates Modell für jedes Zielkriterium gelernt werden. Beides ist prinzipiell in SPO möglich, letzteres stellt aber der Normalfall für die Kriging Modelle, die im Fokus des Projektes standen, dar. Die Optimierung in Schritt SPO-4 ist nun mit entsprechenden Algorithmen durchzuführen. Auch hier gibt es wieder zwei Möglichkeiten: Erstens können die Surrogatmodelle mit mehrkriteriellen Algorithmen direkt optimiert werden und das entstehende Pareto-Set als Basis für Schritt SPO-5 vorgeschlagen werden. Hierfür sind in SPOT derzeit Schnittstellen zu zwei Algorithmen der mehrkriteriellen, evolutionären Optimierung eingebunden, NSGA-II und SMS-EMOA [ 72 , 67 ]. Wichtig ist hier, dass die entstehenden Paretofronten möglicherweise aus vielen Punkten bestehen, für die nächste Iteration von SPOT aber häufig nur ein Punkt oder zumindest nur wenige Punkte vorgeschlagen werden sollten. Um diesen Punkt zu bestimmen, werden die Resultate nach Non-Dominated Sorting Rank [ 72 ]und Hypervolumenbeitrag [ 67 ]sortiert. Dies geschieht jeweils unter Berücksichtigung der bereits ausgewerteten Lösungen früherer Iterationen (bzw. aus dem initialen Versuchsplan). Zusätzlich können Lösungen deterministisch oder stochastisch (mit sog. „Tournament Selection“) gewählt werden. Alternativ können aber auch einkriterielle Optimierverfahren zum Einsatz kommen, wenn die Vorhersage der Modelle für die verschiedenen Zielkriterien zu einem einzelnen Kriterium verbunden werden. Dabei kann SPO zum Beispiel eine aktuelle Entwicklung von Emmerich (Universiteit Leiden) aus dem Bereich der modellgestützten Optimierung verwenden, nämlich der Berechnung der erwarteten Verbesserung des Hypervolumens [ 77 ]. SPOT bietet eine flexible Schnittstelle, die entsprechende beliebige Einfügekriterien annehmen kann. Die Adaptionen sind unter anderen in den folgenden Veröffentlichungen beschrieben [26, 25, 24, 32]) SPO kann auch eingesetzt werden, um mehrkriterielle Optimierungsalgorithmen zu tunen, siehe dazu auch die Veröffentlichung [ 30 ]. Weitere Studien zur mehrkriteriellen Optimierung werden in AO-3 durchgeführt. 3.2.3 AO-3 Experimente und Studien mit den neu entwickelten Verfahren Es wurden verschiedene Studien und Experimente mit den entwickelten Verfahren durchgeführt. Dazu gehört die Überprüfung mit bekannten Testfunktionen [ 27 ], ein Test auf Anwendbarkeit für die Optimierung der CIMO Anwendung [ 14 , 30 ], sowie die Anwendung für ein weiteres Problem aus der Wasserwirtschaft [ 29 ]. In Verknüpfung mit Modul EMBK-2 konnte hier unter anderem auch erfolgreich hierarchische, einkriterielle Optimierung auf ein praktisches Verfahren (Simulation und Optimierung einer Biogasanlage) angewendet werden. Dabei zeigt sich dass die hierarchischen Surrogatmodelle erfolgreich eingesetzt werden können, der Vorteil dieser Methoden aber stark von Parametrisierung und Problemdimension abhängen [ 31 ]kann. Im Rahmen von studentischen Arbeiten wurden auch erfolgreiche Studien zur Optimierung einer Düse basierend auf einem CFD Modell durchgeführt. 19 3 Wissenschaftlich-technische Ergebnisse 3.2.4 AO-4 Auswertung und Validierung beim Anwender Die mehrkriteriellen Verfahren konnten im Rahmen des Projektes nicht im vollen Umfang für die geplante Anwendung in der Energiewirtschaft getestet werden, da zwar die hierarchischen Modelleebenen für ein Ziel (Druckverlust) zur Verfügung standen, allerdings nicht für das zweite Ziel (Abscheidegrad). Hier sind weitere Studien in Kooperation mit dem Projektpartner Steinmüller Engineering GmbH in der Vorbereitung, auch nach Ende des Projektes. 3.3 Modul 3 „Erweiterte Modellbildung mit Kriging“ Das unter dem Kürzel EMB/EMBK geplante Modul umfasst die Arbeitspakete die sich schwerpunktmäßig mit komplexen, datengetrieben Modellierungsansätzen beschäftigen. Ursprünglich stand dabei die Verwendung von Genetischer Programmierung (GP) im Vordergrund. Hier ergab sich eine wichtige Änderung im Vergleich zur Planung. Im Rahmen des Partnerprojektes MCIOP wurden erste Tests mit GP als Surrogatmodell durchgeführt. Dabei wurde einerseits GP als Policy-Generator im Rahmen eines Ensemble-Ansatzes verwendet. Andererseits wurde GP selbst genutzt, um ein Regressionsmodell (Symbolische Regression) zu bilden. Beide Fälle können Informationen für die Modellierung und Simulation liefern. Entsprechend wurde eine Anbindung an ein GP-Framework (rgp, siehe http://cran.r-project.org/package=rgp ) auch in das an der FH Köln entwickelte Open-Source Paket SPOT (Sequential Parameter Optimization Toolbox, siehe http://cran.r-project.org/package=SPOT ) integriert. Für eine Optimierung, vor allem wenn diese automatisiert laufen soll, ist in beiden Fällen GP als Surrogatmodell aber noch nicht geeignet. Dabei ist der große Zeitaufwand für die Exploration des riesigen Suchraumes im Wesentlichen verantwortlich. Da sich hiermit der Zeitaufwand sehr schnell in der selben Größenordnung wie der Zeitaufwand einer CFD-Simulation bewegen kann, bietet die Verwendung als Surrogatmodell in der Optimierung wenige Vorteile. Als sinnvolle Alternative ist damit die Verwendung von KrigingModellen deutlich attraktiver. Um diesem Modellierungsansatz die entsprechende Aufmerksamkeit zu widmen, wurde der Projektplan wie folgt angepasst: Das neue Modul Erweiterte Modellbildung mit Kriging (EMBK) wurde eingeführt. Dabei blieb das auf Kommunikation und Informationsaustausch fokussierte Paket EMB-1 unverändert, während alle weiteren EMB Pakete durch EMBK-1, EMBK-2 und EMBK-3 ersetzt wurden. Die geplanten Arbeiten zu GP fanden, unter anderen Gesichtspunkten, im Partnerprojekt MCIOP Berücksichtigung. Auch trotz Laufzeitproblemen kann GP deutliche Vorteile haben, zum Beispiel wenn einfach verständliche Formeln entwickelt werden sollen, die Zusammenhänge der optimierten Parameter in lesbarer Form beschreiben. Weitere Untersuchungen zu Surrogatmodellierung (ursprünglich Modul MB) wurde in die Arbeiten mit Kriging (EMBK) integriert. Die Konzeptionierung der Modellierung mit GP und CFD wird hingegen schwerpunktmäßig in MCIOP bearbeitet. 3.3.1 EMB-1 Informationsaustausch zur multikriteriellen Prozessoptimierung für die Industrie Das Arbeitspaket EMB-1 umfasste den aktiven Austausch mit Projektpartnern und anderen Forschungsgruppen. Dabei wurden Ideen und Vorschläge ausgetauscht und hinsichtlich ihre Anwendbarkeit 20 3.3 Modul 3 „Erweiterte Modellbildung mit Kriging“ überdacht. Die in diesem offenen Austausch entstehenden Anregungen und Ideen waren für den Erfolg der weiteren Arbeitspakete von großer Bedeutung. 3.3.2 EMBK-1 Implementierung von Kriging-Modellen In EMBK-1 sollten Kriging-Modelle in die verwendete Open-Source Software integriert werden. In der verwendeten Programmierumgebung (R) stehen bereits Modelle zur Verfügung, die sich allerdings durch verschiedene Probleme (z.B. Stabilität, Zugänglichkeit des Source-Codes) nicht hinreichend für die praktische Anwendung eignen. Beispiele dafür sind die R-Pakete mlegp [ 70 ], DiceKriging [ 142 ]oder tgp [ 90 ]. In ersten Tests erwies sich DiceKriging als sehr instabil, vor allem bei relativ dicht gelagerten Datenpunkten, was zum Ende von surrogatmodell-basierten Optimierungsläufen ein häufig auftretender Fall ist. Ähnliche Probleme tauchen beim Paket mlegp auf, das zwar stabiler funktioniert, in solchen Fällen aber häufig extrem langsam wird. Die Laufzeit ist auch beim Paket tgp ein Problem, wobei dieses keine einfache Kriging Implementierung beinhaltet sondern auch eine Baum-basierte Partitionierung des Suchraumes. Sowohl tgp als auch DiceKriging bieten eigene oder ausgelagerte ( DiceOptim ) Optimierungsalgorithmen. Im Projekt CIMO wird hingegen das flexiblere SPOT Framework verwendet, das auch Schnittstellen zu den oben beschriebenen Modellansätzen besitzt. Um klar strukturierte, schnelle und stabile Verfahren zu garantieren, wurden Kriging-Varianten, wie von Lophaven et al. [ 124 , 123 ]und Forrester et al. [ 85 ]beschrieben, in R implementiert und dem Software Paket SPOT hinzugefügt. Abbildung 4 zeigt für ein einfaches eindimensionales Beispiel eine Modellierung mit SPOT , DiceKriging und mlegp . Abbildung 5 zeigt einen Vergleich der Laufzeit für das gleiche Beispiel. Grundlage in SPOT ist in beiden Fällen die Funktion forrBuilder . Die beiden in SPOT implementierten Kriging Varianten bieten unterschiedliche Vorteile. Die auf Forrester et al. basierende Methode ermöglicht eine schnellere Erstellung des Modells, sowie die von Forrester entwickelte reinterpolierende Modellierung die bei verrauschten Daten geeignet ist [ 85 ]. Die auf DACE (Lophaven et al. [124, 123]) basierende Implementierung hingegen bietet eine flexiblere Wahl von Korrelationsund Regressionsfunktionen des Kriging Modells. Beide verwenden rein auf R Befehlen basierten Code und sind somit für mit R vertraute Nutzer einfach zu verstehen und auch zu erweitern. Dies steht im deutlichen Gegensatz zu den teilweise auf C oder C++ zurückgreifenden anderen Paketen. 3.3.3 EMBK-2 Kriging für Hierarchische Optimierungsansätze EMBK-2 befasste sich mit Kriging-basierten Modellierungsmethoden für hierarchische Problemstellungen. Das heißt, Problemstellungen bei denen der datengetriebenen Modellierung Informationen von verschiedenen Hierarchieebenen (Ebenen verschiedener Genauigkeit bzw. mit verschiedenen Kosten/Rechenaufwand) zur Verfügung stehen. Generell sind beliebig viele Hierarchieebenen möglich. Der Einfachheit halber ist die folgende Beschreibung auf zwei Hierarchieebenen bezogen. Dies ist auch der übliche Fall in der Praxis. Im Folgenden wird die erste Hierarchieebene (das echte Problem, genaue Auswertung, teuer oder zeitaufwändig) mit Fine-function bezeichnet. Die niedrigere Ebene (Annäherung/Schätzung, ungenau, billig auszuwerten) wird mit Coarse-function bezeichnet 21 3 Wissenschaftlich-technische Ergebnisse 0.0 0.2 0.4 0.6 0.8 1.0 −5 0 5 10 15 x y ● ● ● ● ●● ●● ● Target Function Observations DiceKriging SPOT mlegp Abbildung 4: Beispiel für Kriging Modelle aus unterschiedlichen R-Paketen mit default Einstellungen. Hier ist vor allem Co-Kriging von Bedeutung [ 84 ]. Im einfachsten Fall nutzt Co-Kriging die Korrelation zwischen Coarse und Fine-function aus, um ein datengetriebenes Surrogatmodell der Fine-function zu verbessern. Das heißt, mit nur wenigen Auswertungen einer teuren, genauen Zielfunktion und vielen zusätzlichen Auswertungen einer ungenaueren, günstigeren Zielfunktion wird ein Surrogatmodell erstellt, das möglichst genau ist, dabei aber selbst nicht zu rechenaufwändig werden darf. Bei komplexeren Problemen können auch beliebig viele Hierarchieebenen berücksichtigt werden. Im Rahmen des Projektes wurde eine Co-Kriging Implementation in SPOT hinzugefügt. Diese basiert grundsätzlich auf den Arbeiten von Forrester et al. [87, 86]. Um eine Vergleichsgrundlage zu Co-Kriging zu erhalten wurden auch generell anwendbare, heuristische Verfahren getestet. Diese werden im folgenden kurz beschrieben und sind im Gegensatz zu Kriging auch bei anderen Regressionsverfahren einsetzbar. Im Gegensatz zu Co-Kriging muss für die Modellierung nicht ein anderer Versuchsplan für Coarseund Fine-function genutzt werden. Jeder Lösungskandidat muss auf beiden Ebenen ausgewertet werden. Input-Modell Die Ergebnisse der niedrigeren Hierarchieebene werden als Eingabe des datengetriebenen Surrogatmodells verwendet. Dadurch lässt sich ein möglicher Zusammenhang zwischen den Hierarchieebenen implizit lernen. Differenz-Modell Hier wird die Annahme gemacht, dass die Coarse-function das tatsächliche Problem 22 3.3 Modul 3 „Erweiterte Modellbildung mit Kriging“ ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● SPOT DiceKriging mlegp 20 40 60 80 100 120 140 ms ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● SPOT DiceKriging mlegp 0 20 40 60 80 100 ms Abbildung 5: Laufzeitanalyse für das Beispiel in Abb 4. Gemessene Laufzeit für Lernen des Modells (links) und Vorhersage von 1000 Werten (rechts), basierend auf 100 Wiederholungen. bereits gut abbildet. Um das Surrogatmodell davon profitieren zu lassen, wird nur noch die Differenz oder das Verhältnis zwischen den beiden Hierarchieebenen modelliert. Das heißt, man versucht nur noch den verbleibenden Fehler der Coarse-function zu korrigieren. Verhältnis-Modell Dieser Ansatz ähnelt dem Differenz-Modell, nimmt aber an das nur die Relation zwischen Coarseund Fine-function zu korrigieren ist, nicht die Differenz. Die verschiedenen Verfahren wurden mit einfachen Testfunktionen validiert, sowie auch in einer praktischen Anwendung im Bereich der Biogaserzeugung [31]. Ein sehr einfaches aber eindrucksvolles Beispiel für die Vorteile von Co-Kriging zeigt Abbildung 6. Dabei wir eine eindimensionale Funktion mit nur vier Beobachtungen (fine) sowie elf Beobachtungen (coarse) sehr exakt durch ein Co-Kriging Modell wiedergegeben. Die Differenz (Diff.) und Verhältnis (Rel.) Modelle sind hier weniger gut geeignet, zeigen aber bereits eine deutliche Verbesserung gegenüber einem unkorrigierten Modell und sind zudem auch mit gänzlich anderen Modellierungsmethoden als Kriging anwendbar. Die verwendete Testfunktion stammt aus einer Veröffentlichung von Forrester et al. [85]. 3.3.4 EMBK-3 Anwendung Im Arbeitspaket EMBK-3 sollten die in den Arbeitspaketen EMBK-1 und EMBK-2 bearbeiteten Methoden auf die Problemstellungen des Projektes angewendet werden. Für die Anwendung standen zwei 23 3 Wissenschaftlich-technische Ergebnisse 0.0 0.2 0.4 0.6 0.8 1.0 −15 −10 −5 0 5 10 15 20 x y ● ●● ● ●●● ●●● ● ● ●● ● ● ● Expensive Function Cheap Function Expensive Observations Cheap Observations Uncorrected Model Cheap Model Co−Kriging Model 0.0 0.2 0.4 0.6 0.8 1.0 −15 −10 −5 0 5 10 15 20 x y ● ●● ● ●●● ●●● ● ● ●● ● ● ● Expensive Function Cheap Function Expensive Observations Cheap Observations Uncorrected Model Cheap Model Diff.−Model 0.0 0.2 0.4 0.6 0.8 1.0 −15 −10 −5 0 5 10 15 20 x y ● ●● ● ●●● ●●● ● ● ●● ● ● ● Expensive Function Cheap Function Expensive Observations Cheap Observations Uncorrected Model Cheap Model Rel.−Model Abbildung 6: Beispiel für die Anwendung von Methoden für die Modellierung mit mehreren Hierarchieebenen in einer Dimension. Von oben nach unten: Co-Kriging, Differenz-Modell, Verhältnis-Modell. 24 3.7 Wissenschaftliche Publikationen D: Dissertation Im Rahmen der Vorhabensbeschreibung war eine Dissertation als Modul des Projektes eingeplant, die durch den im Projekt beschäftigten wissenschaftlichen Mitarbeiter (Martin Zaefferer) bearbeitet wird. Im Verlaufe des Projektes beteiligten sich zusätzlich zwei weitere Promovierende an der Bearbeitung von Themen aus dem Projekt (Beate Breiderhoff und Christian Jung). Ergebnisse und Fortschritte der Dissertationen wurden bereits erfolgreich zur Veröffentlichung bei Fachzeitschriften und Konferenzen eingereicht (siehe Abschnitt 3.7). Die Dissertationen sind bereits gut fortgeschritten, wurden aber nicht im Rahmen der Projektzeitlauf abgeschlossen. Die Betreuung war und wird weiterhin durch den Projektleiter sowie von Prof. Günter Rudolph von der TU Dortmund durchgeführt. K: Koordination Während des Projektes fielen wichtige Koordinationsaufgaben an. Unter anderem wurden wöchentliche Statussemniare des Projektteams abgehalten. Dieses Arbeitspaket ist im GanttChart des Projektverlaufs separat ausgewiesen (siehe Abbildung 1). 3.7 Wissenschaftliche Publikationen Durch die Mitarbeiter des Projektes CIMO wurden zahlreiche Publikationen veröffentlicht. Dabei zählt Prof. Dr. Bartz-Beielstein zu den Forschern der FH Köln mit den meisten begutachteten Publikationen. Im Projektzeitraum wurden Buchbeiträge [ 6 , 17 ](im Druck: [ 11 ]), Zeitschriftenaufsätze [ 1 ](unter Begutachtung: [ 31 ]), Konferenzbeiträge [ 34 , 33 , 24 , 26 , 25 , 10 , 14 , 30 , 22 , 23 , 21 ], und Technische Berichte [ 8 , 2 , 3 , 32 , 35 , 28 , 20 , 19 , 18 , 16 ]veröffentlicht. Mehrere eingeladene Vorträge und Tutorien [12, 4, 13, 9]und sonstige Vorträge [5]wurden im Projekt CIMO gehalten. Des Weiteren war der Projektleiter als Program Chair bei der Organisation der 13. Konferenz zu Parallel Problem Solving from Nature (PPSN 2014) tätig [7]. Schließlich wurden auch regelmäßige Seminare und Kolloquien durchgeführt, bei denen Doktoranden ihre Themen und Arbeitsfortschritte vorstellen konnten 6 . Dies unterstreicht den hohen Stellenwert der Nachwuchsförderung im Projekt und war durch den fruchtbaren gegenseitigen Austausch für die Entwicklung des Projektes von großer Bedeutung. 4 | Voraussichtlicher Nutzen Im Projekt CIMO (CI-basierte mehrkriterielle Optimierungsverfahren für Anwendungen in der Industrie) konnten wichtige Meilensteine plangemäß erreicht werden und interessante wissenschaftliche Ergebnisse sowohl für die akademische Verwertung als auch für Anwendungen in der Industrie erzeugt werden. Ein detaillierter Vergleich des Projektstandes mit der ursprünglich veranschlagten Zeitplanung wurde bereits in Abschnitt 3 durchgeführt. Im Rahmen des Projektes wurden zahlreiche Ansätze zur Modellierung und Optimierung entwickelt, getestet und in der offenen Statistik-Programmiersprache R implementiert. Die entsprechenden Ergebnisse wurden als Teil des R Software Paketes SPOT (Sequential Parameter Optimization Toolbox) auf der R Plattform CRAN veröffentlicht 7 . Eine Aktualisierung des veröffentlichten Paketes mit den 6Siehe http://www.spotseven.de/spot-symposia/ für eine Liste der aktuellen Vorträge. 7Siehe: cran.r-project.org/package=SPOT 31 5 Ergebnisse Dritter letzten Entwicklungsschritten aus dem Projekt CIMO ist momentan in Bearbeitung und wird Mitte 2015 auf CRAN verfügbar sein. Ein weiterer Teil der Entwicklung, der sich mit diskreten Optimierungsund Modellierungsproblemen befasst, ist zudem im R Paket CEGO veröffentlicht 8 . Damit stehen die Ergebnisse des Projektes direkt für andere Forscher oder Studierende zur Verfügung und können auch für andere Problemstellungen flexibel eingesetzt werden. Weiterer Nutzen lässt sich bereits in verschiedenen Bereichen beobachten. Hier sind zuerst der wissenschaftliche und der wirtschaftliche Bereich zu nennen. Die im Projekt CIMO entwickelten Methoden werden aktiv durch die Projektpartner eingesetzt. Das in der Vorhabensbeschreibung beschriebene CIMO-Nachwuchsteam ist in der Projektlaufzeit deutlich gewachsen. Die Arbeitsgruppe des Projektleiters (SPOTSeven) umfasst unter anderem inzwischen acht Promovierende, deren Arbeiten in einem wöchentlich durchgeführten Seminar besprochen und ausgetauscht werden. Einen aktuellen Überblick über Themen und Aktivitäten liefert deren Web-Seite www.spotseven.de . Themen aus dem Projekt CIMO finden bereits bei drei Promotionsprojekten eine Anwendung. Die Inhalte und Ergebnisse des Projektes haben Einzug in verschiedene Vorlesungen des Projektleiters genommen. So werden Kriging und Co-Kriging Grundlagen mittlerweile in den Vorlesungen Data Driven Modeling and Optimization und Advanced Process Control and Optimization im MasterStudiengang Automation & IT eingeführt und durch Beispiele aus dem Projekt ergänzt. Schließlich ergaben die Ergebnisse des Projektes auch neue Forschungsund Entwicklungsansätze. Hier ist zum Beispiel die Modellgestützte Optimierung von diskreten, kombinatorischen oder gemischten Optimierungsproblemen zu nennen. 5 | Ergebnisse Dritter Während der Durchführung des Vorhabens wurde auch durch andere Forschergruppen die Anwendung und Entwicklung von modellgestützten, mehrkriteriellen Methoden vorangetrieben. Mit einigen dieser Gruppen bestand während des Projektes bzw. besteht auch weiterhin ein engmaschiger Austausch im Rahmen vieler Kooperationen. Surrogatmodelle in der mehrkriteriellen Optimierung Zum auch in CIMO verwendeten Kriterium des Expected Improvement in Hypervolume wurden verschiedene wichtige Ergebnisse erzielt, wie zum Beispiel theoretische Ergebnisse zu Eigenschaften oder zur exakten und effizienten Berechnung [ 78 , 94, 93]. Optimierung mit mehreren Hierarchieebenen In Bezug auf die Optimierung mit mehreren Hierarchieebenen wurden unter anderem verschiedene Arbeiten zur Optimierung mit Co-Kriging veröffentlicht. Gratiet [ 91 ]schlägt eine rekursive Variante des Co-Kriging Ansatzes vor, die bei gleicher prädiktiver Qualität weniger komplex ist. Co-Kriging fand auch in verschiedenen Gebieten aus Forschung und Entwicklung Anwendung, wie zum Beispiel der Optimierung von Antennen [ 115 ], Mikrowellenfilter [116]und in der Aerodynamik [92]. 8Siehe: cran.r-project.org/package=CEGO 32 Behandlung von Nebenbedingungen Während die Restriktionsbehandlung im Projekt CIMO vor allem implizite Restriktionen oder aber schnell auswertbare Restriktionen (z.B. geometrisch) behandelt, wurde in der Arbeitsgruppe von Prof. Wolfgang Konen von der FH Köln Experimente unter der Annahme von linearen und nichtlinearen, teuren Nebenbedingungen durchgeführt [ 108 ]. Dabei werden Radial Basis Function (RBF) Modelle verwendet, entsprechend des Ansatzes der Constrained Optimization by Radial Basis Function Approximation (COBRA), der durch Regis entwickelt wurde [ 141 ]. Ein weiterer Vorschlag zur Nebenbedingungsbehandlung ist die Verwendung von mehrkriteriellen Methoden um Kriterien wie Expected Improvement und Probability of Feasibility [ 145 ] zu verbinden [139]. Kombinatorische Modellgestützte Optimierung Ein zentrales Ergebnis des Projektes war die Erweiterung der Ansätze auf kombinatorische (oder gemischte, strukturierte) Suchräume. In diesem Zusammenhang sind die Ergebnisse von Moraglio und Kattan [ 135 , 137 , 136 , 80 , 101 , 100 , 102 , 103 ] sowie Voutchkov [ 147 ]und Li [ 120 ]von Bedeutung. Dabei werden vor allem Radial Basis Function Networks verwendet, beziehungsweise im Falle der Arbeit von Voutchkov und anderen [ 147 ]ein eher spezifisches Modell, das für sequentielle Prozesse (hier: Schweisspfadoptimierung) verwendet werden kann. Optimierung von Staubabscheidern Ein wichtiges Anwendungsgebiet des Projektes CIMO war die Geometrie-Optimierung eines Zyklon /Fliehkraftabscheiders. In diesem Bereich befassten sich vor allem Elsayed et al. mit der einkriteriellen Optimierung unter Verwendung Neuronaler Netzwerke und Genetischer Algorithmen [ 76 ], Co-Kriging [ 75 ], sowie des sog. Adjoint Verfahrens [ 74 ]. Ein weiterer Ansatz, der auch für die Behandlung von Nebenbedingungen interessant ist, wird von Sgrott und anderen untersucht. Dabei wird eine Variante des Simplex Algorithmus, COMPLEX (COnstrained SIMPLEX) verwendet [97]. 6 | Veröffentlichungen der Projektteilnehmer [1] BARTZ-BEIELSTEIN, T. ; BRANKE, J. ; MEHNEN, J. ; MERSMANN, O.: Evolutionary Algorithms. In: Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery 4 (2014), Nr. 3, 178-195. http://dx. doi.org/10.1002/widm.1124 . – DOI 10.1002/widm.1124. – ISSN 1942–4795 [2] BARTZ-BEIELSTEIN, Thomas: Beyond Particular Problem Instances: How to Create Meaningful and Generalizable Results /Bibliothek der Fachhochschule Köln Bibliothek. Version:2012. http://opus. bsz-bw.de/fhk/volltexte/2012/27 . Betzdorfer Str. 2, 50679 Köln, 2012. – Forschungsbericht. – ISBN 2194–2870 [3] BARTZ-BEIELSTEIN, Thomas: Beyond Particular Problem Instances: How to Create Meaningful and Generalizable Results /Cologne University of Applied Sciences. 2012 (TR 03/2012). – Technical Report [4] BARTZ-BEIELSTEIN, Thomas: BRAGFOST’12 Presentation: Design of Experiments and Sequential Parameter Optimization. November 2012 [5] BARTZ-BEIELSTEIN, Thomas: Presentation Slides: Beyond Particular Problem Instances—How to Create Meaningful and Generalizable Results. Talk: First Workshop on Applied Meta-Modeling, November 2012 33 6 Veröffentlichungen der Projektteilnehmer [6] BARTZ-BEIELSTEIN, Thomas: How to Create Generalizable Results. In: KACPRZYK, Janusz (Hrsg.) ; PEDRYCZ, Witold (Hrsg.): Springer Handbook of Computational Intelligence. Springer, 2015 (in print), Kapitel 56 [7] BARTZ-BEIELSTEIN, Thomas (Hrsg.) ; BRANKE, Jürgen (Hrsg.) ; FILIPIC, Bogdan (Hrsg.) ; SMITH, Jim (Hrsg.): Lecture Notes in Computer Science. Bd. 8672: Parallel Problem Solving from Nature - PPSN XIII - 13th International Conference, Ljubljana, Slovenia, September 13-17, 2014. Proceedings. Springer, 2014. http://dx.doi.org/10.1007/978-3-319-10762-2 . http://dx.doi.org/10.1007/ 978-3-319-10762-2 [8] BARTZ-BEIELSTEIN, Thomas ; BRANKE, Jürgen ; MEHNEN, Jörn ; MERSMANN, Olaf: Overview: Evolutionary Algorithms /Cologne University of Applied Sciences. Cologne University of Applied Science, Faculty of Computer Science and Engineering Science, 2015 (2). – Cologne Open Science, Schriftenreihe CI-plus. – ISSN 2194–2870 [9] BARTZ-BEIELSTEIN, Thomas ; FLASCH, Oliver ; ZAEFFERER, Martin: Sequential Parameter Optimization for Symbolic Regression. In: GUSTAFSON, Steven (Hrsg.) ; VLADISLAVLEVA, Ekaterina (Hrsg.): GECCO 2012 Symbolic regression and modeling workshop. Philadelphia, Pennsylvania, USA : ACM, July 2012. – ISBN 978–1–4503–1178–6, S. 495–496 [10] BARTZ-BEIELSTEIN, Thomas ; FRIESE, Martina ; NAUJOKS, Boris ; ZAEFFERER, Martin: SPOT Applied to Non-Stochastic Optimization Problems—An Experimental Study. In: RODRIGUEZ, Katya (Hrsg.) ; BLUM, Christian (Hrsg.): GECCO 2012 Late breaking abstracts workshop. Philadelphia, Pennsylvania, USA : ACM, July 2012. – ISBN 978–1–4503–1178–6, S. 645–646 [11] BARTZ-BEIELSTEIN, Thomas ; JUNG, Christian ; ZAEFFERER, Martin: Uncertainty Management Using Sequential Parameter Optimization. In: MELONI, Carlo (Hrsg.) ; DELLINO, Gabriella (Hrsg.): Uncertainty Management in Simulation-Optimization of Complex Systems: Algorithms and Applications. Springer, 2015 (in print) (Springer Series on Operations Research/Computer Science Interfaces) [12] BARTZ-BEIELSTEIN, Thomas ; PREUSS, Mike ; ZAEFFERER, Martin: Statistical Analysis of Optimization Algorithms with R. In: OCHOA, Gabriela (Hrsg.): GECCO 2012 Specialized techniques and applications tutorials. Philadelphia, Pennsylvania, USA : ACM, July 2012. – ISBN 978–1–4503–1178–6, S. 1259–1286 [13] BARTZ-BEIELSTEIN, Thomas ; ZAEFFERER, Martin ; NAUJOKS, Boris: How to create meaningful and generalizable results. In: Proceeding of the fifteenth annual conference companion on Genetic and evolutionary computation conference companion. New York, NY, USA : ACM, 2013 (GECCO ’13 Companion). – ISBN 978–1–4503–1964–5, 979–1004 [14] BREIDERHOFF, Beate ; BARTZ-BEIELSTEIN, Thomas ; NAUJOKS, Boris ; ZAEFFERER, Martin ; FISCHBACH, Andreas ; FLASCH, Oliver ; FRIESE, Martina ; MERSMANN, Olaf ; STORK, Jörg: Simulation and Optimization of Cyclone Dust Separators. In: HOFFMANN, Frank (Hrsg.) ; HÜLLERMEIER, Eyke (Hrsg.) ; Institut für Angewandte Informatik/Automatisierungstechnik am Karlsruher Institut für Technologie (Veranst.): Proceedings 23. Workshop Computational Intelligence Institut für Angewandte Informatik/Automatisierungstechnik am Karlsruher Institut für Technologie, KIT Scientific Publishing, 2013, S. 177–195 [15] BREIDERHOFF, Beate ; BARTZ-BEIELSTEIN, Thomas ; NAUJOKS, Boris ; ZAEFFERER, Martin ; FISCHBACH, Andreas ; FLASCH, Oliver ; FRIESE, Martina ; MERSMANN, Olaf ; STORK, Jörg: Simulation and Optimization of Cyclone Dust Separators /Bibliothek der Fachhochschule Köln Bibliothek. Version:2013. http://opus. bsz-bw.de/fhk/volltexte/2013/47 . Betzdorfer Str. 2, 50679 Köln, 2013. – Forschungsbericht 34 6 Veröffentlichungen der Projektteilnehmer [16] FLASCH, Oliver ; BARTZ-BEIELSTEIN, Thomas: Towards a Framework for the Empirical Analysis of Genetic Programming System Performance /Research Center CIOP (Computational Intelligence, Optimization and Data Mining). Version:May 2012. http://maanvs03.gm.fh-koeln.de/webpub/ CIOPReports.d/Flas12a.d/ciop0512.pdf . Faculty of Computer Science and Engineering Science, Cologne University of Applied Sciences, Germany, May 2012 (05/12). – CIOP Technical Report. – ISSN 2191–365X [17] FLASCH, Oliver ; BARTZ-BEIELSTEIN, Thomas: A Framework for the Empirical Analysis of Genetic Programming System Performance. In: RIOLO, Rick (Hrsg.) ; VLADISLAVLEVA, Ekaterina (Hrsg.) ; MOORE, Jason H. (Hrsg.): Genetic Programming Theory and Practice X. Ann Arbor, USA : Springer, 2013 (Genetic and Evolutionary Computation), S. 155–170 [18] FLASCH, Oliver ; FRIESE, Martina ; VLADISLAVLEVA, Katya ; BARTZ-BEIELSTEIN, Thomas ; MERSMANN, Olaf ; NAUJOKS, Boris ; STORK, Jörg ; ZAEFFERER, Martin: Comparing Ensemble-Based Forecasting Methods for Smart-Metering Data. Version:2013. http://dx.doi.org/10.1007/978-3-642-37192-9_18 . In: ESPARCIA-ALCÁZAR, AnnaI. (Hrsg.): Applications of Evolutionary Computation Bd. 7835. Springer Berlin Heidelberg, 2013. – DOI 10.1007/978–3–642–37192–9_18. – ISBN 978–3–642–37191–2, 172-181 [19] FLASCH, Oliver ; FRIESE, Martina ; ZAEFFERER, Martin ; BARTZ-BEIELSTEIN, Thomas ; BRANKE, Jürgen: Learning Model-Ensemble Policies with Genetic Programming /Bibliothek der Fachhochschule Köln Bibliothek. Version: 2015. http://opus.bsz-bw.de/fhk/volltexte/2015/78 . Betzdorfer Str. 2, 50679 Köln, 2015. – Forschungsbericht [20] FRIESE, Martina ; STORK, Jörg ; GUERRA, Ricardo R. ; BARTZ-BEIELSTEIN, Thomas ; THAKER, Soham ; FLASCH, Oliver ; ZAEFFERER, Martin: UniFIeD Univariate Frequency-based Imputation for Time Series Data /Bibliothek der Fachhochschule Köln Bibliothek. Version:2013. http://opus.bsz-bw.de/fhk/ volltexte/2013/49 . Betzdorfer Str. 2, 50679 Köln, 2013. – Forschungsbericht. – ISBN 2194–2870 [21] JUDT, L. ; MERSMANN, O. ; NAUJOKS, B.: Do Hypervolume Regressions hinder EMOA Performance? Surprise and Relief. In: Evolutionary Multi-Criterion Optimization 7th International Conference, EMO, Springer, 2013 (Lecture Notes in Computer Science 7811), S. 96–110 [22] MORITZ, Steffen ; BARTZ-BEIELSTEIN, Thomas ; MERSMANN, Olaf ; ZAEFFERER, Martin ; STORK, Jörg: Does imputation work for improvement of domestic hot water usage prediction? In: Proceedings. 24. Workshop Computational Intelligence, Dortmund, 27.-28. November 2014 Bd. 50, KIT Scientific Publishing, 2014, S. 205–222 [23] STORK, Jörg ; FISCHBACH, Andreas ; BARTZ-BEIELSTEIN, Thomas ; ZAEFFERER, Martin: Boosting ParameterTuning Efficiency with Adaptive Experimental Designs. In: HOFFMANN, Frank (Hrsg.) ; HÜLLERMEIER, Eyke (Hrsg.): Proceedings 24. Workshop Computational Intelligence, KIT Scientific Publishing, 2014, S. 223–235 [24] ZAEFFERER, M. ; BARTZ-BEIELSTEIN, T. ; NAUJOKS, B. ; WAGNER, T. ; EMMERICH, M.: A Case Study on Multi-Criteria Optimization of an Event Detection Software under Limited Budgets. In: PURSHOUSE, R. C. (Hrsg.) u.a.: Evolutionary Multi-Criterion Optimization 7th International Conference, EMO. Heidelberg : Springer, 2013 (Lecture Notes in Computer Science 7811), S. 756–770 [25] ZAEFFERER, M. ; NAUJOKS, B. ; BARTZ-BEIELSTEIN, T. ; FRIESE, M. ; MERSMANN, O. ; FLASCH, Oliver: Mehrkriterielle sequentielle Parameteroptimierung für Anwendungsprobleme mit stark limitiertem Budget. In: HOFFMANN, Frank (Hrsg.) ; HÜLLERMEIER, Eyke (Hrsg.) ; Institut für Angewandte Informatik/Automatisierungstechnik am Karlsruher Institut für Technologie (Veranst.): Proceedings 22. Workshop 35 6 Veröffentlichungen der Projektteilnehmer Computational Intelligence Institut für Angewandte Informatik/Automatisierungstechnik am Karlsruher Institut für Technologie, KIT Scientific Publishing, 2012, S. 385–400 [26] ZAEFFERER, Martin ; BARTZ-BEIELSTEIN, Thomas ; FRIESE, Martina ; NAUJOKS, Boris ; FLASCH, Oliver: Multi-Criteria Optimization for Hard Problems under Limited Budgets. In: SOULE, Terry (Hrsg.) u.a.: GECCO Companion ’12: Proceedings of the fourteenth international conference on Genetic and evolutionary computation conference companion. Philadelphia, Pennsylvania, USA : ACM, July 2012. – ISBN 978–1– 4503–1178–6, S. 1451–1452 [27] ZAEFFERER, Martin ; BARTZ-BEIELSTEIN, Thomas ; FRIESE, Martina ; NAUJOKS, Boris ; FLASCH, Oliver: Multi-criteria Optimization for Hard Problems Under Limited Budgets. In: Proceedings of the 14th Annual Conference Companion on Genetic and Evolutionary Computation. New York, NY, USA : ACM, 2012 (GECCO ’12). – ISBN 978–1–4503–1178–6, 1451–1452 [28] ZAEFFERER, Martin ; BARTZ-BEIELSTEIN, Thomas ; NAUJOKS, Boris ; WAGNER, Tobias ; EMMERIC, Michael: Model-assisted Multi-criteria Tuning of an Event Detection Software under Limited Budgets /Cologne University of Applied Sciences. 2012 (2/2012). – Schriftenreihe CIplus [29] ZAEFFERER, Martin ; BARTZ-BEIELSTEIN, Thomas ; NAUJOKS, Boris ; WAGNER, Tobias ; EMMERICH, Michael: A Case Study on Multi-Criteria Optimization of an Event Detection Software under Limited Budgets. In: PURSHOUSE, Robin C. (Hrsg.) ; FLEMING, Peter J. (Hrsg.) ; FONSECA, Carlos M. (Hrsg.) ; GRECO, Salvatore (Hrsg.) ; SHAW, Jane (Hrsg.): Evolutionary Multi-Criterion Optimization. Berlin, Heidelberg, Germany : Springer, 2013 (Lecture Notes in Computer Science). – ISBN 978–3–642–37139–4, 756–770 [30] ZAEFFERER, Martin ; BREIDERHOFF, Beate ; NAUJOKS, Boris ; FRIESE, Martina ; STORK, Jörg ; FISCHBACH, Andreas ; FLASCH, Oliver ; BARTZ-BEIELSTEIN, Thomas: Tuning Multi-Objective Optimization Algorithms for Cyclone Dust Separators. In: Genetic and Evolutionary Computation Conference (GECCO’14), Proceedings, 2014, S. 1223–1230 [31] ZAEFFERER, Martin ; GAIDA, Daniel ; BARTZ-BEIELSTEIN, Thomas: Multi-fidelity Modelling and Optimization of Biogas Plants. In: Applied Soft Computing (2014). – Preprint (Under Review) [32] ZAEFFERER, Martin ; NAUJOKS, Boris ; BARTZ-BEIELSTEIN, Thomas: A Gentle Introduction to Multi-Criteria Optimization with SPOT /Cologne University of Applied Sciences. 2013 (1/2013). – Cologne Open Science, Schriftenreihe CI-plus [33] ZAEFFERER, Martin ; STORK, Jörg ; BARTZ-BEIELSTEIN, Thomas: Distance Measures for Permutations in Combinatorial Efficient Global Optimization. In: BARTZ-BEIELSTEIN, Thomas (Hrsg.) ; BRANKE, Jürgen (Hrsg.) ; FILIPIˇ C, Bogdan (Hrsg.) ; SMITH, Jim (Hrsg.): Parallel Problem Solving from Nature–PPSN XIII Bd. 8672, Springer, 2014, S. 373–383 [34] ZAEFFERER, Martin ; STORK, Jörg ; FRIESE, Martina ; FISCHBACH, Andreas ; NAUJOKS, Boris ; BARTZBEIELSTEIN, Thomas: Efficient Global Optimization for Combinatorial Problems. In: ARNOLD, Dirk V. (Hrsg.): Genetic and Evolutionary Computation Conference (GECCO’14), Proceedings, ACM, 2014, S. 871–878 [35] ZAEFFERER, T. M.and Bartz-Beielstein ; FRIESE, M. ; NAUJOKS, B. ; FLASCH, O.: MSPOT: Multi-Criteria Sequential Parameter Optimization /CIplus. 2012 (TR 2/2012). – Forschungsbericht 36 7 | Veröffentlichungen Dritter [36] BANDLER, J.W. ; CHENG, Q.S. ; DAKROURY, S.A. ; MOHAMED, A.S. ; BAKR, M.H. ; MADSEN, K. ; SØNDERGAARD, J.: Space mapping: the state of the art. In: IEEE Transactions on Microwave Theory and Techniques 52 (2004), Nr. 1, S. 337–361 [37] BARANSKI, Bastian ; BARTZ-BEIELSTEIN, Thomas ; EHLERS, Rüdiger ; KAJENDRAN, Thusithan ; KOSSLERS, Björn ; MEHNEN, Jörn ; POLAZEK, Tomasz ; REIMHOLZ, Ralf ; SCHMIDT, Jens ; SCHMITT, Karlheinz ; SEIS, Danny ; SLODZINSKI, Rafael ; STEEG, Simon ; WIEMANN, Nils ; ZIMMERMANN, Marc: Advanced strategy representations for the iterated prisoner’s dilemma. In: Proceedings EURO XXI Conference 2006. 21st European Conference on Operational Research, 2006. – (CD–ROM) [38] BARANSKI, Bastian ; BARTZ-BEIELSTEIN, Thomas ; EHLERS, Rüdiger ; KAJENDRAN, Thusithan ; KOSSLERS, Björn ; MEHNEN, Jörn ; POLAZEK, Tomasz ; REIMHOLZ, Ralf ; SCHMIDT, Jens ; SCHMITT, Karlheinz ; SEIS, Danny ; SLODZINSKI, Rafael ; STEEG, Simon ; WIEMANN, Nils ; ZIMMERMANN, Marc: Highorder punishment and the evolution of cooperation. In: AL., H.-G.Beyer et (Hrsg.): Proc. Genetic and Evolutionary Computation Conf. (GECCO 2006), Seattle WA. New York : ACM Press, 2006, S. 379–380 [39] BARANSKI, Bastian ; BARTZ-BEIELSTEIN, Thomas ; EHLERS, Rüdiger ; KAJENDRAN, Thusithan ; KOSSLERS, Björn ; MEHNEN, Jörn ; POLAZEK, Tomasz ; REIMHOLZ, Ralf ; SCHMIDT, Jens ; SCHMITT, Karlheinz ; SEIS, Danny ; SLODZINSKI, Rafael ; STEEG, Simon ; WIEMANN, Nils ; ZIMMERMANN, Marc: The impact of group reputation in multiagent environments. In: FOGEL, D. B. et a. (Hrsg.): Proc. 2006 Congress on Evolutionary Computation (CEC’06) within Fourth IEEE World Congress on Computational Intelligence (WCCI’06), Vancouver BC. Piscataway NJ : IEEE Press, 2006, S. 1224–1231 [40] BARTZ-BEIELSTEIN, T: Optimierung von Prozessvariablen beim Spritzgießen /Cologne University of Applied Sciences. 2010. – Forschungsbericht [41] BARTZ-BEIELSTEIN, Thomas: Experimental Research in Evolutionary Computation—The New Experimentalism. Berlin, Heidelberg, New York : Springer, 2006 (Natural Computing Series) [42] BARTZ-BEIELSTEIN, Thomas ; CHALMERS, Alan (Hrsg.) ; COX, David. R. (Hrsg.) ; GLYMOUR, Clark (Hrsg.) ; MAYO, Deborah (Hrsg.) ; SPANOS, Aris (Hrsg.): Neyman-Pearson Theory of Testing and Mayo’s Extensions in Evolutionary Computing. http://www.error06.econ.vt.edu/bartzerror2006.pdf . Version: 2006 [43] BARTZ-BEIELSTEIN, Thomas: Experimental Analysis of Optimization Algorithms – Problems andPerspectives (Seminar). Tilburg University NL, September 2007 [44] BARTZ-BEIELSTEIN, Thomas: How Experimental Algorithmics Can Benefit from Mayo’s Extensions to Neyman-Pearson Theory of Testing. In: Synthese 163 (2008), Nr. 3, S. 385–396. http://dx.doi. org/10.1007/s11229-007-9297-z . – DOI 10.1007/s11229–007–9297–z [45] BARTZ-BEIELSTEIN, Thomas: Review: Design and Analysis of Simulation Experiments by Jack P.C. Kleijnen. In: INFORMS Computing Society News 2 (2008), Fall 2008, S. 11–14 [46] BARTZ-BEIELSTEIN, Thomas: Theory of Evolutionary Algorithms (eingeladene Teilnahme). Dagstuhl Seminar 08051, Januar 2008 [47] BARTZ-BEIELSTEIN, Thomas: Sequential Parameter Optimization—An Annotated Bibliography /Research Center CIOP (Computational Intelligence, Optimization and Data Mining). Cologne University of 37 7 Veröffentlichungen Dritter Applied Science, Faculty of Computer Science and Engineering Science, April 2010 (04/10). – CIOP Technical Report. – ISSN 2191–365X [48] BARTZ-BEIELSTEIN, Thomas: SPOT: An R Package For Automatic and Interactive Tuning of Optimization Algorithms by Sequential Parameter Optimization /Research Center CIOP (Computational Intelligence, Optimization andData Mining). Version:June 2010. http://arxiv.org/abs/1006.4645 . Cologne University of Applied Science, Faculty of Computer Scienceand Engineering Science, June 2010 (05/10). – CIOP Technical Report. – ISSN 2191–365X. – Comments: Related software can be downloaded from http://cran.r-project.org/web/packages/SPOT/index.html [49] BARTZ-BEIELSTEIN, Thomas ; BONGARDS, Michael ; CLAES, Christoph ; KONEN, Wolfgang ; WESTENBERGER, Hartmut: Datenanalyse und Prozessoptimierung für Kanalnetze und Kläranlagen mit CI-Methoden. In: MIKUT, R. (Hrsg.) ; REISCHL, M. (Hrsg.): Proc. 17th Workshop Computational Intelligence, Universitätsverlag, Karlsruhe, 2007, S. 132–138 [50] BARTZ-BEIELSTEIN, Thomas ; DAVIS, David ; MEHNEN, Jörn: Evolutionary Computation in Practice track at Genetic and Evolutionary Computation Conference (GECCO). http://www.isgec.org/gecco-2009/ ecp.html . Version: 2009 [51] BARTZ-BEIELSTEIN, Thomas ; KONEN, Wolfgang: Datenanalyse und Prozessoptimierung am Beispiel Kläranlagen /Cologne University of Applied Sciences. 2008. – Forschungsbericht [52] BARTZ-BEIELSTEIN, Thomas ; MARKON, Sandor: Tuning Search Algorithms for Real-World Applications: A Regression Tree Based Approach. In: GREENWOOD, G. W. (Hrsg.): Proceedings 2004 Congress on Evolutionary Computation (CEC’04), Portland OR Bd. 1. Piscataway NJ : IEEE, 2004, S. 1111–1118 [53] BARTZ-BEIELSTEIN, Thomas ; MARKON, Sandor ; PREUSS, Mike: Algorithm Based Validation of a Simplified Elevator Group Controller Model. In: IBARAKI, T. (Hrsg.): Proceedings 5th Metaheuristics International Conference (MIC’03). Kyoto, Japan, 2003, S. 06/1–06/13 (CD–ROM) [54] BARTZ-BEIELSTEIN, Thomas ; MEHNEN, Jörn ; SCHMITT, Karlheinz ; PARSOPOULOS, Konstantinos E. ; VRAHATIS, Michael N.: Particle Swarm Optimizers for Pareto Optimization with Enhanced Archiving Techniques. In: SARKER, R. (Hrsg.) u.a.: Proceedings 2003 Congress on Evolutionary Computation (CEC’03), Canberra Bd. 3. Piscataway NJ : IEEE, 2003, S. 1780–1787 [55] BARTZ-BEIELSTEIN, Thomas ; PREUSS, Mike: Considerations of Budget Allocation for Sequential Parameter Optimization (SPO). In: PAQUETE, L. (Hrsg.) u.a.: Workshop on Empirical Methods for the Analysis of Algorithms, Proceedings. Reykjavik, Iceland, 2006, 35–40 [56] BARTZ-BEIELSTEIN, Thomas ; PREUSS, Mike: Moderne Methoden zur experimentellen Analyse evolutionärer Verfahren. In: MIKUT, R. (Hrsg.) ; REISCHL, M. (Hrsg.): Proc. 16th Workshop Computational Intelligence, Universitätsverlag, Karlsruhe, 2006, S. 25–32 [57] BARTZ-BEIELSTEIN, Thomas ; PREUSS, Mike: Experimental research in evolutionary computation. In: Proceedings of the 2007 GECCO conference companion on Genetic and evolutionary computation. New York, NY, USA : ACM, 2007 (GECCO ’07). – ISBN 978–1–59593–698–1, 3001–3020 [58] BARTZ-BEIELSTEIN, Thomas ; PREUSS, Mike: Experimental research in evolutionary computation – The Future of Experimental Research (Tutorium). Genetic and Evolutionary Computation Conf. (GECCO 2008), Atlanta, Georgia, USA, Juli 2008 38 7 Veröffentlichungen Dritter [59] BARTZ-BEIELSTEIN, Thomas ; PREUSS, Mike ; MARKON, Sandor: Validation and optimization of an elevator simulation model with modern search heuristics. Version:2005. http://dx.doi.org/10.1007/ 0-387-25383-1_5 . In: IBARAKI, T. (Hrsg.) ; NONOBE, K. (Hrsg.) ; YAGIURA, M. (Hrsg.): Metaheuristics: Progress as Real Problem Solvers. Berlin, Heidelberg, New York : Springer, 2005 (Operations Research/Computer Science Interfaces). – DOI 10.1007/0–387–25383–1_5, S. 109–128 [60] BARTZ-BEIELSTEIN, Thomas ; PREUSS, Mike ; SCHWEFEL, Hans-Paul: Model Optimization with Evolutionary Algorithms. In: LUCAS, K. (Hrsg.) ; ROOSEN, P. (Hrsg.): Emergence, Analysis, and Evolution of Structures— Concepts and Strategies Across Disciplines. Berlin, Heidelberg, New York : Springer, 2010, S. 47–62 [61] BARTZ-BEIELSTEIN, Thomas ; SCHMITT, Karlheinz ; MEHNEN, Jörn ; NAUJOKS, Boris ; ZIBOLD, Dmytro: KEA—A Software Package for Development, Analysis, and Application of Multiple Objective Evolutionary Algorithms /Universität Dortmund, Germany. 2004 (CI–185/04). – Interner Bericht des Sonderforschungsbereichs 531 Computational Intelligence [62] BARTZ-BEIELSTEIN, Thomas ; ZIMMER, Tobias ; KONEN, Wolfgang: Parameterselektion für komplexe Modellierungsaufgaben der Wasserwirtschaft – Moderne CI-Verfahren zur Zeitreihenanalyse. In: MIKUT, R. (Hrsg.) ; REISCHL, M. (Hrsg.): Proc. 18th Workshop Computational Intelligence, Universitätsverlag, Karlsruhe, 2008, S. 136–150 [63] BEIELSTEIN, Thomas ; EWALD, Claus-Peter ; MARKON, Sandor: Optimal Elevator Group Control by Evolution Strategies. In: CANTÚ-PAZ, E. (Hrsg.) u.a.: Proceedings Genetic and Evolutionary Computation Conf. (GECCO 2003), Chicago IL, Part II Bd. 2724. Berlin, Heidelberg, New York : Springer, 2003 (Lecture Notes in Computer Science), 1963–1974 [64] BEIELSTEIN, Thomas ; MARKON, Sandor: Threshold Selection, Hypothesis Tests, and DOE Methods. In: FOGEL, D. B. (Hrsg.) u.a.: Proceedings 2002 Congress on Evolutionary Computation (CEC’02) Within Third IEEE World Congress on Computational Intelligence (WCCI’02), Honolulu HI. Piscataway NJ : IEEE, 2002, S. 777–782 [65] BEIELSTEIN, Thomas ; MARKON, Sandor ; PREUSS, Mike: A Parallel Approach to Elevator Optimization Based on Soft Computing. In: IBARAKI, T. (Hrsg.): Proceedings 5th Metaheuristics International Conference (MIC’03). Kyoto, Japan, 2003, S. 07/1–07/11 (CD–ROM) [66] BEIELSTEIN, Thomas ; MEHNEN, Jörn ; SCHÖNEMANN, Lutz ; SCHWEFEL, Hans-Paul ; SURMANN, Tobias ; WEINERT, Klaus ; WIESMANN, Dirk: Design of evolutionary algorithms and applications in surface reconstruction. Version: 2003. http://dx.doi.org/10.1007/978-3-662-05609-7_6 . In: SCHWEFEL, H.-P. (Hrsg.) ; WEGENER, I. (Hrsg.) ; WEINERT, K. (Hrsg.): Advances in Computational Intelligence—Theory and Practice. Berlin, Heidelberg, New York : Springer, 2003. – DOI 10.1007/978–3–662–05609–7_6, S. 145–193 [67] BEUME, N. ; NAUJOKS, B. ; EMMERICH, M.: SMS-EMOA: Multiobjective selection based on dominated hypervolume. In: European Journal of Operational Research 181 (2007), Nr. 3, S. 1653–1669 [68] CASTRO, Joseph P. ; GRAY, Genetha A. ; GIUNTA, Anthony A. ; HOUGH, Patricia D.: Developing a Computationally Efficient Dynamic Multilevel Hybrid Optimization Scheme using Multifidelity Model Interactions /Sandia National Laboratories. Version: 2005. http://www.osti.gov/bridge/servlets/purl/ 877137-G4FP0Q/877137.pdf . Albuquerque, New Mexico 87185 and Livermore, California 94550, 2005 (SAND2005-7498). – Forschungsbericht 39 7 Veröffentlichungen Dritter [69] COELLO COELLO, C. A. ; VAN VELDHUIZEN, D. A. ; LAMONT, G. B.: Evolutionary Algorithms for Solving Multi-Objective Problems. 2nd. Springer, New York, 2007 [70] DANCIK, Garrett M. ; DORMAN, Karin S.: mlegp: Statistical analysis for computer models of biological systems using R. In: Bioinformatics 24 (2008), Nr. 17, S. 1966– 1967. http://dx.doi.org/http://dx.doi.org/10.1093/bioinformatics/btn329 . – DOI http://dx.doi.org/10.1093/bioinformatics/btn329. – ISSN 1367–4803 [71] DEB, K.: Multi-Objective Optimization using Evolutionary Algorithms. 1. New York NY : Wiley, 2001 (Wiley-Interscience Series in Systems and Optimization) [72] DEB, K. ; AGRAWAL, S. ; PRATAB, A. ; MEYARIVAN, T.: A Fast Elitist Non-Dominated Sorting Genetic Algorithm for Multi-Objective Optimization: NSGA-II. In: SCHOENAUER, M. (Hrsg.) ; DEB, K. (Hrsg.) ; RUDOLPH, G. (Hrsg.) ; YAO, X. (Hrsg.) ; LUTTON, E. (Hrsg.) ; MERELO, J. J. (Hrsg.) ; SCHWEFEL, H.-P. (Hrsg.): Proceedings of the Parallel Problem Solving from Nature VI. Berlin, Heidelberg, New York : Springer, 2000, S. 849–858 [73]EHRGOTT, M.: Multicriteria Optimization. Springer, Berlin, 2005 [74] ELSAYED, Khairy: Design of a novel gas cyclone vortex finder using the adjoint method. In: Separation and Purification Technology 142 (2015), Nr. 0, 274 - 286. http://dx.doi.org/http://dx.doi. org/10.1016/j.seppur.2015.01.010 . – DOI http://dx.doi.org/10.1016/j.seppur.2015.01.010. – ISSN 1383–5866 [75] ELSAYED, Khairy: Optimization of the cyclone separator geometry for minimum pressure drop using CoKriging. In: Powder Technology 269 (2015), Nr. 0, 409 - 424. http://dx.doi.org/http://dx.doi. org/10.1016/j.powtec.2014.09.038 . – DOI http://dx.doi.org/10.1016/j.powtec.2014.09.038. – ISSN 0032–5910 [76] ELSAYED, Khairy ; LACOR, Chris: Modeling and Pareto optimization of gas cyclone separator performance using {RBF}type artificial neural networks and genetic algorithms. In: Powder Technology 217 (2012), Nr. 0, 84 - 99. http://dx.doi.org/http://dx.doi.org/10.1016/j.powtec.2011.10.015 . – DOI http://dx.doi.org/10.1016/j.powtec.2011.10.015. – ISSN 0032–5910 [77] EMMERICH, M. ; DEUTZ, A. H. ; KLINKENBERG, J. W.: The computation of the expected improvement in dominated hypervolume of Pareto front approximations /Leiden University. Version: September 2008. http://www.liacs.nl/~{}emmerich/TR-ExI.pdf . 2008. – Forschungsbericht [78] EMMERICH, Michael T. M. ; DEUTZ, Andre H. ; KLINKENBERG, Jan W.: Hypervolume-based expected improvement: Monotonicity properties and exact computation. In: Congress on Evolutionary Computation (CEC’11), Proceedings. New York, NY, USA : IEEE, 2011. – ISBN 978–1–4244–7834–7, 2147–2154 [79] EPPLE, B. (Hrsg.) ; LEITHNER, R. (Hrsg.) ; LINZER, W. (Hrsg.) ; WALTER, H. (Hrsg.): Simulation von Kraftwerken und wärmetechnischen Anlagen. Springer, Wien, 2007 [80] FATIMA, Shaheen ; KATTAN, Ahmed: Evolving Optimal Agendas for Package Deal Negotiation. In: Proceedings of the 13th Annual Conference on Genetic and Evolutionary Computation. New York, NY, USA : ACM, 2011 (GECCO ’11). – ISBN 978–1–4503–0557–0, 505–512 [81] FLASCH, O. ; BARTZ-BEIELSTEIN, Th. ; DAVTYAN, A. ; KOCH, P. ; KONEN, W. ; OYETOYAN, T.D. ; TAMUTAN, M.: Comparing SPO-tuned GP and NARX prediction models for stormwater tank fill level prediction. In: FOGEL, Gary et a. (Hrsg.): Proc. IEEE Congress Evolutionary Computation (CEC), 2010, S. 1579–1586 40 Die Verantwortung für den Inhalt dieser Veröffentlichung liegt beim Autor. Kontakt/Impressum Diese Ver¨offentlichungen erscheinen im Rahmen der Schriftenreihe ”CIplus”. Alle Ver¨offentlichungen dieser Reihe k¨onnen unter www.ciplus-research.de oder unter http://opus.bsz-bw.de/fhk/index.php?la=de abgerufen werden. K¨oln, Januar 2012 Herausgeber / Editorship Prof. Dr. Thomas Bartz-Beielstein, Prof. Dr. Wolfgang Konen, Prof. Dr. Boris Naujoks, Prof. Dr. Horst Stenzel Institute of Computer Science, Faculty of Computer Science and Engineering Science, Cologne University of Applied Sciences, Steinm¨ullerallee 1, 51643 Gummersbach url: www.ciplus-research.de Schriftleitung und Ansprechpartner/ Contact editors office Prof. Dr. Thomas Bartz-Beielstein, Institute of Computer Science, Faculty of Computer Science and Engineering Science, Cologne University of Applied Sciences, Steinm¨ullerallee 1, 51643 Gummersbach phone: +49 2261 8196 6391 url: http://www.gm.fh-koeln.de/~bartz/ eMail: [email protected] ISSN (online) 2194-2870