Generation and Identification of Dynamics in Ensembles of Co-evolving Modules

Abstract

Recent research has focused considerably on modular structures for data modeling due to their inherent benefits, such as high performance and computational efficiency. These architectures are particularly suitable for modeling structured data, with each module dedicated to a specific data segment. While the primary emphasis of modular architectures has traditionally been on achieving high model accuracy, their potential to generate comprehensible data representations and integrate a priori knowledge offers significant opportunities for the efficient identification and understanding of the modeled data. Nevertheless, these capabilities have largely remained unexploited within the domain of dynamic data.

The primary objective of this thesis is to demonstrate the applicability of modular architectures for the identification of the underlying content in time series data. To this end, this work investigates the identification of hidden dynamic components within various types of time-dependent data using ensembles of co-evolving modules. The research employs semi-automatic modular decomposition to discern hidden dynamics in time-dependent data. This approach effectively integrates available a priori knowledge about the problem with automated module adjustments. To tackle the combinatorial complexity arising from a large number of potential dynamic combinations, this thesis introduces a novel population-based approach for identifying dynamics, based on the online synchronization of co-evolving module dynamics. Evolutionary algorithms and gradient-based methods were utilized to tune the internal dynamics of recurrent neural and parametric modules online. Evaluations involved diverse datasets, including compositional time series, chaotic attractors, and handwritten symbol curves.

The experimental results demonstrate the effectiveness of the proposed approach. The increased likelihood of successful synchronization observed with neural modules using smaller weights suggests the necessity of regularization techniques and scaled-down driving signals. The faster convergence exhibited by neural modules indicates that their inherent plasticity facilitates more effective tuning and underscores the critical role of balancing module compactness with accuracy to effectively address the plasticity-stability dilemma in module design. Furthermore, the reliable identification achieved through evolutionary tuning, despite its higher computational cost compared to gradient-based methods, highlights the importance of a priori knowledge in guiding the selection of the most suitable tuning approach. The consistent behavior of the method across diverse datasets suggests that the principles of co-evolving module dynamics are likely applicable to systems exhibiting inherent modularity, where distinct sub-processes significantly contribute to the overall system behavior.

Die Forschung zu modularen Strukturen für die Datenmodellierung hat in letzter Zeit erheblich an Aufmerksamkeit gewonnen, insbesondere aufgrund ihrer Vorteile wie hoher Leistung und Recheneffizienz. Solche Strukturen eignen sich besonders für die Modellierung strukturierter Daten, wo jedes Modul einen spezifischen Teil der Daten abbilden kann. Während modulare Architekturen hauptsächlich zur Erzielung genauer Modelle eingesetzt wurden, bieten andere Vorteile der Modularität, darunter die Fähigkeit, verständliche Datenrepräsentationen zu entwickeln und Vorwissen über das Problem einzubeziehen, ein beträchtliches Potenzial für die effektive Identifizierung und das tiefere Verständnis der modellierten Daten. Dieses Potenzial blieb jedoch im Kontext dynamischer Daten bislang weitgehend unerforscht.

Das Hauptziel dieser Dissertation ist der Nachweis, dass modulare Architekturen zur Identifikation des Inhalts von Zeitreihen geeignet sind. Hierfür wird die Identifikation versteckter dynamischer Komponenten in zeitabhängigen Daten verschiedener Typen durch den Einsatz von Ensembles co-operierender Module untersucht. Die Analysen basieren dabei auf der semi-automatischen modularen Dekomposition zeitabhängiger Daten, wobei Vorwissen über das Problem effektiv mit automatischen Anpassungen der Dynamiken integriert wird. Um die hohe kombinatorische Komplexität zu bewältigen, die durch zahlreiche mögliche dynamische Kombinationen entsteht, wird ein innovativer populationsbasierter Ansatz vorgestellt. Dieser Ansatz beruht auf der Online-Synchronisation parallel ablaufender Teildynamiken und setzt dabei evolutionäre sowie gradientenbasierte Verfahren ein.

Die Experimente zeigen die Wirksamkeit des vorgeschlagenen Ansatzes. Die erhöhte Wahrscheinlichkeit erfolgreicher Synchronisationen, die bei neuronalen Modulen mit kleineren Gewichten beobachtet wurde, deutet auf die Notwendigkeit von Regularisierungstechniken hin. Die schnellere Konvergenz mit neuronalen Modulen zeigt, dass ihre Plastizität eine effektivere Anpassung ermöglicht und somit eine entscheidende Rolle beim Ausgleich von Kompaktheit und Genauigkeit im Kontext des Plastizitäts- Stabilitäts-Dilemmas im Modulentwurf spielt. Zudem unterstreicht die zuverlässige Identifikation, die durch evolutionäre Optimierung erreicht wird – trotz ihrer höheren Rechenkosten im Vergleich zu gradientenbasierten Methoden –, die Bedeutung von Vorwissen bei der Auswahl des effektivsten Optimierungsansatzes. Die beobachteten Ähnlichkeiten im Verhalten der Methode über verschiedene Datensätze hinweg legen nahe, dass die Prinzipien der parallel ablaufenden Moduldynamiken auf Systeme anwendbar sind, die eine innere Modularität aufweisen, bei der isolierte Teilprozesse zum Gesamtverhalten des Systems beitragen.