Unconventional contributions to dynamical low-rank approximation of tree tensor networks

Abstract

Die vorliegende Arbeit befasst sich mit der numerischen Zeitintegration von hoch-dimensionalen, zeit-abhängigen, gewöhnlichen Differentialgleichungen, welche beispielsweise bei der Diskretisierung von partiellen Differentialgleichungen auftreten.

Treten in den Problemen sehr hohe Dimensionen auf, sind Standardtechniken nicht mehr durchführbar. Die Anzahl und Größe der Objekte, welche gespeichert und verarbeitet werden müssen, übersteigt bei Weitem die Kapazitäten eines Standard-Computers. Dieser Umstand wird häufig als der Fluch der Dimension bezeichnet. Deshalb müssen andere Ansätze zur Behandlung solcher Probleme herangezogen werden, wie zum Beispiel dynamische Approximationen von niedrigem Rang.

Dynamische Approximationen von niedrigem Rang beruhen auf der Projektion der Zeitableitung einer zeitabhängigen Lösung eines gegebenen Problems auf den Tangentialraum eines Lösungsraums, welcher eine niedrigere Komplexität aufweist. Die Mannigfaltigkeit der Matrizen von festem Rang r sind ein Beispiel für einen solchen Lösungsraums. Auf dieser speziellen Mannigfaltigkeit wurde mit Hilfe einer Zerlegung der Projektion (=Projektions-Splitting) ein Integrator vorgestellt. Dieser erhält die spezielle Struktur der Objekte bei, was ein effizientes Speichern ermöglicht. Weiter weist der Integrator Robustheit bezüglich kleiner Singulärwerte auf, was essentiell ist um eine ausreichende Genauigkeit der Approximation zu gewährleisten.

Für hoch-dimensionale Probleme existieren diverse Mannigfaltigkeiten von niedrigem Rang, auf welchen analog Integratoren vorgestellt wurden, die ebenfalls auf einer Zerlegung der Projektion beruhen. Die Literatur ist reich an Arbeiten zu dynamischen Approximationen von niedrigem Rang für hoch-dimensionale, niedrig-rangige und schleifen-freie Darstellungen, wie zum Beispiel Tucker-Tensoren oder Tensoren in hierarchischer Tucker Darstellung.

Wir präsentieren hier die Erweiterung des Projektions-Splitting Integrators für Matrizen auf die Klasse der Tensor-Netzwerke, welche nach Konstruktion alle oben genannten Darstellungen verallgemeinert.

Weiter wird eine nicht-triviale Modifikation des Projektions-Splitting Integrators vorgestellt, welche die (Schief-)Symmetrie von Matrizen und Tucker-Tensoren erhält.

Diese Modifikation wurde auf Matrizen von niedrigem Rang und Tensoren in Tucker Darstellung verallgemeinert.

Aufgrund der ungewöhnlichen Herleitung und Konstruktion des neuen Integrators, bezeichnen wir diesen als unkonventionellen Integrator. Im Unterschied zum Projektions-Splitting Integrator für Matrizen und Tucker-Tensoren, ermöglicht der unkonventionelle Integrator paralleles Rechnen. Er erhält die ursprünglichen vorteilhaften Eigenschaften des Projektions-Splitting Integrators für Matrizen und Tucker-Tensoren und bietet mehr Stabilität bei stark dissipativen Problemen.

The present thesis deals with the numerical time-integration of high-dimensional time-dependent ordinary differential equations arising from, e.g. the discretization of high-dimensional time-dependent partial differential equations.

Because the size of such problems is assumed to be extremely large, standard discretization techniques are not feasible. The number of quantities needed to be stored and treated exceeds standard capacities of common computational devices; a circumstance usually referred to as curse of dimensionality. A different ansatz is required to be used, i.e. the dynamical low-rank approximation.

Dynamical low-rank approximation consists of projecting the time-derivative of the time-dependent solution of the given problem onto the tangent space of a search space of lower complexity, e.g. the manifold of low-rank matrices of fixed rank r.

In the manifold of low-rank matrices, an efficient numerical integrator based on a projector-splitting approach has been recently proposed. This numerical integrator has been proven to retain a low-memory footprint and to be robust with respect to the presence of small singular values, desirable property which is needed for achieving sufficient precision in the final approximation.

Different low-rank manifolds exist in the high-dimensional setting, and analogous projector-splitting integrators have been there proposed. In the literature, exhaustive and complete research has been carried out for dynamical low-rank approximation of high-dimensional low-rank loop-free formats, such as tensors in Tucker format and tensors in hierarchical Tucker format.

We present here the extension of the projector-splitting integrator for matrices to the most general class of tree tensor networks, which by construction includes all mentioned low-rank loop-free formats.

Furthermore, a non-trivial modification of the projector-splitting integrator, preserving (skew-)symmetry for matrices and tensors in Tucker format, is presented.

The latter results are generalized to low-rank matrices and tensors in Tucker format. Due to its unusual derivation and construction, the new derived numerical integrator is referred to as the unconventional integrator.

In contrast to the original projector-splitting integrator for matrices and tensors in Tucker format, the new unconventional integrator introduces more parallelism. It preserves the original excellent properties of the projector-splitting integrator for matrices and tensors in Tucker format and provides more stability when strong dissipative problems are considered.