Multi-Channeled Localization Microscopy with Cloud-Enabled Simulation-Based Machine Learning

Abstract

Simulationsbasierte auf maschinellem Lernen (ML) beruhende Algorithmen haben sich im Bereich der Mikroskopie bewährt und deutlich schnellere Aufnahmen in der Einzelmolekülmikroskopie (SMLM) im Vergleich zu klassischen Algorithmen ermöglicht. Diese Algorithmen unterstützen bisher jedoch nicht alle SMLM Modalitäten und sind schwer ohne dedizierte Hardware- und Softwareerfahrung nutzbar. Die vorliegende Arbeit adressiert diese Probleme. SMLM ist eine interessante Anwendung für simulationsbasiertes ML, da es um ein inverses Problem handelt. Eine Probe wird hier derart präpariert, dass Fluorophore einer oder mehrerer Farben stochastisch aktiviert werden was zu vereinzelten sogenannten Emittern führt, die auf zehn- bis hunderttausenden Bildern aufgenommen werden. Jene Emitter werden lokalisiert um das superaufgelöste Bild zu berechnen. SMLM ist langsam, da die Aufnahmezeit direkt von der Dichte der Emitter abhängt. Kürzlich entwickelte ML Algorithmen erlauben höhere Dichten, der Community fehlt jedoch ein entsprechender Algorithmus für Vielkanaldaten. ML Algorithmen werden in der Mikroskopie bei vielfältigen Anwendungen wie dem Entrauschen, der Auflösungssteigerung, der Segmentierung von biologischen Proben oder der Detektion von biologischen Ereignissen eingesetzt. Diese Methoden benötigen jedoch oft dedizierte Hard- und Softwaresetups sowie entsprechende Dateninfrastruktur und haben aus diesem Grund oft noch keinen Einzug in die Laborroutine erhalten. Wir stellen DECODE-Plex vor, ein neuartiger Algorithmus für hochdichte vielkanal SMLM-Daten und adressieren im besonderen Mehrfarben- und Multifokal-SMLM. DECODE-Plex wird mit live simulierten Daten trainiert. Wir zeigen die robuste Performance von DECODE-Plex auf simulierten und experimentellen Daten verschiedener Dichten. Darüber hinaus stellen wir DECODE-OpenCloud vor, eine Cloud-basierte Lösung für ML Algorithmen in der Mikroskopie. DECODE-OpenCloud abstrahiert Hardware und Wartung von den Algorithmen und ermöglicht so deren einfache Benutzung via API. Ungenutzte Rechenleistung kann einfach integriert werden, um so von zentralisierter Wartung und geteilten Resourcen zu profitieren. Weitere Algorithmen können ohne großen Aufwand integriert werden; wir stellen drei Algorithmen als Referenz vor: Lokalisation mit DECODE und DECODE-Plex und Driftkorrektur mit COMET.

Simulation-based Machine Learning (ML) algorithms have proven successful in the realm of microscopy and enabled significant speedups in Single Molecule Localization Microscopy (SMLM) compared to conventional algorithms. These routines, however, did not work for all SMLM modalities and were difficult to use for individuals without dedicated hardware and computational experience. This thesis addresses these challenges.

SMLM, an inverse problem, is a strong candidate for simulation-based ML. In SMLM, fluorophores of one or more kinds are stochastically activated, resulting in sparse events (emitters) imaged over tens to hundreds of thousands of frames. These emitters are localized and rendered to compute the final superresolution image. SMLM is inherently slow due to its need for sparse emitters. Recent ML approaches tackled this problem by enabling high-density imaging. However, the field lacks a dedicated algorithm for high-density, multi-channeled SMLM applications.

ML algorithms in microscopy are applied to various tasks including denoising images, improving their resolution, segmenting biological sites, or detecting biological events. Yet, these methods often rely on dedicated hard- and software setups and have not found their way into daily scientific routines for that reason. The field lacks approaches for repetitive large-scale workflows without complicated manual intervention.

We present DECODE-Plex, a new framework for high-density multi-channeled localization in SMLM, addressing multi-color and biplane imaging. DECODE-Plex is trained on-the-fly by a simulated training procedure. We demonstrate DECODE-Plex’s performance across various densities for simulated and experimental data.

Furthermore, we present DECODE-OpenCloud, a cloud-backed solution for ML algorithms in microscopy. DECODE-OpenCloud abstracts away hardware and maintenance concerns providing researchers and developers with a user-friendly yet production-ready API. It encourages the integration of unused local computing power, benefiting from centralized maintenance and computational power. DECODE-OpenCloud’s design allows for integration without significant additional effort, and we present three algorithms for SMLM as reference implementations: Localization with DECODE, DECODE-Plex and drift correction with COMET.