Functional Characterizations of Cortical Visual Processing with Deep Predictive Models

Abstract

Wie verarbeiten die Milliarden von Neuronen, die über die kortikalen Areale des Gehirns verteilt sind, visuelle Informationen, um eine Vielzahl komplexer Berechnungen und visuell gesteuerter Verhaltensweisen zu ermöglichen? Obwohl Elektrophysiologen in den letzten sechs Jahrzehnten bedeutende Erkenntnisse über die visuelle Verarbeitung im Gehirn gewonnen haben, reichen ihre Modelle nicht aus, um die Reaktionen visueller Neuronen unter natürlichen Bedingungen vollständig zu beschreiben. In dieser Dissertation nutzte ich Aufzeichnungen von Mäusen und nicht-menschlichen Primaten, um Deep-Learning-Modelle zu entwickeln, die einzelne Zellantworten auf neue Reize präzise vorhersagen. Diese Modelle übertreffen klassische Alternativen in ihrer Genauigkeit und stellen damit den aktuell besten Ansatz zur Modellierung des visuellen Kortex dar. Dennoch werden diese Ansätze häufig kritisiert, da neuronale Netzwerke als ,,Black Boxes“ gelten, die keine kompakten oder mechanistischen Erklärungen liefern, die Neurowissenschaftler zufriedenstellen. Um diese Herausforderung zu bewältigen, haben wir drei Hauptstrategien entwickelt, um Wissen aus Deep-Learning-Modellen zu extrahieren und testbare Hypothesen zu generieren: 1) Wir verwendeten vortrainierte Netzwerke, die auf verschiedene Aufgaben trainiert wurden, um mehrere Areale des visuellen Kortex von Primaten und Mäusen zu erklären. 2) Wir integrierten Hypothesen direkt in die Architektur dieser end-to-end gelernten Modelle und leiteten Interpretationen aus ihren Parametern ab. 3) Wir entwickelten Methoden zur Analyse und Interpretation der nichtlinearen Berechnungen in den Gewichte neuronaler Netzwerke. Unsere Arbeit lieferte wichtige Erkenntnisse, darunter die nichtlineare Natur des Cortexareals V1 bei Affen, die hierarchische Organisation des visuellen Kortex bei Affen und Mäusen, die funktionelle Spezialisierung des Cortexareals V4 bei Primaten auf semantische Aufgaben, die Normalisierung im Affen-V1 sowie die Invarianzen, die von mittleren Parameter in konvolutionellen neuronalen Netzwerken und Neuronen im Gehirn gelernt werden. Insgesamt zeigen unsere Ergebnisse, dass Deep-Learning-Modelle wertvolle Werkzeuge für den fortlaufenden wissenschaftlichen Fortschritt im Verständnis der visuellen Verarbeitung im Gehirn sind.

How do the billions of neurons spread across cortical areas in the brain process visual information to facilitate a wide range of complex computations and visually-guided behaviors? Although electrophysiologists have produced great insights over the last six decades about visual processing in the brain, their resulting models fall short of describing the responses of visual neurons under naturalistic stimulation. In this dissertation, I leveraged recordings from mice and non-human primates to build deep learning models that predict single-cell responses to novel stimuli. These models provide higher accuracy than classical alternatives, which makes them the current best model of the visual cortex. However, these approaches are recurrently challenged because neural networks are seen as black boxes as they fail to provide compact or mechanistic interpretations that satisfy neuroscientists. Here, we used three main approaches to extract knowledge and generate testable hypothesis from deep predictive models. 1) We used pre-trained networks separately trained on a range of tasks to explain multiple areas of the primate and mouse visual cortices, 2) we baked hypotheses into the architecture of these end-to-end learned models and derived interpretations from their resulting parameters, and 3) we developed methods for the analysis and interpretation of nonlinear computations of deep network units. Our work provided insights into the nonlinear nature of monkey V1; the hierarchical organization of monkey and mouse visual cortices; the functional specialization of primate area V4 towards semantic tasks; the nature of normalization in monkey V1; and the types of invariances learned by intermediate units in convolutional neural networks and neurons in the brain. Overall, our results show that these deep learning-based approaches are valuable tools for continued scientific progress in understanding visual processing in the brain.