UAV–Based Maritime Search and Rescue Missions: An End-to-End Approach

Abstract

Drohnen (UAVs) sind aufgrund ihrer vergleichsweise geringen Kosten, ihrer billigen Wartung, ihrer Vielseitigkeit und ihres einfachen Einsatzes zu wichtigen Werkzeugen in verschiedenen kamerabasierten Bereichen geworden, darunter auch bei Such- und Rettungseinsätzen (SAR). Trotz dieser Fortschritte ist es weiterhin ein offenes Problem, Flugroboter so zu automatisieren, dass sie in Not geratene Menschen erkennen oder so- gar die beste Flugbahn zur Optimierung der Auffindewahrscheinlichkeit selbst planen können. In dieser Dissertation werden verschiedene Ansätze zur Verbesserung von UAV- basierten Seenotrettungseinsätzen (mSAR) in den Bereichen Computer Vision, UAV- Pfadplanung, und ihrer technische Umsetzung vorgestellt und diskutiert. Auf dem Gebiet der Mustererkennung haben wir untersucht, wie sich Variationen in einem bestimmten Bereich, z. B. die Flughöhe oder der Aufnahmewinkel, auf die Leis- tung von Objektdetektoren auswirken. Aufbauend darauf haben wir Objektdetektoren entwickelt, für die diese Variationen keine Probleme darstellen. Da wir dabei festgestellt haben, dass die Vogelperspektive erhebliche Schwierigkeiten mit sich bringt, entwickel- ten wir eine spezielle Strategie, um dieses Problem zu lösen. Um gegen den Datenman- gel in der Gemeinschaft der Forschenden in maritimer Drohnenmustererkennung zu ar- beiten, haben wir einen umfangreichen Datensatz aufgezeichnet und veröffentlicht, der vollständige Metadaten wie Erfassungshöhe und Erfassungswinkel für jedes Bild ent- hält. Er stellt Einzelobjektverfolgung, Multiobjektverfolgung, und Objekterkennung zur Verfügung. Im Zusammenhang mit der Flugpfadplanung von UAVs untersuchten wir Al- gorithmen, die Umweltdaten wie Wasserströmung und Windfluss berücksichtigen, sowie solche, die dieses Wissen nicht einbeziehen. Auf der Grundlage dieser Erkenntnisse ha- ben wir einen Algorithmus zur Flugbahnplanung entwickelt, der auf Verzweigen-und- Begrenzen-Algorithmen basiert. Außerdem untersuchten wir verschiedene Techniken zur effizienten Detektion interessanter Regionen an Bord der Drohne. Dies ermöglicht unserem neu entwickelten und veröffentlichten mSAR-Softwareframework, Videomate- rial selektiv zu streamen und so Bandbreite einzusparen. Die in dieser Dissertation vorgestellten Experimente zeigen, dass die vorgeschlagenen Methoden die Fähigkeiten maritimer Such- und Rettungsdrohnen sowohl im Bereich der Flugpfadplanung als auch bei der Erkennung von Menschen in Not oder havarierten Schiffen verbessern. Die vielversprechenden Ergebnisse zeigen interessante zukünftige Forschungsvorhaben auf. Dazu gehören unter anderem die Erforschung koordinierter Multi-UAV-Einsätze, die deterministische Einbeziehung von Aufnahmewinkelinforma- tionen in Erkennungsalgorithmen, und die Erweiterung von Datensätzen, um mehr un- terschiedliche Szenarien oder Sensoren abzubilden.

Unmanned Aerial Vehicles (UAVs) have become important tools in various vision-based fields due to their comparably low cost, cheap maintenance, versatility, and ease of use, one of which being search and rescue (SAR) missions. Despite these advancements, automating aerial robots to enable them to detect distressed humans below or even find the most promising flight trajectory to maximize detection probability remains an open challenge. This dissertation presents various approaches to enhancing UAV-based maritime search and rescue (mSAR) operations in the areas of computer vision, UAV path planning, and the technical implementation of SAR missions. In the field of computer vision, we studied how domain variations, such as flight al- titude or capture angle, affect the performance of object detectors. Building on that, we developed object detectors capable of overcoming these challenges. By identifying that the bird’s eye view poses significant difficulties and creating a dedicated strategy to ad- dress this issue, we showed that object detectors can benefit from engineering tailored to specific domains. Addressing the shortage of data in the maritime UAV computer vision community, we have recorded and released a large-scale data set, which includes dense meta-data labels like capture-altitude and capture-angle. It features single-object track- ing, multi-object tracking, and object detection. In the context of UAV flight trajectory planning we explored algorithms incorporating environmental data, such as water current and wind flow, as well as some which do not incorporate this knowledge. Based on these finding, we developed a trajectory planning algorithm based on branch-and-bound algo- rithms. Additionally, we investigated various techniques for efficiently predicting regions of interest onboard the drone. This enables our newly developed and published mSAR software framework to selectively stream video footage, thereby conserving bandwidth. The experiments presented in this dissertation show that the proposed methods effec- tively improve the capabilities of maritime search and rescue drones, both in the field of flight trajectory planning and the detection of humans or vessels in distress. The promis- ing nature of these results suggest interesting future research endeavors. These include, but are not limited to, exploring coordinated multi-UAV missions, incorporating capture- angle information deterministically into the detection pipeline, and expanding data sets to include more diverse scenarios or sensors.