View/ Open
Date
2023Author
Haase-Schütz, ChristianSubject
004 Data processing and computer science MobilitätAutonomes FahrzeugNetzwerkAnforderungDeep learningWahrnehmungUmweltmodell <Informatik>Metadata
Show full item record
Buch![](/themes/Mirage2/images/Open_Access_logo_PLoS_transparent.svg)
Link zu kassel university press
Deep Learning Based Multi-modal Perception and Semi-automatic Labelling Algorithms for Automotive Sensor Data
Abstract
Automated driving has great potential in solving the mobility needs of the future and reducing the amount of traffic accidents. Advances in the environment perception for automated driving are to a large extent driven by deep learning and huge amounts of sensor data. Multiple-sensors are used in automated driving to make use of complementary information to increase performance and reliability of the system.
Many different artificial neural network architectures have been proposed, increasing the recognition accuracy. In this work it is shown how deep learning based object detection can be used to fuse measurements from several different kinds of sensors. Multiple methods combining, e.g., lidar and camera are compared and existing research datasets are introduced. Differences between the approaches are discussed and recommendations derived. From those a flexible deep-learning based fusion algorithm is developed and evaluated on real-world data. Even more important than the specific architectural details are the amount and quality of available data needed to properly represent the joint distribution of potential inputs and targets. This thesis thoroughly studies the effect of differences in the labelling quality on deep learning based classification and deep learning based detection. From the results a novel quality estimation algorithm is derived and a method for estimating the maximum reachable accuracy with a given network and dataset as well as the trade-off between increasing labelling effort and reducing gains as approaching this threshold is developed. While hand-labelling vast amounts of real-world data becomes quickly infeasible, semi-automated methods have great potential of enabling labelling relevant datasets at scale. This thesis develops and evaluates means to handle partially labelled and unlabelled data with the aim of providing sufficient data to generalize to real driving scenarios. To this end, algorithms for semi-supervised learning are developed and improved, as well as iterative algorithms to increase the labelling quality of a given labelled dataset.
Many different artificial neural network architectures have been proposed, increasing the recognition accuracy. In this work it is shown how deep learning based object detection can be used to fuse measurements from several different kinds of sensors. Multiple methods combining, e.g., lidar and camera are compared and existing research datasets are introduced. Differences between the approaches are discussed and recommendations derived. From those a flexible deep-learning based fusion algorithm is developed and evaluated on real-world data. Even more important than the specific architectural details are the amount and quality of available data needed to properly represent the joint distribution of potential inputs and targets. This thesis thoroughly studies the effect of differences in the labelling quality on deep learning based classification and deep learning based detection. From the results a novel quality estimation algorithm is derived and a method for estimating the maximum reachable accuracy with a given network and dataset as well as the trade-off between increasing labelling effort and reducing gains as approaching this threshold is developed. While hand-labelling vast amounts of real-world data becomes quickly infeasible, semi-automated methods have great potential of enabling labelling relevant datasets at scale. This thesis develops and evaluates means to handle partially labelled and unlabelled data with the aim of providing sufficient data to generalize to real driving scenarios. To this end, algorithms for semi-supervised learning are developed and improved, as well as iterative algorithms to increase the labelling quality of a given labelled dataset.
Automatisiertes Fahren bietet große Potentiale zur Lösung der Mobilitätsanforderungen der Zukunft. Durch die Anwendung von Deep Learning und durch die Verfügbarkeit großer Mengen an Sensordaten werden in der Umfeldwahrnehmung automatisierter Fahrzeuge entscheidende Fortschritte erreicht. Hierfür wurden verschiedenste Netzwerk-Architekturen entwickelt, die eine verbesserte Genauigkeit ermöglichen.
Diese Arbeit zeigt, wie mittels Deep-Learning-basierter Objekt-Detektion Messungen verschiedener Sensormodalitäten fusioniert werden können. Verschiedene Methoden bspw. zur Kombination von Lidar und Kamera werden verglichen und multi-modale Forschungsdatensätze vorgestellt. Hierbei stellen sich Menge und Qualität der Daten, die für das Training bereitgestellt werden als wichtiger heraus, als die spezifischen Architekturdetails. Die Trainingsdaten müssen dabei eine geeignete Verteilung potentieller Eingabedaten und Ziel-Ausgaben repräsentieren, welche für die jeweilige Anwendung relevant ist. Aufgrund der großen Menge an benötigten Daten ist rein manuelles Annotieren in der Regel nicht praktikabel. Semi-automatische Methoden unterstützen das Annotieren großer Datenmengen algorithmisch, was es ermöglicht, die relevanten Datenverteilungen abzubilden. Diese Arbeit entwickelt und bewertet Methoden zur Verarbeitung partiell annotierter und nicht annotierter Daten, mit dem Ziel ausreichend Daten bereit zu stellen, so dass die trainierten Methoden auf reale Fahrsituationen generalisieren. Hierzu werden Methoden des teil-überwachten Lernens weiterentwickelt. Der Einfluss der Qualität der Annotationen wird untersucht und iterative Algorithmen zur Verbesserung dieser Qualität werden vorgestellt.
Diese Arbeit zeigt, wie mittels Deep-Learning-basierter Objekt-Detektion Messungen verschiedener Sensormodalitäten fusioniert werden können. Verschiedene Methoden bspw. zur Kombination von Lidar und Kamera werden verglichen und multi-modale Forschungsdatensätze vorgestellt. Hierbei stellen sich Menge und Qualität der Daten, die für das Training bereitgestellt werden als wichtiger heraus, als die spezifischen Architekturdetails. Die Trainingsdaten müssen dabei eine geeignete Verteilung potentieller Eingabedaten und Ziel-Ausgaben repräsentieren, welche für die jeweilige Anwendung relevant ist. Aufgrund der großen Menge an benötigten Daten ist rein manuelles Annotieren in der Regel nicht praktikabel. Semi-automatische Methoden unterstützen das Annotieren großer Datenmengen algorithmisch, was es ermöglicht, die relevanten Datenverteilungen abzubilden. Diese Arbeit entwickelt und bewertet Methoden zur Verarbeitung partiell annotierter und nicht annotierter Daten, mit dem Ziel ausreichend Daten bereit zu stellen, so dass die trainierten Methoden auf reale Fahrsituationen generalisieren. Hierzu werden Methoden des teil-überwachten Lernens weiterentwickelt. Der Einfluss der Qualität der Annotationen wird untersucht und iterative Algorithmen zur Verbesserung dieser Qualität werden vorgestellt.
Additional Information
Zugleich: Dissertation, Universität Kassel, 2023Druckausgabe
Citation
@book{doi:10.17170/kobra-202311299118,
author={Haase-Schütz, Christian},
title={Deep Learning Based Multi-modal Perception and Semi-automatic Labelling Algorithms for Automotive Sensor Data},
publisher={kassel university press},
year={2023}
}
0500 Oax 0501 Text $btxt$2rdacontent 0502 Computermedien $bc$2rdacarrier 1100 2023$n2023 1500 1/eng 2050 ##0##http://hdl.handle.net/123456789/15379 3000 Haase-Schütz, Christian 4000 Deep Learning Based Multi-modal Perception and Semi-automatic Labelling Algorithms for Automotive Sensor Data / Haase-Schütz, Christian 4030 4060 Online-Ressource 4085 ##0##=u http://nbn-resolving.de/http://hdl.handle.net/123456789/15379=x R 4204 \$dBuch 4170 5550 {{Mobilität}} 5550 {{Autonomes Fahrzeug}} 5550 {{Netzwerk}} 5550 {{Anforderung}} 5550 {{Deep learning}} 5550 {{Wahrnehmung}} 5550 {{Umweltmodell <Informatik>}} 7136 ##0##http://hdl.handle.net/123456789/15379
2024-01-23T08:37:06Z 2024-01-23T08:37:06Z 2023 doi:10.17170/kobra-202311299118 http://hdl.handle.net/123456789/15379 Zugleich: Dissertation, Universität Kassel, 2023 eng kassel university press Namensnennung - Weitergabe unter gleichen Bedingungen 4.0 International http://creativecommons.org/licenses/by-sa/4.0/ Deep Learning Automated Driving Sensor Fusion Deep Neural Networks Multi-modal 004 Deep Learning Based Multi-modal Perception and Semi-automatic Labelling Algorithms for Automotive Sensor Data Buch Automated driving has great potential in solving the mobility needs of the future and reducing the amount of traffic accidents. Advances in the environment perception for automated driving are to a large extent driven by deep learning and huge amounts of sensor data. Multiple-sensors are used in automated driving to make use of complementary information to increase performance and reliability of the system. Many different artificial neural network architectures have been proposed, increasing the recognition accuracy. In this work it is shown how deep learning based object detection can be used to fuse measurements from several different kinds of sensors. Multiple methods combining, e.g., lidar and camera are compared and existing research datasets are introduced. Differences between the approaches are discussed and recommendations derived. From those a flexible deep-learning based fusion algorithm is developed and evaluated on real-world data. Even more important than the specific architectural details are the amount and quality of available data needed to properly represent the joint distribution of potential inputs and targets. This thesis thoroughly studies the effect of differences in the labelling quality on deep learning based classification and deep learning based detection. From the results a novel quality estimation algorithm is derived and a method for estimating the maximum reachable accuracy with a given network and dataset as well as the trade-off between increasing labelling effort and reducing gains as approaching this threshold is developed. While hand-labelling vast amounts of real-world data becomes quickly infeasible, semi-automated methods have great potential of enabling labelling relevant datasets at scale. This thesis develops and evaluates means to handle partially labelled and unlabelled data with the aim of providing sufficient data to generalize to real driving scenarios. To this end, algorithms for semi-supervised learning are developed and improved, as well as iterative algorithms to increase the labelling quality of a given labelled dataset. Automatisiertes Fahren bietet große Potentiale zur Lösung der Mobilitätsanforderungen der Zukunft. Durch die Anwendung von Deep Learning und durch die Verfügbarkeit großer Mengen an Sensordaten werden in der Umfeldwahrnehmung automatisierter Fahrzeuge entscheidende Fortschritte erreicht. Hierfür wurden verschiedenste Netzwerk-Architekturen entwickelt, die eine verbesserte Genauigkeit ermöglichen. Diese Arbeit zeigt, wie mittels Deep-Learning-basierter Objekt-Detektion Messungen verschiedener Sensormodalitäten fusioniert werden können. Verschiedene Methoden bspw. zur Kombination von Lidar und Kamera werden verglichen und multi-modale Forschungsdatensätze vorgestellt. Hierbei stellen sich Menge und Qualität der Daten, die für das Training bereitgestellt werden als wichtiger heraus, als die spezifischen Architekturdetails. Die Trainingsdaten müssen dabei eine geeignete Verteilung potentieller Eingabedaten und Ziel-Ausgaben repräsentieren, welche für die jeweilige Anwendung relevant ist. Aufgrund der großen Menge an benötigten Daten ist rein manuelles Annotieren in der Regel nicht praktikabel. Semi-automatische Methoden unterstützen das Annotieren großer Datenmengen algorithmisch, was es ermöglicht, die relevanten Datenverteilungen abzubilden. Diese Arbeit entwickelt und bewertet Methoden zur Verarbeitung partiell annotierter und nicht annotierter Daten, mit dem Ziel ausreichend Daten bereit zu stellen, so dass die trainierten Methoden auf reale Fahrsituationen generalisieren. Hierzu werden Methoden des teil-überwachten Lernens weiterentwickelt. Der Einfluss der Qualität der Annotationen wird untersucht und iterative Algorithmen zur Verbesserung dieser Qualität werden vorgestellt. open access Haase-Schütz, Christian 2023-07-03 X, 322 Seiten Kassel, Universität Kassel, Fachbereich Elektrotechnik / Informatik Sick, Bernhard (Prof. Dr.) Doll, Konrad (Prof. Dr.) Kassel 978-3-7376-1156-5 Mobilität Autonomes Fahrzeug Netzwerk Anforderung Deep learning Wahrnehmung Umweltmodell <Informatik> publishedVersion Intelligent Embedded Systems Band 25 true 44,00 Intelligent Embedded Systems Naturwissenschaft, Technik, Informatik, Medizin Dissertation FB 16 Elektrotechnik / Informatik Softcover DIN A 5 true
The following license files are associated with this item:
Namensnennung - Weitergabe unter gleichen Bedingungen 4.0 International