Deep Learning Based Multi-modal Perception and Semi-automatic Labelling Algorithms for Automotive Sensor Data
| dc.contributor.corporatename | Kassel, Universität Kassel, Fachbereich Elektrotechnik / Informatik | |
| dc.contributor.referee | Sick, Bernhard (Prof. Dr.) | |
| dc.contributor.referee | Doll, Konrad (Prof. Dr.) | |
| dc.date.accessioned | 2024-01-23T08:37:06Z | |
| dc.date.available | 2024-01-23T08:37:06Z | |
| dc.date.issued | 2023 | |
| dc.description | Zugleich: Dissertation, Universität Kassel, 2023 | |
| dc.identifier | doi:10.17170/kobra-202311299118 | |
| dc.identifier.uri | http://hdl.handle.net/123456789/15379 | |
| dc.language.iso | eng | |
| dc.publisher | kassel university press | |
| dc.publisher.place | Kassel | |
| dc.relation.isbn | 978-3-7376-1156-5 | |
| dc.rights | Namensnennung - Weitergabe unter gleichen Bedingungen 4.0 International | * |
| dc.rights.uri | http://creativecommons.org/licenses/by-sa/4.0/ | * |
| dc.subject | Deep Learning | eng |
| dc.subject | Automated Driving | eng |
| dc.subject | Sensor Fusion | eng |
| dc.subject | Deep Neural | eng |
| dc.subject | Networks | eng |
| dc.subject | Multi-modal | eng |
| dc.subject.ddc | 004 | |
| dc.subject.swd | Mobilität | ger |
| dc.subject.swd | Autonomes Fahrzeug | ger |
| dc.subject.swd | Netzwerk | ger |
| dc.subject.swd | Anforderung | ger |
| dc.subject.swd | Deep learning | ger |
| dc.subject.swd | Wahrnehmung | ger |
| dc.subject.swd | Umweltmodell <Informatik> | ger |
| dc.title | Deep Learning Based Multi-modal Perception and Semi-automatic Labelling Algorithms for Automotive Sensor Data | eng |
| dc.type | Buch | |
| dc.type.version | publishedVersion | |
| dcterms.abstract | Automated driving has great potential in solving the mobility needs of the future and reducing the amount of traffic accidents. Advances in the environment perception for automated driving are to a large extent driven by deep learning and huge amounts of sensor data. Multiple-sensors are used in automated driving to make use of complementary information to increase performance and reliability of the system. Many different artificial neural network architectures have been proposed, increasing the recognition accuracy. In this work it is shown how deep learning based object detection can be used to fuse measurements from several different kinds of sensors. Multiple methods combining, e.g., lidar and camera are compared and existing research datasets are introduced. Differences between the approaches are discussed and recommendations derived. From those a flexible deep-learning based fusion algorithm is developed and evaluated on real-world data. Even more important than the specific architectural details are the amount and quality of available data needed to properly represent the joint distribution of potential inputs and targets. This thesis thoroughly studies the effect of differences in the labelling quality on deep learning based classification and deep learning based detection. From the results a novel quality estimation algorithm is derived and a method for estimating the maximum reachable accuracy with a given network and dataset as well as the trade-off between increasing labelling effort and reducing gains as approaching this threshold is developed. While hand-labelling vast amounts of real-world data becomes quickly infeasible, semi-automated methods have great potential of enabling labelling relevant datasets at scale. This thesis develops and evaluates means to handle partially labelled and unlabelled data with the aim of providing sufficient data to generalize to real driving scenarios. To this end, algorithms for semi-supervised learning are developed and improved, as well as iterative algorithms to increase the labelling quality of a given labelled dataset. | eng |
| dcterms.abstract | Automatisiertes Fahren bietet große Potentiale zur Lösung der Mobilitätsanforderungen der Zukunft. Durch die Anwendung von Deep Learning und durch die Verfügbarkeit großer Mengen an Sensordaten werden in der Umfeldwahrnehmung automatisierter Fahrzeuge entscheidende Fortschritte erreicht. Hierfür wurden verschiedenste Netzwerk-Architekturen entwickelt, die eine verbesserte Genauigkeit ermöglichen. Diese Arbeit zeigt, wie mittels Deep-Learning-basierter Objekt-Detektion Messungen verschiedener Sensormodalitäten fusioniert werden können. Verschiedene Methoden bspw. zur Kombination von Lidar und Kamera werden verglichen und multi-modale Forschungsdatensätze vorgestellt. Hierbei stellen sich Menge und Qualität der Daten, die für das Training bereitgestellt werden als wichtiger heraus, als die spezifischen Architekturdetails. Die Trainingsdaten müssen dabei eine geeignete Verteilung potentieller Eingabedaten und Ziel-Ausgaben repräsentieren, welche für die jeweilige Anwendung relevant ist. Aufgrund der großen Menge an benötigten Daten ist rein manuelles Annotieren in der Regel nicht praktikabel. Semi-automatische Methoden unterstützen das Annotieren großer Datenmengen algorithmisch, was es ermöglicht, die relevanten Datenverteilungen abzubilden. Diese Arbeit entwickelt und bewertet Methoden zur Verarbeitung partiell annotierter und nicht annotierter Daten, mit dem Ziel ausreichend Daten bereit zu stellen, so dass die trainierten Methoden auf reale Fahrsituationen generalisieren. Hierzu werden Methoden des teil-überwachten Lernens weiterentwickelt. Der Einfluss der Qualität der Annotationen wird untersucht und iterative Algorithmen zur Verbesserung dieser Qualität werden vorgestellt. | ger |
| dcterms.accessRights | open access | |
| dcterms.creator | Haase-Schütz, Christian | |
| dcterms.dateAccepted | 2023-07-03 | |
| dcterms.extent | X, 322 Seiten | |
| dcterms.source.series | Intelligent Embedded Systems | eng |
| dcterms.source.volume | Band 25 | |
| kup.binding | Softcover | |
| kup.institution | FB 16 Elektrotechnik / Informatik | |
| kup.iskup | true | |
| kup.price | 44,00 | |
| kup.series | Intelligent Embedded Systems | eng |
| kup.size | DIN A 5 | |
| kup.subject | Naturwissenschaft, Technik, Informatik, Medizin | ger |
| kup.typ | Dissertation | |
| ubks.epflicht | true |