A Hybrid Flow-based Intrusion Detection System Incorporating Uncertainty

Beer, Frank

dc.date.accessioned	2022-11-14T12:42:50Z
dc.date.available	2022-11-14T12:42:50Z
dc.date.issued	2022
dc.identifier	doi:10.17170/kobra-202207146472
dc.identifier.uri	http://hdl.handle.net/123456789/14247
dc.description	Zugleich: Dissertation, Universität Kassel, 2022
dc.language.iso	eng
dc.publisher	kassel university press
dc.rights	Namensnennung - Weitergabe unter gleichen Bedingungen 4.0 International	*
dc.rights.uri	http://creativecommons.org/licenses/by-sa/4.0/	*
dc.subject	Concept Drift	eng
dc.subject	Explainable	eng
dc.subject	Machine Learning	eng
dc.subject	Flow Monitoring	eng
dc.subject	Intrusion Detection	eng
dc.subject	Scalability	eng
dc.subject.ddc	004
dc.title	A Hybrid Flow-based Intrusion Detection System Incorporating Uncertainty	eng
dc.type	Buch
dcterms.abstract	The advances of today’s cyberattacks threatening network infrastructures are both versatile and alarming. This requires thoroughly planned security solutions to spot malicious behavior in those networks. Systems serving this duty are intrusion detectors commonly relying on deep packet inspection, which come up with high resource consumption because network traffic is observed at a very fine granularity. With increasing link speeds of current and future networks, this situation is becoming a serious affair for operational staff. These circumstances are further fueled by the rise of end-to-end encryption preventing deeper insights to packet content. To absorb these drawbacks, we investigate alternative roads and propose a new hybrid flow-based intrusion detection system in this work. It rests upon flow data as primary entity to monitor network sites, which is enabled by the established flow export protocols NetFlow/IPFIX. As opposed to packet data, flows elevate network activities to a much coarser format posing several practical benefits. Yet, it is unclear to which degree flows can contribute to a broad attack coverage with a low false alarm rate realized through a single detection system. On this account, a feature analysis is conducted on newly compiled benchmark data to expose meaningful flow features coupled with other supplemental information that are incorporated into our intrusion detector. Moreover, the system adapts the essential idea of combining misuse and anomaly detection techniques based on machine learning principles towards a hybrid solution following a two-step inspection attempt. In the first step, the stream of incoming flows is examined against a repository of known patterns. If no pattern match can be identified at this point, flows are directed to the anomaly detector for a final examination. From there, missing knowledge in the pattern repository is complemented gradually by a new pattern building mechanism employing in-database analytics, i.e. an undertaking to lift database systems beyond traditional data management tasks. A key asset of this cascading design is transparency as black box classifications at the anomaly detector are immediately turned into human readable patterns serving follow-up actions for responsible personnel. Additionally, our system architecture aims at scalability and adaptivity to address network dynamics. Empirical assessments under very realistic circumstances reveal interesting insights. In particular, they confirm that the proposed solution can compensate increasing workloads by appending more hardware resources permitting to monitor medium to large production networks. It can also handle simple concept drift scenarios self-sufficiently but minor manual intervention is required for more rigorous drifts. Furthermore, results document a baseline protection against several attack types. This outcome is paired with few false alarms and a high chance for explainable predictions. These and further findings demonstrate that our approach is a step in the right direction to safeguard network systems without cumbersome packet analysis leaving ample room for further research.	eng
dcterms.abstract	Die Bedrohungslage heutiger Cyberangriffe für Netzinfrastrukturen ist facettenreich und alarmierend. Dies erfordert sorgfältig geplante Sicherheitslösungen, um bösartiges Verhalten in diesen Netzen zu erkennen. Systeme, die sich dieser Aufgabe stellen, sind so genannte Angriffserkennungssysteme. Sie beruhen üblicherweise auf Deep-Packet-Inspection und weisen einen hohen Ressourcenbedarf auf, da der Netzwerkverkehr sehr feingranular aufgezeichnet wird. Mit zunehmender Verbindungsgeschwindigkeit aktueller und zukünftiger Netze wird diese Situation für Betreiber eine immer größere Herausforderung. Diese Umstände werden durch die zunehmende Ende-zu-Ende-Verschlüsselung zusätzlich verschärft, die tiefere Einblicke in den Inhalt der Pakete verhindert. Um diesen Nachteilen entgegenzuwirken, untersuchen wir alternative Wege und schlagen in dieser Arbeit ein neues hybrides, flow-basiertes System zur Erkennung von Angriffen vor. Es stützt sich auf Flow-Daten als primäre Entität zur Überwachung von Netzwerkstandorten, was durch die etablierten Protokolle NetFlow/IPFIX ermöglicht wird. Im Gegensatz zu Paketdaten werden die Netzwerkaktivitäten bei Flows in einem viel gröberen Format dargestellt, was mehrere praktische Vorteile mit sich bringt. Es ist jedoch unklar, inwieweit Flows zu einer breiten Angriffsabdeckung mit einer niedrigen Fehlalarmrate durch ein einziges Erkennungssystem beitragen können. Aus diesem Grund wird eine Merkmalsanalyse auf neuen Benchmark-Daten durchgeführt, um aussagekräftige Flow-Features in Verbindung mit anderen ergänzenden Informationen zu extrahieren, die in unser Erkennungssystem einfließen. Darüber hinaus adaptiert das System die grundlegende Idee der Misuse- und Anomalie-Erkennung auf der Grundlage des maschinellen Lernens hin zu einer hybriden Lösung, die auf einem zweistufigen Inspektionsverfahren fußt. Im ersten Schritt wird der Strom eingehender Flows anhand bekannter Muster in einer Datenbank untersucht. Wenn zu diesem Zeitpunkt keine Übereinstimmung zu einem Muster festgestellt werden kann, werden Flows für eine abschließende Prüfung an die Anomalie-Erkennung weitergeleitet. Von dort aus wird das fehlende Wissen in der Musterdatenbank schrittweise durch eine neue Methode zur Mustererstellung ergänzt. Ein Hauptvorteil dieses kaskadierten Designs ist Transparenz, da Black-Box-Klassifizierungen an der Anomalie-Erkennung sofort in menschenlesbare Muster umgewandelt werden, die dem verantwortlichen Personal für Folgemaßnahmen zur Verfügung stehen. Des Weiteren bietet unsere Systemarchitektur Skalierbarkeit und Adaptivität, um Netzwerkdynamiken zu adressieren. Empirische Bewertungen unter sehr realistischen Bedingungen zeigen interessante Ergebnisse. Sie bestätigen insbesondere, dass die vorgeschlagene Lösung steigende Lasten durch den Einsatz zusätzlicher Hardware-Ressourcen kompensieren kann, was die Überwachung mittlerer bis großer Produktionsnetzwerke ermöglicht. Das System kann ebenfalls einfache Concept-Drifts selbständig behandeln, während extreme Drift-Szenarien ein geringfügiges manuelles Eingreifen erfordern. Darüber hinaus dokumentieren die Ergebnisse einen gewissen Grundschutz gegenüber verschiedenen Angriffstypen. Dieses Resultat ist gepaart mit wenigen Fehlalarmen und einer hohen Wahrscheinlichkeit für erklärbare Vorraussagen. Diese und weitere Ergebnisse zeigen, dass unser Ansatz ein Schritt in die richtige Richtung ist, um Netzwerksysteme ohne umständliche Paketanalyse zu schützen und viel Raum für weitere Forschung bleibt.	ger
dcterms.accessRights	open access
dcterms.creator	Beer, Frank
dcterms.extent	xiv, 292 Seiten
dc.contributor.corporatename	Kassel, Universität Kassel, Fachbereich Elektrotechnik / Informatik
dc.contributor.referee	Sick, Bernhard (Prof. Dr.)
dc.contributor.referee	Bühler, Ulrich (Prof. Dr.)
dc.contributor.referee	Wacker, Arno (Prof. Dr.)
dc.publisher.place	Kassel
dc.relation.isbn	978-3-7376-1059-9
dc.subject.swd	Benchmark	ger
dc.subject.swd	Infrastruktur	ger
dc.subject.swd	Netzwerk	ger
dc.subject.swd	Sicherheit	ger
dc.type.version	publishedVersion
kup.iskup	true
kup.price	34,00
kup.subject	Naturwissenschaft, Technik, Informatik, Medizin	ger
kup.typ	Dissertation
kup.institution	FB 16 / Elektrotechnik / Informatik
kup.binding	Softcover
kup.size	DIN A5
ubks.epflicht	true