A Hybrid Flow-based Intrusion Detection System Incorporating Uncertainty

dc.contributor.corporatenameKassel, Universität Kassel, Fachbereich Elektrotechnik / Informatik
dc.contributor.refereeSick, Bernhard (Prof. Dr.)
dc.contributor.refereeBühler, Ulrich (Prof. Dr.)
dc.contributor.refereeWacker, Arno (Prof. Dr.)
dc.date.accessioned2022-11-14T12:42:50Z
dc.date.available2022-11-14T12:42:50Z
dc.date.issued2022
dc.descriptionZugleich: Dissertation, Universität Kassel, 2022
dc.identifierdoi:10.17170/kobra-202207146472
dc.identifier.urihttp://hdl.handle.net/123456789/14247
dc.language.isoeng
dc.publisherkassel university press
dc.publisher.placeKassel
dc.relation.isbn978-3-7376-1059-9
dc.rightsNamensnennung - Weitergabe unter gleichen Bedingungen 4.0 International*
dc.rights.urihttp://creativecommons.org/licenses/by-sa/4.0/*
dc.subjectConcept Drifteng
dc.subjectExplainableeng
dc.subjectMachine Learningeng
dc.subjectFlow Monitoringeng
dc.subjectIntrusion Detectioneng
dc.subjectScalabilityeng
dc.subject.ddc004
dc.subject.swdBenchmarkger
dc.subject.swdInfrastrukturger
dc.subject.swdNetzwerkger
dc.subject.swdSicherheitger
dc.titleA Hybrid Flow-based Intrusion Detection System Incorporating Uncertaintyeng
dc.typeBuch
dc.type.versionpublishedVersion
dcterms.abstractThe advances of today’s cyberattacks threatening network infrastructures are both versatile and alarming. This requires thoroughly planned security solutions to spot malicious behavior in those networks. Systems serving this duty are intrusion detectors commonly relying on deep packet inspection, which come up with high resource consumption because network traffic is observed at a very fine granularity. With increasing link speeds of current and future networks, this situation is becoming a serious affair for operational staff. These circumstances are further fueled by the rise of end-to-end encryption preventing deeper insights to packet content. To absorb these drawbacks, we investigate alternative roads and propose a new hybrid flow-based intrusion detection system in this work. It rests upon flow data as primary entity to monitor network sites, which is enabled by the established flow export protocols NetFlow/IPFIX. As opposed to packet data, flows elevate network activities to a much coarser format posing several practical benefits. Yet, it is unclear to which degree flows can contribute to a broad attack coverage with a low false alarm rate realized through a single detection system. On this account, a feature analysis is conducted on newly compiled benchmark data to expose meaningful flow features coupled with other supplemental information that are incorporated into our intrusion detector. Moreover, the system adapts the essential idea of combining misuse and anomaly detection techniques based on machine learning principles towards a hybrid solution following a two-step inspection attempt. In the first step, the stream of incoming flows is examined against a repository of known patterns. If no pattern match can be identified at this point, flows are directed to the anomaly detector for a final examination. From there, missing knowledge in the pattern repository is complemented gradually by a new pattern building mechanism employing in-database analytics, i.e. an undertaking to lift database systems beyond traditional data management tasks. A key asset of this cascading design is transparency as black box classifications at the anomaly detector are immediately turned into human readable patterns serving follow-up actions for responsible personnel. Additionally, our system architecture aims at scalability and adaptivity to address network dynamics. Empirical assessments under very realistic circumstances reveal interesting insights. In particular, they confirm that the proposed solution can compensate increasing workloads by appending more hardware resources permitting to monitor medium to large production networks. It can also handle simple concept drift scenarios self-sufficiently but minor manual intervention is required for more rigorous drifts. Furthermore, results document a baseline protection against several attack types. This outcome is paired with few false alarms and a high chance for explainable predictions. These and further findings demonstrate that our approach is a step in the right direction to safeguard network systems without cumbersome packet analysis leaving ample room for further research.eng
dcterms.abstractDie Bedrohungslage heutiger Cyberangriffe für Netzinfrastrukturen ist facettenreich und alarmierend. Dies erfordert sorgfältig geplante Sicherheitslösungen, um bösartiges Verhalten in diesen Netzen zu erkennen. Systeme, die sich dieser Aufgabe stellen, sind so genannte Angriffserkennungssysteme. Sie beruhen üblicherweise auf Deep-Packet-Inspection und weisen einen hohen Ressourcenbedarf auf, da der Netzwerkverkehr sehr feingranular aufgezeichnet wird. Mit zunehmender Verbindungsgeschwindigkeit aktueller und zukünftiger Netze wird diese Situation für Betreiber eine immer größere Herausforderung. Diese Umstände werden durch die zunehmende Ende-zu-Ende-Verschlüsselung zusätzlich verschärft, die tiefere Einblicke in den Inhalt der Pakete verhindert. Um diesen Nachteilen entgegenzuwirken, untersuchen wir alternative Wege und schlagen in dieser Arbeit ein neues hybrides, flow-basiertes System zur Erkennung von Angriffen vor. Es stützt sich auf Flow-Daten als primäre Entität zur Überwachung von Netzwerkstandorten, was durch die etablierten Protokolle NetFlow/IPFIX ermöglicht wird. Im Gegensatz zu Paketdaten werden die Netzwerkaktivitäten bei Flows in einem viel gröberen Format dargestellt, was mehrere praktische Vorteile mit sich bringt. Es ist jedoch unklar, inwieweit Flows zu einer breiten Angriffsabdeckung mit einer niedrigen Fehlalarmrate durch ein einziges Erkennungssystem beitragen können. Aus diesem Grund wird eine Merkmalsanalyse auf neuen Benchmark-Daten durchgeführt, um aussagekräftige Flow-Features in Verbindung mit anderen ergänzenden Informationen zu extrahieren, die in unser Erkennungssystem einfließen. Darüber hinaus adaptiert das System die grundlegende Idee der Misuse- und Anomalie-Erkennung auf der Grundlage des maschinellen Lernens hin zu einer hybriden Lösung, die auf einem zweistufigen Inspektionsverfahren fußt. Im ersten Schritt wird der Strom eingehender Flows anhand bekannter Muster in einer Datenbank untersucht. Wenn zu diesem Zeitpunkt keine Übereinstimmung zu einem Muster festgestellt werden kann, werden Flows für eine abschließende Prüfung an die Anomalie-Erkennung weitergeleitet. Von dort aus wird das fehlende Wissen in der Musterdatenbank schrittweise durch eine neue Methode zur Mustererstellung ergänzt. Ein Hauptvorteil dieses kaskadierten Designs ist Transparenz, da Black-Box-Klassifizierungen an der Anomalie-Erkennung sofort in menschenlesbare Muster umgewandelt werden, die dem verantwortlichen Personal für Folgemaßnahmen zur Verfügung stehen. Des Weiteren bietet unsere Systemarchitektur Skalierbarkeit und Adaptivität, um Netzwerkdynamiken zu adressieren. Empirische Bewertungen unter sehr realistischen Bedingungen zeigen interessante Ergebnisse. Sie bestätigen insbesondere, dass die vorgeschlagene Lösung steigende Lasten durch den Einsatz zusätzlicher Hardware-Ressourcen kompensieren kann, was die Überwachung mittlerer bis großer Produktionsnetzwerke ermöglicht. Das System kann ebenfalls einfache Concept-Drifts selbständig behandeln, während extreme Drift-Szenarien ein geringfügiges manuelles Eingreifen erfordern. Darüber hinaus dokumentieren die Ergebnisse einen gewissen Grundschutz gegenüber verschiedenen Angriffstypen. Dieses Resultat ist gepaart mit wenigen Fehlalarmen und einer hohen Wahrscheinlichkeit für erklärbare Vorraussagen. Diese und weitere Ergebnisse zeigen, dass unser Ansatz ein Schritt in die richtige Richtung ist, um Netzwerksysteme ohne umständliche Paketanalyse zu schützen und viel Raum für weitere Forschung bleibt.ger
dcterms.accessRightsopen access
dcterms.creatorBeer, Frank
dcterms.extentxiv, 292 Seiten
kup.bindingSoftcover
kup.institutionFB 16 / Elektrotechnik / Informatik
kup.iskuptrue
kup.price34,00
kup.sizeDIN A5
kup.subjectNaturwissenschaft, Technik, Informatik, Medizinger
kup.typDissertation
ubks.epflichttrue

Files

Original bundle

Now showing 1 - 2 of 2
Thumbnail Image
Name:
kup_9783737610599.pdf
Size:
4.52 MB
Format:
Adobe Portable Document Format
Description:
No Thumbnail Available
Name:
orig_9783737610599.pdf
Size:
4.08 MB
Format:
Adobe Portable Document Format
Description:

License bundle

Now showing 1 - 1 of 1
No Thumbnail Available
Name:
license.txt
Size:
3.03 KB
Format:
Item-specific license agreed upon to submission
Description: