Ανίχνευση ανωμαλιών σε δίκτυα μεγάλης κλίμακας με χρήση ανάλυσης κυρίων συνιστωσών

Abstract

One of the main challenges in security management of large scale networks is the detection of suspicious anomalies in network traffic patterns due to threats such as Distributed Denial of Service (DDoS) attacks or worm propagation. Usually network anomaly detection methodologies rely on the analysis of network traffic and the characterization of the dynamic statistical properties of traffic normality. Anomaly detection is based on the concept that perturbations of normal behavior suggest the presence of anomalies such as faults and attacks and can be uniformly applied in order to detect network attacks, even in cases where novel attacks are present and the nature of the intrusion is unknown. In this context, we envisage a variety of distributed monitors that exchange information through a common automated platform and assist the anomaly detection algorithms by sharing their views. The proposed approach is based on the application of Principal Component Analysis on multi-metric-multi-link data, and provides an efficient and unified way of taking into account the combined effect of the correlated observed data, for anomaly detection purposes. It actually introduces a generalized anomaly detection methodology, capable of detecting not only volume based anomalies, but a much wider range of classes of anomalies, such as the ones that may result in alterations in traffic composition or traffic paths. The proposed methodology effectively combines correlated data in order to reveal anomalies that span through a number of neighboring elements in the network graph and allows for the identification of the corresponding paths that contain the anomaly. Throughout this thesis, the proposed anomaly detection methodology is applied in different kinds of large scale networks that present different characteristics and application environments, and are quite representative of the networks that will compose the Internet of the Future, such as high speed networks, wireless sensor networks and hybrid vehicular networks. In each case, the application of the proposed methodology within the specific environment is discussed, and its effectiveness is evaluated via simulation or/and emulation. Throughout this thesis it is demonstrated that such an approach can be used in principle for several anomaly detection applications and scenarios, including: identify an abnormal situation in a series of measurements (e.g. cases where the values of the measured or monitored parameters may deviate significantly from the norm), discover the existence of faulty sensors in a sensor network, detect potential network attacks, and/or filter suspicious reports throughout the overall decision making process.

Μια από τις σημαντικότερες προκλήσεις στην διαχείριση δικτύων μεγάλης κλίμακας είναι η ανίχνευση ανωμαλιών στη δικτυακή κίνηση εξαιτίας απειλών όπως οι Επιθέσεις Απάρνησης Υπηρεσίας ή οι αυτομεταδιδόμενοι ιοί. Συνήθως οι μεθοδολογίες ανίχνευσης ανωμαλιών στηρίζονται στην ανάλυση του δικτύου και το χαρακτηρισμό στατιστικών ιδιοτήτων που αντιστοιχούν σε κίνηση που δεν εμπεριέχει ανωμαλίες. Mε βάση το πρότυπο ότι αποκλίσεις από την κανονική συμπεριφορά υποδηλώνουν την ύπαρξη ανωμαλιών, όπως λάθη και επιθέσεις, οι μεθοδολογίες ανίχνευσης ανωμαλιών μπορούν να εφαρμοστούν καθολικά ακόμα και για την ανίχνευση νέων επιθέσεων των οποίων η φύση είναι άγνωστη. Στην παρούσα διδακτορική διατριβή θεωρούμε ένα περιβάλλον πολλαπλών κατανεμημένων αισθητήρων που ανταλλάσσουν πληροφορίες μέσω μιας κοινής πλατφόρμας, και υποστηρίζουν την διαδικασία ανίχνευσης ανωμαλιών. Η προτεινόμενη προσέγγιση βασίζεται στην εφαρμογή της Ανάλυσης Κυρίων Συνιστωσών σε δεδομένα που προέρχονται από πολλαπλά μετρικά και πολλαπλές ζεύξεις/κόμβους του δικτύου και προσφέρει ένα αποτελεσματικό και ενιαίο τρόπο συνδυασμού συσχετισμένων δεδομένων για την ανίχνευση ανωμαλιών. Στην ουσία παρουσιάζεται μια γενικευμένη μεθοδολογία ανίχνευσης ανωμαλιών που δεν έχει μόνο δυνατότητα ανίχνευσης ανωμαλιών που επηρεάζουν τον όγκο της κίνησης, αλλά ανιχνεύει ένα μεγαλύτερο εύρος επιθέσεων όπως αυτές που επηρεάζουν τη σύσταση της κίνησης σε ένα ή περισσότερα δικτυακά μονοπάτια. Η προτεινόμενη μεθοδολογία συνδυάζει αποτελεσματικά συσχετισμένα δεδομένα με σκοπό την αποκάλυψη ανωμαλιών που διατρέχουν ένα ή περισσότερα γειτονικά στοιχεία του δικτύου, και επιτρέπει την αναγνώριση των δικτυακών μονοπατιών στο γράφο του δικτύου που περιέχουν την ανωμαλία. Στα πλαίσια της παρούσας διατριβής, η προτεινόμενη μεθοδολογία εφαρμόζεται σε διαφορετικά είδη δικτύων που αναμένεται να είναι αναπόσπαστα τμήματα των μελλοντικών υποδομών του Διαδικτύου, όπως είναι τα δίκτυα ευρείας ζώνης, τα Ασύρματα Δίκτυα Αισθητήρων και τα υβριδικά Δίκτυα Αυτοκίνησης. Σε κάθε περίπτωση, αναλύεται η εφαρμογή της προτεινόμενης μεθόδου λαμβάνοντας υπόψη τα ιδιαίτερα χαρακτηριστικά κάθε δικτύου, και μελετάται η αποτελεσματικότητα της μεθοδολογίας μέσω προσομοίωσης ή/και εξομοίωσης. Η προτεινόμενη μέθοδος μπορεί να εφαρμοστεί σε ένα ευρύ φάσμα υπηρεσιών ανίχνευσης ανωμαλιών, όπως η αναγνώριση ανωμαλιών σε μια σειρά μετρήσεων, η αποκάλυψη ύπαρξης ελαττωματικών αισθητήρων, η ανίχνευση πιθανών δικτυακών επιθέσεων και το φιλτράρισμα ύποπτων αναφορών κατά την διαδικασία εξαγωγής αποφάσεων.