Complex event forecasting

Abstract

As analytics moves towards a model of proactive computing, the requirement for forecasting acquires more importance. Systems with forecasting capabilities can play a significant role in assisting users to make smart decisions as soon as critical situations are detected. Being able to forecast that certain patterns in a stream have a high probability of being detected before they are actually detected can help an analyst focus early on what is important and possibly take a proactive action. The need for event forecasting as a means for proactive behavior has led to proposals about how forecasting could be conceptualized and integrated within a complex event processing system. However, such proposals still remain largely at a conceptual level, without providing concrete algorithms. On the other hand, there is a substantial body of work on the related field of time-series forecasting. However, time-series analysis is usually applied on numerical data streams, where each element of the stream corresponds to a measurement of some variable of interest. Moreover, these measurements are often assumed to take place at time intervals of constant length. On the contrary, event processing systems need to be able to additionally deal with symbolic/categorical streams, where each element might be accompanied by arguments, either numerical or symbolic, arriving at unspecified timepoints. The goal of this work is to provide a theoretical basis and build a prototype system for forecasting the occurrence of complex event patterns. This will be achieved by advancing the state-of-the-art in automaton models, going beyond classical automata, so that patterns can have the expressive power required by complex event processing applications. A probabilistic framework will subsequently be used, so that the behavior of these automaton models may be quantified in a way that allows for producing forecasts with confidence. The resulting system will be evaluated against synthetic datasets (for verification purposes) and against real-world datasets in order to demonstrate the applicability of the proposed system.

Όσο η ανάλυση δεδομένων κινείται προς ένα μοντέλο προδραστικού υπολογισμού, τόσο οι απαιτήσεις για τη δυνατότητα πρόβλεψης αποκτούν περισσότερη σημασία. Τα προβλεπτικά συστήματα μπορούν να βοηθήσουν σε σημαντικό βαθμό έναν χρήστη να λάβει έξυπνες αποφάσεις αμέσως μόλις εμφανιστούν κρίσιμες καταστάσεις. Η δυνατότητα να προβλεφθεί ότι ένα μοτίβο σε μια ροή δεδομένων έχει υψηλή πιθανότητα να εντοπιστεί πριν αυτό πραγματικά εντοπιστεί μπορεί να βοηθήσει έναν αναλυτή να εστιάσει από νωρίς σε ό,τι είναι σημαντικό και πιθανώς να προχωρήσει σε μια προληπτική δράση. Η ανάγκη για πρόβλεψη γεγονότων ως ένα μέσο προδραστική συμπεριφοράς έχει οδηγήσει στην εφμάνιση κάποιων προτάσεων σχετικά με το πώς η πρόβλεψη θα μπορούσε να εννοιοποιηθεί και να ενσωματωθεί εντός ενός συστήματος επεξεργασίας σύνθετων γεγονότων. Ωστόσο, αυτές οι προτάσεις έχουν παραμείνει σε ένα αφηρημένο επίπεδο, χωρίς να παρέχουν συγκεκριμένες υλοποιήσεις. Από την άλλη, υπάρχει ένα σημαντικό σώμα δουλειάς στο πεδίο της πρόβλεψης χρονο-σειρών. Όμως η ανάλυση χρονο-σειρών εφαρμόζεται συνήθως σε ροές αριθμητικών δεδομένων, όπου κάθε στοιχείο της ροής αντιστοιχεί στη μέτρηση μιας μεταβλητής. Επιπλέον, γίνεται η υπόθεση ότι τέτοιες μετρήσεις λαμβάνουν χώρα σε τακτά χρονικά διαστήματα. Αντιθέτως, τα συστήματα αναγνώρισης σύνθετων γεγονότων πρέπει να μπορούν να χειρίζονται και ροές συμβολικών / κατηγορικών δεδομένων, όπου κάθε στοιχείο μπορεί να συνοδεύεται από ορίσματα, είτε αριθμητικά είτε συμβολικά, και που καταφθάνουν σε μη τακτά διαστήματα. Ο σκοπός αυτής της διατριβής είναι να παρέχει μια θεωρητική βάση και να χτίσει ένα πρωτότυπο σύστημα πρόβλεψης σύνθετων γεγονότων. Αυτό θα καταστεί εφικτό μέσω της επέκτασης των υπαρχόντων μοντέλων αυτομάτων, πηγαίνοντας ένα βήμα παραπέρα από τα κλασσικά αυτόματα, έτσι ώστε τα μοτίβα να έχουν την εκφραστική δύναμη που απαιτείται σε εφαρμογές επεξεργασίας γεγονότων. Κατόπιν, θα αναπτυχθεί ένα πιθανοτικό πλαίσιο έτσι ώστε να μπορεί να ποσοτικοποιηθεί η συμπεριφορά αυτών των αυτομάτων με τρόπο που να επιτρέπει την εξαγωγή προβλέψεων. Το τελικό σύστημα θα αξιολογηθεί τόσο σε συνθετικά δεδομένα (για σκοπούς επαλήθευσης) όσο και σε πραγματικά δεδομένα ώστε να καταδειχθεί η χρησιμότητά του.