Πολυδιάστατοι αλγόριθμοι συσταδοποίησης και διαχείρισης γνώσης βασισμένοι σε ισομορφική υπερκυβική τοπολογία

Abstract

The present research Thesis focuses on the scientific field of knowledge management and data fusion, by using specific algorithmic procedures based on hypercubic models and recursive k-means clustering.

One of the basic future problems of modern data analysis and knowledge management will be the huge amount and volume of generated data, from internet, social media and Web 2.0 technologies. Especially in the domain of Energy and Smart Grids, some petabytes of information will be created by the smart metering infrastructure. The increasing number and speed of internet connections can be seen as the tool for measuring electricity and consumers’ behavior on energy consumption, giving an added value to consumer access and interactive web approach to energy and energy related solutions. An increasing number of consumers from all levels of the society, cultures, lifestyles and social status have continuous internet access to social networks and internet groups, through broadband connections.

In this research Thesis, a new methodology and algorithmic procedure is proposed, based on distributed hypercubic recursive clustering process (RKM: Recursive K- Means). A web-based knowledge system is proposed, using distributed cloud architecture and metering grids over ADSL broadband connections. By using some clustering algorithms and a web middleware, we analyse and observe energy profiles over time. The resulted clusters and centroids, are projected and statistically analysed over time, producing a centroid-locus. Hypercube topology was used for efficient data management and software agent-based parallel analysis. The system operates efficiently on a multi-tier cloud-based middleware that generates in real-time various service software components to the end consumers.

There are case studies on real Greek energy measurements and some Learning Management Systems (LMS) data, for the first time in Greece, indicating a compact and efficient distributed procedure that could analyse and produce adaptive personalised information services. The technique allows creation of dynamic clusters of customers, each with a representative centroid, which can lead to the discovery of links among different consumers, categories and then to the possibility of introducing new adaptive service strategies

Η παρούσα Διατριβή επικεντρώνεται στην έρευνα και εφαρμογή συγκεκριμένων καινοτόμων μεθοδολογιών διαχείρισης γνώσης που έχουν σαν απώτερο στόχο την θεμελίωση νέων αλγοριθμικών τεχνικών συσταδοποίησης σε πραγματικό χρόνο δομημένου ή μη-δομημένου περιεχομένου, με σκοπό την πιο αποτελεσματική και γρήγορη εύρεση και συσχέτιση πληροφορίας. Η φιλοσοφία βασίζεται σε μία νέα χρήση της Υπερκυβικής Τοπολογίας (Hypercube) και του αλγορίθμου υπερκυβικής δρομολόγησης του L. Valiant, αλλά και στην χρήση δυναμικών αναδρομικών μεθόδων συσταδοποίησης.

Ένα από τα βασικά προβλήματα και θέματα στην διαχείριση γνώσης και πληροφορίας, είναι ο μεγάλος αριθμός και όγκος δεδομένων, όπου βάσει της Web 2.0 φιλοσοφίας και των κοινωνικών δικτύων, αυξάνεται γεωμετρικά. Η μεθοδολογία και οι αλγοριθμικές τεχνικές που αναπτύχθηκαν στα πλαίσια της παρούσας διατριβής, πιλοτικά εφαρμόστηκαν στον τομέα της Ενέργειας, των Ευφυών Δικτύων, του smart metering και των Ενεργειακών Πληροφοριακών Συστημάτων. Ο τομέας των ευφυών δικτύων θα δημιουργήσει τα επόμενα χρόνια petabytes από δεδομένα, λόγω της εγκατάστασης έξυπνων μετρητών ηλεκτρικής ενέργειας. Η Διατριβή προτείνει μία νέα μεθοδολογία και μαθηματικό μοντέλο για ανάλυση δεδομένων σε πραγματικό χρόνο και συσχέτιση συγκριμένων δεικτών, με σκοπό την διαχείριση συμπερασμάτων και υπηρεσιών, ως εργαλείο λήψης απόφασης και συγχώνευση γνώσης

Ο αλγόριθμος και οι παραλλαγές του εφαρμόσθηκαν σε δύο κατηγορίες πληροφοριακών πόρων: 1) στατιστικά δεδομένα (log statistical files) από LMS (Learning Management Systems), δηλ. Εκπαιδευτικά Πληροφοριακά Συστήματα για ανάλυση και εξόρυξη γνώσης σχετικά με διαδικασίες και αξιολόγηση τηλεκπαίδευσης (e-learning) αλλά και 2) σε ενεργειακά δεδομένα με απώτερο στόχο την δημιουργία ενός έξυπνου μεσισμικού (middleware) το οποίο, μέσω ενός cloud-based Ενεργειακού Πληροφοριακού Συστήματος να δημιουργήσει έξυπνα και προσαρμοστικά ενεργειακά προφίλ καταναλωτών και να παράσχει έξυπνες υπηρεσίες στην ενεργειακή αγορά. Οι εφαρμογές του αλγορίθμου στον τομέα της Ενέργειας αναλύονται και συγκρίνονται διεξοδικά, με βάση τις διάφορες μαθηματικές μεθοδολογίες κατανεμημένης συσταδοποίησης σε δυαδικό υπο-χώρο