Parallel query processing for cloud computing environments

Abstract

Massive datasets of unprecedented sizes are emerging in diverse fields. These datasets require tools to be effectively analyzed in order to extract value. Massively parallel tools have emerged to address these challenges. Most importantly, core emphasis must be focused on enabling tasks to be parallelized to the optimal. Thus the aim of this thesis is to provide a method of answering queries in a single round of Map Reduce. With special focus on input, that is, binary relations and ”fat” relations. A multiway join algorithm is implemented on the two types of inputs and comparisons are made, where we find that "fat" relations achieve better process time due to the nature of these datasets. In the case of "fat" relations it is studied in the context of data integration, that is, an application is proposed to crosschecking multiple data sources with conflicting information. The case of binary relation is also studied with regard to RDF datasets, which is a significantly important application in the realm of management of semantic web data, and achieve significant increase in the speed of query processing.

Μαζικά σύνολα δεδομένων με πρωτοφανείς διαστάσεις εμφανίζονται πρόσφατα σε πολλούς τομείς. Αυτά τα σύνολα δεδομένων απαιτούν ειδικά εργαλεία ώστε να αναλύονται αποτελεσματικά και να εξάγονται χρήσιμες πληροφορίες από αυτά. Για την αντιμετώπιση αυτών των προκλήσεων έχουν δημιουργηθεί παράλληλα εργαλεία κατάλληλα για μαζικά δεδομένα. Το σημαντικότερο είναι να δοθεί ιδιαίτερη έμφαση ώστε να μπορούμε να παραλληλίσουμε διεργασίες στον βέλτιστο δυνατό βαθμό. Εν αντιστοιχία,ο σκοπός αυτής της διατριβής είναι να παράσχει μια μέθοδο απάντησης επερωτήσεων χρησιμοποιώντας ένα μόνο γύρο της τεχνικής του MapReduce. Αυτό επιτυγχάνεται δίδοντας ιδιαίτερη έμφαση στα δεδομένα εισόδου,δηλαδή σε δυαδικές ή «παχιές» σχέσεις δεδομένων . Yλοποιούμε έναν αλγόριθμο πολλαπλών συζεύξεων (“multiway join”) στους δύο αυτούς τύπους εισόδων και πραγματοποιούμε συγκρίσεις, όπου διαπιστώνουμε ότι οι «παχιές» σχέσεις δεδομένων επιτυγχάνουν καλύτερο χρόνο επεξεργασίας λόγω της φύσης αυτών των συνόλων δεδομένων. Η περίπτωση των "παχιών"σχέσεων δεδομένων, εξετάζεται στο πλαίσιο της ενοποίησης δεδομένων,συγκεκριμένα προτείνεται μια εφαρμογή για τη διασταύρωση των πληροφοριών στις πηγές των πολλαπλών δεδομένων, όταν υπάρχουν αντικρουόμενες πληροφορίες. Η περίπτωση των δυαδικών σχέσεων δεδομένων μελετάται επίσης σε σχέση με τα σύνολα δεδομένων RDF, τα οποία αποτελούν μια σημαντική εφαρμογή στον τομέα της διαχείρισης των σημασιολογικών δεδομένων ιστού και επιτυγχάνουμε σημαντική αύξηση στην ταχύτητα της επεξεργασίας επερωτημάτων.