Διαχείριση περιεχομένου με χρήση κατανεμημένου συστήματος αρχείων σε πληροφοριοκεντρικά δίκτυα

Abstract

The continuous growth of Internet users has created new challenges in managing the distributed content, which may be located anywhere around the globe. This thesis aims in providing an integrated solution for distributed content management and in this course, it identifies three layers: organization, discovery and delivery of content to the end user. For each one of these layers, an outline of the existing technologies is provided, while new methods are also identified, which improve the behavior of the current solutions in the literature and thus, the overall system performance. Integration of all the three layers is achieved by using standard technologies, to which this thesis has contributed.In the content delivery layer, information-centric networks are studied, which have emerged as a promising technology that can be used in the Internet of the future. Considering that, both today and in the near future, video streaming and peer to peer applications are expected to consume the greater fraction of Internet bandwidth, the performance of existing protocols is evaluated, while enhancements are suggested, which can improve the performance of the information-centric network, yielding advantages for all the Internet Service Providers (ISPs) and the end users.In the content discovery layer, the use of content-based publish/subscribe protocols is suggested, as they can better capture the users' requirements in terms of query expressiveness. On the other hand though, these protocols often have scalability issues, which are generally addressed in the literature by considering special characteristics of the underlying systems. The proposed approach improves the performance of standard algorithms employed in this context, both in terms of scalability and load balancing, by introducing the use of a distributed caching mechanism.In the content organization layer, a novel distributed file system called EuterpeFS is presented, which considers a dynamic directory structure based on ontologies specified by the users. The use of a standard data structure is suggested to be used as a unified container of distributed content, relying only on the content's descriptive metadata required for its discovery, while access control to it is performed in a distributed manner, by means of licenses expressed with a standard language.These three layers are integrated using MPEG-21 standard data structures and MPEG-M standard technologies. All the suggested content discovery and the content delivery protocols can be supported by these standards, which are anyway used by EuterpeFS. In this course, this thesis provides a transparent solution in content management, without changing anything in the most common way that users access information; that is, through files.

Η διαρκής αύξηση των χρηστών του διαδικτύου έχει δημιουργήσει νέες προκλήσεις σε ό,τι αφορά τη διαχείριση του διαθέσιμου περιεχομένου, το οποίο μπορεί να βρίσκεται αποθηκευμένο σε οποιοδήποτε σημείο του κόσμου. Η παρούσα διατριβή έχει ως στόχο να παράσχει μια ολοκληρωμένη λύση για τη διαχείριση του κατανεμημένου, πλέον, περιεχομένου αναγνωρίζοντας τρία επίπεδα: την οργάνωση, την ανακάλυψη και την παράδοσή του στο χρήστη. Για καθένα από αυτά τα επίπεδα, δίνεται ένα περίγραμμα των υπαρχουσών τεχνολογιών, ενώ παρουσιάζονται και νέες μέθοδοι, οι οποίες ενισχύουν τις τρέχουσες λύσεις που περιλαμβάνονται στη βιβλιογραφία, προκειμένου να αυξηθεί η απόδοση του συστήματος. Η ενοποίηση των τριών επιπέδων γίνεται με χρήση πρότυπων τεχνολογιών, η ανάπτυξη πολλών εκ των οποίων αποτέλεσε αντικείμενο έρευνας της διατριβής.Στο επίπεδο της παράδοσης του περιεχομένου στον τελικό χρήστη, μελετάται η χρήση πληροφοριοκεντρικών δικτύων, τα οποία έχουν αποτελέσει έναν από τους βασικούς άξονες έρευνας για τη μορφή που πρόκειται να έχει στο μέλλον το διαδίκτυο. Λαμβάνοντας υπόψη ότι σήμερα, αλλά και τα προσεχή χρόνια, ο μεγαλύτερος όγκος δεδομένων διακινείται από εφαρμογές βίντεο και από διαμοιρασμό περιεχομένου σε δίκτυα ομότιμων κόμβων, γίνεται μελέτη της επίδοσης διαδεδομένων πρωτοκόλλων σε αυτούς τους τομείς, ενώ προτείνονται και τρόποι βελτίωσης της απόδοσης του δικτύου, με αντίκτυπο τόσο στους παρόχους υπηρεσιών διαδικτύου όσο και στους τελικούς χρήστες.Στο επίπεδο της ανακάλυψης του περιεχομένου προτείνεται η χρήση πρωτοκόλλων δημοσίευσης/συνδρομής βασιζόμενων στο περιεχόμενο, το οποία μπορεί, αφενός, να ικανοποιούν καλύτερα τις ανάγκες των χρηστών σε εκφραστικότητα των ερωτημάτων τους, αλλά, αφετέρου, αντιμετωπίζουν προβλήματα κλιμάκωσης. Η προτεινόμενη προσέγγιση επιφέρει βελτίωση της απόδοσης του συστήματος σε σχέση με παραδοσιακές λύσεις τόσο σε όρους κλιμάκωσης όσο και εξισορρόπησης φόρτου, μέσω της χρήσης μηχανισμού κατανεμημένης κρυφής μνήμης.Στο επίπεδο της οργάνωσης του περιεχομένου παρουσιάζεται ένα κατανεμημένο σύστημα αρχείων, το οποίο θεωρεί δυναμική δομή καταλόγων, που προκύπτει από οντολογία καθορισμένη από τον ίδιο το χρήστη. Βασιζόμενο σε πρότυπες τεχνολογίες, προτείνει έναν ενιαίο τρόπο αναπαράστασης του κατανεμημένου περιεχομένου, χρησιμοποιώντας τα μεταδεδομένα της περιγραφής του που απαιτούνται για την ανακάλυψή του, ενώ η προστασία του γίνεται με άδειες χρήσης, οι οποίες ελέγχονται από κατανεμημένες υπηρεσίες, αποσυνδέοντας με αυτόν τον τρόπο τον πάροχο του περιεχομένου από διαδικασίες ελέγχου πρόσβασης. Η ενοποίηση του συστήματος γίνεται με χρήση των πρότυπων δομών δεδομένων του MPEG-21 και των πρότυπων τεχνολογιών του μεσισμικού MPEG-M. Τόσο το προτεινόμενο πρωτόκολλο ανακάλυψης όσο και τα πρωτόκολλα παράδοσης του περιεχομένου δύνανται να υποστηριχθούν από τα εν λόγω πρότυπα, τα οποία με τη σειρά του χρησιμοποιεί το προτεινόμενο κατανεμημένο σύστημα αρχείων. Έτσι, η διατριβή επιχειρεί να δώσει μια διαφανή λύση, η οποία δεν επηρεάζει σε τίποτα τον πιο συνηθισμένο τρόπο πρόσβασης του χρήστη στην πληροφορία, που είναι μέσω ενός αρχείου.