Linked open government data analytics

Abstract

Public sector produces, collects, maintains, and disseminates a wealth of data. It is widely recognised the potential of exploiting these government data to boost among others economic activity, innovation and public administration transparency.In 2009, responding to the call of Sir Tim Berners-Lee, inventor of the world wide web, governments worldwide started to massively make data available online in open licenses and technical formats that facilitate reuse. They launched Open Government Data (OGD) portals that operate as single points of access for government data.The focus of this thesis is the OGD movement and its contribution in realising the potential of government data. Towards this end, we study OGD in a holistic approach by taking into account the viewpoints of both providers and consumers.Initiatives that provide OGD are part of public sector and as such they inherit deficiencies coming from the decentralised organisational structure of public sector, which comprises multiple administrative levels and functional areas. Moreover, the technological formats and the structure of data that are provided through OGD portals affect data exploitation. Linked Data has been early proposed as the most advanced technological paradigm for opening up data because it facilitates data integration across the Web. Moreover, aggregated statistics (e.g. economic and social indicators) structured as multi-dimensional data cubes constitute a major part of OGD.On the other hand, consumers perceive OGD as a small fraction of massive amounts of data that are daily produced and made available on the Web from various sources such as social media, research institutions, and news media. These data are provided in different technological formats and sometimes with diverse access constraints. In this emerging reality, the integration of OGD with other Web data is of vital importance for addressing the needs of consumers. Moreover, we consider that OGD exploitation has to capitalise on the paradigm of data analytics, which has already enabled organisations to successfully exploit their own data in various problem areas such as business intelligence.Within this problem formulation in this thesis we explore (a) provision, (b) integration, and (c) exploitation in data analytics of OGD and we propose specific solutions, including conceptual models, architectures, and software tools, that contribute towards realising the full potential of government data. The proposed solutions are evaluated in scenarios that involve real-world datasets from OGD portals, social media, clinical trials, etc. Since OGD movement emerged only recently we ground our analysis in traditional conceptual models of electronic government.The contribution of this thesis can be summarised as follows:Provision•An OGD classification scheme that provides an understanding of the domain.•An OGD stage model that can be used as a roadmap for future endeavours.•A process model that describe the lifecycle of multi-dimensional OGD.Integration•Architectures and implementations for integrating OGD and social media data on the Linked Data Web.•A theoretical framework for integrating multi-dimensional OGD.•An analysis of the challenges for integrating multi-dimensional OGD on the Linked Data Web.Exploitation in Data Analytics•A set of software tools that enable performing online analytical processing (OLAP) analytics on top of multiple datasets across the Linked Data Web.•A study of performing exploratory analytics on top of integrated data for elections understanding.•A process model that enables exploiting social media data in predictive analytics. The model was used to evaluate the predictive power of social media and to design a case for predicting winner of 2010 UK elections using integrated Twitter and linked open data.Access•An access control framework that enables combining open and private data on the Linked Data Web.

Ο δημόσιος τομέας παράγει, συλλέγει, συντηρεί και διανέμει πληθώρα δεδομένων. Είναι κοινά αποδεκτή η δυναμική της αξιοποίησης των κυβερνητικών δεδομένων για την ενίσχυση, μεταξύ άλλων, της οικονομικής δραστηριότητας, της καινοτομίας, και της διαφάνειας στην δημόσια διοίκηση.Το 2009, ανταποκρινόμενες στην πρόσκληση του Sir Tim Berners-Lee, εφευρέτη του παγκόσμιου ιστού, οι κυβερνήσεις σε όλο τον κόσμο άρχισαν να διαθέτουν μαζικά τα δεδομένα τους χρησιμοποιώντας ανοικτές άδειες και τεχνικές μορφοποιήσεις που διευκολύνουν την επαναχρησιμοποίηση. ́Ιδρυσαν πύλες Ανοικτών Κυβερνητικών Δεδομένων (ΑΚΔ) οι οποίες λειτουργούν ως μοναδικό σημείο πρόσβασης για κυβερνητικά δεδομένα.Το επίκεντρο αυτής της διατριβής είναι το κίνημα των ΑΚΔ και η συμβολή του στην υλοποίηση της δυναμικής των κυβερνητικών δεδομένων. Προς το σκοπό αυτό, μελετούμε τα ΑΚΔ με μία ολιστική προσέγγιση, λαμβάνοντας υπόψη την οπτική τόσο των παρόχων όσο και των καταναλωτών.Οι πρωτοβουλίες που παρέχουν ΑΚΔ αποτελούν μέρος του δημόσιου τομέα και συνεπώς κληρονομούν ελλείψεις που προέρχονται από την αποκεντρωμένη οργανωτική δομή του δημοσίου, η οποία περιλαμβάνει πολλαπλά επίπεδα διοίκησης και λειτουργικές περιοχές. Επιπλέον, οι τεχνολογικές μορφοποιήσεις και η δομή των δεδομένων που παρέχονται μέσω των διαδικτυακών πυλών ΑΚΔ επηρεάζουν την αξιοποίηση των δεδομένων. Τα συνδεδεμένα δεδομένα (linked data) έχουν από νωρίς προταθεί ως το πιο προηγμένο τεχνολογικό παράδειγμα για το «άνοιγμα» των δεδομένων στον Ιστό. Επίσης, συγκεντρωτικά στατιστικά (π.χ. οικονομικοί και κοινωνικοί δείκτες) τα οποία δομούνται ως πολυ-διάστατοι κύβοι αποτελούν ένα σημαντικό μέρος των ΑΚΔ.Από την άλλη πλευρά, οι καταναλωτές αντιλαμβάνονται τα ΑΚΔ ως ένα μικρό κλάσμα από τις τεράστιες ποσότητες δεδομένων που παράγονται και διατίθενται καθημερινά στον ιστό από διάφορες πηγές όπως τα μέσα κοινωνικής δικτύωσης, τα ερευνητικά ιδρύματα, και τα μέσα ενημέρωσης. Αυτά τα δεδομένα παρέχονται με διαφορετικές τεχνολογικές μορφοποιήσεις και κάποιες φορές με ποικίλους περιορισμούς πρόσβασης. Σε αυτή τη νέα πραγματικότητα, η σύνδεση των ΑΚΔ με άλλα δεδομένα του Ιστού είναι απαραίτητη για την ικανοποίηση των αναγκών των καταναλωτών. Επίσης, θεωρούμε ότι η αξιοποίηση των ΑΚΔ θα πρέπει να κεφαλαιοποίηση το παράδειγμα της αναλυτικής δεδομένων (data analytics), το οποίο έχει ήδη επιτρέψει σε οργανισμούς να αξιοποιήσουν τα δικά τους δεδομένα σε ποικίλες περιοχές όπως στην επιχειρηματική ευφυΐα.Μέσα σε αυτήν την διαμόρφωση του προβλήματος στην παρούσα διατριβή διερευνούμε (α) την παροχή, (β) την ολοκλήρωση, και (γ) την αξιοποίηση με αναλυτική δεδομένων των ΑΚΔ και προτείνουμε συγκεκριμένες λύσεις που περιλαμβάνουν θεωρητικά μοντέλα, αρχιτεκτονικές, και εργαλεία λογισμικού, τα οποία συμβάλουν προς την πραγματοποίηση της πλήρης προοπτικής των κυβερνητικών δεδομένων. Οι προτεινόμενες λύσεις αξιολογούνται σε σενάρια που περιλαμβάνουν σύνολα δεδομένα από ΑΚΔ πύλες, μέσα κοινω- νικής δικτύωσης, ερευνητικά πειράματα, κλπ. Καθώς το κίνημα των ΑΚΔ αναδύθηκε μόλις πρόσφατα βασίζουμε την ανάλυση μας σε παραδοσιακά θεωρητικά μοντέλα της ηλεκτρονικής διακυβέρνησης.