Big data analysis in humanities and economics with machine learning techniques and use of cloud computing technologies

Abstract

Sentiment Analysis has been extensively investigated in recent years as a method of human emotions’ classification to specific events, products, services etc. It is considered as a very important problem, especially for organizations or companies who want to know the consumers’ view about their products and services. In combination with the evolution of social media, it has been established as an interesting domain of research. Through social media, people tend to express their opinions or feelings, such as happiness or sadness on a daily basis. Thus, the vast amount of available data has made the existing solutions inappropriate and the need for automated analysis methods is imperative. In this thesis, it was examined sentiment polarity analysis on Twitter data in a distributed environment, known as Apache Spark. More specially, in this thesis are propose three classification algorithms for tweet level sentiment analysis in Spark due to its suitability for Big Data processing against its predecessors, MapReduce and Hadoop. Also The research to study the effects of economic policy uncertainty on the return volatility of stock with data from the largest banking institutions in Greece. Volatility is constructed using intraday data, whereas the research period extends over a period of about thirteen years, more specifically from January 5, 2001, to June 30, 2014. This period contains various phases of the market such as stock market crashes along with stock market booms (e.g. the financial crisis of 2007 and 2008 in the United States, and the European sovereign debt crisis). The estimated regressions were used to indicate the direct effects of economic policy uncertainty on the return volatility of the stock in the four large Greek banks. Volatility is constructed based on intraday data, whereas four different estimators of volatility were used

Η Ανάλυση Συναισθήματος έχει διερευνηθεί εκτενώς τα τελευταία χρόνια ως μέθοδος ταξινόμησης των ανθρώπινων συναισθημάτων σε συγκεκριμένα γεγονότα, προϊόντα, υπηρεσίες κ.λπ. Θεωρείται ως ένα πολύ σημαντικό πρόβλημα, ειδικά για οργανισμούς ή εταιρείες που θέλουν να γνωρίζουν την άποψη των καταναλωτών για τους προϊόντα και υπηρεσίες. Σε συνδυασμό με την εξέλιξη των μέσων κοινωνικής δικτύωσης, έχει καθιερωθεί ως ένας ενδιαφέρον τομέας έρευνας. Μέσω των social media, οι άνθρωποι τείνουν να εκφράζουν τις απόψεις ή τα συναισθήματά τους, όπως ευτυχία ή λύπη σε καθημερινή βάση. Έτσι, ο τεράστιος όγκος των διαθέσιμων δεδομένων έχει καταστήσει τις υπάρχουσες λύσεις ακατάλληλες και η ανάγκη για αυτοματοποιημένες μεθόδους ανάλυσης είναι επιτακτική. Σε αυτή τη διατριβή, εξετάστηκε η ανάλυση πολικότητας συναισθήματος σε δεδομένα από το Twitter σε ένα κατανεμημένο περιβάλλον, γνωστό ως Apache Spark. Πιο συγκεκριμένα, σε αυτή τη διατριβή προτείνονται τρεις αλγόριθμοι ταξινόμησης για ανάλυση συναισθήματος σε επίπεδο tweet στο Spark λόγω της καταλληλότητάς του για επεξεργασία Big Data έναντι των προκατόχων του, MapReduce και Hadoop. Επίσης εξετάστηκαν οι επιπτώσεις της αβεβαιότητας της οικονομικής πολιτικής στη μεταβλητότητα των αποδόσεων των μετοχών με στοιχεία από τα μεγαλύτερα τραπεζικά ιδρύματα στην Ελλάδα. Η μεταβλητότητα κατασκευάζεται με χρήση ημερήσιων δεδομένων, ενώ η ερευνητική περίοδος εκτείνεται σε μια περίοδο περίπου δεκατριών ετών, πιο συγκεκριμένα από τις 5 Ιανουαρίου 2001 έως τις 30 Ιουνίου 2014. Αυτή η περίοδος περιλαμβάνει διάφορες φάσεις της αγοράς, όπως κραχ του χρηματιστηρίου μαζί με μετοχές άνθηση της αγοράς (π.χ. η χρηματοπιστωτική κρίση του 2007 και του 2008 στις Ηνωμένες Πολιτείες και η κρίση του ευρωπαϊκού δημόσιου χρέους). Οι εκτιμώμενες παλινδρομήσεις χρησιμοποιήθηκαν για να υποδείξουν τις άμεσες επιπτώσεις της αβεβαιότητας της οικονομικής πολιτικής στη μεταβλητότητα της απόδοσης της μετοχής στις τέσσερις μεγαλύτερες Ελληνικές τράπεζες. Για τη μελέτη των ημερήσιων δεδομένων της μεταβλητότητας χρησιμοποιήθηκαν τέσσερις διαφορετικοί εκτιμητές.