Big data analytics in economics: techniques and applications

Abstract

Advancements in applied econometrics have significantly reshaped how economic phenomena are analyzed, forecasted, and evaluated. The increasing availability of high-frequency and granular data, combined with machine learning (ML) techniques, has provided new opportunities to enhance forecasting accuracy, improve causal inference, and incorporate heterogeneity in economic models. This thesis contributes to this evolving landscape by integrating advanced econometric methodologies with ML to improve predictive performance and policy evaluation. Through two case studies in real estate economics and energy economics, this research demonstrates how machine learning-enhanced econometrics can refine estimations, optimize policy interventions, and reduce costs in experimental setups. The first study addresses real estate economics, where precise house price forecasting and bubble detection are critical for financial stability and market efficiency. Traditional econometric models often fail to capture spatial heterogeneity and cross-sectional dependencies, leading to biased estimations. By incorporating heterogeneous panel estimators within a ML framework, this research enhances forecasting models to improve early warning mechanisms for real estate bubbles. This methodological advancement not only benefits financial markets and investors but also provides policymakers with tools to prevent housing-driven economic crises. The second study focuses on energy economics, where causal inference plays a crucial role in designing effective interventions for energy conservation. Behavioral-based policies, such as home energy reports (HERs), are widely used to encourage energy-efficient behavior. However, conventional estimation methods often overlook the substantial heterogeneity in consumer responses. This research integrates causal machine learning techniques to estimate heterogeneous treatment effects (HTEs) and target the most responsive consumer segments. By leveraging these insights, the study optimizes intervention strategies, demonstrating how precision-targeted policies can achieve greater energy savings at a lower cost. Both studies contribute to the broader field of applied econometrics, emphasizing the importance of incorporating heterogeneity in forecasting models and causal inference frameworks. The integration of econometrics with ML enhances the precision of estimations, leading to more efficient policy design and cost reduction in experimental setups. This research highlights the importance of methodological advancements in economics, demonstrating how improved analytical techniques can lead to more precise economic forecasting, effective market regulation, and well-informed public policy. By bridging the gaps between the traditional econometric techniques and the modern machine learning approaches, this thesis provides a framework for improving analytical outcomes in diverse economic settings. Future research should explore further applications of these methodologies in areas such as climate policy, financial risk management, and taxation strategies, ensuring that economic models remain adaptive and responsive to an increasingly complex world.

Οι εξελίξεις στην εφαρμοσμένη οικονομετρία έχουν μετασχηματίσει σημαντικά τον τρόπο με τον οποίο τα οικονομικά φαινόμενα αναλύονται, προβλέπονται και αξιολογούνται. Η ραγδαία αύξηση των μεγάλων δεδομένων (big data), σε συνδυασμό με τις εξελίξεις στην μηχανική μάθηση (ML), έχουν δημιουργήσει νέες ευκαιρίες για τη βελτίωση της ακρίβειας των προβλέψεων, την ενίσχυση της αιτιώδους ανάλυσης (causal analysis) και την ενσωμάτωση της ετερογένειας στα οικονομικά μοντέλα. Η παρούσα διατριβή συμβάλλει προς αυτή την κατεύθυνση αφού συνδυάζει οικονομετρικές μεθόδους με μηχανική μάθηση, βελτιώνοντας τη προβλεπτική ικανότητα των μοντέλων αλλά και την αξιολόγηση οικονομικών πολιτικών. Μέσα από δύο μελέτες περίπτωσης, στην οικονομία των ακινήτων (real estate economics) και την οικονομία της ενέργειας (energy economics), η έρευνα αυτή υπογραμμίζει πώς η ενσωμάτωση της μηχανικής μάθησης στην οικονομετρία μπορεί να οδηγήσει σε πιο ακριβείς εκτιμήσεις, αποδοτικότερες οικονομικές πολιτικές και μείωση κόστους σε πειραματικές εφαρμογές. Η πρώτη μελέτη επικεντρώνεται στην αγορά των ακινήτων, όπου η ακριβής πρόβλεψη των τιμών των ακινήτων και η έγκαιρη ανίχνευση ακραίων τιμών (bubbles) είναι κρίσιμες για τη χρηματοοικονομική σταθερότητα και την αποτελεσματικότητα των αγορών. Τα παραδοσιακά οικονομετρικά μοντέλα συχνά αποτυγχάνουν να συλλάβουν την χωρική ετερογένεια (crosssectional heterogeneity) και τις διαστρωματικές εξαρτήσεις (cross-sectional dependencies), οδηγώντας σε μεροληπτικές εκτιμήσεις. Με την ενσωμάτωση νέων μοντέλων μηχανικής μάθησης που λαμβάνουν υπόψιν την ετερογένεια των δεδομένων πανελ (panel data), η έρευνα αυτή βελτιώνει τα υποδείγματα πρόβλεψης, προσφέροντας μηχανισμούς έγκαιρης ανίχνευσης κερδοσκοπικών φαινομένων στην αγορά ακινήτων. Η βελτίωση αυτή ωφελεί όχι μόνο τις χρηματοπιστωτικές αγορές και τους επενδυτές, αλλά παρέχει και στους υπεύθυνους χάραξης πολιτικής εργαλεία για την αποτροπή κρίσεων στην αγορά ακινήτων.Η δεύτερη μελέτη εστιάζει στην αγορά της ενέργειας. Πιο συγκεκριμένα επικεντρώνεται στην εφαρμογή σύγχρονων υποδειγμάτων μηχανικής μάθησης προκειμένου να βελτιώσει τα αποτελέσματα των παρεμβάσεων για τη μείωση της κατανάλωσης ενέργειας. Οι πολιτικές που βασίζονται στη συμπεριφορά των καταναλωτών (nudges), όπως οι αναφορές οικιακής ενεργειακής κατανάλωσης (HERs), χρησιμοποιούνται ευρέως για την προώθηση της ενεργειακής απόδοσης. Ωστόσο, οι συμβατικές μέθοδοι εκτίμησης συχνά παραβλέπουν την ύπαρξη ετερογένειας στον τρόπο με τον οποίο οι καταναλωτές αντιλαμβάνονται τις επιδράσεις. Αυτή η έρευνα ενσωματώνει τεχνικές αιτιώδους μηχανικής μάθησης (causal ML), για την ανίχνευση ετερογενών αιτιωδών επιδράσεων (HTEs) σε παρεμβάσεις μείωσης της κατανάλωσης ενέργειας ενώ ταυτόχρονα στοχεύει στην επιλογή καταναλωτών που εμφανίζουν τη μεγαλύτερη ανταπόκριση σε αυτές. Μέσα από αυτήν την προσέγγιση βελτιώνονται περαιτέρω οι στρατηγικές της παρέμβασης, ενώ αποδεικνύεται ότι οι στοχευμένες οικονομικές πολιτικές μπορούν να οδηγήσουν σε μεγαλύτερη εξοικονόμηση ενέργειας και ταυτόχρονα σε χαμηλότερο κόστος. Οι δύο μελέτες συμβάλλουν στο ευρύτερο πεδίο της εφαρμοσμένης οικονομετρίας, δίνοντας έμφαση στη ενσωμάτωσης της έννοιας της ετερογένειας στα υποδείγματα πρόβλεψης και αιτιώδους συμπερασματολογίας (causal inference). Ο συνδυασμός της οικονομετρίας με τη μηχανική μάθηση οδηγεί σε πιο ακριβείς εκτιμήσεις, αποδοτικότερο σχεδιασμό πολιτικών και μείωση του κόστους των πειραματικών εφαρμογών. Η έρευνα αυτή υπογραμμίζει τον ρόλο των εξελίξεων στις μεθοδολογίες της οικονομικής ανάλυσης, δείχνοντας πώς οι βελτιωμένες τεχνικές μπορούν να ενισχύσουν την ακρίβεια των προβλέψεων, να βελτιώσουν τη ρύθμιση των αγορών και να υποστηρίξουν αποτελεσματικότερες οικονομικές πολιτικές. Συνδυάζοντας παραδοσιακές οικονομετρικές τεχνικές με σύγχρονες μεθόδους μηχανικής μάθησης, η διατριβή αυτή παρέχει ένα νέο πλαίσιο ανάλυσης διαφόρων οικονομικών φαινομένων. Μελλοντικές έρευνες θα μπορούσαν να διευρύνουν την εφαρμογή των μεθοδολογιών αυτών σε άλλους τομείς, όπως η περιβαλλοντική πολιτική, οι φορολογικές στρατηγικές και οι εξατομικευμένες χρηματοοικονομικές υπηρεσίες, προκειμένου να βελτιστοποιηθεί περαιτέρω η τεκμηριωμένη χάραξη πολιτικής (evidence-based policymaking).