Advanced methods for explainable artificial intelligence based on fuzzy cognitive maps

Abstract

As Artificial Intelligence (AI) systems become increasingly integrated into high-stakes domains such as healthcare, industrial automation, and finance, the demand for transparency, interpretability, and trustworthiness has become paramount. While modern machine learning (ML) and deep learning (DL) models offer exceptional predictive capabilities, their opaque, black-box nature poses significant challenges for human understanding, auditing, and accountability. This has led to a surge of interest in eXplainable Artificial Intelligence (XAI), a research field devoted to creating methods that elucidate the reasoning behind AI-based decisions in a human-comprehensible manner. Despite considerable progress in this regard, existing XAI approaches, particularly post-hoc ones, often suffer from issues of fidelity, inconsistency, and vulnerability to manipulation, which casts doubt on the reliability of the provided explanations. More fundamentally, both interpretable and black-box models typically rely on correlation-based learning, making them susceptible to spurious correlations that compromise their robustness and generalizability. Furthermore, most models fail to incorporate expert domain knowledge, a gap that significantly weakens their utility in data-scarce or rapidly changing environments, where up-to-date human insight is crucial but not captured in existing datasets. In response to the aforementioned limitations, this dissertation investigates the use of Fuzzy Cognitive Maps (FCMs) for developing robust, interpretable, and causally grounded AI models. FCMs resemble knowledge-based recurrent neural networks and are represented as directed causal graphs. They have demonstrated high effectiveness in modeling and simulating dynamic complex systems and are widely applied to predictive tasks such as pattern classification, multi-output regression, and time-series forecasting. Their unique ability to combine expert knowledge with data-driven learning, while providing transparent and dynamic reasoning, makes them particularly suitable for the goals of XAI. Nevertheless, traditional FCMs still face significant challenges, including distinguishing causation from mere correlations in data, managing the computational complexity of analyzing and interpreting large-scale models, and the lack of methods for delivering actionable explanations. This dissertation presents three novel methodologies, each discussed in a dedicated chapter, that collectively aim to overcome these barriers and elevate the role of FCMs in the XAI landscape. The first contribution introduces Information Flow-Based Fuzzy Cognitive Maps (IF-FCMs), which incorporate Liang-Kleeman Information Flow (L-K IF) analysis into the FCM learning process. L-K IF analysis provides a mathematically rigorous framework for causal inference, enabling IF-FCMs to capture authentic causal relationships from multivariate time-series data. Unlike traditional data-driven FCM construction methods that rely on black-box or correlation-based learning algorithms, IF-FCMs embed these inferred relationships as structural constraints during training. This approach eliminates spurious associations, resulting in more accurate and interpretable models. Empirical validation using both synthetic and real-world industrial datasets confirms that IF-FCMs outperform classic FCMs and recent advanced variants. The second contribution addresses the scalability challenge of analyzing large and complex FCMs, where traditional explanation methods, such as causal effect analysis, become computationally infeasible owing to the combinatorial explosion of causal paths as the network size and edge density increase. To overcome this limitation and support interpretability in high-dimensional settings, the dissertation introduces the Total Causal Effect Calculation for FCMs (TCEC-FCM), an efficient algorithm designed to compute the total causal effect of one concept on another across all causal paths between them. TCEC-FCM combines binary search with graph traversal techniques, significantly reducing runtime complexity. Numerical simulations on synthetic networks of varying sizes and densities confirm its superior performance over baseline methods, thereby enhancing the global interpretability of large-scale FCMs. The third contribution introduces CF-BP (Counterfactuals via BackPropagation), a novel method for generating counterfactual explanations in quasi-nonlinear FCMs, a recent extension of traditional FCMs designed to overcome long-standing convergence issues. Counterfactual reasoning is vital for decision support because it helps users understand how input variables must change to achieve a specific outcome. CF-BP frames this as an optimization problem, identifying the minimal input perturbations required to achieve a desired output. This enables intuitive "what-if" analyses and reveals potential model biases, thereby promoting fairness and transparency. Leveraging the similarity between the recurrent reasoning processes of q-FCMs and forward propagation in artificial neural networks (ANNs), the proposed algorithm applies backpropagation to compute the required input changes efficiently. Empirical evaluations against eight model-agnostic counterfactual methods demonstrate CF-BP’s superior performance across key criteria, including proximity, sparsity, validity, stability, and computational efficiency. Beyond their theoretical value, the proposed methodologies were extensively tested in various high-impact domains, demonstrating their practical effectiveness. In industry, they were applied to predictive maintenance, fault detection in industrial and robotic systems, as well as overload diagnosis in electrical power grids, achieving significant improvements in diagnostic accuracy and interpretability. In environmental science, they were employed for the sustainable management of Mediterranean river basins through participatory modelling and simulations under different scenarios, revealing the growing pressure on water resources due to increasing demand and highlighting the importance of socio-economic parameters. Lastly, in medicine, our research showcased the potential of Causal eXplainable AI (CXAI) methods in enhancing transparency, robustness, and trust in clinical decision support systems for cancer diagnosis. Overall, these contributions advance the development of both XAI methodologies and FCMs, providing tools that make AI models more transparent, causally grounded, and reliable, which are key prerequisites for their safe deployment in critical areas.

Καθώς τα συστήματα τεχνητής νοημοσύνης (ΤΝ) διεισδύουν ολοένα και περισσότερο σε κρίσιμους τομείς, όπως η υγεία, η βιομηχανία και τα χρηματοοικονομικά, καθίσταται επιτακτική η ανάγκη για διαφάνεια, ερμηνευσιμότητα και αξιοπιστία. Ωστόσο, παρότι τα σύγχρονα μοντέλα μηχανικής και βαθιάς μάθησης επιτυγχάνουν εντυπωσιακές επιδόσεις πρόβλεψης, η λειτουργία τους ως «μαύρα κουτιά» δημιουργεί σοβαρά εμπόδια στην κατανόηση της συλλογιστικής τους, στην ανθρώπινη εποπτεία και στην απόδοση ευθύνης. Το πρόβλημα αυτό έχει αναδείξει την Ερμηνεύσιμη Τεχνητή Νοημοσύνη (eXplainable AI - XAI) ως ένα ταχέως αναπτυσσόμενο ερευνητικό πεδίο, με στόχο την ανάπτυξη μεθόδων που καθιστούν τις αποφάσεις των μοντέλων κατανοητές και επαληθεύσιμες από τον άνθρωπο. Παρά τη σημαντική πρόοδο στον τομέα της XAI, οι υφιστάμενες προσεγγίσεις, ιδίως οι οι «εκ των υστέρων» (post-hoc) τεχνικές, συχνά αντιμετωπίζουν προβλήματα πιστότητας, ασυνέπειας και ευαλωτότητας σε χειραγώγηση, υπονομεύοντας έτσι την αξιοπιστία των παραγόμενων εξηγήσεων. Σε ένα πιο θεμελιώδες επίπεδο, τόσο τα εγγενώς ερμηνεύσιμα όσο και τα black-box μοντέλα ΤΝ βασίζονται στη μάθηση από στατιστικές συσχετίσεις. Αυτό τα καθιστά επιρρεπή σε ψευδείς ή παραπλανητικές συσχετίσεις, οι οποίες μπορεί να οδηγήσουν σε μειωμένη ανθεκτικότητα και χαμηλή γενικευσιμότητα. Παράλληλα, η αδυναμία ενσωμάτωσης της γνώσης ειδικών περιορίζει την αποτελεσματικότητά τους σε περιβάλλοντα με περιορισμένα δεδομένα ή ταχέως μεταβαλλόμενα, όπου η επίκαιρη ανθρώπινη γνώση είναι ζωτικής σημασίας αλλά δεν έχει ακόμη αποτυπωθεί στα διαθέσιμα σύνολα δεδομένων. Ανταποκρινόμενη στους παραπάνω περιορισμούς, η παρούσα διατριβή εξετάζει τη χρήση των Ασαφών Γνωστικών Δικτύων (Fuzzy Cognitive Maps – FCMs) για την ανάπτυξη ανθεκτικών, ερμηνεύσιμων και αιτιακά θεμελιωμένων μοντέλων ΤΝ. Τα FCMs μοιάζουν με αναδρομικά, βασισμένα σε γνώση νευρωνικά δίκτυα και αναπαρίστανται ως κατευθυνόμενοι αιτιώδεις γράφοι. Έχουν αποδείξει υψηλή αποτελεσματικότητα στη μοντελοποίηση και προσομοίωση πολύπλοκων δυναμικών συστημάτων, ενώ βρίσκουν ευρεία εφαρμογή σε εφαρμογές πρόβλεψης, όπως η αναγνώριση προτύπων, η πολυπαραγοντική παλινδρόμηση και η πρόβλεψη χρονοσειρών. Η ικανότητά τους να συνδυάζουν γνώση ειδικών με δεδομένα, παρέχοντας ταυτόχρονα διαφανή και δυναμική συλλογιστική, τα καθιστά ιδιαίτερα κατάλληλα για τους στόχους XAI. Παρ’ όλα αυτά, τα παραδοσιακά FCMs εξακολουθούν να αντιμετωπίζουν σημαντικές προκλήσεις, όπως η διάκριση της αιτιότητας από απλές συσχετίσεις στα δεδομένα, η υπολογιστική πολυπλοκότητα στην ανάλυση και ερμηνεία μοντέλων μεγάλης κλίμακας, καθώς και η έλλειψη μεθόδων για την παροχή πρακτικά εφαρμόσιμων εξηγήσεων. Για την υπέρβαση αυτών των εμποδίων και στην ενίσχυση του ρόλου των FCMs στο πεδίο της XAI, η διατριβή παρουσιάζει τρεις καινοτόμες μεθοδολογίες, κάθε μία εκ των οποίων αναλύεται σε ξεχωριστό κεφάλαιο. Η πρώτη συνεισφορά εισάγει τα FCMs βασισμένα στη Ροή Πληροφορίας (Information Flow-based FCMs - IF-FCMs), τα οποία ενσωματώνουν την ανάλυση Ροής Πληροφορίας κατά Liang-Kleeman (L-K IF) στη διαδικασία εκπαίδευσης. Η προσέγγιση αυτή αξιοποιεί ένα αυστηρό μαθηματικό πλαίσιο για την εξαγωγή των αυθεντικών αιτιωδών σχέσεων από δεδομένα χρονοσειρών. Επομένως, σε αντίθεση με τις παραδοσιακές προσεγγίσεις κατασκευής FCMs μέσω δεδομένων, οι οποίες επιτρέπουν στα μοντέλα να μάθουν ανεξέλεγκτες συσχετίσεις, τα IF-FCMs θέτουν τις προκύπτουσες αιτιώδεις σχέσεις ως δομικούς περιορισμούς, αποτρέποντας τη μάθηση ψευδών συσχετίσεων, και οδηγώντας εν τέλει σε πιο ακριβή και ερμηνεύσιμα μοντέλα. Η εμπειρική αξιολόγηση, τόσο σε συνθετικά όσο και πραγματικά βιομηχανικά δεδομένα, επιβεβαιώνει την υπεροχή των IF-FCMs έναντι των κλασικών FCMs και προηγμένων επεκτασεών τους. Η δεύτερη συνεισφορά αφορά την ερμηνεία FCMs μεγάλης κλίμακας, όπου η εκθετική αύξηση των αιτιακών διαδρομών καθιστά τις κλασικές τεχνικές, όπως η ανάλυση αιτιώδους επίδρασης, ανεφάρμοστες. Προς αυτή την κατεύθυνση, η διατριβή προτείνει τον αλγόριθμο TCEC-FCM (Total Causal Effect Calculation for FCMs), ο οποίος υπολογίζει αποδοτικά τη συνολική αιτιακή επίδραση ενός κόμβου σε έναν άλλο, λαμβάνοντας υπόψη το σύνολο των πιθανών διαδρομών μεταξύ τους. Χάρη στη χρήση τεχνικών δυαδικής αναζήτησης και διάσχισης γράφων, η μεθοδολογία μειώνει δραστικά την υπολογιστική πολυπλοκότητα και καθιστά δυνατή την καθολική ερμηνευσιμότητα ακόμη και σε FCMs υψηλής διαστασιμότητας. Προσομοιώσεις σε συνθετικά δίκτυα διαφόρων μεγεθών και πυκνοτήτων επιβεβαιώνουν την αποτελεσματικότητα και αξιοπιστία του προτεινόμενου αλγορίθμου. Η τρίτη συνεισφορά παρουσιάζει τη μέθοδο CF-BP (Counterfactuals via BackPropagation), η οποία παρέχει εξηγήσεις μέσω αντιπαραδειγμάτων για τα quasi-nonlinear FCMs (q-FCMs), μια πρόσφατη επέκταση των παραδοσιακών FCMs που σχεδιάστηκε για να επιλύσει χρόνια προβλήματα σύγκλισης. Αυτού του είδους οι εξηγήσεις διευκολύνουν την κατανόηση των μοντέλων, υποδεικνύοντας τις ελάχιστες απαραίτητες αλλαγές στις εισόδους για την επίτευξη ενός εναλλακτικού, επιθυμητού αποτελέσματος. Ο CF-BP διατυπώνει την παραγωγή αντιπαραδειγμάτων ως ένα πρόβλημα βελτιστοποίησης και, αξιοποιώντας την ομοιότητα μεταξύ της αναδρομικής διαδικασίας συλλογισμού των q-FCMs και της της διαδικασίας εμπρόσθιας διάδοσης (forward pass) των Τεχνητών Νευρωνικών Δικτύων (Artificial Neural Networks - ANNs), εφαρμόζει την τεχνική οπισθοδιάδοσης (backpropagation) για τον αποδοτικό υπολογισμό των απαιτούμενων τροποποιήσεων στις εισόδους. Μέσα από εκτενή εμπειρική μελέτη με συνθετικά q-FCMs αποδεικνύεται η υπεροχή του CF-BP έναντι άλλων αγνωστικών μεθόδων ως προς την εγκυρότητα, την εγγύτητα, την αραιότητα, τη σταθερότητα και την υπολογιστική αποδοτικότητα των παραγόμενων εξηγήσεων. Πέρα από τη θεωρητική τους αξία, οι προτεινόμενες μεθοδολογίες δοκιμάστηκαν εκτενώς σε ποικίλους τομείς υψηλού αντίκτυπου, αποδεικνύοντας την πρακτική τους αποτελεσματικότητα. Στη βιομηχανία, εφαρμόστηκαν για προβλεπτική συντήρηση, ανίχνευση βλαβών σε βιομηχανικά και ρομποτικά συστήματα, καθώς και για διάγνωση υπερφορτώσεων σε ηλεκτρικά δίκτυα, επιτυγχάνοντας σημαντική βελτίωση στην ακρίβεια διάγνωσης και την ερμηνευσιμότητα. Στην περιβαλλοντική επιστήμη, αξιοποιήθηκαν για τη βιώσιμη διαχείριση λεκανών απορροής ποταμών της Μεσογείου μέσω συμμετοχικής μοντελοποίησης και προσομοιώσεων σε διαφορετικά σενάρια, αναδεικνύοντας την αυξανόμενη πίεση στους υδάτινους πόρους εξαιτίας της εντεινόμενης ζήτησης και υπογραμμίζοντας τη σημασία των κοινωνικοοικονομικών παραμέτρων. Τέλος, στην ιατρική, η έρευνά μας ανέδειξε την δυναμική των μεθόδων Αιτιώδους Ερμηνεύσιμης Τεχνητής Νοημοσύνης (Causal eXplainable AI – CXAI) στην ενίσχυση της διαφάνειας, της ανθεκτικότητας και της εμπιστοσύνης στα συστήματα υποστήριξης κλινικών αποφάσεων για τη διάγνωση καρκίνου. Συνολικά, οι συνεισφορές αυτές προωθούν την εξέλιξη τόσο των μεθοδολογιών XAI όσο και των FCMs, παρέχοντας εργαλεία που καθιστούν τα μοντέλα ΤΝ πιο διαφανή, αιτιωδώς θεμελιωμένα και αξιόπιστα, ιδιότητες κρίσιμες για την ασφαλή εφαρμογή τους σε κρίσιμους τομείς.