Optimization of deep reinforcement learning and fuzzy logic hybrid methodologies with application to smart manufacturing

Abstract

Smart manufacturing increasingly relies on optimizing production parameters to improve quality and reliability, with Deep Learning (DL) now the prominent approach for visual defect detection and segmentation. Its performance, however, remains constrained by illumination conditions, typically configured manually through trial and error rather than actively optimized—particularly problematic for reflective metallic surfaces common in industrial manufacturing. This dissertation develops Deep Reinforcement Learning (DRL) methodologies that treat illumination as a controllable quantity optimized directly for downstream inspection performance, validated on real industrial use cases. The dissertation develops this argument across three connected studies of illumination as a controllable acquisition variable. It first shows that illumination can be actuated reliably by a learned policy guided by a perceptually weighted image-quality reward, combining entropy and luminance, under real disturbances on a physically instrumented vehicle-documentation system. It then shows that acquisition-related artifacts, particularly those associated with surface specularity, persist across different segmentation architectures under fixed illumination, while also addressing the latency constraints required for deployment. Building on both, a task-driven reinforcement learning framework selects illumination directly against the performance of a vision-based segmentation model, guided by a segmentation-driven reward benchmarked against alternative reward formulations and image-quality-driven baselines, outperforming fixed and perceptually-driven alternatives in aggregate, with negligible added overhead, and validated on complete production-scale surfaces. Finally, this soft-sensor-coupled paradigm is extended to process calibration in microelectronics manufacturing through hybrid DL, RL, and Fuzzy Logic methodologies: a Q-learning agent selects pressure adjustments from a visual soft sensor’s state estimate, while a fuzzy-weighted action-selection strategy incorporates the complete class-probability distribution under ambiguous state estimates, improving control performance and stability. This extension provides evidence that the proposed paradigm can transfer beyond illumination to a distinct controllable process variable, supporting its broader applicability to autonomous process optimization in industrial manufacturing.

Η έξυπνη βιομηχανική παραγωγή βασίζεται ολοένα και περισσότερο στη βελτιστοποίηση των παραμέτρων παραγωγής, με στόχο τη βελτίωση της ποιότητας και της αξιοπιστίας. Παράλληλα, η Βαθιά Μάθηση (Deep Learning, DL) αποτελεί πλέον βασική προσέγγιση για την οπτική ανίχνευση και κατάτμηση ελαττωμάτων. Η απόδοσή της, ωστόσο, εξακολουθεί να επηρεάζεται σημαντικά από τις συνθήκες φωτισμού, οι οποίες συνήθως ρυθμίζονται χειροκίνητα, μέσω δοκιμών και σφαλμάτων, αντί να βελτιστοποιούνται αυτόματα. Το πρόβλημα είναι ιδιαίτερα σημαντικό για ανακλαστικές μεταλλικές επιφάνειες, οι οποίες είναι συχνές στη βιομηχανική παραγωγή. Η παρούσα διατριβή αναπτύσσει μεθοδολογίες Βαθιάς Ενισχυτικής Μάθησης (Deep Reinforcement Learning, DRL), στις οποίες ο φωτισμός αντιμετωπίζεται ως ελεγχόμενη μεταβλητή και βελτιστοποιείται άμεσα με βάση την απόδοση της επακόλουθης οπτικής επιθεώρησης. Οι προτεινόμενες μέθοδοι αξιολογούνται σε πραγματικές βιομηχανικές εφαρμογές. Η διατριβή αναπτύσσει την προσέγγιση αυτή μέσα από τρεις συνδεδεμένες μελέτες, στις οποίες ο φωτισμός εξετάζεται ως ελεγχόμενη μεταβλητή κατά τη λήψη εικόνων. Αρχικά, αποδεικνύεται ότι ο φωτισμός μπορεί να ρυθμίζεται αξιόπιστα από μια εκπαιδευμένη πολιτική ελέγχου, η οποία καθοδηγείται από συνάρτηση ανταμοιβής για την ποιότητα της εικόνας που συνδυάζει την εντροπία και τη φωτεινότητα. Η μέθοδος αξιολογείται υπό πραγματικές διαταραχές σε ένα φυσικά υλοποιημένο σύστημα φωτογραφικής τεκμηρίωσης οχημάτων. Στη συνέχεια, καταδεικνύεται ότι οι περιορισμοί στην απόδοση της κατάτμησης ελαττωμάτων σε μεταλλικές επιφάνειες, που οφείλονται στις συνθήκες λήψης, εξακολουθούν να εμφανίζονται σε διαφορετικές αρχιτεκτονικές νευρωνικών δικτύων, ενώ παράλληλα εξετάζονται οι απαιτήσεις υπολογιστικού χρόνου που είναι απαραίτητες για την εφαρμογή του συστήματος σε πραγματικές συνθήκες. Με βάση τα παραπάνω, αναπτύσσεται ένα πλαίσιο Ενισχυτικής Μάθησης που επιλέγει τον φωτισμό άμεσα με βάση την απόδοση ενός μοντέλου κατάτμησης εικόνας. Η συνάρτηση ανταμοιβής βασίζεται στην απόδοση της κατάτμησης και συγκρίνεται με εναλλακτικούς τρόπους υπολογισμού της ανταμοιβής, καθώς και με μεθόδους που βασίζονται στην ποιότητα της εικόνας. Η προτεινόμενη προσέγγιση επιτυγχάνει συνολικά καλύτερη απόδοση από τη χρήση σταθερού φωτισμού και από μεθόδους που καθοδηγούνται από χαρακτηριστικά ποιότητας της εικόνας, με αμελητέα πρόσθετη υπολογιστική επιβάρυνση. Η αξιολόγηση πραγματοποιείται σε ολόκληρες βιομηχανικές επιφάνειες πραγματικών διαστάσεων. Τέλος, η ίδια βασική προσέγγιση επεκτείνεται στον έλεγχο διεργασιών στη μικροηλεκτρονική, μέσω συνδυασμού Βαθιάς Μάθησης, Ενισχυτικής Μάθησης και Ασαφούς Λογικής. Ένας πράκτορας επιλέγει τις κατάλληλες μεταβολές της πίεσης με βάση την κατάσταση που εκτιμά ένας οπτικός εικονικός αισθητήρας, ενώ μια μέθοδος ασαφούς στάθμισης για την επιλογή της ενέργειας αξιοποιεί ολόκληρη την κατανομή πιθανοτήτων των κλάσεων όταν η κατάσταση δεν μπορεί να προσδιοριστεί με σαφήνεια, βελτιώνοντας την απόδοση και τη σταθερότητα του ελέγχου. Η επέκταση αυτή παρέχει ενδείξεις ότι η προτεινόμενη προσέγγιση μπορεί να μεταφερθεί πέρα από τον έλεγχο του φωτισμού και σε μια διαφορετική ελεγχόμενη μεταβλητή διεργασίας, υποστηρίζοντας την ευρύτερη εφαρμογή της στην αυτόνομη βελτιστοποίηση βιομηχανικών διεργασιών.