Innovative technologies for smart production: augmented reality, computer vision and machine learning in manufacturing maintenance and waste segregation

Abstract

The Fourth Industrial Revolution, also known as ''Industry 4.0'' or ''I4.0'', marked the beginning of the 21st century with the digitalisation of industrial processes and the transformation of corporations. Recently, the European Commission introduced the pillars of ''Industry 5.0'' or ''I5.0'' that promote sustainability, human-centricity, and resilience in digitised intelligent plants. The new I5.0 ecosystem makes use of the technologies and advances of I4.0, guaranteeing human participation while ensuring green and sustainable value chains. The smart factory of the new era is characterised by robots and machines working alongside humans, achieving sustainability through innovative segregation techniques and minimising defects and faulty products through production success. On those aspects, the technologies of Augmented Reality (AR), Machine Vision, and Machine Learning (ML) are crucial as they assist humans in manufacturing operations, whereas advanced sensing technologies combined with intelligent capabilities reduce production defects and improve waste segregation flows by separating material agnostic feedstocks. Smart factories are rapidly adopting AR technologies for a wide range of applications. Approximately 25% of their recent I4.0 implementations involve remote assistance and maintenance, the remaining concentrating on visualisation and simulation applications or robot programming and human-robot interaction. Maintenance is one of the most essential aspects of the production life cycle, accounting for 60-70% of its total costs. Consequently, improving its efficacy and performance is a top priority, resulting in the implementation of AR in a number of maintenance applications with the goal of helping humans solve complex unplanned problems. To evaluate the quality of manufactured goods in an environment where the objective is to achieve defect rates close to zero, machine vision systems or manual inspection procedures are used. In industries such as automotive manufacturing, aerospace, and electronics, where precision and safety are essential, defect rates are low, whereas in the Fast-Moving Consumer Goods (FMCG) industry, companies prioritise product quality but still encounter defects due to ingredient issues, manufacturing errors, or packaging errors. Therefore, it is crucial to implement machine vision systems with ML capabilities in in-line quality control processes in order to minimise defects and maintain customer satisfaction. Despite production defects, the world is producing twice as much plastic waste as it did two decades ago, with an estimated 3.4 billion tonnes of waste to be produced by 2050. The vast majority of it ends up in landfills, being burnt or seeping into the environment; only 9% is properly recycled. Barriers such as the existence of complex fractions in waste streams (i.e. pollutants, multi-layer materials, a mixture of plastics, other refuse) that cannot be processed efficiently contribute to the low rate of waste recycling. Therefore, there is an imperative need for a new sorting solution that employs machine vision and ML to accurately identify the type of plastic, thus increasing the amount of waste that is being valorized.Hence, throughout the entire production life cycle, there exists a requirement for an advanced machine vision system with ML capabilities to perceive and comprehend the surrounding environment, enabling it to make autonomous decisions without the need for human intervention. The motivation behind this dissertation is to highlight the role of machine vision technology in the smart environment by improving the current state in the categories of human-centricity, resiliency, and sustainability while proposing a technology maturity assessment framework for the components required by the most advanced machine vision systems. Thus, this thesis introduces a vision-based method for identifying products within production moving lines, an AR maintenance assistant for low-skilled operators that identify assets and propose maintenance steps, a vision-based method for identifying products within dairy production moving lines under ZDM approach, and a multi-modal deep learning methodology capable of exploiting spatial and spectral information from multiple optical modalities, while a novel sorting system is introduced, improving the plastic waste segregation and the wood by-products upcycling processes. This dissertation is organised into six chapters.Let us begin with Chapter 1 where firstly the influence of I4.0 in the production ecosystem is presented, highlighting opportunities for the business and research community. Following the research gap extracted shows that the role of machine vision technology in smart production has not been looked into in-depth, a nine-phase Systematic Literature Review (SLR) strategy was conducted. Since the automotive factory is the leading industry in automated vision systems, the entire automotive manufacturing life cycle from first-tier suppliers up to recycling was reviewed, identifying 59 different vision applications. The analysis revealed that the architectural components of Industry 5.0 machine vision systems can be classified into nine functional categories and four verticals. Additionally, the processing techniques employed in these systems are structured into eight levels, ranging from threshold-based methods to more advanced reinforcement learning approaches. Furthermore, the relevance between machine vision and the technological pillars of I4.0 is analysed, such as the effort on I5.0 and the importance of facilitating efficient smart factory operations.According to the analysis performed in Section 2, machine vision technology aligns with the resilience pillar of I5.0 by offering vision-based solutions to identify products and faults on fast-moving production lines. However, the majority of current production facilities are ageing and lack these characteristics. To provide a standard method for retrofitting machines and integrating with smart factory systems, in Chapter 2, an architecture based on the Zero-Defect Manufacturing (ZDM) strategy was developed, as well as a vision-based method for identifying products within dairy production moving lines, where state-of-the-art architectures (YOLO and RCNN) were compared in the custom public available YoGOdataset. As concerns the human-centric pillar, in Chapter 3, an efficient AR system is proposed to locate components in a manufacturing plant and visualise maintenance instructions for the corresponding failure modes on the mobile devices of the operator. The system detects the asset of interest on the image plane, employing a robust tracking algorithm to track its position and scale across subsequent frames.Based on the calculated position and scale values, the system provides step-by-step instructions for maintenance procedures as the operator approaches the machine, allowing easy navigation through maintenance steps.In Chapter 4, a novel multi-sensor Cyber-Physical Sorting System (CPSS) capable of autonomously characterising and classifying materials in real-time without human intervention is presented. In the CPSS, a new approach for Multi-modal Classifier capable of categorizing waste is proposed, while a detector is utilised to identify objects within moving lines. Specifically, multiple parallel auto-encoders are used to extract spatio-spectral information from RGB, VIS, and NIR sensors and project it into a common latent space so that it can be decoded and the class of each object predicted. To support this deep architecture, the dataset, called Multispectral Mixed Waste Dataset (MMWD), was created which contains multispectral data from the visible (16 bands), near infrared (25 bands) regions of the electromagnetic spectrum and RGB (3 bands) data from polypropylene (PP), polyethene terephthalate (PET), low-density polyethene (LDPE), high-density polyethene (HDPE), medium-density fibreboard (MDF), melamine faced chipboards (MFC) and oak veneer (Al Vene).The dissertation concludes in Chapter 5. This chapter includes a proposed maturity assessment framework to support the evaluation of the machine vision systems that can be included in the I5.0 ecosystem. This maturity framework will aid in the evaluation of each industrial vision-based approach in order to determine where it falls and how it can be improved in the future so that it can be incorporated into a smart factory. Finally, discussion and future suggestions are also presented, which aim to extend the research described here.The contribution of this dissertation to the state-of-the-art is clear and proven by our publication list, as follows:•An analysis regarding the role of machine vision in the smart ecosystem, which summarises 59 distinct applications while defining the architectural components of visual-based systems for the smart environment, is the first conducted in this field. •A low-cost mobile-based AR maintenance application was introduced that locates the asset inside the complex manufacturing shop floor using feature matching and tracking techniques. •A vision-based method for identifying products within dairy production moving lines under ZDM approach is proposed, while the publicly available YoGOdataset (labelled for Coco and Yolo architectures) was created including yoghurt cups with LOT numbers within a production line. •An expandable multi-sensor cyber-physical sorting system capable of separating various wastes based on a trained model was first introduced.•A labelled dataset, called MMWD, comprised of synchronised RGB and multi-spectral data was introduced for the first time, comprising 7 categories of plastic (PET, PP, HDPE, LDPE) and wood (MDF.MFV, Oak Veneer) wastes. •An innovative deep learning multi-modal approach is proposed that utilizes the auto-Encoders framework to fuse spectral and spatial information from RGB, VIS and NIR modalities, improving waste segregation classifiers •A technology maturity assessment framework for machine vision systems that can be fitted into smart production is given for the first time.

Η Τέταρτη Βιομηχανική Επανάσταση, γνωστή επίσης ως Βιομηχανία 4.0, σημάδεψε την έναρξη του 21ου αιώνα με την ψηφιοποίηση των βιομηχανικών διαδικασιών και τον μετασχηματισμό των επιχειρήσεων. Πρόσφατα, η Ευρωπαική Επιτροπή παρουσίασε τις βάσεις της Βιομηχανίας 5.0, οι οποίες προωϑούν τη βιώσιμη, την ανϑρωποκεντρική και την προσαρμοστική έξυπνη βιομηχανία. Το νέο οικοσύστημα της Βιομηχανίας 5.0, χρησιμοποιεί τους τεχνολογικούς μετασχηματισμούς της Βιομηχανίας 4.0, για να δημιουργήσουν μία πράσινη και βιώσιμη βιομηχανική αλυσίδα αξιών με επίκεντρο τον άνϑρωπο και την αλληλεπίδραση με τις μηχανές. Το έξυπνο οικοσύστημα χαρακτηρίζεται από ρομπότ και μηχανές που συνεργάζονται με τους ανϑρώπους, επιτυγχάνοντας τη βιωσιμότητα μέσω καινοτόμων τεχνικών, μειώνοντας τα μηχανικά ελαττώματα και συνεπώς τα ελαττωματικά προιόντα κατά την παραγωγή, αλλά και την επαναχρησιμοποιήση των αποβλήτων στις παραγωγικές διαδικασίες. Στους παραπάνω τομείς, οι τεχνολογίες επαυξημένης πραγματικότητας, όρασης υπολογιστή και μηχανικής μάϑησης είναι ζωτικής σημασίας καϑώς βοηϑούν τους ανϑρώπους στις παραγωγικές διαδικασίες. Παράλληλα, προηγμένες τεχνολογίες αισϑητήρων σε συνδυασμό με τεχνητή νοημοσύνη μειώνουν τα ελαττώματα παραγωγής και βελτιώνουν τη διαλογή. Η τεχνολογία της επαυξημένης πραγματικότητας υιοϑετείται με ταχύς ρυϑμούς στους βιομηχανικούς χώρους. Περίπου το 25% των πρόσφατων εφαμογών αφορούν απομακρυσμένη υποστήριξη και συντήρηση, με το υπόλοιπο να επικεντρώνεται σε εφαρμογές οπτικοποίησης και προσομοίωσης, σε εφαρμογές που αφορούν τον προγραμματισμό ρομπότ και την αλληλεπίδραση ανϑρώπου-μηχανής.Η συντήρηση αποτελεί ένα από τα πιο ουσιαστικά στάδια του κύκλου ζωής της παραγωγής, αντιπροσωπεύοντας περίπου το 60-70% των συνολικών εξόδων. Ως εκ τούτου, η βελτίωση της αποτελεσματικότητας της συντήρησης αποτελεί προτεραιότητα, όπου τεχνολογία της επαυξημένης πραγματικότητας σε εφαρμογές συντήρησης στοχεύει στην βοήϑεια των εργαζομένων με σκοπό να επιλύουν πολύπλοκα απρογραμμάτιστα προβλήματα. Για την αξιολόγηση της ποιότητας των υπο-παραγωγή προιόντων χρησιμοποιούνται αυτόματα συστήματα μηχανικής όρασης ή χειροκίνητες διαδικασίες ελέγχου. Σε βιομηχανίες όπως η αυτοκινητοβιομηχανία όπου η ακρίβεια και η ασφάλεια των παραγώμενων προιόντων είναι κρίσιμης σημασίας, τα ποσοστά ελλαττωμάτων είναι χαμηλά, ενώ οι βιομηχανίες προιόντων ταχείας κατανάλωσης δίνουν προτεραιότητα στην ποιότητα του προιόντος, αλλά αντιμετωπίζουν συχνά ελαττώματα στην προτυποποίηση και την παραγωγή καυϑώς και σφάλματα στις συσκευασίες. Επομένως, η εφαρμογή αυτόματων συστημάτων όρασης με δυνατότητες μηχανικής μάϑησης σε διαδικασίες ελέγχου ποιότητας σε πραγματικό χρόνο, ελαχιστοποιούν τα ελαττώματα και εξασφαλίζουν την ικανοποίηση των πελατών.Εκτός από τα ελαττώματα στην παραγωγή, ο κόσμος παράγει διπλάσιες ποσότητες πλαστικών αποβλήτων σε σχέση με τις προηγούμενες δύο δεκαετίες, με εκτιμώμενη παραγωγή 3,4 δισεκατομμυρίων τόνων αποβλήτων έως το 2050. Η συντριπτική πλειονότητα καταλήγει σε χωματερές, καίγεται ή διοχετεύεται στο περιβάλλον, ενώ μόνο το 9% ανακυκλώνεται. Η ύπαρξη διαφορετικών υλικών στις ροές ανακυκλώσεων αποβλήτων έχουν ως αποτέλεσμα την μη αποδοτική επαναξιοποίηση τους. Για τον λόγο αυτό, υπάρχει μια απαραίτητη ανάγκη για τεχνολογίες διαχώρισης υλικών με την χρήση μηχανικής όρασης και μηχανικής μάϑησης που έχουν ως στόχο την αναγνώριση του είδους του υλικού σε μίγματα αποβλήτων χωρίς την ανϑρώπινη παρέμβαση. Επομένως, σε όλο τον κύκλο ζωής της παραγωγής υπάρχει ανάγκη για προηγμένα συστήματα μηχανικής όρασης με δυνατότητες μηχανικής μάϑησης που ϑα μπορούν να αντιληφϑούν και να κατάνοούν το περιβάλλον, επιτρέποντάς του να λαμβάνουν αυτόνομες αποφάσεις. Ο κύριος στόχος της διατριβής είναι η ανάδειξη του ρόλου της μηχανικής όρασης στο έξυπνο περιβάλλον, βελτιώνοντας την τρέχουσα κατάσταση στους τομείς της ανϑρωποκεντρικότητας, της ευεληξίας και της βιωσιμότητας, παράλληλα με την πρόταση ενός πλαισίου αξιολόγησης της τεχνολογικής ωριμότητας τους. Συνοπτικά, παρουσιάζετε μια οπτική μέϑοδο για τον εντοπισμό προιόντων μέσα σε κινούμενες γραμμές παραγωγής, ένα βοηϑό συντήρησης επαυξημένης πραγματικότητας για μη εξειδικευμένους χειριστές που αναγνωρίζει τις μηχανές και προτείνει βήματα συντήρησης, καϑώς και μια πολυτροπική μεϑοδολογία βαϑιάς μάϑησης ικανή να εκμεταλλεύεται χωρικές και φασματικές πληροφορίες από διάφορες τεχνολογίες μηχανικής όρασης. Παράλληλα παρουσιάζεται ένα καινοτόμο σύστημα διαλογής αποβλήτων που βελτιώνει τον διαχωρισμό αποβλήτων. Στο κεφάλαιο 1, αρχικά αξιολογείται η συνολική επίδραση της Βιομηχανία 4.0 στο παραδοσιακό οικοσύστημα παραγωγής, όπου επισημαίνονται τα ερευνητικά κενά και οι επιχειρηματικές ευκαιρίες. Ακολουϑώντας το ερευνητικό κενό πως ο ρόλος της τεχνολογίας της μηχανικής όρασης στην έξυπνη παραγωγή δεν έχει εξεταστεί λεπτομερώς, διεξήχϑη μια δεύτερη συστηματική ανασκόπηση βιβλιογραφίας στο κεφάλαιο. Καϑώς ο τομέας της αυτοκινητοβιομηχανίας είναι η κορυφαία βιομηχανία στα αυτοματοποιημένα συστήματα όρασης, έγινε ανασκόπηση του κύκλου ζωής της αυτοκινητοβιομηχανίας από τους προμηϑευτές μέχρι και την ανακύκλωση, εντοπίζοντας 59 διαφορετικές εφαρμογές όρασης. Η ανάλυση έδειξε πως τα αρχιτεκτονικά στοιχεία των συστημάτων όρασης μπορούν να ταξινομηϑούν σε εννέα λειτουργικές και τέσσερις υποστηρικτηκές κατηγορίες, ενώ οι τεχνικές επεξεργασίας κατηγοροποιούνται σε οκτώ επίπεδα (από αναγνώριση γραμμών έως ενισχυτική μάϑηση). Επιπλέον, αναλύεται η σχέση μεταξύ της τεχνολογίας της μηχανικής όρασης και των τεχνολογικών πυλώνων της Βιομηχανία 4.0 , όπως και ο ρόλος της τεχνολογίας στην Βιομηχανία 5.0. Σύμφωνα με την ανάλυση που πραγματοποιήϑηκε στο κεφάλαιο 1, η τεχνολογία της μηχανικής όρασης συμβαδίζει με τον πυλώνα της ανϑεκτικότητας και ευεληξίας της Βιομηχανία 4.0, προσφέροντας λύσεις βασισμένες στην όραση για τον εντοπισμό προιόντων και βλαβών σε συνεχείς γραμμές παραγωγής. Ωστόσο, οι περισσότερες τρέχουσες γραμμές παραγωγής είναι παλαιές και δεν έχουν εξοπλισμό για το έλεγχο της ποιότητας σε πραγματικό χρόνο.Για την δημιουργία μεϑόδου για την αναβάϑμιση των μηχανών και την διασύνδεση τους με συστήματα διαχείρισης έξυπνων εργοστασίων, στο κεφάλαιο 2, αναπτύχϑηκε μια αρχιτεκτονική βασισμένη στη στρατηγική Zero-Defect Manufacturing (ZDM), καϑώς και μια μέϑοδος βασισμένη στην όραση για τον εντοπισμό προιόντων σε συνεχείς γραμμές παραγωγής γαλακτοκομικών προιόντων, όπου οι προηγμένες αρχιτεκτονικές βαϑιάς μάϑησης (YOLO & RCNN) συγκρίϑηκαν στο YoGO dataset.΄Οσον αφορά τον πυλώνα της ανϑρωποκεντρικότητας, στο κεφάλαιο 3, προτείνεται σύστημα επαυξημένης πραγματικότητας που εντοπίζει μηχανές σε βιομηχανικό χώρο και οπτικοποιεί οδηγίες συντήρησης σε κινητή συσκευή του χειριστή. Το σύστημα εντοπίζει το επιϑυμητό στοιχείο στην εικόνα, χρησιμοποιεί αλγόριϑμο παρακολούϑησης για την παρατήρηση της ϑέση και το μέγεϑος του στοιχείου σε συνεχόμενα καρέ. Με βάση την ϑέση του στοιχείου στο χώρο, το σύστημα παρέχει σταδιακές οδηγίες διαδικασιών συντήρησης καϑώς ο χειριστής πλησιάζει τη μηχανή, επιτρέποντας εύκολη πλοήγηση μέσω των βημάτων συντήρησης. Στο τέταρτο κεφάλαιο που αναφέρεται στον πυλώνα της βιωσιμότητας, παρουσιάζεται ένα καινοτόμο κυβερνο-φυσικό σύστημα διαλογής που είναι ικανό να χαρακτηρίζει και ταξινομεί υλικά χωρίς ανϑρώπινη παρέμβαση. Για τον διαχωρισμό των αποβλήτων, προτείνεται μια νέα αρχιτεκτονική με την ονομασία Multi-modal ικανή να κατηγοριοποιεί απόβλητα, ενώ χρησιμοποιείται αλγόριϑμος ανίχνευσης (Yolo v8) για την αναγνώριση των αντικειμένων σε συνεχείς ταινιόδρομους. Συγκεκριμένα, χρησιμοποιούνται πολλαπλοί παράλληλοι Auto-coders για την εξαγωγή χωροφασματικών πληροφοριών από αισϑητήρες RGB, VIS και NIR και την προβολή τους σε ένα κοινό διακριτό χώρο, ώστε να μπορούν να αποκωδικοποιηϑούν και να προβλεφϑεί η κλάση κάϑε αντικειμένου. Για την εφαρμογή της αρχιτεκτονικής σε πρόβλημα διαλογής αποβλήτων, δημιουργήϑηκε το σύνολο δεδομένων Multispectral Mixed Waste Dataset (MMWD), το οποίο περιλαμβάνει οπτικά και πολυφασματικά δεδομένα από τρες αισϑητήρες όρασης (RGB:3, VIS:16, NIR:25) για τα υλικά: πολυπροπυλένιο, πολυαιϑυλένιο τερεφϑαλικό, πολυαιϑυλένιο χαμηλής πυκνότητας, πολυαιϑυλένιο υψηλής πυκνότητας, μέσης πυκνότητας ξύλινες ίνες, επικαλυμμένα σανίδια με μελαμίνη και ξύλο βελανιδιάς Η διατριβή καταλήγει στο κεφάλαιο 5, στο οποίο προτείνετε ένα πλαίσιο αξιολόγησης τεχνολογικής ωριμότητας των συστημάτων μηχανικής όραση για την έξυπνη παραγωγή. Το πλαίσιο αξιολόγησης συνεισφέρει στον καϑορισμό του τεχνολογικού επιπέδου και υποδικνυεί τα βήματα αναβάϑμισης, ώστε να ενσωατωϑεί σε ένα έξυπνο εργοστάσιο. Τέλος, έπειτα από σύντομη ανάλυση των αποτελεσμάτων, παρουσιάζονται μελλοντικές προτάσεις, οι οποίες στοχεύουν στην επέκταση της παρούσας έρευνας. Η συμβολή αυτής της διατριβής στην πρόοδο της επιστήμης είναι ξεκάϑαρη και αποδεικνύεται από τη λίστα των δημοσιεύσεών μας. Συνοπτικά πραγματοποιήϑηκε: •Ανασκόπηση για τον ρόλο της μηχανικής όρασης στο έξυπνο οικοσύστημα, η οποία συνοψίζει 59 διακριτές εφαρμογές όρασης ενώ ορίζει τα αρχιτεκτονικά στοιχεία των συστημάτων μηχανικής όρασης. •Ανάπτυξη εφαρμογής χαμηλού κόστους για τη συντήρηση μηχανών με την χρήση επαυξημένης πραγματικότητας η οποία εντοπίζει και παρακολουϑεί το προς συντήρηση μηχάνημα χρησιμοποιώντας τεχνικές αντιστοίχισης χαρακτηριστικών και παρακολούϑησης. •Ανάπτυξη οπτικής μεϑόδου για τον εντοπισμό γαλακτοβιομηχανικών προιόντων μέσα σε κινούμενες γραμμές παραγωγής και δημιουργία συνόλου δεδομένων με την ονομασια YoGOdataset το οποίο περιλαμβάνει κύπελλα γιαούρτης με αριϑμούς ΛΟΤ.•Σχεδιασμός επεκτάσιμου πολυαισϑητηριακού κυβερνο-φυσικού συστήματος διαλογής, το οποίο είναι ικανό να διαχωρίζει διάφορα απόβλητα βασιζόμενο σε μοντέλα βαϑιάς μάϑησης. Δημιουργία συνόλου δεδομένων με την ονομασια MMWD όπου με την χρήση υπερφασματικού και οπτικών αισϑητήρων, συλλέχϑηκαν δεδομένα ορατού και υπέρυϑρου φασματος (RGB:3, VIS:16, NIR:25) απο 7 διαφορετικές κατηγορίες αποβλήτων (πλαστικών και ξυλείας). •Ανάπτυξη multi-modal αρχιτεκτονικής βαϑιάς μάϑησης που χρησιμοποιεί πληροφορίες διαφορετικού τύπου για την πρόβλευψη σωστής κλάσης σε προλήματα κατηγοροποίησης. Στην περίπτωση της διαλογής αποβλήτων, για πρώτη φορά, χρησιμοποιούνται Auto-coders για τη σύνϑεση φασματικών και χωρικών πληροφοριών από τις RGB, VIS και NIR αισϑητήρες. •Ανάπτυξη πλαισίου αξιολόγησης τεχνολογικής ωριμότητας για συστήματα μηχανικής όρασης για την ενσωμάτωση τους στην έξυπνη παραγωγή. Το πλαίσιο συνεισφέρει στον καϑορισμό του τεχνολογικού επιπέδου και στο να υποδικνυεί τα βήματα αναβάϑμισης