An assessment of the EU AI Act’s impact on high-risk AI systems

Abstract

Artificial intelligence has developed at an exponential pace, and with it have come immense advantages across the board, from medicine to border security. With them, however, also come cybersecurity, data handling, and privacy issues. AI risks are amplified in high-risk settings where their failures can be catastrophic. The European Union (EU) has made significant progress bringing into force the AI Act, a legislation that aims to mitigate the risks of artificial intelligence. The AI Act categorizes artificial intelligence applications based on the level of risk involved and imposes stringent requirements on those labeled as "high-risk." This thesis examines the effects of the EU AI Act on the design, deployment, and regulation of high-risk AI systems. The thesis deals with four central concerns: (1) a survey of the risk-based categorization system in the Act; (2) a survey of current cybersecurity concerns and countermeasures available; (3) a survey of data governance controls and privacy assurance in healthcare, border management, and LLM applications; and (4) a survey of real-world impacts by using case studies. This thesis is also focused around the significance of social and ethical factors such as transparency, accountability, and human intervention. It further focuses on the complex interplay between the Act and relevant regulations like MDR. The key novelty of this research is its interdisciplinary approach combining the technical, legal, and ethical aspects necessary for the regulation of risky artificial intelligence. The dissertation suggests a combined approach that brings together cybersecurity frameworks, data governance regulations, and privacy measures. This research bridges policy analysis and case studies and makes actionable suggestions to help AI developers and policymakers deploy high-risk applications responsibly. This thesis aims to illustrate in a novel manner how the wedding of risk assessment, compliance controls, and stakeholder feedback can render AI systems more transparent and secure. They ensure that systems are responsive to social values. The discussion demystifies best practice in EU legislation making. It offers a roadmap for international jurisdictions to create innovative, responsible AI ecosystems.

Η τεχνητή νοημοσύνη έχει αναπτυχθεί με εκθετικό ρυθμό και μαζί της έχουν προκύψει τεράστια πλεονεκτήματα σε όλους τους τομείς, από την ιατρική μέχρι την ασφάλεια των συνόρων. Μαζί τους, όμως, έρχονται και ζητήματα ασφάλειας στον κυβερνοχώρο, χειρισμού δεδομένων και προστασίας της ιδιωτικής ζωής. Οι κίνδυνοι της τεχνητής νοημοσύνης ενισχύονται σε περιβάλλοντα υψηλού κινδύνου, όπου οι αποτυχίες τους μπορεί να είναι καταστροφικές. Η Ευρωπαϊκή Ένωση (ΕΕ) έχει σημειώσει σημαντική πρόοδο θέτοντας σε ισχύ τον νόμο για την τεχνητή νοημοσύνη, μια νομοθεσία που αποσκοπεί στον μετριασμό των κινδύνων της τεχνητής νοημοσύνης. Ο νόμος για την τεχνητή νοημοσύνη κατηγοριοποιεί τις εφαρμογές τεχνητής νοημοσύνης με βάση το επίπεδο κινδύνου και επιβάλλει αυστηρές απαιτήσεις σε όσες χαρακτηρίζονται ως «υψηλού κινδύνου». Η παρούσα διατριβή εξετάζει τις επιπτώσεις της Πράξης της ΕΕ για την τεχνητή νοημοσύνη στον σχεδιασμό, την ανάπτυξη και τη ρύθμιση των συστημάτων τεχνητής νοημοσύνης υψηλού κινδύνου. Η διατριβή ασχολείται με τέσσερις κεντρικούς προβληματισμούς: (1) ερευνά το σύστημα κατηγοριοποίησης βάσει κινδύνου (2) ερευνά τις τρέχουσες απειλές στην κυβερνοασφάλεια και των διαθέσιμων αντιμέτρων (3) ερευνά τη διασφάλιση της ιδιωτικότητας σε εφαρμογές υγειονομικής περίθαλψης, διαχείρισης συνόρων και μεγάλων γλωσσικών μοντέλων και (4) ερευνά τις επιπτώσεις στον πραγματικό κόσμο με τη χρήση μελετών περίπτωσης. Η παρούσα διατριβή επικεντρώνεται επίσης γύρω από τη σημασία των κοινωνικών και ηθικών παραγόντων, όπως η διαφάνεια, η λογοδοσία και η ανθρώπινη παρέμβαση. Επιπλέον, εστιάζει στην πολύπλοκη αλληλεπίδραση μεταξύ του νόμου και των σχετικών κανονισμών, όπως η MDR. Η βασική καινοτομία αυτής της έρευνας είναι η διεπιστημονική της προσέγγιση που συνδυάζει τις τεχνικές, νομικές και ηθικές πτυχές που είναι απαραίτητες για τη ρύθμιση της επικίνδυνης τεχνητής νοημοσύνης. Η διατριβή προτείνει μια συνδυασμένη προσέγγιση που συγκεντρώνει τα πλαίσια κυβερνοασφάλειας, τους κανονισμούς διακυβέρνησης δεδομένων και τα μέτρα προστασίας της ιδιωτικότητας. Αυτή η έρευνα γεφυρώνει την ανάλυση πολιτικής και τις μελέτες περιπτώσεων και διατυπώνει εφαρμόσιμες προτάσεις για να βοηθήσει τους προγραμματιστές τεχνητής νοημοσύνης και τους υπεύθυνους χάραξης πολιτικής να αναπτύξουν εφαρμογές υψηλού κινδύνου με υπευθυνότητα. Η παρούσα διατριβή έχει ως στόχο να καταδείξει με καινοτόμο τρόπο πώς ο συνδυασμός της αξιολόγησης κινδύνου, των ελέγχων συμμόρφωσης και της ανατροφοδότησης των ενδιαφερομένων μερών μπορεί να καταστήσει τα συστήματα ΤΝ πιο διαφανή και ασφαλή. Εξασφαλίζουν ότι τα συστήματα ανταποκρίνονται στις κοινωνικές αξίες. Η συζήτηση απομυθοποιεί τις βέλτιστες πρακτικές στη θέσπιση νομοθεσίας της ΕΕ. Προσφέρει έναν οδικό χάρτη για τις διεθνείς δικαιοδοσίες για τη δημιουργία καινοτόμων, υπεύθυνων οικοσυστημάτων.