Cyber security game based training

Abstract

Cyber security education is gaining more attention in the past years as cyber security incidents grow in number and fierceness. Nevertheless, there is a deficit in the cyber security workforce as the demands for skilled cyber security personnel continually rise and cyber-criminals persistently demonstrate new distinctive skills, which in many cases overwhelm the knowledge and skills of cyber security professionals. One of the key priorities to cover this deficit is to improve the effectiveness of cyber security education. Though cyber security is a complex and multidomain field and cyber security education faces many problems and challenges that downgrade its effectiveness. Specifically, current cyber-security learning and training generally use traditional teaching methods and they often utilize live competitions (e.g., capture the flag competitions), in which participants compete on their knowledge and skills. Although live competitions incorporate several pedagogical benefits when adopted in educational contexts, they are also associated with many obstacles that reduce their pedagogical value and effectiveness. Game-based approaches seem to have the potential to improve the effectiveness of cyber security education, as serious games continually gain increasing recognition and acceptance and they have already been utilized successfully in multiple fields.In this study, the domains of cyber security education and live competitions are analyzed, and their strengths and weaknesses are identified; serious games design models and frameworks are exploited, and based on the performed analysis, the game-based approach is utilized as a vehicle to confront the cyber security education weaknesses and improve its impact. To this end, the Conceptual Framework for eLearning and Training (COFELET) is proposed, a framework for the design and implementation of cyber security serious games. The COFELET framework is based on modern learning theories and it envisages cyber security serious games as highly organized and parameterized learning environments that monitor learners’ actions, evaluate their activities, adapt to their needs and scaffold their efforts. COFELET compliant games provide learners the possibilities to practice their knowledge and skills, unleash cyber-attacks and experiment in a safe environment. COFELET foresees the adoption of well-known models and strategies (e.g., MITRE’s CAPEC, Lockheed Martin’s Cyber Kill Chain model) generally used in threat analysis and modeling approaches that verify the validity, applicability and sustainability of the COFELET approaches. COFELET employs the COFELET ontology, which aims at constituting a universal knowledge model for cyber security e-learning and training. The COFELET ontology provides coherent descriptions of the key elements COFELET compliant games need to embrace to model the actions attackers perform to unleash cyber-attacks. Additionally, COFELET applies the COFELET game life-cycle, a roadmap that exhibits how the game’s major components and the COFELET ontology elements can be organized in the structure of a COFELET game and the main actors to be involved in the development process of a COFELET compliant game.Based on the COFELET framework a prototype hacking simulator COFELET game was developed, called HackLearn. HackLearn is a web-based serious game, which can deliver learning sessions through any web browser, anytime and anywhere without the presence of an instructor. HackLearn is a scenario-based hacking simulation game for teaching cybersecurity concepts while providing hands-on hacking experiences to the learners. HackLearn’s design and implementation details are methodically presented along with a prototype scenario and a set of COFELET ontology elements. HackLearn was evaluated twice. It was preliminary evaluated during its design phase and subsequently, it was evaluated in a class of the University of Macedonia post to its implementation. During the second evaluation, the game’s perceived UX was assessed along with its effectiveness to teach penetration testing concepts and cyber-attack techniques and strategies. The results of HackLearn’s evaluations suggest that it embraces several features which promote the deliverance of effective learning and training approaches. In practice it was a beneficiary addition in a real educational environment, as learners were engaged, motivated and satisfied. Conclusively, the results suggest that COFELET compliant approaches promise to enhance the impact of cyber security learning and training. Serious games can be part of a formal educational system, as students are motivated in learning in more active, creative and entertaining ways. The evaluation also revealed a few shortcomings, which suggest avenues for future research, such as the lack of multiplayer support, the need for more sophisticated scaffolding, and the lack of multi-mode operation (e.g., certification mode, competition mode etc.).

Η εκπαίδευση στην κυβερνοασφάλεια κερδίζει ολοένα και περισσότερη προσοχή τα τελευταία χρόνια, καθώς τα περιστατικά κυβερνοεπιθέσεων αυξάνονται συνεχώς σε αριθμό και σφοδρότητα. Παράλληλα, παρατηρείται έλλειμμα στο εργατικό δυναμικό κυβερνοασφάλειας, καθώς οι απαιτήσεις σε εξειδικευμένο προσωπικό συνεχώς αυξάνονται ενώ οι εγκληματίες στον κυβερνοχώρο επιδεικνύουν νέες δεξιότητες, οι οποίες σε πολλές περιπτώσεις ξεπερνούν τις γνώσεις και δεξιότητες των επαγγελματιών του χώρου. Μία από τις βασικές προτεραιότητες για την κάλυψη αυτού του προβλήματος είναι η βελτίωση της αποτελεσματικότητας της εκπαίδευσης στην κυβερνοασφάλεια. Ωστόσο, ο τομέας της κυβερνοασφάλειας είναι ένας πολύπλοκος τομέας και η εκπαίδευση στην κυβερνοασφάλεια περιλαμβάνει πολλά προβλήματα και προκλήσεις που υποβαθμίζουν την αποτελεσματικότητά της. Συγκεκριμένα, η εκπαίδευση στην κυβερνοασφάλεια αξιοποιεί κυρίως παραδοσιακές μεθόδους διδασκαλίας και συχνά χρησιμοποιεί τους διαγωνισμούς κυβερνοασφάλειας (συνήθως της μορφής Capture-the-flag ή CtF), στους οποίους οι συμμετέχοντες ανταγωνίζονται με βάση τις γνώσεις και τις δεξιότητές τους. Παρόλο που οι διαγωνισμοί κυβερνοασφάλειας ενσωματώνουν πολλά παιδαγωγικά οφέλη, όταν υιοθετούνται σε εκπαιδευτικά πλαίσια, συνδέονται επίσης με πολλά προβλήματα που μειώνουν την παιδαγωγική τους αξία και την αποτελεσματικότητά τους. Οι προσεγγίσεις που βασίζονται σε παιχνίδια φαίνεται να έχουν τη δυνατότητα να βελτιώνουν την αποτελεσματικότητα της εκπαίδευσης στον τομέα της κυβερνοασφάλειας, καθώς τα σοβαρά παιχνίδια κερδίζουν συνεχώς αναγνώριση, ενώ ήδη χρησιμοποιούνται με επιτυχία σε άλλους τομείς.Σε αυτήν την διατριβή, αρχικά αναλύεται ο τομέας της εκπαίδευσης στην κυβερνοασφάλεια γενικότερα και των διαγωνισμών κυβερνοασφάλειας ειδικότερα, ενώ εντοπίζονται τα πλεονεκτήματα και τα μειονεκτήματά τους. Αξιοποιούνται τα μοντέλα ανάπτυξης σοβαρών παιχνιδιών, και με βάση την ανάλυση του κάθε τομέα, χρησιμοποιείται ως όχημα η εκπαίδευση με αξιοποίηση ψηφιακών παιχνιδιών για την αντιμετώπιση των αδυναμιών εκπαίδευσης στην κυβερνοασφάλεια και την βελτίωση της αποτελεσματικότητάς της. Για το σκοπό αυτό, προτείνεται το εννοιολογικό πλαίσιο για την ηλεκτρονική μάθηση και κατάρτιση (Conceptual Framework for eLearning and Training) με την ονομασία COFELET, ως ένας οδηγός για το σχεδιασμό και την ανάπτυξη σοβαρών παιχνιδιών για την ασφάλεια στον κυβερνοχώρο. Το πλαίσιο COFELET βασίζεται σε σύγχρονες θεωρίες μάθησης και βλέπει τα σοβαρά παιχνίδια στην κυβερνοασφάλεια ως οργανωμένα και παραμετροποιήσιμα περιβάλλοντα μάθησης που καταγράφουν τις ενέργειες των εκπαιδευομένων, αξιολογούν τις δραστηριότητές τους, προσαρμόζονται στις ανάγκες τους και στηρίζουν τις προσπάθειές τους. Τα παιχνίδια που είναι συμβατά με το COFELET παρέχουν στους μαθητές τις δυνατότητες να εξασκήσουν τις γνώσεις και τις δεξιότητές τους, να εξαπολύσουν κυβερνοεπιθέσεις και να πειραματιστούν σε ένα ασφαλές περιβάλλον μάθησης. Το COFELET προτείνει την υιοθέτηση γνωστών μοντέλων και στρατηγικών (π.χ., το CAPEC της MITRE, το Cyber Kill Chain της Lockheed Martin) που χρησιμοποιούνται γενικά σε προσεγγίσεις ανάλυσης και μοντελοποίησης κυβερνοαπειλών που επαληθεύουν την εγκυρότητα και τη βιωσιμότητα των προσεγγίσεων COFELET. Προς αυτό το σκοπό, προτείνεται η οντολογία COFELET, της οποίας η συνδυασμένη εφαρμογή στοχεύει στη δημιουργία ενός μοντέλου γνώσης για την ηλεκτρονική μάθηση και κατάρτιση στον κυβερνοχώρο ασφάλειας. Η οντολογία COFELET παρέχει λεπτομερείς περιγραφές των βασικών στοιχείων που πρέπει να περιλαμβάνουν τα παιχνίδια που είναι συμβατά με το πλαίσιο COFELET ώστε να μοντελοποιούν τις ενέργειες που κάνουν οι επιτιθέμενοι στον κυβερνοχώρο. Επιπλέον, το πλαίσιο COFELET εφαρμόζει τον κύκλο ζωής του παιχνιδιού COFELET (COFELET game life-cycle), για να καθορίζει τον τρόπο οργάνωσης των βασικών συστατικών και των στοιχείων της οντολογίας COFELET στη δομή ενός παιχνιδιού COFELET, καθώς επίσης και τους κύριους ρόλους του προσωπικού που συμμετέχει στη διαδικασία ανάπτυξης του παιχνιδιού.Με βάση το πλαίσιο COFELET αναπτύχθηκε ένα πρωτότυπο παιχνίδι προσομοίωσης κυβερνοεπιθέσεων, που ονομάζεται HackLearn. Το HackLearn είναι ένα σοβαρό παιχνίδι, το οποίο είναι σχεδιασμένο για να προσφέρει διδακτικές συνεδρίες μέσω προγράμματος φυλλομετρητή (browser), χωρίς να είναι απαραίτητη η παρουσία εκπαιδευτή. Το HackLearn υιοθετεί τη χρήση παραμετροποιήσιμων δυναμικών σεναρίων για τη διδασκαλία βασικών εννοιών κυβερνοασφάλειας, ενώ παρέχει στους εκπαιδευόμενους ευκαιρίες για πρακτική άσκηση και απόκτηση εμπειριών στο ethical hacking. Οι λεπτομέρειες σχεδίασης και εφαρμογής του HackLearn παρουσιάζονται λεπτομερειακά στη διατριβή μαζί με ένα πρωτότυπο σενάριο και το σύνολο στοιχείων από την οντολογία COFELET.Το HackLearn αξιολογήθηκε δύο φορές: αρχικά κατά τη φάση σχεδιασμού του και στη συνέχεια στα πλαίσια μαθημάτων κυβερνοασφάλειας στο Πανεπιστήμιο Μακεδονίας όπου αξιολογήθηκε η αποτελεσματικότητά του στη διδασκαλία βασικών εννοιών της κυβερνοασφάλειας και τεχνικών και στρατηγικών κυβερνοεπιθέσεων, καθώς και στην απόκτηση χρήσιμων εμπειριών από τον χρήστη. Τα αποτελέσματα των αξιολογήσεων δείχνουν ότι το HackLearn περιλαμβάνει δυνατότητες που διευκολύνουν τη δημιουργία αποτελεσματικών διδακτικών προσεγγίσεων στην κυβερνοασφάλεια. Οι εκπαιδευόμενοι ήταν αφοσιωμένοι στην επίτευξη του εκπαιδευτικού σεναρίου και δήλωσαν ικανοποιημένοι από τις εμπειρίες που αποκόμισαν. Συνεπώς, οι προσεγγίσεις COFELET μπορούν να ενισχύσουν τον αντίκτυπο της μάθησης και της κατάρτισης στον τομέα της εκπαίδευσης στην κυβερνοασφάλεια. Ακόμη, φάνηκε ότι τα σοβαρά παιχνίδια μπορούν να αποτελούν μέρος ενός εκπαιδευτικού προγράμματος, καθώς οι μαθητές έχουν κίνητρο στη μάθηση με πιο ενεργούς, δημιουργικούς και διασκεδαστικούς τρόπους. Παρόλα αυτά, Η αξιολόγηση αποκάλυψε ορισμένες ελλείψεις, οι οποίες δείχνουν τις προοπτικές για μελλοντική έρευνα, όπως η έλλειψη υποστήριξης για πολλούς παίκτες (multi-player), η ανάγκη για πιο εξελιγμένη βοήθεια και υποστήριξη των προσπαθειών του χρήστη και η έλλειψη πρόσθετων τρόπων λειτουργίας (π.χ. λειτουργίες πιστοποίησης των γνώσεων του εκπαιδευόμενου και λειτουργία διαγωνισμού εκπαιδευόμενων).