Έλεγχος ψευδαισθήσεων: Οφέλη και κίνδυνοι από την ανάπτυξη LLM ως μέρος των διαδικασιών ασφαλείας

Μεγάλα γλωσσικά μοντέλα (LLMs) που έχουν εκπαιδευτεί σε τεράστιες ποσότητες δεδομένων μπορούν να κάνουν τις ομάδες επιχειρήσεων ασφάλειας πιο έξυπνες. Τα LLM παρέχουν ενσωματωμένες προτάσεις και καθοδήγηση σχετικά με την απόκριση, τους ελέγχους, τη διαχείριση της στάσης του σώματος και πολλά άλλα. Οι περισσότερες ομάδες ασφαλείας πειραματίζονται ή χρησιμοποιούν LLM για να μειώσουν τον κόπο με το χέρι στις ροές εργασίας. Αυτό μπορεί να είναι τόσο για καθημερινές όσο και για πολύπλοκες εργασίες. 

Για παράδειγμα, ένα LLM μπορεί να ρωτήσει έναν υπάλληλο μέσω email εάν ήθελε να μοιραστεί ένα έγγραφο που ήταν αποκλειστικό και να επεξεργαστεί την απάντηση με μια σύσταση για έναν επαγγελματία ασφαλείας. Ένα LLM μπορεί επίσης να επιφορτιστεί με τη μετάφραση αιτημάτων για την αναζήτηση επιθέσεων εφοδιαστικής αλυσίδας σε λειτουργικές μονάδες ανοιχτού κώδικα και την περιστροφή πρακτόρων που εστιάζονται σε συγκεκριμένες συνθήκες - νέοι συνεισφέροντες σε ευρέως χρησιμοποιούμενες βιβλιοθήκες, ακατάλληλα μοτίβα κώδικα - με κάθε πράκτορα προετοιμασμένο για τη συγκεκριμένη συνθήκη. 

Τούτου λεχθέντος, αυτά τα ισχυρά συστήματα τεχνητής νοημοσύνης φέρουν σημαντικούς κινδύνους που είναι διαφορετικοί από άλλους κινδύνους που αντιμετωπίζουν οι ομάδες ασφαλείας. Μοντέλα που τροφοδοτούν την ασφάλεια Τα LLM μπορούν να τεθούν σε κίνδυνο μέσω έγκαιρης έγχυσης ή δηλητηρίασης δεδομένων. Οι συνεχείς βρόχοι ανάδρασης και οι αλγόριθμοι μηχανικής μάθησης χωρίς επαρκή ανθρώπινη καθοδήγηση μπορούν να επιτρέψουν στους κακούς παράγοντες να διερευνήσουν τα στοιχεία ελέγχου και στη συνέχεια να προκαλέσουν κακώς στοχευμένες αποκρίσεις. Τα LLM είναι επιρρεπή σε παραισθήσεις, ακόμη και σε περιορισμένους τομείς. Ακόμη και οι καλύτεροι LLM επινοούν τα πράγματα όταν δεν ξέρουν την απάντηση. 

Οι διαδικασίες ασφαλείας και οι πολιτικές τεχνητής νοημοσύνης γύρω από τη χρήση και τις ροές εργασίας του LLM θα γίνουν πιο κρίσιμες καθώς αυτά τα συστήματα γίνονται πιο κοινά σε όλες τις λειτουργίες και την έρευνα στον κυβερνοχώρο. Η διασφάλιση της συμμόρφωσης με αυτές τις διαδικασίες και ότι μετρώνται και λογιστικοποιούνται στα συστήματα διακυβέρνησης, θα αποδειχθεί ζωτικής σημασίας για τη διασφάλιση ότι οι CISO μπορούν να παρέχουν επαρκή κάλυψη GRC (Διακυβέρνηση, Κίνδυνος και Συμμόρφωση) για να ανταποκριθούν σε νέες εντολές όπως το Πλαίσιο Κυβερνοασφάλειας 2.0. 

Η τεράστια υπόσχεση των LLM στην Κυβερνοασφάλεια

Οι CISO και οι ομάδες τους αγωνίζονται συνεχώς για να συμβαδίσουν με το αυξανόμενο κύμα νέων κυβερνοεπιθέσεων. Σύμφωνα με την Qualys, ο αριθμός των CVE που αναφέρθηκαν το 2023 έφτασε στο α νέο ρεκόρ 26,447. Αυτό είναι περισσότερο από 5 φορές από το 2013. 

Αυτή η πρόκληση έχει γίνει πιο επιβαρυντική καθώς η επιφάνεια επίθεσης του μέσου οργανισμού μεγαλώνει με κάθε χρόνο. Οι ομάδες AppSec πρέπει να προστατεύουν και να παρακολουθούν πολλές περισσότερες εφαρμογές λογισμικού. Το cloud computing, τα API, οι τεχνολογίες multi-cloud και virtualization έχουν προσθέσει επιπλέον πολυπλοκότητα. Με τα σύγχρονα εργαλεία και διαδικασίες CI/CD, οι ομάδες εφαρμογών μπορούν να αποστέλλουν περισσότερο κώδικα, ταχύτερα και πιο συχνά. Οι μικροϋπηρεσίες έχουν διασπάσει μονολιθικές εφαρμογές σε πολυάριθμα API και επιφάνειες επίθεσης και επίσης έχουν ανοίξει πολλές άλλες τρύπες στα παγκόσμια τείχη προστασίας για επικοινωνία με εξωτερικές υπηρεσίες ή συσκευές πελατών.

Τα προηγμένα LLM υπόσχονται τρομερή μείωση του φόρτου εργασίας των ομάδων κυβερνοασφάλειας και βελτίωση των δυνατοτήτων τους. Τα εργαλεία κωδικοποίησης με τεχνητή νοημοσύνη έχουν διεισδύσει ευρέως στην ανάπτυξη λογισμικού. Η έρευνα του Github διαπίστωσε ότι το 92% των προγραμματιστών χρησιμοποιούν ή έχουν χρησιμοποιήσει εργαλεία AI για πρόταση και συμπλήρωση κώδικα. Τα περισσότερα από αυτά τα εργαλεία "copilot" έχουν ορισμένες δυνατότητες ασφαλείας. Στην πραγματικότητα, οι προγραμματικοί κλάδοι με σχετικά δυαδικά αποτελέσματα, όπως η κωδικοποίηση (ο κώδικας είτε θα περάσει είτε θα αποτύχει σε δοκιμασίες μονάδας) είναι κατάλληλοι για LLM. Πέρα από τη σάρωση κώδικα για ανάπτυξη λογισμικού και στον αγωγό CI/CD, η τεχνητή νοημοσύνη θα μπορούσε να είναι πολύτιμη για τις ομάδες κυβερνοασφάλειας με πολλούς άλλους τρόπους:   

• Ενισχυμένη ανάλυση: Τα LLM μπορούν να επεξεργάζονται τεράστιες ποσότητες δεδομένων ασφαλείας (καταγραφή, ειδοποιήσεις, ευφυΐα απειλών) για να εντοπίσουν μοτίβα και συσχετίσεις αόρατες για τον άνθρωπο. Μπορούν να το κάνουν αυτό σε διάφορες γλώσσες, όλο το εικοσιτετράωρο και σε πολλές διαστάσεις ταυτόχρονα. Αυτό ανοίγει νέες ευκαιρίες για τις ομάδες ασφαλείας. Τα LLM μπορούν να καταστρέψουν μια στοίβα ειδοποιήσεων σε σχεδόν πραγματικό χρόνο, επισημαίνοντας εκείνες που είναι πιο πιθανό να είναι σοβαρές. Μέσω της ενισχυτικής μάθησης, η ανάλυση θα πρέπει να βελτιώνεται με την πάροδο του χρόνου. 
• Αυτοματισμοί: Τα LLM μπορούν να αυτοματοποιήσουν τις εργασίες της ομάδας ασφαλείας που συνήθως απαιτούν συνομιλία εμπρός και πίσω. Για παράδειγμα, όταν μια ομάδα ασφαλείας λαμβάνει ένα IoC και χρειάζεται να ρωτήσει τον κάτοχο ενός τερματικού σημείου εάν είχε πράγματι συνδεθεί σε μια συσκευή ή εάν βρίσκεται κάπου εκτός των κανονικών ζωνών εργασίας τους, το LLM μπορεί να εκτελέσει αυτές τις απλές λειτουργίες και στη συνέχεια να ακολουθήσει με ερωτήσεις όπως απαιτείται και συνδέσμους ή οδηγίες. Αυτή ήταν μια αλληλεπίδραση που έπρεπε να πραγματοποιήσει ένα μέλος της ομάδας IT ή ασφάλειας. Τα LLM μπορούν επίσης να παρέχουν πιο προηγμένη λειτουργικότητα. Για παράδειγμα, ένα Microsoft Copilot for Security μπορεί να δημιουργήσει αναφορές ανάλυσης περιστατικών και να μεταφράσει σύνθετο κώδικα κακόβουλου λογισμικού σε περιγραφές φυσικής γλώσσας. 
• Συνεχής μάθηση και συντονισμός: Σε αντίθεση με τα προηγούμενα συστήματα μηχανικής εκμάθησης για πολιτικές ασφαλείας και κατανόησης, τα LLM μπορούν να μάθουν εν κινήσει απορροφώντας ανθρώπινες αξιολογήσεις της απόκρισής τους και συντονίζοντας νεότερες ομάδες δεδομένων που ενδέχεται να μην περιέχονται σε εσωτερικά αρχεία καταγραφής. Στην πραγματικότητα, χρησιμοποιώντας το ίδιο υποκείμενο θεμελιώδες μοντέλο, τα LLM για την ασφάλεια στον κυβερνοχώρο μπορούν να συντονιστούν για διαφορετικές ομάδες και τις ανάγκες τους, τις ροές εργασίας ή τις περιφερειακές ή κάθετες ειδικές εργασίες τους. Αυτό σημαίνει επίσης ότι ολόκληρο το σύστημα μπορεί να είναι άμεσα τόσο έξυπνο όσο το μοντέλο, με τις αλλαγές να διαδίδονται γρήγορα σε όλες τις διεπαφές. 

Κίνδυνος LLM για την ασφάλεια στον κυβερνοχώρο

Ως νέα τεχνολογία με σύντομο ιστορικό, τα LLM έχουν σοβαρούς κινδύνους. Ακόμη χειρότερα, η κατανόηση της πλήρους έκτασης αυτών των κινδύνων είναι πρόκληση, επειδή τα αποτελέσματα LLM δεν είναι 100% προβλέψιμα ή προγραμματισμένα. Για παράδειγμα, οι LLM μπορούν να «παραισθάνονται» και να δημιουργούν απαντήσεις ή να απαντούν λανθασμένα σε ερωτήσεις, με βάση φανταστικά δεδομένα. Πριν υιοθετήσετε LLM για περιπτώσεις χρήσης κυβερνοασφάλειας, πρέπει να λάβετε υπόψη πιθανούς κινδύνους, όπως: 

• Άμεση έγχυση:  Οι εισβολείς μπορούν να δημιουργήσουν κακόβουλες προτροπές ειδικά για να παράγουν παραπλανητικά ή επιβλαβή αποτελέσματα. Αυτός ο τύπος επίθεσης μπορεί να εκμεταλλευτεί την τάση του LLM να δημιουργεί περιεχόμενο με βάση τις προτροπές που λαμβάνει. Σε περιπτώσεις χρήσης κυβερνοασφάλειας, η έγκαιρη έγχυση μπορεί να είναι πιο επικίνδυνη ως μια μορφή επίθεσης ή επίθεσης εκ των έσω από μη εξουσιοδοτημένο χρήστη που χρησιμοποιεί προτροπές για να τροποποιήσει μόνιμα τις εξόδους του συστήματος παραμορφώνοντας τη συμπεριφορά του μοντέλου. Αυτό θα μπορούσε να δημιουργήσει ανακριβή ή μη έγκυρα αποτελέσματα για άλλους χρήστες του συστήματος. 
• Δηλητηρίαση δεδομένων:  Τα δεδομένα εκπαίδευσης στα οποία βασίζονται οι LLMs μπορεί να αλλοιωθούν σκόπιμα, θέτοντας σε κίνδυνο τη λήψη των αποφάσεών τους. Σε ρυθμίσεις κυβερνοασφάλειας, όπου οι οργανισμοί είναι πιθανό να χρησιμοποιούν μοντέλα που έχουν εκπαιδευτεί από παρόχους εργαλείων, ενδέχεται να προκληθεί δηλητηρίαση δεδομένων κατά τη ρύθμιση του μοντέλου για τον συγκεκριμένο πελάτη και περίπτωση χρήσης. Ο κίνδυνος εδώ θα μπορούσε να είναι ένας μη εξουσιοδοτημένος χρήστης που προσθέτει κακά δεδομένα - για παράδειγμα, κατεστραμμένα αρχεία καταγραφής - για να ανατρέψει τη διαδικασία εκπαίδευσης. Ένας εξουσιοδοτημένος χρήστης θα μπορούσε επίσης να το κάνει αυτό κατά λάθος. Το αποτέλεσμα θα ήταν έξοδοι LLM που βασίζονται σε κακά δεδομένα.
• Ψευδαισθήσεις: Όπως αναφέρθηκε προηγουμένως, τα LLM ενδέχεται να δημιουργήσουν πρακτικά εσφαλμένες, παράλογες ή ακόμη και κακόβουλες απαντήσεις λόγω παρεξηγήσεων των προτροπών ή υποκείμενων ελαττωμάτων δεδομένων. Σε περιπτώσεις χρήσης κυβερνοασφάλειας, οι ψευδαισθήσεις μπορεί να οδηγήσουν σε κρίσιμα σφάλματα που ακρωτηριάζουν τη νοημοσύνη απειλών, τη διαλογή ευπάθειας και την αποκατάσταση και πολλά άλλα. Επειδή η ασφάλεια στον κυβερνοχώρο είναι μια κρίσιμη δραστηριότητα, τα LLM πρέπει να τηρούνται σε υψηλότερο επίπεδο διαχείρισης και πρόληψης παραισθήσεων σε αυτά τα πλαίσια. 

Καθώς τα συστήματα τεχνητής νοημοσύνης γίνονται πιο ικανά, οι αναπτύξεις ασφάλειας πληροφοριών τους επεκτείνονται ταχύτατα. Για να είμαστε σαφείς, πολλές εταιρείες κυβερνοασφάλειας χρησιμοποιούν εδώ και καιρό την αντιστοίχιση προτύπων και τη μηχανική εκμάθηση για δυναμικό φιλτράρισμα. Αυτό που είναι νέο στην εποχή της γενετικής τεχνητής νοημοσύνης είναι τα διαδραστικά LLM που παρέχουν ένα επίπεδο νοημοσύνης πάνω από τις υπάρχουσες ροές εργασίας και τις δεξαμενές δεδομένων, βελτιώνοντας ιδανικά την αποτελεσματικότητα και ενισχύοντας τις δυνατότητες των ομάδων κυβερνοασφάλειας. Με άλλα λόγια, το GenAI μπορεί να βοηθήσει τους μηχανικούς ασφαλείας να κάνουν περισσότερα με λιγότερη προσπάθεια και τους ίδιους πόρους, αποδίδοντας καλύτερη απόδοση και επιταχυνόμενες διαδικασίες.