Contrôle des hallucinations : avantages et risques du déploiement de LLM dans le cadre des processus de sécurité

grands modèles linguistiques (LLM) formés sur de grandes quantités de données peuvent rendre les équipes chargées des opérations de sécurité plus intelligentes. Les LLM fournissent des suggestions et des conseils en ligne sur la réponse, les audits, la gestion de la posture, etc. La plupart des équipes de sécurité expérimentent ou utilisent des LLM pour réduire le travail manuel dans les flux de travail. Cela peut concerner à la fois des tâches banales et complexes. 

Par exemple, un LLM peut interroger un employé par e-mail s'il avait l'intention de partager un document exclusif et traiter la réponse avec une recommandation pour un professionnel de la sécurité. Un LLM peut également être chargé de traduire les demandes de recherche d'attaques de chaîne d'approvisionnement sur des modules open source et de créer des agents axés sur des conditions spécifiques (nouveaux contributeurs à des bibliothèques largement utilisées, modèles de code inappropriés), chaque agent étant préparé pour cette condition spécifique. 

Cela dit, ces puissants systèmes d’IA comportent des risques importants, différents des autres risques auxquels sont confrontées les équipes de sécurité. Les modèles qui alimentent les LLM de sécurité peuvent être compromis par une injection rapide ou un empoisonnement des données. Des boucles de rétroaction continues et des algorithmes d’apprentissage automatique sans conseils humains suffisants peuvent permettre à de mauvais acteurs de sonder les contrôles et ensuite d’induire des réponses mal ciblées. Les LLM sont sujets aux hallucinations, même dans des domaines limités. Même les meilleurs LLM inventent des choses lorsqu'ils ne connaissent pas la réponse. 

Les processus de sécurité et les politiques d'IA concernant l'utilisation et les flux de travail du LLM deviendront plus critiques à mesure que ces systèmes deviendront plus courants dans les opérations et la recherche en matière de cybersécurité. S'assurer que ces processus sont respectés, mesurés et pris en compte dans les systèmes de gouvernance, s'avérera crucial pour garantir que les RSSI peuvent fournir une couverture GRC (gouvernance, risque et conformité) suffisante pour répondre à de nouveaux mandats tels que le Cybersecurity Framework 2.0. 

L'énorme promesse des LLM en cybersécurité

Les RSSI et leurs équipes luttent constamment pour faire face à la vague croissante de nouvelles cyberattaques. Selon Qualys, le nombre de CVE signalés en 2023 a atteint un niveau record. nouveau record de 26,447 XNUMX. C'est plus de 5 fois plus qu'en 2013. 

Ce défi est devenu encore plus difficile à mesure que la surface d'attaque de l'organisation moyenne s'agrandit d'année en année. Les équipes AppSec doivent sécuriser et surveiller beaucoup plus d'applications logicielles. Le cloud computing, les API, le multi-cloud et les technologies de virtualisation ont ajouté une complexité supplémentaire. Grâce aux outils et processus CI/CD modernes, les équipes chargées des applications peuvent envoyer davantage de code, plus rapidement et plus fréquemment. Les microservices ont à la fois divisé l'application monolithique en de nombreuses API et surfaces d'attaque, et ont également percé de nombreuses autres failles dans les pare-feu mondiaux pour la communication avec des services externes ou des appareils clients.

Les LLM avancés sont extrêmement prometteurs pour réduire la charge de travail des équipes de cybersécurité et améliorer leurs capacités. Les outils de codage basés sur l’IA ont largement pénétré le développement logiciel. Une étude Github a révélé que 92 % des développeurs utilisent ou ont utilisé des outils d'IA pour la suggestion et la complétion de code. La plupart de ces outils « copilotes » disposent de certaines fonctionnalités de sécurité. En fait, les disciplines programmatiques avec des résultats relativement binaires, comme le codage (le code réussira ou échouera les tests unitaires) sont bien adaptées aux LLM. Au-delà de l’analyse de code pour le développement de logiciels et dans le pipeline CI/CD, l’IA pourrait être utile aux équipes de cybersécurité de plusieurs autres manières :   

• Analyse améliorée : Les LLM peuvent traiter d’énormes quantités de données de sécurité (journaux, alertes, renseignements sur les menaces) pour identifier des modèles et des corrélations invisibles pour les humains. Ils peuvent le faire dans plusieurs langues, 24 heures sur 24 et dans de nombreuses dimensions simultanément. Cela ouvre de nouvelles opportunités pour les équipes de sécurité. Les LLM peuvent analyser une pile d’alertes en temps quasi réel, signalant celles qui sont les plus susceptibles d’être graves. Grâce à l'apprentissage par renforcement, l'analyse devrait s'améliorer avec le temps. 
• Automation: Les LLM peuvent automatiser les tâches de l'équipe de sécurité qui nécessitent normalement des échanges conversationnels. Par exemple, lorsqu'une équipe de sécurité reçoit un IoC et doit demander au propriétaire d'un point de terminaison s'il s'est effectivement connecté à un appareil ou s'il se trouve quelque part en dehors de ses zones de travail normales, le LLM peut effectuer ces opérations simples, puis suivre avec des questions au besoin et des liens ou des instructions. Auparavant, il s'agissait d'une interaction qu'un membre de l'équipe informatique ou de sécurité devait mener lui-même. Les LLM peuvent également fournir des fonctionnalités plus avancées. Par exemple, un Microsoft Copilot for Security peut générer des rapports d’analyse d’incidents et traduire du code malveillant complexe en descriptions en langage naturel. 
• Apprentissage et perfectionnement continus : Contrairement aux systèmes d'apprentissage automatique précédents pour les politiques de sécurité et la compréhension, les LLM peuvent apprendre à la volée en ingérant des évaluations humaines de leur réponse et en réajustant des pools de données plus récents qui peuvent ne pas être contenus dans les fichiers journaux internes. En fait, en utilisant le même modèle fondamental sous-jacent, les LLM en cybersécurité peuvent être adaptés à différentes équipes et à leurs besoins, flux de travail ou tâches spécifiques à une région ou à un secteur vertical. Cela signifie également que l’ensemble du système peut instantanément devenir aussi intelligent que le modèle, les modifications se propageant rapidement sur toutes les interfaces. 

Risque des LLM pour la cybersécurité

En tant que nouvelle technologie avec une courte expérience, les LLM comportent de sérieux risques. Pire encore, il est difficile de comprendre toute l’étendue de ces risques, car les résultats du LLM ne sont pas prévisibles ou programmatiques à 100 %. Par exemple, les LLM peuvent « halluciner » et inventer des réponses ou répondre incorrectement aux questions, sur la base de données imaginaires. Avant d'adopter des LLM pour des cas d'utilisation de cybersécurité, il faut prendre en compte les risques potentiels, notamment : 

• Injection rapide :  Les attaquants peuvent créer des invites malveillantes spécifiquement pour produire des résultats trompeurs ou nuisibles. Ce type d'attaque peut exploiter la tendance du LLM à générer du contenu en fonction des invites qu'il reçoit. Dans les cas d'utilisation de la cybersécurité, l'injection rapide peut être plus risquée en tant que forme d'attaque interne ou d'attaque par un utilisateur non autorisé qui utilise des invites pour modifier de manière permanente les sorties du système en faussant le comportement du modèle. Cela pourrait générer des sorties inexactes ou invalides pour les autres utilisateurs du système. 
• Empoisonnement des données :  Les données de formation sur lesquelles s'appuient les LLM peuvent être intentionnellement corrompues, compromettant leur prise de décision. Dans les contextes de cybersécurité, où les organisations utilisent probablement des modèles formés par des fournisseurs d'outils, un empoisonnement des données peut survenir lors du réglage du modèle pour un client et un cas d'utilisation spécifiques. Le risque ici pourrait être qu'un utilisateur non autorisé ajoute des données incorrectes (par exemple, des fichiers journaux corrompus) pour perturber le processus de formation. Un utilisateur autorisé pourrait également le faire par inadvertance. Le résultat serait des sorties LLM basées sur de mauvaises données.
• Hallucinations: Comme mentionné précédemment, les LLM peuvent générer des réponses factuellement incorrectes, illogiques ou même malveillantes en raison d'une mauvaise compréhension des invites ou de failles de données sous-jacentes. Dans les cas d’utilisation de la cybersécurité, les hallucinations peuvent entraîner des erreurs critiques qui paralysent les renseignements sur les menaces, le tri et la correction des vulnérabilités, etc. La cybersécurité étant une activité essentielle à la mission, les LLM doivent être soumis à des normes plus élevées en matière de gestion et de prévention des hallucinations dans ces contextes. 

À mesure que les systèmes d’IA deviennent plus performants, leurs déploiements de sécurité des informations se développent rapidement. Pour être clair, de nombreuses entreprises de cybersécurité utilisent depuis longtemps la correspondance de modèles et l’apprentissage automatique pour le filtrage dynamique. Ce qui est nouveau à l’ère de l’IA générative, ce sont les LLM interactifs qui fournissent une couche d’intelligence au-dessus des flux de travail et des pools de données existants, améliorant idéalement l’efficacité et renforçant les capacités des équipes de cybersécurité. En d’autres termes, GenAI peut aider les ingénieurs en sécurité à faire plus avec moins d’efforts et les mêmes ressources, offrant ainsi de meilleures performances et des processus accélérés.