Control d'al·lucinacions: beneficis i riscos de desplegar LLM com a part dels processos de seguretat

Grans models lingüístics (LLM) formats en grans quantitats de dades poden fer que els equips d'operacions de seguretat siguin més intel·ligents. Els LLM ofereixen suggeriments i orientació en línia sobre resposta, auditories, gestió de la postura i molt més. La majoria dels equips de seguretat estan experimentant o utilitzant LLM per reduir el treball manual en els fluxos de treball. Això pot ser tant per a tasques mundanes com complexes. 

Per exemple, un LLM pot consultar a un empleat per correu electrònic si volia compartir un document que era propietari i processar la resposta amb una recomanació per a un professional de la seguretat. Un LLM també es pot encarregar de traduir sol·licituds per buscar atacs a la cadena de subministrament a mòduls de codi obert i generar agents centrats en condicions específiques (nous col·laboradors a biblioteques àmpliament utilitzades, patrons de codi inadequats) amb cada agent preparat per a aquesta condició específica. 

Dit això, aquests potents sistemes d'IA comporten riscos significatius que són a diferència d'altres riscos als quals s'enfronten els equips de seguretat. Els models que alimenten els LLM de seguretat es poden veure compromesos mitjançant la injecció ràpida o l'enverinament de dades. Els bucles de retroalimentació contínues i els algorismes d'aprenentatge automàtic sense una guia humana suficient poden permetre als actors dolents investigar els controls i, a continuació, induir respostes mal orientades. Els LLM són propensos a les al·lucinacions, fins i tot en dominis limitats. Fins i tot els millors LLM inventen coses quan no saben la resposta. 

Els processos de seguretat i les polítiques d'IA al voltant de l'ús i els fluxos de treball de LLM seran més crítics a mesura que aquests sistemes siguin més comuns a les operacions i la investigació de ciberseguretat. Assegurar-se que aquests processos es compleixin i es mesuren i es tenen en compte en els sistemes de govern serà crucial per garantir que els CISO puguin oferir una cobertura GRC (Governança, Risc i Compliment) suficient per complir amb nous mandats com el Marc de ciberseguretat 2.0. 

La gran promesa dels LLM en ciberseguretat

Els CISO i els seus equips lluiten constantment per mantenir-se al dia amb l'augment de la marea de nous ciberatacs. Segons Qualys, el nombre de CVE reportats el 2023 va assolir un nou rècord de 26,447. Això és més de 5 vegades més que el 2013. 

Aquest repte només s'ha tornat més pesat a mesura que la superfície d'atac de l'organització mitjana creix cada any que passa. Els equips d'AppSec han de protegir i supervisar moltes més aplicacions de programari. La informàtica en núvol, les API, les tecnologies multinúvol i de virtualització han afegit complexitat addicional. Amb les eines i els processos moderns de CI/CD, els equips d'aplicacions poden enviar més codi, més ràpid i amb més freqüència. Els microserveis han dividit l'aplicació monolítica en nombroses API i superfícies d'atac i també han fet molts més forats als tallafocs globals per a la comunicació amb serveis externs o dispositius dels clients.

Els LLM avançats prometen reduir la càrrega de treball dels equips de ciberseguretat i millorar les seves capacitats. Les eines de codificació impulsades per IA han penetrat àmpliament en el desenvolupament de programari. La investigació de Github va trobar que el 92% dels desenvolupadors utilitzen o han utilitzat eines d'IA per suggerir i completar el codi. La majoria d'aquestes eines "copilot" tenen algunes capacitats de seguretat. De fet, les disciplines programàtiques amb resultats relativament binaris, com ara la codificació (el codi passarà o no les proves unitats) són molt adequades per als LLM. Més enllà de l'escaneig de codi per al desenvolupament de programari i en el pipeline CI/CD, la IA podria ser valuosa per als equips de ciberseguretat de diverses altres maneres:   

• Anàlisi millorada: Els LLM poden processar quantitats massives de dades de seguretat (registres, alertes, intel·ligència d'amenaces) per identificar patrons i correlacions invisibles per als humans. Ho poden fer en diferents idiomes, durant tot el dia i en nombroses dimensions simultàniament. Això obre noves oportunitats per als equips de seguretat. Els LLM poden cremar una pila d'alertes gairebé en temps real, marcant les que tenen més probabilitats de ser greus. Mitjançant l'aprenentatge de reforç, l'anàlisi hauria de millorar amb el temps. 
• Automatització: Els LLM poden automatitzar les tasques de l'equip de seguretat que normalment requereixen conversacions d'anada i tornada. Per exemple, quan un equip de seguretat rep un IoC i necessita preguntar al propietari d'un punt final si realment havia iniciat la sessió en un dispositiu o si es troba en algun lloc fora de les seves zones de treball normals, el LLM pot realitzar aquestes operacions senzilles i després seguir amb preguntes segons sigui necessari i enllaços o instruccions. Aquesta solia ser una interacció que un membre de l'equip informàtic o de seguretat havia de dur a terme. Els LLM també poden proporcionar funcionalitats més avançades. Per exemple, un Microsoft Copilot for Security pot generar informes d'anàlisi d'incidents i traduir codi complex de programari maliciós a descripcions en llenguatge natural. 
• Aprenentatge i afinació contínua: A diferència dels sistemes d'aprenentatge automàtic anteriors per a polítiques de seguretat i comprensió, els LLM poden aprendre sobre la marxa ingerint puntuacions humanes de la seva resposta i tornant a ajustar a grups de dades més nous que potser no es troben als fitxers de registre interns. De fet, utilitzant el mateix model fonamental subjacent, els LLM de ciberseguretat es poden ajustar per a diferents equips i les seves necessitats, fluxos de treball o tasques específiques regionals o verticals. Això també significa que tot el sistema pot ser instantàniament tan intel·ligent com el model, amb els canvis que es propaguen ràpidament a totes les interfícies. 

Risc dels LLM per a la ciberseguretat

Com a nova tecnologia amb una trajectòria curta, els LLM tenen seriosos riscos. Pitjor encara, entendre l'abast total d'aquests riscos és un repte perquè els resultats de LLM no són 100% previsibles ni programàtics. Per exemple, els LLM poden "al·lucinar" i inventar respostes o respondre preguntes incorrectament, basant-se en dades imaginàries. Abans d'adoptar els LLM per a casos d'ús de ciberseguretat, cal tenir en compte els riscos potencials que inclouen: 

• Injecció ràpida:  Els atacants poden crear missatges maliciosos específicament per produir resultats enganyosos o nocius. Aquest tipus d'atac pot aprofitar la tendència del LLM a generar contingut en funció de les indicacions que rep. En els casos d'ús de la ciberseguretat, la injecció ràpida pot ser més arriscada com a forma d'atac intern o atac per part d'un usuari no autoritzat que utilitza indicacions per alterar permanentment les sortides del sistema alterant el comportament del model. Això podria generar sortides inexactes o no vàlides per a altres usuaris del sistema. 
• Intoxicació de dades:  Les dades de formació en què es basen els LLM es poden corrompre intencionadament, cosa que compromet la seva presa de decisions. A la configuració de la ciberseguretat, on probablement les organitzacions utilitzen models entrenats pels proveïdors d'eines, es pot produir una intoxicació de dades durant l'ajustament del model per al client i el cas d'ús específics. El risc aquí podria ser que un usuari no autoritzat afegeixi dades dolentes (per exemple, fitxers de registre danyats) per subvertir el procés d'entrenament. Un usuari autoritzat també podria fer-ho sense voler. El resultat serien sortides de LLM basades en dades incorrectes.
• Al·lucinacions: Com s'ha esmentat anteriorment, els LLM poden generar respostes incorrectes, il·lògiques o fins i tot malicioses a causa de malentesos de les sol·licituds o defectes de dades subjacents. En els casos d'ús de la ciberseguretat, les al·lucinacions poden provocar errors crítics que paralitzen la intel·ligència d'amenaces, el triatge i la correcció de vulnerabilitats i molt més. Com que la ciberseguretat és una activitat crítica per a la missió, els LLM s'han de mantenir amb un nivell més alt de gestió i prevenció de les al·lucinacions en aquests contextos. 

A mesura que els sistemes d'IA es tornen més capaços, els seus desplegaments de seguretat de la informació s'estan expandint ràpidament. Per ser clar, moltes empreses de ciberseguretat han utilitzat durant molt de temps la concordança de patrons i l'aprenentatge automàtic per al filtratge dinàmic. El que és nou a l'era de la IA generativa són els LLM interactius que proporcionen una capa d'intel·ligència sobre els fluxos de treball i els conjunts de dades existents, millorant idealment l'eficiència i millorant les capacitats dels equips de ciberseguretat. En altres paraules, GenAI pot ajudar els enginyers de seguretat a fer més amb menys esforç i els mateixos recursos, donant un millor rendiment i processos accelerats.