Halucināciju kontrole: ieguvumi un riski, izvietojot LLM kā daļu no drošības procesiem

Lieli valodu modeļi (LLM), kas ir apmācīti par lielu datu daudzumu, var padarīt drošības operāciju komandas gudrākas. LLM sniedz tūlītējus ieteikumus un norādījumus par atbildēm, auditiem, stājas pārvaldību un citiem jautājumiem. Lielākā daļa drošības komandu eksperimentē vai izmanto LLM, lai samazinātu manuālo darbu darbplūsmās. Tas var būt gan ikdienišķu, gan sarežģītu uzdevumu veikšanai. 

Piemēram, LLM var jautāt darbiniekam pa e-pastu, ja viņš ir gribējis kopīgot dokumentu, kas ir patentēts, un apstrādāt atbildi ar ieteikumu drošības speciālistam. LLM var arī uzdot tulkot pieprasījumus, lai meklētu piegādes ķēdes uzbrukumus atvērtā pirmkoda moduļiem un veidotu aģentus, kas vērsti uz īpašiem apstākļiem — jauniem plaši izmantotu bibliotēku atbalstītājiem, nepareiziem koda modeļiem — katrs aģents ir sagatavots šim konkrētajam stāvoklim. 

Tomēr šīs jaudīgās AI sistēmas rada ievērojamus riskus, kas atšķiras no citiem riskiem, ar kuriem saskaras drošības komandas. Modeļi, kas darbina drošības LLM, var tikt apdraudēti, veicot tūlītēju injekciju vai saindējot datus. Nepārtrauktas atgriezeniskās saites cilpas un mašīnmācīšanās algoritmi bez pietiekamas cilvēka vadības var ļaut sliktiem dalībniekiem pārbaudīt vadības ierīces un pēc tam izraisīt slikti mērķtiecīgas atbildes. LLM ir pakļauti halucinācijām pat ierobežotās jomās. Pat labākie LLM izdomā lietas, ja viņi nezina atbildi. 

Drošības procesi un AI politikas saistībā ar LLM izmantošanu un darbplūsmām kļūs kritiskāki, jo šīs sistēmas kļūs arvien izplatītākas kiberdrošības operācijās un pētniecībā. Lai nodrošinātu, ka CISO var nodrošināt pietiekamu GRC (pārvaldības, riska un atbilstības) pārklājumu, lai izpildītu jaunas pilnvaras, piemēram, kiberdrošības ietvarstruktūru 2.0, ir svarīgi nodrošināt, lai šie procesi tiktu ievēroti, kā arī tie tiktu mērīti un ņemti vērā pārvaldības sistēmās. 

Lielais LLM solījums kiberdrošībā

CISO un viņu komandas pastāvīgi cīnās, lai neatpaliktu no pieaugošajiem jaunu kiberuzbrukumu viļņiem. Saskaņā ar Qualys sniegto informāciju 2023. gadā reģistrēto CVE skaits sasniedza a jauns rekords 26,447 XNUMX. Tas ir vairāk nekā 5 reizes vairāk nekā 2013. gadā. 

Šis izaicinājums ir kļuvis tikai apgrūtinošāks, jo vidējās organizācijas uzbrukuma virsma ar katru gadu kļūst lielāka. AppSec komandām ir jānodrošina un jāuzrauga daudz vairāk programmatūras lietojumprogrammu. Mākoņdatošana, API, vairāku mākoņu un virtualizācijas tehnoloģijas ir radījušas papildu sarežģītību. Izmantojot modernos CI/CD rīkus un procesus, lietojumprogrammu komandas var nosūtīt vairāk koda, ātrāk un biežāk. Mikropakalpojumi ir gan sadalījuši monolītu lietotni daudzos API un uzbrukuma virsmās, gan arī ir izspieduši daudz vairāk caurumu globālajos ugunsmūros saziņai ar ārējiem pakalpojumiem vai klientu ierīcēm.

Uzlabotiem LLM ir milzīgs solījums samazināt kiberdrošības komandu darba slodzi un uzlabot to spējas. Ar AI darbināmi kodēšanas rīki ir plaši iekļuvuši programmatūras izstrādē. Github pētījumi atklāja, ka 92% izstrādātāju izmanto vai ir izmantojuši AI rīkus koda ierosināšanai un pabeigšanai. Lielākajai daļai šo “kopilota” rīku ir dažas drošības iespējas. Faktiski programmatiskās disciplīnas ar relatīvi bināriem rezultātiem, piemēram, kodēšana (kods izturēs vai neizturēs vienību testus), ir labi piemērotas LLM. Papildus koda skenēšanai programmatūras izstrādei un CI/CD konveijerā mākslīgais intelekts varētu būt vērtīgs kiberdrošības komandām vairākos citos veidos:   

• Uzlabotā analīze: LLM var apstrādāt milzīgus drošības datu apjomus (žurnālus, brīdinājumus, draudu izlūkošanas informāciju), lai identificētu cilvēkiem neredzamus modeļus un korelācijas. Viņi to var izdarīt dažādās valodās, visu diennakti un vairākās dimensijās vienlaikus. Tas paver jaunas iespējas drošības komandām. LLM var gandrīz reāllaikā sadedzināt brīdinājumu kaudzi, atzīmējot tos, kas, visticamāk, ir nopietni. Izmantojot pastiprinošu mācīšanos, analīzei laika gaitā vajadzētu uzlaboties. 
• Automatizācija: LLM var automatizēt drošības komandas uzdevumus, kuriem parasti nepieciešama sarunvaloda turp un atpakaļ. Piemēram, ja drošības komanda saņem IoC un tai ir jājautā galapunkta īpašniekam, vai viņi patiešām ir pierakstījušies ierīcē vai atrodas kaut kur ārpus savas parastajām darba zonām, LLM var veikt šīs vienkāršās darbības un pēc tam sekot. uzdodiet jautājumus, ja nepieciešams, un saites vai norādījumus. Agrāk tā bija mijiedarbība, kas IT vai drošības komandas loceklim bija jāveic pašam. LLM var nodrošināt arī uzlabotas funkcionalitātes. Piemēram, Microsoft Copilot for Security var ģenerēt incidentu analīzes ziņojumus un tulkot sarežģītu ļaunprātīgas programmatūras kodu aprakstos dabiskajā valodā. 
• Nepārtraukta mācīšanās un regulēšana: Atšķirībā no iepriekšējām mašīnmācīšanās sistēmām drošības politikas un izpratnes jomā, LLM var mācīties lidojuma laikā, uzņemot cilvēku vērtējumus par savu reakciju un pārskaņojot jaunākus datu kopumus, kas, iespējams, nav ietverti iekšējos žurnālfailos. Faktiski, izmantojot vienu un to pašu pamata modeli, kiberdrošības LLM var pielāgot dažādām komandām un to vajadzībām, darbplūsmām vai reģionāliem vai vertikāliem specifiskiem uzdevumiem. Tas arī nozīmē, ka visa sistēma uzreiz var būt tikpat gudra kā modelis, un izmaiņas ātri izplatās visās saskarnēs. 

LLM risks kiberdrošībai

Tā kā LLM ir jauna tehnoloģija ar nelieliem panākumiem, tiem ir nopietni riski. Vēl ļaunāk, izprast šo risku pilno apmēru ir sarežģīti, jo LLM rezultāti nav 100% paredzami vai programmatiski. Piemēram, LLM var “halucinēt” un izdomāt atbildes vai atbildēt uz jautājumiem nepareizi, pamatojoties uz iedomātiem datiem. Pirms LLM pieņemšanas kiberdrošības izmantošanas gadījumiem ir jāapsver iespējamie riski, tostarp: 

• Ātra injekcija:  Uzbrucēji var izstrādāt ļaunprātīgas uzvednes, lai radītu maldinošus vai kaitīgus rezultātus. Šāda veida uzbrukumos var izmantot LLM tendenci ģenerēt saturu, pamatojoties uz saņemtajām uzvednēm. Kiberdrošības lietojuma gadījumos tūlītēja ievadīšana var būt visbīstamākā kā iekšējās informācijas uzbrukums vai neautorizēta lietotāja uzbrukums, kurš izmanto uzvednes, lai neatgriezeniski mainītu sistēmas izvades, sagrozot modeļa uzvedību. Tas var radīt neprecīzus vai nederīgus rezultātus citiem sistēmas lietotājiem. 
• Datu saindēšanās:  Apmācības dati, uz kuriem LLM paļaujas, var tikt apzināti bojāti, tādējādi apdraudot viņu lēmumu pieņemšanu. Kiberdrošības iestatījumos, kur organizācijas, visticamāk, izmanto rīku nodrošinātāju apmācītus modeļus, modeļa pielāgošanas laikā konkrētajam klientam un lietošanas gadījumam var rasties datu saindēšanās. Šeit var rasties risks, ka nesankcionēts lietotājs pievienos sliktus datus, piemēram, bojātus žurnālfailus, lai izjauktu apmācības procesu. Autorizēts lietotājs to var izdarīt arī netīšām. Rezultāts būtu LLM izvadi, kuru pamatā ir slikti dati.
• Halucinācijas: Kā minēts iepriekš, LLM var radīt faktiski nepareizas, neloģiskas vai pat ļaunprātīgas atbildes, ja rodas pārpratumi par uzvednēm vai pamatā esošie datu trūkumi. Kiberdrošības izmantošanas gadījumos halucinācijas var izraisīt kritiskas kļūdas, kas traucē draudu izlūkošanai, ievainojamības šķirošanai un novēršanai un daudz ko citu. Tā kā kiberdrošība ir ļoti svarīga darbība, LLM šajā kontekstā ir jāievēro augstāki halucināciju pārvaldības un novēršanas standarti. 

Tā kā AI sistēmas kļūst spējīgākas, to informācijas drošības izvietošana strauji paplašinās. Lai būtu skaidrs, daudzi kiberdrošības uzņēmumi jau sen ir izmantojuši modeļu saskaņošanu un mašīnmācīšanos dinamiskai filtrēšanai. Jaunums ģeneratīvā mākslīgā intelekta laikmetā ir interaktīvas LLM, kas nodrošina informācijas slāni virs esošajām darbplūsmām un datu kopumiem, ideālā gadījumā uzlabojot kiberdrošības komandu efektivitāti un iespējas. Citiem vārdiem sakot, GenAI var palīdzēt drošības inženieriem paveikt vairāk ar mazāku piepūli un tiem pašiem resursiem, nodrošinot labāku veiktspēju un paātrinātus procesus.