Hallutsinatsioonide kontroll: kasu ja riskid LLM-ide kasutuselevõtust turvaprotsesside osana

Suured keelemudelid Suurte andmemahtude jaoks koolitatud (LLM-id) võivad muuta turvaoperatsioonide meeskonnad targemaks. LLM-id pakuvad reaalajas soovitusi ja juhiseid reageerimise, auditite, kehahoiaku juhtimise ja muu kohta. Enamik turvameeskondi katsetab või kasutab LLM-e, et vähendada käsitsi vaeva töövoogudes. See võib olla nii igapäevaste kui ka keerukate ülesannete jaoks. 

Näiteks võib LLM küsida töötajalt meili teel, kas ta kavatses jagada dokumenti, mis oli omandiõigusega kaitstud, ja töödelda vastust turvatöötaja soovitusega. LLM-i ülesandeks võib olla ka taotluste tõlkimine avatud lähtekoodiga moodulite vastu suunatud tarneahela rünnakute otsimiseks ja konkreetsetele tingimustele keskenduvate agentide loomine – laialdaselt kasutatavate teekide uued panustajad, sobimatud koodimustrid –, kusjuures iga agent on selle konkreetse olukorra jaoks ette valmistatud. 

Sellegipoolest kannavad need võimsad AI-süsteemid olulisi riske, mis erinevad teistest turvameeskondade ees seisvatest riskidest. LLM-e turbe toidavad mudelid võivad saada ohtu kiire süstimise või andmete mürgitamise. Pidevad tagasisideahelad ja masinõppe algoritmid ilma piisava inimliku juhendamiseta võivad lubada halbadel osalejatel kontrollida juhtelemente ja seejärel kutsuda esile halvasti sihitud vastuseid. LLM-id on altid hallutsinatsioonidele, isegi piiratud valdkondades. Isegi parimad LLM-id mõtlevad asjad välja, kui nad vastust ei tea. 

LLM-i kasutamise ja töövoogudega seotud turbeprotsessid ja tehisintellekti poliitikad muutuvad kriitilisemaks, kuna need süsteemid muutuvad küberturbetoimingutes ja -uuringutes tavalisemaks. Nende protsesside järgimise ning juhtimissüsteemides mõõtmise ja arvestamise tagamine on ülioluline tagamaks, et CISO-d suudavad tagada piisava GRC (juhtimine, risk ja vastavus) katvuse, et täita uusi volitusi, nagu küberturvalisuse raamistik 2.0. 

LLM-ide tohutu lubadus küberturvalisuses

CISO-d ja nende meeskonnad näevad pidevalt vaeva, et uute küberrünnakute tõusulainega sammu pidada. Qualyse andmetel saavutas 2023. aastal teatatud CVE-de arv a uus rekord 26,447 XNUMX. See on rohkem kui 5 korda rohkem kui 2013. aastal. 

See väljakutse on muutunud ainult koormavamaks, kuna keskmise organisatsiooni rünnakupind kasvab iga aastaga suuremaks. AppSeci meeskonnad peavad kaitsma ja jälgima palju rohkem tarkvararakendusi. Pilvandmetöötlus, API-d, mitme pilve- ja virtualiseerimistehnoloogiad on lisanud keerukust. Kaasaegse CI/CD tööriistade ja protsessidega saavad rakendusmeeskonnad saata rohkem koodi, kiiremini ja sagedamini. Mikroteenused on killustanud monoliitsed rakendused arvukateks API-deks ja rünnakupinnaks ning lõiganud globaalsetesse tulemüüridesse palju rohkem auke suhtlemiseks välisteenuste või kliendiseadmetega.

Täiustatud LLM-idel on tohutu lubadus vähendada küberturvameeskondade töökoormust ja parandada nende võimeid. AI-põhised kodeerimistööriistad on tarkvaraarendusse laialt levinud. Githubi uuringud näitasid, et 92% arendajatest kasutab või on kasutanud AI tööriistu koodi soovitamiseks ja lõpetamiseks. Enamikul neist "teispiloodi" tööriistadest on teatud turvavõimalused. Tegelikult sobivad suhteliselt binaarsete tulemustega programmilised distsipliinid, nagu kodeerimine (kood kas läbib või ebaõnnestub ühikutestid), LLM-idele hästi. Lisaks tarkvaraarenduse ja CI/CD torujuhtme koodide skannimisele võib tehisintellekt olla küberturbemeeskondade jaoks väärtuslik mitmel muul viisil.   

• Täiustatud analüüs: LLM-id saavad töödelda tohutul hulgal turbeandmeid (logid, hoiatused, ohuluure), et tuvastada inimestele nähtamatud mustrid ja korrelatsioonid. Nad saavad seda teha erinevates keeltes, ööpäevaringselt ja mitmes mõõtmes korraga. See avab turvameeskondadele uusi võimalusi. LLM-id võivad peaaegu reaalajas põletada hulga hoiatusi, märkides need, mis on kõige tõenäolisemalt tõsised. Tugevdusõppe kaudu peaks analüüs aja jooksul paranema. 
• Automatiseerimine: LLM-id saavad automatiseerida turvameeskonna ülesandeid, mis tavaliselt nõuavad edasi-tagasi vestlust. Näiteks kui turvameeskond saab IoC-i ja peab küsima lõpp-punkti omanikult, kas nad on tegelikult seadmesse sisse loginud või asuvad nad kusagil väljaspool oma tavalist töötsooni, saab LLM teha need lihtsad toimingud ja seejärel järgida. esitage vajadusel küsimusi ja linke või juhiseid. Varem oli see suhtlus, mille IT- või turvameeskonna liige pidi ise läbi viima. LLM-id võivad pakkuda ka täiustatud funktsioone. Näiteks Microsoft Copilot for Security saab koostada intsidentide analüüsi aruandeid ja tõlkida keerulise pahavara koodi loomulikesse keeltesse. 
• Pidev õppimine ja häälestamine: Erinevalt eelmistest turvapoliitika ja arusaamise masinõppesüsteemidest saavad LLM-id õppida käigu pealt, võttes vastu inimeste hinnanguid ja häälestades ümber uuemate andmekogumite, mis ei pruugi sisalduda sisemistes logifailides. Tegelikult saab sama alusmudeli abil küberturvalisuse LLM-e häälestada erinevate meeskondade ja nende vajaduste, töövoogude või piirkondlike või vertikaalsete ülesannete jaoks. See tähendab ka seda, et kogu süsteem võib koheselt olla sama nutikas kui mudel, kusjuures muudatused levivad kiiresti kõigis liidestes. 

LLM-ide risk küberjulgeoleku jaoks

LLM-idel on uue lühikese kogemusega tehnoloogiana tõsised riskid. Mis veelgi hullem, nende riskide täieliku ulatuse mõistmine on keeruline, kuna LLM-i väljundid ei ole 100% prognoositavad ega programmilised. Näiteks võivad LLM-id kujuteldavate andmete põhjal "hallutsineerida" ja välja mõelda vastuseid või vastata küsimustele valesti. Enne LLM-ide kasutuselevõttu küberjulgeoleku kasutusjuhtudel tuleb kaaluda võimalikke riske, sealhulgas: 

• Kiire süstimine:  Ründajad võivad koostada pahatahtlikke viipeid, et tekitada eksitavaid või kahjulikke väljundeid. Seda tüüpi rünnak võib ära kasutada LLM-i kalduvust luua sisu saadud viipade alusel. Küberturvalisuse kasutusjuhtudel võib kiire süstimine olla kõige riskantsem kui siseringi rünnak või volitamata kasutaja rünnak, kes kasutab viipasid süsteemi väljundite püsivaks muutmiseks, muutes mudeli käitumist. See võib tekitada süsteemi teistele kasutajatele ebatäpseid või kehtetuid väljundeid. 
• Andmemürgitus:  Koolitusandmeid, millele LLM-id tuginevad, saab tahtlikult rikkuda, mis kahjustab nende otsuste tegemist. Küberturvalisuse seadetes, kus organisatsioonid kasutavad tõenäoliselt tööriistapakkujate koolitatud mudeleid, võib mudeli häälestamise ajal konkreetse kliendi ja kasutusjuhtumi jaoks tekkida andmete mürgistus. Siin võib oht seisneda selles, et volitamata kasutaja lisab koolitusprotsessi õõnestamiseks halbu andmeid (nt rikutud logifaile). Volitatud kasutaja võib seda teha ka kogemata. Tulemuseks oleks halbadel andmetel põhinevad LLM-väljundid.
• hallutsinatsioonid: Nagu varem mainitud, võivad LLM-id anda faktiliselt ebaõigeid, ebaloogilisi või isegi pahatahtlikke vastuseid, mis on tingitud viipade valesti mõistmisest või andmete aluseks olevatest vigadest. Küberjulgeoleku kasutamise juhtudel võivad hallutsinatsioonid põhjustada kriitilisi vigu, mis kahjustavad ohuteavet, haavatavuse määramist ja parandamist ning palju muud. Kuna küberjulgeolek on missioonikriitiline tegevus, peavad LLM-id nendes kontekstides hallutsinatsioonide haldamisel ja ennetamisel järgima kõrgemaid standardeid. 

Kuna AI-süsteemid muutuvad võimekamaks, laienevad nende infoturbe juurutused kiiresti. Selguse huvides on paljud küberturvalisuse ettevõtted dünaamilise filtreerimise jaoks pikka aega kasutanud mustrite sobitamist ja masinõpet. Generatiivse tehisintellekti ajastu uus on interaktiivsed LLM-id, mis pakuvad olemasolevate töövoogude ja andmekogumite peal luurekihti, parandades ideaaljuhul küberturbemeeskondade tõhusust ja võimeid. Teisisõnu võib GenAI aidata turbeinseneridel teha rohkem väiksema vaeva ja samade ressurssidega, tagades parema jõudluse ja kiirendades protsesse.