Kontrola halucinacija: Prednosti i rizici uvođenja LLM-a kao dijela sigurnosnih procesa

Veliki jezični modeli (LLM) obučeni na golemim količinama podataka mogu timove za sigurnosne operacije učiniti pametnijima. LLM-ovi daju linijske prijedloge i smjernice o odgovoru, reviziji, upravljanju držanjem i više. Većina sigurnosnih timova eksperimentira s LLM-ovima ili ih koristi kako bi smanjili ručni rad u tijeku rada. To može biti i za obične i za složene zadatke. 

Na primjer, LLM može upitati zaposlenika putem e-pošte namjerava li podijeliti dokument koji je vlasnički i obraditi odgovor s preporukom za stručnjaka za sigurnost. LLM se također može zadužiti za prevođenje zahtjeva za traženje napada u opskrbnom lancu na module otvorenog koda i pokretanje agenata usredotočenih na specifične uvjete - novi suradnici široko korištenim bibliotekama, neprikladni uzorci koda - sa svakim agentom pripremljenim za to specifično stanje. 

Ipak, ovi moćni AI sustavi nose značajne rizike koji se razlikuju od drugih rizika s kojima se suočavaju sigurnosni timovi. Modeli koji pokreću sigurnosne LLM-ove mogu biti ugroženi brzim ubacivanjem ili trovanjem podataka. Neprekidne petlje povratnih informacija i algoritmi strojnog učenja bez dovoljnog ljudskog vodstva mogu omogućiti lošim akterima da ispitaju kontrole i potom induciraju loše ciljane odgovore. LLM-i su skloni halucinacijama, čak i u ograničenim domenama. Čak i najbolji LLM-ovi izmišljaju stvari kada ne znaju odgovor. 

Sigurnosni procesi i politike umjetne inteligencije u vezi s korištenjem LLM-a i radnim tokovima postat će kritičniji kako ti sustavi postaju sve češći u operacijama i istraživanju kibernetičke sigurnosti. Pobrinuti se da se ti procesi poštuju te da se mjere i uzimaju u obzir u sustavima upravljanja bit će ključno za osiguravanje da CISO-i mogu pružiti dostatnu GRC (Governance, Risk and Compliance) pokrivenost za ispunjavanje novih mandata kao što je Cybersecurity Framework 2.0. 

Veliko obećanje LLM-a iz kibernetičke sigurnosti

CISO-i i njihovi timovi neprestano se bore da održe korak s rastućom plimom novih kibernetičkih napada. Prema Qualysu, broj CVE-a prijavljenih u 2023. dosegnuo je a novi rekord od 26,447. To je više od 5 puta više od 2013. 

Ovaj izazov postaje sve teži kako površina napada prosječne organizacije raste svake godine. AppSec timovi moraju osigurati i nadzirati mnogo više softverskih aplikacija. Računalstvo u oblaku, API-ji, multi-cloud i tehnologije virtualizacije dodali su dodatnu složenost. S modernim CI/CD alatima i procesima, aplikacijski timovi mogu slati više koda, brže i češće. Mikroservisi su razdvojili monolitnu aplikaciju na brojne API-je i površinu za napad te su probili mnogo više rupa u globalnim vatrozidovima za komunikaciju s vanjskim servisima ili korisničkim uređajima.

Napredni LLM-ovi obećavaju da će smanjiti opterećenje timova za kibernetičku sigurnost i poboljšati njihove sposobnosti. Alati za kodiranje koje pokreće umjetna inteligencija široko su prodrli u razvoj softvera. Istraživanje Githuba pokazalo je da 92% programera koristi ili je koristilo AI alate za predlaganje i dovršavanje koda. Većina ovih "copilot" alata ima neke sigurnosne mogućnosti. Zapravo, programske discipline s relativno binarnim ishodima kao što je kodiranje (kôd će ili proći ili pasti jedinične testove) dobro su prikladne za LLM. Osim skeniranja koda za razvoj softvera i u CI/CD cjevovodu, AI bi mogao biti vrijedan za timove za kibernetičku sigurnost na nekoliko drugih načina:   

• Poboljšana analiza: LLM-ovi mogu obraditi ogromne količine sigurnosnih podataka (dnevnici, upozorenja, obavještajni podaci o prijetnjama) kako bi identificirali obrasce i korelacije nevidljive ljudima. To mogu činiti na više jezika, 24 sata dnevno i na brojnim dimenzijama istovremeno. Ovo otvara nove mogućnosti za sigurnosne timove. LLM-ovi mogu spaliti hrpu upozorenja u gotovo stvarnom vremenu, označavajući ona koja su najvjerojatnije ozbiljna. Kroz učenje s potkrepljenjem, analiza bi se trebala poboljšati s vremenom. 
• Automatizacija: LLM-i mogu automatizirati zadatke sigurnosnog tima koji obično zahtijevaju razgovor naprijed-natrag. Na primjer, kada sigurnosni tim primi IoC i treba pitati vlasnika krajnje točke jesu li se doista prijavili na uređaj ili se nalaze negdje izvan svojih uobičajenih radnih zona, LLM može izvesti ove jednostavne operacije i zatim slijediti s pitanjima prema potrebi i vezama ili uputama. Nekada je to bila interakcija koju je član IT ili sigurnosnog tima morao sam provoditi. LLM također može pružiti napredniju funkcionalnost. Na primjer, Microsoftov kopilot za sigurnost može generirati izvješća o analizi incidenta i prevesti složeni malware kod u opise prirodnog jezika. 
• Kontinuirano učenje i podešavanje: Za razliku od prethodnih sustava strojnog učenja za sigurnosne politike i razumijevanje, LLM-ovi mogu učiti u hodu unoseći ljudske ocjene svojih odgovora i ponovnim podešavanjem novijih skupova podataka koji možda nisu sadržani u internim datotekama dnevnika. Zapravo, korištenjem istog temeljnog modela, LLM-ovi kibernetičke sigurnosti mogu se prilagoditi različitim timovima i njihovim potrebama, tijekovima rada ili zadacima specifičnim za regiju ili vertikalu. To također znači da cijeli sustav može odmah biti pametan kao i model, s promjenama koje se brzo šire kroz sva sučelja. 

Rizik LLM-a za kibernetičku sigurnost

Kao nova tehnologija s kratkim rezultatima, LLM-i nose ozbiljne rizike. Što je još gore, razumijevanje punog opsega tih rizika predstavlja izazov jer rezultati LLM-a nisu 100% predvidljivi ili programski. Na primjer, magistri mogu "halucinirati" i izmišljati odgovore ili odgovarati na pitanja netočno, na temelju imaginarnih podataka. Prije usvajanja LLM-ova za slučajeve uporabe kibernetičke sigurnosti, potrebno je razmotriti potencijalne rizike uključujući: 

• Brzo ubrizgavanje:  Napadači mogu izraditi zlonamjerne upite posebno za proizvodnju obmanjujućih ili štetnih rezultata. Ova vrsta napada može iskoristiti tendenciju LLM-a da generira sadržaj na temelju upita koje prima. U slučajevima upotrebe kibernetičke sigurnosti, brzo ubacivanje može biti najrizičnije kao oblik insajderskog napada ili napada neovlaštenog korisnika koji koristi prompte za trajnu promjenu izlaza sustava iskrivljavanjem ponašanja modela. To bi moglo generirati netočne ili nevažeće izlaze za druge korisnike sustava. 
• Trovanje podataka:  Podaci o obuci na koje se LLM oslanjaju mogu biti namjerno oštećeni, ugrožavajući njihovo donošenje odluka. U postavkama kibernetičke sigurnosti, gdje organizacije vjerojatno koriste modele koje su obučili pružatelji alata, može doći do trovanja podacima tijekom podešavanja modela za određenog korisnika i slučaj upotrebe. Rizik bi ovdje mogao biti neovlašteni korisnik koji dodaje loše podatke - na primjer, oštećene datoteke dnevnika - kako bi poremetio proces obuke. Ovlašteni korisnik bi to mogao učiniti i nenamjerno. Rezultat bi bili rezultati LLM-a temeljeni na lošim podacima.
• Halucinacije: Kao što je ranije spomenuto, LLM-ovi mogu generirati činjenično netočne, nelogične ili čak zlonamjerne odgovore zbog nesporazuma u uputama ili nedostataka temeljnih podataka. U slučajevima upotrebe kibernetičke sigurnosti, halucinacije mogu rezultirati kritičnim pogreškama koje onemogućuju obavještavanje o prijetnjama, trijažu i sanaciju ranjivosti i više. Budući da je kibernetička sigurnost aktivnost od ključne važnosti, LLM-i se moraju pridržavati viših standarda upravljanja i sprječavanja halucinacija u tim kontekstima. 

Kako sustavi umjetne inteligencije postaju sve sposobniji, njihova se implementacija informacijske sigurnosti brzo širi. Da budemo jasni, mnoge tvrtke koje se bave kibernetičkom sigurnošću dugo koriste podudaranje uzoraka i strojno učenje za dinamičko filtriranje. Ono što je novo u eri generativne umjetne inteligencije su interaktivni LLM-ovi koji pružaju sloj inteligencije povrh postojećih radnih procesa i skupova podataka, idealno poboljšavajući učinkovitost i poboljšavajući sposobnosti timova za kibernetičku sigurnost. Drugim riječima, GenAI može pomoći sigurnosnim inženjerima da učine više s manje truda i istim resursima, donoseći bolje performanse i ubrzane procese.