Hallusinaatioiden hallinta: hyödyt ja riskit LLM:ien käyttöönotosta osana turvallisuusprosesseja

Suuret kielimallit Valtaisiin tietomääriin koulutetut (LLM:t) voivat tehdä tietoturvatiimeistä älykkäämpiä. LLM:t tarjoavat in-line ehdotuksia ja ohjeita reagoinnista, auditoinneista, asennon hallinnasta ja muusta. Useimmat tietoturvatiimit kokeilevat tai käyttävät LLM:itä vähentääkseen manuaalista työtä työnkuluissa. Tämä voi koskea sekä arkipäiväisiä että monimutkaisia ​​tehtäviä. 

LLM voi esimerkiksi kysyä työntekijältä sähköpostitse, aikooko hän jakaa dokumentin, joka oli omistusoikeus, ja käsitellä vastauksen turvallisuusalan ammattilaiselle antamalla suosituksella. LLM:n tehtävänä voidaan myös kääntää pyyntöjä etsiäkseen toimitusketjuhyökkäyksiä avoimen lähdekoodin moduuleita vastaan ​​ja kehittää agentteja, jotka keskittyvät tiettyihin olosuhteisiin – uudet tekijät laajalti käytettyihin kirjastoihin, virheelliset koodimallit – jokaisen agentin valmisteltuna kyseiseen tilaan. 

Näihin tehokkaisiin tekoälyjärjestelmiin liittyy kuitenkin merkittäviä riskejä, jotka poikkeavat muista turvallisuustiimien riskeistä. LLM-turvallisuutta tuottavat mallit voivat vaarantua nopealla injektiolla tai tietomyrkytyksellä. Jatkuvat palautesilmukat ja koneoppimisalgoritmit ilman riittävää ihmisen ohjausta voivat antaa huonoille toimijoille mahdollisuuden tutkia ohjaimia ja indusoida sitten huonosti kohdennettuja vastauksia. LLM:t ovat alttiita hallusinaatioille, jopa rajoitetuilla aloilla. Jopa parhaat LLM:t keksivät asioita, kun he eivät tiedä vastausta. 

LLM-käyttöön ja työnkulkuihin liittyvät tietoturvaprosessit ja tekoälykäytännöt tulevat entistä kriittisemmiksi, kun nämä järjestelmät yleistyvät kyberturvallisuustoiminnassa ja -tutkimuksessa. Sen varmistaminen, että näitä prosesseja noudatetaan ja että niitä mitataan ja otetaan huomioon hallintojärjestelmissä, on ratkaisevan tärkeää varmistaa, että CISO:t voivat tarjota riittävän GRC-kattavuuden (Governance, Risk and Compliance) täyttääkseen uudet tehtävät, kuten Cybersecurity Framework 2.0. 

Valtava lupaus LLM:istä kyberturvallisuuden alalla

CISO:t ja heidän tiiminsä kamppailevat jatkuvasti pysyäkseen uusien kyberhyökkäysten mukana. Qualysin mukaan vuonna 2023 raportoitujen CVE:iden määrä saavutti a uusi ennätys 26,447 XNUMX. Se on yli 5 kertaa enemmän kuin vuonna 2013. 

Tämä haaste on vain kiristynyt, kun keskimääräisen organisaation hyökkäyspinta kasvaa vuosi vuodelta. AppSec-tiimien on suojattava ja valvottava monia muita ohjelmistosovelluksia. Pilvilaskenta, API, monipilvi- ja virtualisointiteknologiat ovat lisänneet monimutkaisuutta. Nykyaikaisten CI/CD-työkalujen ja -prosessien avulla sovellusryhmät voivat lähettää enemmän koodia, nopeammin ja useammin. Mikropalvelut ovat sekä hajottaneet monoliittisen sovelluksen lukuisiin API- ja hyökkäyspintoihin että myös lyöneet paljon lisää reikiä globaaleihin palomuuriin kommunikaatiota varten ulkoisten palvelujen tai asiakaslaitteiden kanssa.

Edistyneillä LLM:illä on valtava lupaus vähentää kyberturvatiimien työtaakkaa ja parantaa heidän kykyjään. Tekoälykäyttöiset koodaustyökalut ovat levinneet laajasti ohjelmistokehitykseen. Githubin tutkimuksessa havaittiin, että 92 % kehittäjistä käyttää tai on käyttänyt tekoälytyökaluja koodin ehdottamiseen ja täydentämiseen. Useimmissa näistä "copilot"-työkaluista on joitain suojausominaisuuksia. Itse asiassa ohjelmalliset tieteenalat, joilla on suhteellisen binaariset tulokset, kuten koodaus (koodi joko läpäisee tai hylkää yksikkötestit), sopivat hyvin LLM:ille. Ohjelmistokehitys- ja CI/CD-prosessissa tapahtuvan koodin skannauksen lisäksi tekoäly voi olla arvokasta kyberturvatiimeille monella muullakin tavalla:   

• Tehostettu analyysi: LLM:t voivat käsitellä valtavia määriä tietoturvadataa (lokit, hälytykset, uhkien tiedustelutiedot) tunnistaakseen ihmisille näkymättömiä malleja ja korrelaatioita. He voivat tehdä tämän eri kielillä, kellon ympäri ja useissa ulottuvuuksissa samanaikaisesti. Tämä avaa uusia mahdollisuuksia turvallisuustiimeille. LLM:t voivat polttaa joukon hälytyksiä lähes reaaliajassa ja ilmoittaa niistä, jotka ovat todennäköisimmin vakavia. Vahvistusoppimisen avulla analyysin pitäisi kehittyä ajan myötä. 
• Automaatio: LLM:t voivat automatisoida turvallisuustiimin tehtäviä, jotka yleensä edellyttävät keskustelua edestakaisin. Esimerkiksi kun turvallisuustiimi vastaanottaa IoC:n ja sen on kysyttävä päätepisteen omistajalta, olivatko he todella kirjautuneet laitteeseen tai sijaitsevatko he jossain normaalin työalueensa ulkopuolella, LLM voi suorittaa nämä yksinkertaiset toiminnot ja sitten seurata tarvittaessa kysymyksiä ja linkkejä tai ohjeita. Tämä oli aiemmin vuorovaikutusta, joka IT- tai turvallisuustiimin jäsenen oli suoritettava itse. LLM:t voivat tarjota myös kehittyneempiä toimintoja. Esimerkiksi Microsoft Copilot for Security voi luoda tapausanalyysiraportteja ja kääntää monimutkaisen haittaohjelmakoodin luonnollisen kielen kuvauksiksi. 
• Jatkuva oppiminen ja viritys: Toisin kuin aiemmat tietoturvakäytäntöjen ja -ymmärtämisen koneoppimisjärjestelmät, LLM:t voivat oppia lennossa ottamalla ihmisen arvioita vastauksestaan ​​ja virittämällä uudelleen uudempiin tietopankkeihin, jotka eivät välttämättä sisälly sisäisiin lokitiedostoihin. Itse asiassa käyttämällä samaa taustalla olevaa perusmallia kyberturvallisuuden LLM:t voidaan virittää eri ryhmiä ja niiden tarpeita, työnkulkuja tai alueellisia tai toimialakohtaisia ​​tehtäviä varten. Tämä tarkoittaa myös sitä, että koko järjestelmä voi olla heti yhtä älykäs kuin malli, ja muutokset etenevät nopeasti kaikissa liitännöissä. 

LLM-yritysten riski kyberturvallisuuden kannalta

Uutena teknologiana, jolla on lyhyt historia, LLM:illä on vakavia riskejä. Mikä pahempaa, näiden riskien täyden laajuuden ymmärtäminen on haastavaa, koska LLM-tulokset eivät ole 100-prosenttisesti ennustettavissa tai ohjelmallisia. Esimerkiksi LLM:t voivat "halusinoida" ja keksiä vastauksia tai vastata kysymyksiin väärin kuvitteellisen tiedon perusteella. Ennen kuin LLM:t otetaan käyttöön kyberturvallisuuden käyttötapauksissa, on otettava huomioon mahdolliset riskit, mukaan lukien: 

• Pikainjektio:  Hyökkääjät voivat luoda haitallisia kehotteita tuottaakseen harhaanjohtavia tai haitallisia tuloksia. Tämäntyyppinen hyökkäys voi hyödyntää LLM:n taipumusta luoda sisältöä vastaanottamiensa kehotteiden perusteella. Kyberturvallisuuden käyttötapauksissa nopea lisäys saattaa olla riskialttiin sisäpiirihyökkäyksen muoto tai luvattoman käyttäjän hyökkäys, joka käyttää kehotteita muuttaakseen pysyvästi järjestelmän lähtöjä vääristämällä mallin käyttäytymistä. Tämä voi tuottaa epätarkkoja tai virheellisiä tulosteita järjestelmän muille käyttäjille. 
• Tietomyrkytys:  Koulutusdata, johon LLM:t luottavat, voidaan tarkoituksella vioittaa, mikä vaarantaa heidän päätöksenteon. Kyberturvallisuusasetuksissa, joissa organisaatiot käyttävät todennäköisesti työkalutoimittajien kouluttamia malleja, tietomyrkytys saattaa tapahtua mallin virittämisen aikana tietylle asiakkaalle ja käyttötapaukselle. Riskinä tässä voi olla se, että luvaton käyttäjä lisää huonoja tietoja – esimerkiksi vioittuneita lokitiedostoja – koulutusprosessin horjuttamiseksi. Valtuutettu käyttäjä voi tehdä tämän myös vahingossa. Tuloksena olisi huonoihin tietoihin perustuvia LLM-tulosteita.
• Hallusinaatiot: Kuten aiemmin mainittiin, LLM:t voivat tuottaa tosiasiallisesti vääriä, epäloogisia tai jopa haitallisia vastauksia kehotteiden väärinymmärryksistä tai taustalla olevista tietovirheistä johtuen. Kyberturvallisuuden käyttötapauksissa hallusinaatiot voivat johtaa kriittisiin virheisiin, jotka lamauttavat uhkatietoa, haavoittuvuuden luokittelua ja korjaamista ja paljon muuta. Koska kyberturvallisuus on kriittistä toimintaa, LLM:t on pidettävä korkeammalla tasolla hallusinaatioiden hallinnassa ja ehkäisyssä näissä yhteyksissä. 

Tekoälyjärjestelmien kyvykkyyden lisääntyessä niiden tietoturvan käyttöönotto laajenee nopeasti. Selvyyden vuoksi monet kyberturvallisuusyritykset ovat pitkään käyttäneet kuvioiden täsmäämistä ja koneoppimista dynaamiseen suodatukseen. Uutta generatiivisen tekoälyn aikakaudella ovat interaktiiviset LLM:t, jotka tarjoavat älykkään kerroksen olemassa olevien työnkulkujen ja tietopankkien päälle, mikä ihannetapauksessa parantaa kyberturvatiimien tehokkuutta ja kykyjä. Toisin sanoen GenAI voi auttaa tietoturvainsinöörejä tekemään enemmän vähemmällä vaivalla ja samoilla resursseilla, mikä parantaa suorituskykyä ja nopeutettuja prosesseja.