Kontrolli i halucinacioneve: Përfitimet dhe rreziqet e vendosjes së LLM-ve si pjesë e proceseve të sigurisë

Modele të mëdha gjuhësore (LLM) të trajnuar për sasi të mëdha të dhënash mund t'i bëjnë ekipet e operacioneve të sigurisë më të zgjuara. LLM-të ofrojnë sugjerime dhe udhëzime në linjë për përgjigjen, auditimet, menaxhimin e sjelljes dhe më shumë. Shumica e ekipeve të sigurisë po eksperimentojnë ose përdorin LLM për të reduktuar mundin manual në rrjedhat e punës. Kjo mund të jetë si për detyrat e zakonshme ashtu edhe për ato komplekse. 

Për shembull, një LLM mund të pyesë një punonjës me email nëse ata synojnë të ndajnë një dokument që ishte pronësor dhe të përpunojnë përgjigjen me një rekomandim për një praktikues sigurie. Një LLM mund të ngarkohet gjithashtu me përkthimin e kërkesave për të kërkuar sulme të zinxhirit të furnizimit në modulet me burim të hapur dhe për të rrotulluar agjentë të fokusuar në kushte specifike - kontribues të rinj në bibliotekat e përdorura gjerësisht, modele të pahijshme kodi - me secilin agjent të përgatitur për atë gjendje specifike. 

Thënë kështu, këto sisteme të fuqishme të AI mbartin rreziqe të rëndësishme që janë ndryshe nga rreziqet e tjera me të cilat përballen ekipet e sigurisë. Modelet që fuqizojnë sigurinë LLM mund të rrezikohen nëpërmjet injektimit të menjëhershëm ose helmimit të të dhënave. Rrotullimet e vazhdueshme të reagimit dhe algoritmet e mësimit të makinerive pa udhëzim të mjaftueshëm njerëzor mund të lejojnë aktorët e këqij të hetojnë kontrollet dhe më pas të nxisin përgjigje të synuara keq. LLM-të janë të prirur ndaj halucinacioneve, madje edhe në fusha të kufizuara. Edhe LLM-të më të mirë i krijojnë gjërat kur nuk e dinë përgjigjen. 

Proceset e sigurisë dhe politikat e AI rreth përdorimit të LLM dhe rrjedhave të punës do të bëhen më kritike pasi këto sisteme bëhen më të zakonshme në operacionet dhe kërkimet e sigurisë kibernetike. Sigurimi që ato procese respektohen dhe maten dhe llogariten në sistemet e qeverisjes, do të jetë thelbësore për të siguruar që CISO-të mund të ofrojnë mbulim të mjaftueshëm GRC (Qeverisja, Rreziku dhe Përputhshmëria) për të përmbushur mandatet e reja si Korniza e Sigurisë Kibernetike 2.0. 

Premtimi i madh i LLM-ve në sigurinë kibernetike

CISO dhe ekipet e tyre vazhdimisht luftojnë për të vazhduar me valën në rritje të sulmeve të reja kibernetike. Sipas Qualys, numri i CVE-ve të raportuara në vitin 2023 arriti në një rekord i ri prej 26,447. Kjo është më shumë se 5 herë nga viti 2013. 

Kjo sfidë është bërë më takuese pasi sipërfaqja e sulmit të organizatës mesatare bëhet më e madhe çdo vit që kalon. Ekipet e AppSec duhet të sigurojnë dhe monitorojnë shumë aplikacione të tjera softuerike. Cloud computing, API, multi-cloud dhe teknologjitë e virtualizimit kanë shtuar kompleksitet shtesë. Me veglat dhe proceset moderne CI/CD, ekipet e aplikacioneve mund të dërgojnë më shumë kode, më shpejt dhe më shpesh. Mikroshërbimet kanë ndarë aplikacionin monolit në shumë API dhe sipërfaqe sulmi dhe gjithashtu kanë hapur shumë më tepër vrima në muret e zjarrit global për komunikim me shërbimet e jashtme ose pajisjet e klientit.

LLM-të e avancuara mbajnë premtime të jashtëzakonshme për të reduktuar ngarkesën e punës së ekipeve të sigurisë kibernetike dhe për të përmirësuar aftësitë e tyre. Mjetet e kodimit të fuqizuara nga AI kanë depërtuar gjerësisht në zhvillimin e softuerit. Hulumtimi i Github zbuloi se 92% e zhvilluesve përdorin ose kanë përdorur mjete AI për sugjerimin dhe plotësimin e kodit. Shumica e këtyre mjeteve "kopilot" kanë disa aftësi sigurie. Në fakt, disiplinat programatike me rezultate relativisht binare si kodimi (kodi ose do të kalojë ose do të dështojë testet e njësisë) janë të përshtatshme për LLM-të. Përtej skanimit të kodit për zhvillimin e softuerit dhe në tubacionin CI/CD, AI mund të jetë i vlefshëm për ekipet e sigurisë kibernetike në disa mënyra të tjera:   

• Analiza e zgjeruar: LLM-të mund të përpunojnë sasi masive të të dhënave të sigurisë (log, alarme, inteligjencë kërcënimi) për të identifikuar modele dhe korrelacione të padukshme për njerëzit. Ata mund ta bëjnë këtë në të gjitha gjuhët, gjatë gjithë kohës dhe në dimensione të shumta njëkohësisht. Kjo hap mundësi të reja për ekipet e sigurisë. LLM-të mund të djegin një tufë sinjalizimesh pothuajse në kohë reale, duke shënuar ato që kanë më shumë gjasa të jenë të rënda. Nëpërmjet të mësuarit përforcues, analiza duhet të përmirësohet me kalimin e kohës. 
• Automatizimi: LLM-të mund të automatizojnë detyrat e ekipit të sigurisë që zakonisht kërkojnë biseda përpara dhe mbrapa. Për shembull, kur një ekip sigurie merr një IoC dhe duhet të pyesë zotëruesin e një pike fundore nëse në fakt ishin identifikuar në një pajisje ose nëse ndodhen diku jashtë zonave të tyre normale të punës, LLM mund të kryejë këto operacione të thjeshta dhe më pas të ndjekë me pyetje sipas nevojës dhe lidhje ose udhëzime. Ky dikur ishte një ndërveprim që duhej të kryente vetë një anëtar i ekipit të IT ose sigurisë. LLM-të gjithashtu mund të ofrojnë funksionalitet më të avancuar. Për shembull, një Microsoft Copilot për Sigurinë mund të gjenerojë raporte të analizës së incidentit dhe të përkthejë kodin kompleks malware në përshkrime të gjuhës natyrore. 
• Të mësuarit dhe akordimi i vazhdueshëm: Ndryshe nga sistemet e mëparshme të mësimit të makinerive për politikat e sigurisë dhe të kuptuarit, LLM-të mund të mësojnë menjëherë duke gëlltitur vlerësimet njerëzore të përgjigjes së tij dhe duke ribashkuar grupet më të reja të të dhënave që mund të mos përmbahen në skedarët e brendshëm të regjistrit. Në fakt, duke përdorur të njëjtin model themelor themelor, LLM-të e sigurisë kibernetike mund të akordohen për ekipe të ndryshme dhe nevojat e tyre, rrjedhat e punës ose detyrat specifike rajonale ose vertikale. Kjo do të thotë gjithashtu se i gjithë sistemi mund të jetë në çast po aq i zgjuar sa modeli, me ndryshimet që përhapen shpejt në të gjitha ndërfaqet. 

Rreziku i LLM-ve për sigurinë kibernetike

Si një teknologji e re me një histori të shkurtër, LLM-të kanë rreziqe serioze. Më keq, të kuptuarit e shtrirjes së plotë të këtyre rreziqeve është sfiduese sepse rezultatet e LLM nuk janë 100% të parashikueshme ose programatike. Për shembull, LLM mund të "halucinojnë" dhe të krijojnë përgjigje ose t'u përgjigjen pyetjeve gabimisht, bazuar në të dhëna imagjinare. Përpara miratimit të LLM-ve për rastet e përdorimit të sigurisë kibernetike, duhet të merren parasysh rreziqet e mundshme duke përfshirë: 

• Injeksion i menjëhershëm:  Sulmuesit mund të krijojnë kërkesa me qëllim të keq në mënyrë specifike për të prodhuar rezultate mashtruese ose të dëmshme. Ky lloj sulmi mund të shfrytëzojë tendencën e LLM për të gjeneruar përmbajtje bazuar në kërkesat që merr. Në rastet e përdorimit të sigurisë kibernetike, injektimi i menjëhershëm mund të jetë më i rrezikshmi si një formë sulmi ose sulmi i brendshëm nga një përdorues i paautorizuar i cili përdor udhëzime për të ndryshuar përfundimisht rezultatet e sistemit duke anuar sjelljen e modelit. Kjo mund të gjenerojë rezultate të pasakta ose të pavlefshme për përdoruesit e tjerë të sistemit. 
• Helmimi i të dhënave:  Të dhënat e trajnimit në të cilat mbështeten LLM-të mund të korruptohen qëllimisht, duke kompromentuar vendimmarrjen e tyre. Në mjediset e sigurisë kibernetike, ku organizatat ka të ngjarë të përdorin modele të trajnuara nga ofruesit e mjeteve, helmimi i të dhënave mund të ndodhë gjatë akordimit të modelit për klientin specifik dhe rastin e përdorimit. Rreziku këtu mund të jetë një përdorues i paautorizuar që shton të dhëna të këqija - për shembull, skedarë log të korruptuar - për të përmbysur procesin e trajnimit. Një përdorues i autorizuar gjithashtu mund ta bëjë këtë pa dashje. Rezultati do të ishte rezultate LLM bazuar në të dhëna të këqija.
• hallucinations: Siç u përmend më parë, LLM-të mund të gjenerojnë përgjigje faktikisht të pasakta, të palogjikshme, apo edhe me qëllim të keq për shkak të keqkuptimeve të kërkesave ose të metave themelore të të dhënave. Në rastet e përdorimit të sigurisë kibernetike, halucinacionet mund të rezultojnë në gabime kritike që gjymtojnë inteligjencën e kërcënimit, klasifikimin dhe riparimin e cenueshmërisë dhe më shumë. Për shkak se siguria kibernetike është një aktivitet kritik i misionit, LLM-të duhet të mbahen në një standard më të lartë të menaxhimit dhe parandalimit të halucinacioneve në këto kontekste. 

Ndërsa sistemet e AI bëhen më të afta, vendosjet e tyre të sigurisë së informacionit po zgjerohen me shpejtësi. Për të qenë të qartë, shumë kompani të sigurisë kibernetike kanë përdorur prej kohësh përputhjen e modeleve dhe mësimin e makinerive për filtrim dinamik. Ajo që është e re në epokën gjeneruese të AI janë LLM-të interaktive që ofrojnë një shtresë inteligjence në krye të flukseve ekzistuese të punës dhe grupeve të të dhënave, duke përmirësuar në mënyrë ideale efikasitetin dhe duke rritur aftësitë e ekipeve të sigurisë kibernetike. Me fjalë të tjera, GenAI mund të ndihmojë inxhinierët e sigurisë të bëjnë më shumë me më pak përpjekje dhe të njëjtat burime, duke dhënë performancë më të mirë dhe procese të përshpejtuara.