Hallucinationskontrol: Fordele og risici ved at implementere LLM'er som en del af sikkerhedsprocesser

Store sprogmodeller (LLM'er), der er trænet i store mængder data, kan gøre sikkerhedsdriftsteams smartere. LLM'er giver in-line forslag og vejledning om respons, audits, stillingsstyring og mere. De fleste sikkerhedsteam eksperimenterer med eller bruger LLM'er til at reducere manuelt arbejde i arbejdsgange. Dette kan både være til hverdagsagtige og komplekse opgaver. 

For eksempel kan en LLM forespørge en medarbejder via e-mail, hvis de havde til hensigt at dele et dokument, der var proprietært, og behandle svaret med en anbefaling til en sikkerhedsekspert. En LLM kan også få til opgave at oversætte anmodninger om at lede efter forsyningskædeangreb på open source-moduler og opbygge agenter, der fokuserer på specifikke forhold - nye bidragydere til udbredte biblioteker, ukorrekte kodemønstre - med hver agent klar til den specifikke tilstand. 

Når det er sagt, bærer disse kraftfulde AI-systemer betydelige risici, der er i modsætning til andre risici, som sikkerhedsteams står over for. Modeller, der driver sikkerhed LLM'er kan kompromitteres gennem hurtig indsprøjtning eller dataforgiftning. Kontinuerlige feedback-loops og maskinlæringsalgoritmer uden tilstrækkelig menneskelig vejledning kan give dårlige aktører mulighed for at undersøge kontroller og derefter fremkalde dårligt målrettede svar. LLM'er er tilbøjelige til hallucinationer, selv i begrænsede domæner. Selv de bedste LLM'er finder på ting, når de ikke kender svaret. 

Sikkerhedsprocesser og AI-politikker omkring LLM-brug og arbejdsgange bliver mere kritiske, efterhånden som disse systemer bliver mere almindelige på tværs af cybersikkerhedsoperationer og forskning. At sikre, at disse processer overholdes og måles og redegøres for i styringssystemer, vil vise sig at være afgørende for at sikre, at CISO'er kan levere tilstrækkelig GRC-dækning (Governance, Risk and Compliance) til at opfylde nye mandater som Cybersecurity Framework 2.0. 

LLM'ers store løfte i cybersikkerhed

CISO'er og deres teams kæmper konstant for at følge med den stigende bølge af nye cyberangreb. Ifølge Qualys ramte antallet af CVE'er rapporteret i 2023 en ny rekord på 26,447. Det er mere end fem gange højere end i 5. 

Denne udfordring er kun blevet mere belastende, efterhånden som den gennemsnitlige organisations angrebsflade vokser sig større for hvert år, der går. AppSec-teams skal sikre og overvåge mange flere softwareapplikationer. Cloud computing, API'er, multi-cloud og virtualiseringsteknologier har tilføjet yderligere kompleksitet. Med moderne CI/CD-værktøjer og -processer kan applikationsteams sende mere kode, hurtigere og oftere. Microservices har både splintret monolitisk app ind i adskillige API'er og angrebsoverflader og har også slået mange flere huller i globale firewalls til kommunikation med eksterne tjenester eller kundeenheder.

Avancerede LLM'er har et enormt løfte om at reducere arbejdsbyrden for cybersikkerhedsteams og forbedre deres evner. AI-drevne kodningsværktøjer har bredt trængt igennem softwareudviklingen. Github-forskning viste, at 92% af udviklerne bruger eller har brugt AI-værktøjer til kodeforslag og færdiggørelse. De fleste af disse "copilot"-værktøjer har nogle sikkerhedsfunktioner. Faktisk er programmatiske discipliner med relativt binære udfald såsom kodning (koden vil enten bestå eller bestå enhedstests) velegnede til LLM'er. Ud over kodescanning til softwareudvikling og i CI/CD-pipelinen kan AI være værdifuld for cybersikkerhedsteams på flere andre måder:   

• Forbedret analyse: LLM'er kan behandle enorme mængder sikkerhedsdata (logfiler, advarsler, trusselsintelligens) for at identificere mønstre og sammenhænge, ​​der er usynlige for mennesker. De kan gøre dette på tværs af sprog, døgnet rundt og på tværs af adskillige dimensioner samtidigt. Dette åbner nye muligheder for sikkerhedsteams. LLM'er kan brænde en stak advarsler ned i næsten realtid og markere dem, der med størst sandsynlighed vil være alvorlige. Gennem forstærkende læring bør analysen forbedres over tid. 
• Automation: LLM'er kan automatisere sikkerhedsteamopgaver, der normalt kræver samtale frem og tilbage. Når et sikkerhedsteam f.eks. modtager en IoC og skal spørge ejeren af ​​et endepunkt, om de rent faktisk havde logget på en enhed, eller om de befinder sig et sted uden for deres normale arbejdszoner, kan LLM udføre disse enkle handlinger og derefter følge op med spørgsmål efter behov og links eller instruktioner. Dette plejede at være en interaktion, som et IT- eller sikkerhedsteammedlem selv skulle udføre. LLM'er kan også give mere avanceret funktionalitet. For eksempel kan en Microsoft Copilot for Security generere hændelsesanalyserapporter og oversætte kompleks malware-kode til naturlige sprogbeskrivelser. 
• Kontinuerlig læring og tuning: I modsætning til tidligere maskinlæringssystemer til sikkerhedspolitikker og -forståelse, kan LLM'er lære på farten ved at indtage menneskelige vurderinger af dets svar og ved at genindstille på nyere puljer af data, som muligvis ikke er indeholdt i interne logfiler. Faktisk kan cybersikkerheds LLM'er ved hjælp af den samme underliggende grundlæggende model indstilles til forskellige teams og deres behov, arbejdsgange eller regionale eller vertikale specifikke opgaver. Det betyder også, at hele systemet øjeblikkeligt kan være lige så smart som modellen, med ændringer, der hurtigt udbreder sig på tværs af alle grænseflader. 

Risiko for LLM'er for cybersikkerhed

Som en ny teknologi med en kort track record har LLM'er alvorlige risici. Hvad værre er, er det en udfordring at forstå det fulde omfang af disse risici, fordi LLM-output ikke er 100 % forudsigelige eller programmatiske. For eksempel kan LLM'er "hallucinere" og finde på svar eller besvare spørgsmål forkert baseret på imaginære data. Før man vedtager LLM'er til cybersikkerhedsbrug, skal man overveje potentielle risici, herunder: 

• Hurtig injektion:  Angribere kan lave ondsindede prompter specifikt for at producere vildledende eller skadelige output. Denne type angreb kan udnytte LLM's tendens til at generere indhold baseret på de prompter, den modtager. I tilfælde af brug af cybersikkerhed kan prompt indsprøjtning være mest risikabelt som en form for insiderangreb eller angreb fra en uautoriseret bruger, der bruger prompter til permanent at ændre systemoutput ved at skævvride modeladfærd. Dette kan generere unøjagtige eller ugyldige output for andre brugere af systemet. 
• Dataforgiftning:  De træningsdata, LLM'er er afhængige af, kan med vilje blive ødelagt, hvilket kompromitterer deres beslutningstagning. I cybersikkerhedsindstillinger, hvor organisationer sandsynligvis bruger modeller, der er trænet af værktøjsudbydere, kan der forekomme dataforgiftning under tilpasningen af ​​modellen til den specifikke kunde og brugssag. Risikoen her kan være en uautoriseret bruger, der tilføjer dårlige data - for eksempel korrupte logfiler - for at undergrave træningsprocessen. En autoriseret bruger kan også gøre dette utilsigtet. Resultatet ville være LLM-output baseret på dårlige data.
• Hallucinationer: Som tidligere nævnt kan LLM'er generere faktuelt ukorrekte, ulogiske eller endda ondsindede svar på grund af misforståelser af prompter eller underliggende datafejl. I tilfælde af brug af cybersikkerhed kan hallucinationer resultere i kritiske fejl, der hæmmer trusselsintelligens, sårbarhedstriage og afhjælpning og mere. Fordi cybersikkerhed er en missionskritisk aktivitet, skal LLM'er holdes til en højere standard for håndtering og forebyggelse af hallucinationer i disse sammenhænge. 

Efterhånden som AI-systemer bliver mere dygtige, udvides deres udrulninger af informationssikkerhed hurtigt. For at være klar, har mange cybersikkerhedsvirksomheder længe brugt mønstermatching og maskinlæring til dynamisk filtrering. Det, der er nyt i den generative AI-æra, er interaktive LLM'er, der giver et lag af intelligens oven på eksisterende arbejdsgange og puljer af data, hvilket ideelt set forbedrer effektiviteten og forbedrer cybersikkerhedsteams muligheder. Med andre ord kan GenAI hjælpe sikkerhedsingeniører med at gøre mere med mindre indsats og de samme ressourcer, hvilket giver bedre ydeevne og accelererede processer.