Hallucinatiecontrole: voordelen en risico's van het inzetten van LLM's als onderdeel van beveiligingsprocessen

Grote taalmodellen (LLM's) die zijn getraind in grote hoeveelheden gegevens kunnen teams voor beveiligingsoperaties slimmer maken. LLM's bieden in-line suggesties en begeleiding over reacties, audits, houdingsbeheer en meer. De meeste beveiligingsteams experimenteren met of gebruiken LLM's om het handmatige werk in workflows te verminderen. Dit kan zowel voor alledaagse als complexe taken zijn. 

Een LLM kan een medewerker bijvoorbeeld via e-mail vragen of hij of zij een document wil delen dat eigendom is, en het antwoord verwerken met een aanbeveling voor een beveiligingsmedewerker. Een LLM kan ook worden belast met het vertalen van verzoeken om te zoeken naar supply chain-aanvallen op open source-modules en het opzetten van agenten die zijn gericht op specifieke omstandigheden (nieuwe bijdragers aan veelgebruikte bibliotheken, onjuiste codepatronen) waarbij elke agent is voorbereid op die specifieke situatie. 

Dat gezegd hebbende, brengen deze krachtige AI-systemen aanzienlijke risico's met zich mee die anders zijn dan andere risico's waarmee beveiligingsteams worden geconfronteerd. Modellen die beveiligings-LLM's aandrijven, kunnen worden aangetast door snelle injectie of gegevensvergiftiging. Continue feedbackloops en machine learning-algoritmen zonder voldoende menselijke begeleiding kunnen ervoor zorgen dat slechte actoren de controles onderzoeken en vervolgens slecht gerichte reacties uitlokken. LLM's zijn gevoelig voor hallucinaties, zelfs in beperkte domeinen. Zelfs de beste LLM's verzinnen dingen als ze het antwoord niet weten. 

Beveiligingsprocessen en AI-beleid rond het gebruik en de workflows van LLM zullen belangrijker worden naarmate deze systemen steeds vaker voorkomen bij cyberbeveiligingsoperaties en -onderzoek. Ervoor zorgen dat deze processen worden nageleefd en worden gemeten en verantwoord in bestuurssystemen, zal van cruciaal belang blijken om ervoor te zorgen dat CISO's voldoende GRC-dekking (Governance, Risk en Compliance) kunnen bieden om te voldoen aan nieuwe mandaten zoals het Cybersecurity Framework 2.0. 

De enorme belofte van LLM's op het gebied van cyberbeveiliging

CISO's en hun teams hebben voortdurend moeite om gelijke tred te houden met het toenemende aantal nieuwe cyberaanvallen. Volgens Qualys bedroeg het aantal gerapporteerde CVE’s in 2023 een nieuw record van 26,447. Dat is ruim vijf keer meer dan in 5. 

Deze uitdaging is alleen maar zwaarder geworden naarmate het aanvalsoppervlak van de gemiddelde organisatie elk jaar groter wordt. AppSec-teams moeten nog veel meer softwareapplicaties beveiligen en monitoren. Cloud computing, API's, multi-cloud- en virtualisatietechnologieën hebben voor extra complexiteit gezorgd. Met moderne CI/CD-tools en -processen kunnen applicatieteams meer code, sneller en vaker verzenden. Microservices hebben de monolithische app opgesplitst in talloze API's en aanvalsoppervlakken, maar hebben ook nog veel meer gaten geslagen in mondiale firewalls voor communicatie met externe services of apparaten van klanten.

Geavanceerde LLM's hebben een enorme belofte om de werklast van cyberbeveiligingsteams te verminderen en hun capaciteiten te verbeteren. Door AI aangedreven codeertools zijn wijdverbreid doorgedrongen in de softwareontwikkeling. Uit onderzoek van Github blijkt dat 92% van de ontwikkelaars AI-tools gebruikt of heeft gebruikt voor codesuggestie en -aanvulling. De meeste van deze ‘copiloot’-tools hebben enkele beveiligingsmogelijkheden. In feite zijn programmatische disciplines met relatief binaire uitkomsten zoals codering (code zal unit-tests wel of niet doorstaan) zeer geschikt voor LLM's. Naast het scannen van code voor softwareontwikkeling en in de CI/CD-pijplijn, kan AI op verschillende andere manieren waardevol zijn voor cyberbeveiligingsteams:   

• Verbeterde analyse: LLM's kunnen enorme hoeveelheden beveiligingsgegevens (logboeken, waarschuwingen, informatie over bedreigingen) verwerken om patronen en correlaties te identificeren die onzichtbaar zijn voor mensen. Ze kunnen dit in verschillende talen, 24 uur per dag en in talloze dimensies tegelijk doen. Dit opent nieuwe kansen voor beveiligingsteams. LLM's kunnen in vrijwel realtime een stapel waarschuwingen afbranden en de waarschuwingen markeren die het meest waarschijnlijk ernstig zijn. Door versterkend leren zou de analyse in de loop van de tijd moeten verbeteren. 
• Automatisering: LLM's kunnen taken van het beveiligingsteam automatiseren waarvoor normaal gesproken heen en weer gesprekken nodig zijn. Wanneer een beveiligingsteam bijvoorbeeld een IoC ontvangt en de eigenaar van een eindpunt moet vragen of ze daadwerkelijk op een apparaat zijn ingelogd of dat ze zich ergens buiten hun normale werkzones bevinden, kan de LLM deze eenvoudige handelingen uitvoeren en vervolgens volgen met eventuele vragen en links of instructies. Vroeger was dit een interactie die een IT- of beveiligingsteamlid zelf moest uitvoeren. LLM's kunnen ook meer geavanceerde functionaliteit bieden. Een Microsoft Copilot for Security kan bijvoorbeeld incidentanalyserapporten genereren en complexe malwarecode vertalen naar beschrijvingen in natuurlijke taal. 
• Continu leren en afstemmen: In tegenstelling tot eerdere machine learning-systemen voor beveiligingsbeleid en -begrip, kunnen LLM's on-the-fly leren door menselijke beoordelingen van hun reactie op te nemen en door opnieuw af te stemmen op nieuwere gegevensverzamelingen die mogelijk niet in interne logbestanden zijn opgenomen. Door gebruik te maken van hetzelfde onderliggende fundamentele model kunnen LLM's op het gebied van cyberbeveiliging worden afgestemd op verschillende teams en hun behoeften, workflows of regionale of verticaal-specifieke taken. Dit betekent ook dat het hele systeem onmiddellijk net zo slim kan zijn als het model, waarbij veranderingen zich snel over alle interfaces verspreiden. 

Risico van LLM's voor cyberbeveiliging

Als nieuwe technologie met een korte staat van dienst hebben LLM's ernstige risico's. Erger nog, het begrijpen van de volledige omvang van deze risico's is een uitdaging, omdat de resultaten van LLM niet 100% voorspelbaar of programmatisch zijn. LLM's kunnen bijvoorbeeld 'hallucineren' en antwoorden verzinnen of vragen verkeerd beantwoorden op basis van denkbeeldige gegevens. Voordat LLM's worden aangenomen voor gebruiksscenario's op het gebied van cyberbeveiliging, moet men potentiële risico's overwegen, waaronder: 

• Snelle injectie:  Aanvallers kunnen kwaadaardige aanwijzingen creëren die specifiek misleidende of schadelijke resultaten opleveren. Dit type aanval kan misbruik maken van de neiging van de LLM om inhoud te genereren op basis van de ontvangen aanwijzingen. In cybersecurity-gebruikssituaties kan prompt injection het meest riskant zijn als een vorm van insider-aanval of een aanval door een ongeautoriseerde gebruiker die prompts gebruikt om de systeemuitvoer permanent te wijzigen door het modelgedrag te scheeftrekken. Dit kan onnauwkeurige of ongeldige uitvoer genereren voor andere gebruikers van het systeem. 
• Gegevensvergiftiging:  De trainingsgegevens waar LLM’s op vertrouwen, kunnen opzettelijk worden beschadigd, waardoor hun besluitvorming in gevaar komt. In cyberbeveiligingsomgevingen, waar organisaties waarschijnlijk modellen gebruiken die zijn getraind door toolproviders, kan gegevensvergiftiging optreden tijdens het afstemmen van het model op de specifieke klant en gebruikssituatie. Het risico hier kan zijn dat een ongeautoriseerde gebruiker slechte gegevens toevoegt (bijvoorbeeld beschadigde logbestanden) om het trainingsproces te ondermijnen. Een geautoriseerde gebruiker kan dit ook per ongeluk doen. Het resultaat zou LLM-outputs zijn op basis van slechte gegevens.
• hallucinaties: Zoals eerder vermeld, kunnen LLM's feitelijk onjuiste, onlogische of zelfs kwaadaardige reacties genereren als gevolg van misverstanden over aanwijzingen of onderliggende gegevensfouten. In gevallen van cyberbeveiliging kunnen hallucinaties resulteren in kritieke fouten die de informatie over bedreigingen, de beoordeling en het herstel van kwetsbaarheden, en meer, verlammen. Omdat cyberbeveiliging een bedrijfskritische activiteit is, moeten LLM's aan een hogere standaard voldoen bij het beheersen en voorkomen van hallucinaties in deze contexten. 

Naarmate AI-systemen capabeler worden, breiden hun toepassingen op het gebied van informatiebeveiliging zich snel uit. Voor alle duidelijkheid: veel cyberbeveiligingsbedrijven maken al lang gebruik van patroonmatching en machinaal leren voor dynamisch filteren. Wat nieuw is in het generatieve AI-tijdperk zijn interactieve LLM’s die een laag van intelligentie bieden bovenop bestaande workflows en datapools, waardoor idealiter de efficiëntie en de mogelijkheden van cyberbeveiligingsteams worden verbeterd. Met andere woorden: GenAI kan beveiligingsingenieurs helpen meer te doen met minder inspanning en dezelfde middelen, wat betere prestaties en versnelde processen oplevert.