Halluzinatiounskontroll: Virdeeler a Risiken fir LLMs als Deel vu Sécherheetsprozesser z'installéieren

Grouss Sprooch Modeller (LLMs) trainéiert op grouss Quantitéiten un Daten kënne Sécherheetsoperatiounsteams méi clever maachen. LLMs bidden in-line Suggestiounen a Leedung iwwer Äntwert, Auditen, Haltungsmanagement a méi. Déi meescht Sécherheetsteams experimentéieren mat oder benotze LLMs fir manuell Aarbecht an Workflows ze reduzéieren. Dëst ka souwuel fir alldeeglech a komplex Aufgaben sinn. 

Zum Beispill kann en LLM en Employé per E-Mail froen ob se gemengt hunn en Dokument ze deelen dat propriétaire war an d'Äntwert mat enger Empfehlung fir e Sécherheetspraktiker veraarbecht. En LLM kann och d'Aufgab ginn fir Ufroe ze iwwersetzen fir no Versuergungskettenattacken op Open Source Moduler ze sichen an Agenten opzemaachen, déi op spezifesch Bedéngungen fokusséiert sinn - nei Bäiträg zu wäit benotzte Bibliothéiken, falsch Codemuster - mat all Agent priméiert fir déi spezifesch Konditioun. 

Dat gesot, dës mächteg AI Systemer droen bedeitend Risiken déi am Géigesaz zu anere Risiken sinn, déi Sécherheetsteams konfrontéieren. Modeller déi d'Sécherheets-LLMs erméiglechen, kënnen duerch prompt Injektioun oder Datevergëftung kompromittéiert ginn. Kontinuéierlech Feedback Loops a Maschinn Léieren Algorithmen ouni genuch mënschlech Leedung kënne schlecht Akteuren erlaben Kontrollen z'ënnersichen an dann schlecht geziilt Äntwerten induzéieren. LLMs sinn ufälleg fir Halluzinatiounen, och a limitéierten Domainen. Och déi bescht LLMs maachen Saachen aus wa se d'Äntwert net wëssen. 

Sécherheetsprozesser an AI Politik ronderëm LLM Benotzung a Workflows wäerte méi kritesch ginn wéi dës Systemer méi heefeg ginn iwwer Cybersecurity Operatiounen a Fuerschung. Sécherstellen datt dës Prozesser agehale ginn, a gemooss a verrechent a Gouvernance Systemer sinn, wäert entscheedend beweisen datt CISOs genuch GRC (Governance, Risk and Compliance) Ofdeckung kënne bidden fir nei Mandater wéi de Cybersecurity Framework 2.0 z'erreechen. 

Dat grousst Versprieche vu LLMs an der Cybersecurity

CISOs an hir Teams kämpfen dauernd mat der steigender Gezei vun neie Cyberattacken ze halen. Laut Qualys huet d'Zuel vun den CVEs gemellt am Joer 2023 a getraff neie Rekord vun 26,447. Dat ass méi wéi 5X vun 2013 erop. 

Dës Erausfuerderung ass nëmme méi steierlech ginn wéi d'Attackfläch vun der duerchschnëttlecher Organisatioun méi grouss gëtt mat all Joer. AppSec Teams musse vill méi Softwareapplikatiounen sécheren an iwwerwaachen. Cloud Computing, APIen, Multi-Cloud a Virtualiséierungstechnologien hunn zousätzlech Komplexitéit bäigefüügt. Mat modernen CI / CD Tooling a Prozesser kënnen Applikatiounsteams méi Code verschécken, méi séier a méi dacks. Mikroservicer hunn souwuel monolithesch App a villen APIen an Attacke Uewerfläch gespléckt an och vill méi Lächer a global Firewalls geschloen fir Kommunikatioun mat externe Servicer oder Clientsgeräter.

Fortgeschratt LLMs halen enorm Verspriechen fir d'Aarbechtslaascht vun Cybersecurity Teams ze reduzéieren an hir Fäegkeeten ze verbesseren. AI-ugedriwwen Kodéierungsinstrumenter hu wäit duerch Softwareentwécklung penetréiert. Github Fuerschung huet festgestallt datt 92% vun den Entwéckler AI Tools fir Code Virschlag a Fäerdegstellung benotzen oder benotzt hunn. Déi meescht vun dësen "Copilot" Tools hunn e puer Sécherheetsfäegkeeten. Tatsächlech sinn programmatesch Disziplinnen mat relativ binäre Resultater wéi Kodéierung (Code wäert entweder Eenheetstester passéieren oder feelen) si gutt fir LLMs. Iwwert Code Scannen fir Softwareentwécklung an an der CI / CD Pipeline, kéint AI wäertvoll sinn fir Cybersecurity Teams op verschidde aner Weeër:   

• Verbesserte Analyse: LLMs kënne massiv Quantitéite vu Sécherheetsdaten (Logbicher, Alarmer, Bedrohungsintelligenz) veraarbecht fir Musteren a Korrelatiounen ze identifizéieren déi fir Mënschen onsichtbar sinn. Si kënnen dat iwwer Sprooche maachen, ronderëm d'Auer, an iwwer vill Dimensiounen gläichzäiteg. Dëst mécht nei Méiglechkeeten fir Sécherheetsteams op. LLMs kënnen e Stack vun Alarmer a bal Echtzäit verbrennen, a markéieren déi, déi am meeschte wahrscheinlech schwéier sinn. Duerch Verstäerkungsléiere soll d'Analyse mat der Zäit verbesseren. 
• Automatiséierung: LLMs kënnen d'Sécherheetsteam Aufgaben automatiséieren déi normalerweis Gespréich zréck an zréck erfuerderen. Zum Beispill, wann e Sécherheetsteam en IoC kritt an de Besëtzer vun engem Endpunkt muss froen ob se tatsächlech op en Apparat ageloggt waren oder ob se iergendwou ausserhalb vun hiren normalen Aarbechtszonen sinn, kann den LLM dës einfach Operatiounen ausféieren an duerno verfollegen mat Froen wéi néideg a Linken oder Instruktiounen. Dëst war fréier eng Interaktioun déi en IT- oder Sécherheetsteam Member selwer huet misse maachen. LLMs kënnen och méi fortgeschratt Funktionalitéit ubidden. Zum Beispill, e Microsoft Copilot fir Sécherheet kann Tëschefall Analyse Rapporten generéieren a komplex Malware Code an natierlech Sprooch Beschreiwunge iwwersetzen. 
• Kontinuéierlech Léieren an Tuning: Am Géigesaz zu de fréiere Maschinnléieresystemer fir Sécherheetspolitik a Verständnis, kënnen LLMs op der Flucht léieren andeems se mënschlech Bewäertunge vu senger Äntwert ophuelen an op neie Poole vun Daten zréckginn, déi vläicht net an internen Logdateien enthale sinn. Tatsächlech, mat deemselwechten ënnerierdesche Grondmodell, kënne Cybersecurity LLMs fir verschidden Teams an hir Bedierfnesser, Workflows oder regional oder vertikal spezifesch Aufgaben ofgestëmmt ginn. Dëst bedeit och datt de ganze System direkt sou intelligent ka sinn wéi de Modell, mat Ännerungen déi séier iwwer all Interfaces propagéieren. 

Risiko vun LLMs fir Cybersecurity

Als nei Technologie mat engem kuerze Rekord, LLMs hunn sérieux Risiken. Méi schlëmm, de ganzen Ausmooss vun dëse Risiken ze verstoen ass Erausfuerderung well LLM Ausgänge net 100% prévisibel oder programmatesch sinn. Zum Beispill, LLMs kënnen "halluzinéieren" an Äntwerten opstellen oder Froen falsch beäntweren, baséiert op imaginären Donnéeën. Ier Dir LLMs fir Cybersecurity Notzungsfäll adoptéiert, muss ee potenziell Risiken berücksichtegen, dorënner: 

• Prompt Injektioun:  Ugräifer kënne béiswëlleg Ufroe speziell kreéieren fir falsch oder schiedlech Ausgänge ze produzéieren. Dës Aart vun Attacke kann d'Tendenz vum LLM ausnotzen fir Inhalt ze generéieren op Basis vun den Ufroen déi se kritt. An Cybersecurity Benotzungsfäll, kann eng prompt Injektioun am meeschte riskant sinn als Form vun Insider Attack oder Attack vun engem onerlaabten Benotzer, deen Uweisunge benotzt fir Systemausgaben permanent z'änneren andeems d'Modellverhalen schueden. Dëst kéint ongenau oder ongëlteg Ausgänge fir aner Benotzer vum System generéieren. 
• Daten Vergëftung:  D'Formatiounsdaten, op déi LLMs vertrauen, kënne bewosst korrupt ginn, wat hir Entscheedung kompromittéiert. An Cybersecurity Astellungen, wou Organisatiounen méiglecherweis Modeller benotzen, déi vun Toolprovider trainéiert sinn, kann Datevergëftung während der Tuning vum Modell fir de spezifesche Client a Gebrauchsfall optrieden. De Risiko hei kéint en onerlaabten Benotzer sinn, déi schlecht Donnéeën addéieren - zum Beispill korrupte Logdateien - fir den Trainingsprozess z'ënnerbriechen. En autoriséierte Benotzer kéint dat och onbewosst maachen. D'Resultat wier LLM Ausgänge baséiert op schlechten Donnéeën.
• Halluzinatiounen: Wéi virdru scho gesot, LLMs kënnen sachlech falsch, illogesch oder souguer béiswëlleg Äntwerte generéieren wéinst Mëssverständnisser vun Ufroen oder Basisdatenfehler. An Cybersecurity Notzungsfäll kënnen Halluzinatiounen zu kritesche Feeler resultéieren, déi Bedrohungsintelligenz, Schwachstelletriage a Sanéierung a méi kräischen. Well Cybersecurity eng Missiounskritesch Aktivitéit ass, musse LLMs zu engem méi héije Standard gehale ginn fir Halluzinatiounen an dëse Kontexter ze managen an ze vermeiden. 

Wéi AI Systemer méi fäeg ginn, expandéieren hir Informatiounssécherheetsinstallatiounen séier. Fir kloer ze sinn, hu vill Cybersecurity Firmen laang Mustermatching a Maschinnléiere fir dynamesch Filteren benotzt. Wat nei ass an der generativer AI Ära sinn interaktiv LLMs déi eng Schicht vun Intelligenz uewen op existente Workflows a Poole vun Daten ubidden, idealerweis d'Effizienz verbesseren an d'Fäegkeete vun Cybersecurity Teams verbesseren. An anere Wierder, GenAI kann Sécherheetsingenieuren hëllefen méi mat manner Effort an déiselwecht Ressourcen ze maachen, wat besser Leeschtung a beschleunegt Prozesser gëtt.