Halluzinationskontrolle: Vorteile und Risiken des Einsatzes von LLMs als Teil von Sicherheitsprozessen

Large Language Models (LLMs), die anhand riesiger Datenmengen trainiert wurden, können Sicherheitsteams intelligenter machen. LLMs bieten Inline-Vorschläge und Anleitungen zu Reaktionen, Audits, Posture Management und mehr. Die meisten Sicherheitsteams experimentieren mit LLMs oder verwenden sie, um den manuellen Arbeitsaufwand in Arbeitsabläufen zu reduzieren. Dies kann sowohl für alltägliche als auch für komplexe Aufgaben gelten. 

Ein LLM kann beispielsweise einen Mitarbeiter per E-Mail fragen, ob er ein proprietäres Dokument weitergeben wollte, und die Antwort mit einer Empfehlung für einen Sicherheitsexperten verarbeiten. Ein LLM kann auch mit der Übersetzung von Anfragen beauftragt werden, um nach Supply-Chain-Angriffen auf Open-Source-Module zu suchen und Agenten zu entwickeln, die sich auf bestimmte Bedingungen konzentrieren – neue Mitwirkende an weit verbreiteten Bibliotheken, falsche Codemuster – wobei jeder Agent auf diese bestimmte Bedingung vorbereitet ist. 

Allerdings bergen diese leistungsstarken KI-Systeme erhebliche Risiken, die sich von anderen Risiken unterscheiden, denen Sicherheitsteams ausgesetzt sind. Modelle, die Sicherheits-LLMs zugrunde liegen, können durch sofortige Injektion oder Datenvergiftung kompromittiert werden. Kontinuierliche Feedbackschleifen und maschinelle Lernalgorithmen ohne ausreichende menschliche Anleitung können es böswilligen Akteuren ermöglichen, Kontrollen zu testen und dann schlecht gezielte Reaktionen hervorzurufen. LLMs neigen zu Halluzinationen, selbst in begrenzten Bereichen. Selbst die besten LLMs erfinden Dinge, wenn sie die Antwort nicht wissen. 

Sicherheitsprozesse und KI-Richtlinien rund um die Nutzung und Arbeitsabläufe von LLM werden immer wichtiger, da diese Systeme in Cybersicherheitsoperationen und -forschung immer häufiger zum Einsatz kommen. Die Einhaltung dieser Prozesse sowie deren Messung und Berücksichtigung in Governance-Systemen wird von entscheidender Bedeutung sein, um sicherzustellen, dass CISOs eine ausreichende GRC-Abdeckung (Governance, Risk and Compliance) bieten können, um neue Mandate wie das Cybersecurity Framework 2.0 zu erfüllen. 

Das große Versprechen von LLMs in Cybersicherheit

CISOs und ihre Teams haben ständig Mühe, mit der steigenden Flut neuer Cyberangriffe Schritt zu halten. Laut Qualys erreichte die Zahl der im Jahr 2023 gemeldeten CVEs einen neuer Rekord von 26,447Das ist mehr als das Fünffache seit 5. 

Diese Herausforderung ist nur noch anspruchsvoller geworden, da die Angriffsfläche einer durchschnittlichen Organisation mit jedem Jahr größer wird. AppSec-Teams müssen viel mehr Softwareanwendungen sichern und überwachen. Cloud Computing, APIs, Multi-Cloud und Virtualisierungstechnologien haben die Komplexität zusätzlich erhöht. Mit modernen CI/CD-Tools und -Prozessen können Anwendungsteams mehr Code schneller und häufiger ausliefern. Microservices haben monolithische Apps in zahlreiche APIs und Angriffsflächen zersplittert und auch viele weitere Löcher in globale Firewalls für die Kommunikation mit externen Diensten oder Kundengeräten geschlagen.

Fortgeschrittene LLMs versprechen enormes Potenzial, die Arbeitsbelastung von Cybersicherheitsteams zu reduzieren und ihre Fähigkeiten zu verbessern. KI-gestützte Codierungstools haben die Softwareentwicklung weithin durchdrungen. Laut einer Github-Umfrage verwenden oder haben 92 % der Entwickler KI-Tools für Codevorschläge und -vervollständigungen verwendet. Die meisten dieser „Copilot“-Tools verfügen über einige Sicherheitsfunktionen. Tatsächlich eignen sich programmatische Disziplinen mit relativ binären Ergebnissen wie Codierung (Code besteht Unit-Tests entweder oder fällt durch) gut für LLMs. Über das Code-Scannen für die Softwareentwicklung und in der CI/CD-Pipeline hinaus könnte KI für Cybersicherheitsteams in vielerlei Hinsicht wertvoll sein:   

• Erweiterte Analyse: LLMs können riesige Mengen an Sicherheitsdaten (Protokolle, Warnmeldungen, Bedrohungsdaten) verarbeiten, um Muster und Zusammenhänge zu erkennen, die für Menschen unsichtbar sind. Sie können dies sprachübergreifend, rund um die Uhr und in zahlreichen Dimensionen gleichzeitig tun. Dies eröffnet Sicherheitsteams neue Möglichkeiten. LLMs können einen Stapel von Warnmeldungen nahezu in Echtzeit durchgehen und diejenigen markieren, die am wahrscheinlichsten schwerwiegend sind. Durch verstärktes Lernen sollte sich die Analyse mit der Zeit verbessern. 
• Automation: LLMs können Aufgaben von Sicherheitsteams automatisieren, die normalerweise ein Hin und Her erfordern. Wenn ein Sicherheitsteam beispielsweise einen IoC erhält und den Besitzer eines Endpunkts fragen muss, ob er sich tatsächlich bei einem Gerät angemeldet hat oder ob er sich außerhalb seiner normalen Arbeitszonen befindet, kann das LLM diese einfachen Vorgänge ausführen und anschließend bei Bedarf Fragen und Links oder Anweisungen stellen. Früher war dies eine Interaktion, die ein Mitglied des IT- oder Sicherheitsteams selbst durchführen musste. LLMs können auch erweiterte Funktionen bereitstellen. Beispielsweise kann ein Microsoft Copilot for Security Vorfallanalyseberichte erstellen und komplexen Malware-Code in Beschreibungen in natürlicher Sprache übersetzen. 
• Kontinuierliches Lernen und Optimieren: Im Gegensatz zu früheren maschinellen Lernsystemen für Sicherheitsrichtlinien und -verständnis können LLMs im laufenden Betrieb lernen, indem sie menschliche Bewertungen ihrer Antworten aufnehmen und sich auf neuere Datenpools einstellen, die möglicherweise nicht in internen Protokolldateien enthalten sind. Tatsächlich können Cybersecurity-LLMs unter Verwendung desselben zugrunde liegenden Basismodells auf verschiedene Teams und deren Anforderungen, Arbeitsabläufe oder regionale oder branchenspezifische Aufgaben abgestimmt werden. Dies bedeutet auch, dass das gesamte System sofort so intelligent sein kann wie das Modell, wobei sich Änderungen schnell über alle Schnittstellen verbreiten. 

Risiken von LLMs für Cybersicherheit

Als neue Technologie mit kurzer Erfolgsgeschichte bergen LLMs ernsthafte Risiken. Schlimmer noch, das volle Ausmaß dieser Risiken zu verstehen, ist schwierig, da LLM-Ergebnisse nicht zu 100 % vorhersehbar oder programmatisch sind. Beispielsweise können LLMs „halluzinieren“ und Antworten erfinden oder Fragen auf der Grundlage imaginärer Daten falsch beantworten. Bevor man LLMs für Anwendungsfälle im Bereich Cybersicherheit einsetzt, muss man potenzielle Risiken berücksichtigen, darunter: 

• Sofortige Injektion:  Angreifer können bösartige Eingabeaufforderungen erstellen, um irreführende oder schädliche Ausgaben zu erzeugen. Diese Art von Angriff kann die Tendenz des LLM ausnutzen, Inhalte basierend auf den empfangenen Eingabeaufforderungen zu generieren. In Anwendungsfällen der Cybersicherheit kann die Eingabeaufforderungsinjektion als Form eines Insiderangriffs oder eines Angriffs durch einen nicht autorisierten Benutzer am riskantesten sein, der Eingabeaufforderungen verwendet, um Systemausgaben durch Verfälschung des Modellverhaltens dauerhaft zu ändern. Dies könnte zu ungenauen oder ungültigen Ausgaben für andere Benutzer des Systems führen. 
• Datenvergiftung:  Die Trainingsdaten, auf die sich LLMs stützen, können absichtlich manipuliert werden, was ihre Entscheidungsfindung beeinträchtigt. In Cybersicherheitsumgebungen, in denen Organisationen wahrscheinlich von Tool-Anbietern trainierte Modelle verwenden, kann es während der Feinabstimmung des Modells für den jeweiligen Kunden und Anwendungsfall zu einer Datenvergiftung kommen. Das Risiko besteht hier darin, dass ein nicht autorisierter Benutzer fehlerhafte Daten hinzufügt – beispielsweise beschädigte Protokolldateien –, um den Trainingsprozess zu untergraben. Ein autorisierter Benutzer könnte dies auch versehentlich tun. Das Ergebnis wären LLM-Ausgaben, die auf fehlerhaften Daten basieren.
• Halluzinationen: Wie bereits erwähnt, können LLMs aufgrund von Missverständnissen bei Eingabeaufforderungen oder zugrunde liegenden Datenfehlern sachlich falsche, unlogische oder sogar böswillige Antworten generieren. In Anwendungsfällen der Cybersicherheit können Halluzinationen zu kritischen Fehlern führen, die die Bedrohungsaufklärung, die Einstufung und Behebung von Schwachstellen und vieles mehr beeinträchtigen. Da Cybersicherheit eine unternehmenskritische Aktivität ist, müssen LLMs in diesen Kontexten einen höheren Standard bei der Handhabung und Verhinderung von Halluzinationen einhalten. 

Da KI-Systeme immer leistungsfähiger werden, werden sie zunehmend in der Informationssicherheit eingesetzt. Viele Cybersicherheitsunternehmen nutzen schon seit langem Mustervergleich und maschinelles Lernen zur dynamischen Filterung. Neu im Zeitalter der generativen KI sind interaktive LLMs, die eine Intelligenzebene über bestehende Arbeitsabläufe und Datenpools legen und so im Idealfall die Effizienz und Fähigkeiten von Cybersicherheitsteams verbessern. Mit anderen Worten: GenAI kann Sicherheitsingenieuren helfen, mit weniger Aufwand und denselben Ressourcen mehr zu erreichen, was zu besserer Leistung und schnelleren Prozessen führt.