Hallucinációkontroll: Az LLM-ek biztonsági folyamatok részeként történő bevezetésének előnyei és kockázatai

Nagy nyelvi modellek A hatalmas mennyiségű adatra kiképzett (LLM-ek) okosabbá tehetik a biztonsági műveleti csapatokat. Az LLM-ek közvetlen javaslatokat és útmutatást adnak a válaszadásról, az ellenőrzésekről, a testtartás kezeléséről és sok másról. A legtöbb biztonsági csapat kísérletez vagy használ LLM-eket a munkafolyamatok manuális fáradozásának csökkentése érdekében. Ez hétköznapi és összetett feladatokra is vonatkozhat. 

Például egy LLM e-mailben lekérdezheti az alkalmazottat, hogy meg akar-e osztani egy védett dokumentumot, és feldolgozhatja a választ egy biztonsági szakembernek szóló ajánlással. Az LLM-et arra is bízhatják, hogy fordítsa le a kéréseket, hogy keresse a nyílt forráskódú modulok elleni ellátási lánc támadásait, és olyan ügynököket hozzon létre, amelyek meghatározott feltételekre összpontosítanak – széles körben használt könyvtárak új közreműködői, helytelen kódminták –, és minden ügynök az adott állapotra van előkészítve. 

Ennek ellenére ezek a nagy teljesítményű AI-rendszerek olyan jelentős kockázatokat hordoznak magukban, amelyek eltérnek a biztonsági csapatokat fenyegető többi kockázattól. A biztonsági LLM-eket működtető modellek veszélybe kerülhetnek azonnali befecskendezéssel vagy adatmérgezéssel. A folyamatos visszacsatolási hurkok és a gépi tanulási algoritmusok elegendő emberi irányítás nélkül lehetővé tehetik a rossz szereplők számára, hogy ellenőrizzék a vezérlőket, majd rosszul célzott válaszokat indukáljanak. Az LLM-ek hajlamosak a hallucinációkra, még korlátozott területeken is. Még a legjobb LLM-ek is kitalálják a dolgokat, amikor nem tudják a választ. 

Az LLM-használattal és munkafolyamatokkal kapcsolatos biztonsági folyamatok és mesterséges intelligencia-irányelvek egyre kritikusabbak lesznek, ahogy ezek a rendszerek egyre gyakoribbá válnak a kiberbiztonsági műveletek és kutatások során. Annak biztosítása, hogy ezeket a folyamatokat betartsák, és az irányítási rendszerekben mérjék és figyelembe vegyék őket, kulcsfontosságú lesz annak biztosításában, hogy a CISO-k elegendő GRC-lefedettséget (Governance, Risk and Compliance) biztosíthassanak az olyan új megbízások teljesítéséhez, mint a kiberbiztonsági keretrendszer 2.0. 

Az LLM-ek óriási ígérete a kiberbiztonságban

A CISO-k és csapataik folyamatosan küzdenek azért, hogy lépést tartsanak az új kibertámadások áradatával. A Qualys szerint a 2023-ban bejelentett CVE-k száma elérte a új rekord 26,447 XNUMX. Ez több mint ötszöröse 5-hoz képest. 

Ez a kihívás csak egyre megterhelőbbé vált, mivel az átlagos szervezet támadási felülete évről évre nő. Az AppSec csapatoknak sokkal több szoftveralkalmazást kell biztosítaniuk és felügyelniük. A felhőalapú számítástechnika, az API-k, a többfelhős és a virtualizációs technológiák tovább bonyolították a bonyolultságot. A modern CI/CD eszközökkel és folyamatokkal az alkalmazáscsapatok több kódot, gyorsabban és gyakrabban tudnak szállítani. A mikroszolgáltatások a monolitikus alkalmazásokat számos API-ra és támadási felületre bontották, valamint még több lyukat ütöttek a globális tűzfalakon a külső szolgáltatásokkal vagy ügyféleszközökkel való kommunikáció érdekében.

A haladó LLM-ek óriási ígéretet tesznek a kiberbiztonsági csapatok munkaterhelésének csökkentésére és képességeik fejlesztésére. Az AI-alapú kódolóeszközök széles körben behatoltak a szoftverfejlesztésbe. A Github kutatása megállapította, hogy a fejlesztők 92%-a használ vagy használt mesterséges intelligencia-eszközöket kódjavaslatokhoz és -kiegészítésekhez. A legtöbb ilyen „másodpilóta” eszköz rendelkezik bizonyos biztonsági képességekkel. Valójában a viszonylag bináris kimenetelű programozási tudományágak, mint például a kódolás (a kód sikeres vagy sikertelen lesz az egységteszteken), jól megfelelnek az LLM-eknek. A szoftverfejlesztéshez és a CI/CD folyamatban lévő kódkeresésen túl az AI számos más szempontból is értékes lehet a kiberbiztonsági csapatok számára:   

• Továbbfejlesztett elemzés: Az LLM-ek hatalmas mennyiségű biztonsági adatot (naplók, riasztások, fenyegetés-intelligencia) dolgozhatnak fel, hogy azonosítsák az emberek számára láthatatlan mintákat és összefüggéseket. Ezt megtehetik több nyelven, éjjel-nappal és számos dimenzióban egyszerre. Ez új lehetőségeket nyit a biztonsági csapatok számára. Az LLM-ek szinte valós időben égethetnek le egy halom riasztást, megjelölve azokat, amelyek valószínűleg súlyosak. A megerősítő tanulás révén az elemzésnek idővel javulnia kell. 
• Automatizálás: Az LLM-ek automatizálhatják a biztonsági csoport feladatait, amelyek általában oda-vissza beszélgetést igényelnek. Például amikor egy biztonsági csapat kap egy IoC-t, és meg kell kérdeznie egy végpont tulajdonosától, hogy valóban bejelentkezett-e egy eszközre, vagy ha valahol a normál munkazónájukon kívül található, az LLM végrehajthatja ezeket az egyszerű műveleteket, majd követheti igény szerint kérdésekkel és linkekkel vagy utasításokkal. Ez korábban olyan interakció volt, amelyet egy IT- vagy biztonsági csapattagnak magának kellett végrehajtania. Az LLM-ek fejlettebb funkciókat is biztosíthatnak. Például a Microsoft Copilot for Security incidenselemzési jelentéseket készíthet, és lefordíthatja az összetett rosszindulatú programkódokat természetes nyelvű leírásokra. 
• Folyamatos tanulás és hangolás: Ellentétben a korábbi gépi tanulási rendszerekkel a biztonsági politikák és a megértés terén, az LLM-ek menet közben is tanulhatnak a válaszok emberi értékeléseinek feldolgozásával, és olyan újabb adatkészletek újrahangolásával, amelyek esetleg nem szerepelnek a belső naplófájlokban. Valójában ugyanazt a mögöttes alapmodellt használva a kiberbiztonsági LLM-ek különböző csapatokhoz és azok igényeihez, munkafolyamataihoz vagy regionális vagy vertikális specifikus feladataihoz hangolhatók. Ez azt is jelenti, hogy az egész rendszer azonnal olyan intelligens lehet, mint a modell, és a változások gyorsan terjednek az összes interfészen. 

LLM-ek kockázata a kiberbiztonságért

Az LLM-ek, mint új, rövid múltra visszatekintő technológia, komoly kockázatokkal járnak. Ami még rosszabb, e kockázatok teljes mértékének megértése kihívást jelent, mivel az LLM-kimenetek nem 100%-ban kiszámíthatók vagy programozhatók. Például az LLM-ek képzeletbeli adatok alapján „hallucinálhatnak”, és válaszokat találhatnak ki, vagy helytelenül válaszolnak kérdésekre. Az LLM-ek kiberbiztonsági felhasználási esetekre történő alkalmazása előtt mérlegelni kell a lehetséges kockázatokat, többek között: 

• Sürgős injekció:  A támadók kifejezetten rosszindulatú felszólításokat készíthetnek, hogy félrevezető vagy káros kimeneteket produkáljanak. Ez a fajta támadás kihasználhatja az LLM azon tendenciáját, hogy a kapott felszólítások alapján tartalmat generál. Kiberbiztonsági felhasználási esetekben az azonnali befecskendezés a bennfentes támadás vagy egy olyan jogosulatlan felhasználó támadásaként lehet a legkockázatosabb, aki felszólításokat használ a rendszer kimeneteinek végleges megváltoztatására a modell viselkedésének eltorzításával. Ez pontatlan vagy érvénytelen kimeneteket generálhat a rendszer többi felhasználója számára. 
• Adatmérgezés:  A képzési adatok, amelyekre az LLM-ek támaszkodnak, szándékosan megsérülhetnek, ami veszélyezteti döntéshozatalukat. Kiberbiztonsági beállításokban, ahol a szervezetek valószínűleg az eszközszolgáltatók által betanított modelleket használnak, adatmérgezés fordulhat elő a modellnek az adott ügyfélre és használati esetre történő hangolása során. Ennek kockázata az lehet, hogy az illetéktelen felhasználó rossz adatokat – például sérült naplófájlokat – ad hozzá a képzési folyamat felforgatásához. Egy jogosult felhasználó ezt véletlenül is megteheti. Az eredmény rossz adatokon alapuló LLM-kimenetek lennének.
• Hallucinációk: Amint azt korábban említettük, az LLM-ek tényszerűen helytelen, logikátlan vagy akár rosszindulatú válaszokat generálhatnak a felszólítások félreértése vagy a mögöttes adathibák miatt. Kiberbiztonsági felhasználási esetekben a hallucinációk olyan kritikus hibákhoz vezethetnek, amelyek megbénítják a fenyegetések intelligenciáját, a sebezhetőségi osztályozást és a helyreállítást, és még sok mást. Mivel a kiberbiztonság a küldetés szempontjából kritikus tevékenység, az LLM-eket magasabb színvonalon kell tartani a hallucinációk kezelésében és megelőzésében ezekben az összefüggésekben. 

Ahogy a mesterséges intelligencia rendszerek egyre alkalmasabbakká válnak, az információbiztonsági rendszereik gyorsan bővülnek. Az egyértelműség kedvéért sok kiberbiztonsági vállalat régóta használja a mintaillesztést és a gépi tanulást a dinamikus szűréshez. A generatív AI-korszak újdonságai az interaktív LLM-ek, amelyek intelligenciaréteget biztosítanak a meglévő munkafolyamatok és adatkészletek mellett, ideális esetben javítva a kiberbiztonsági csapatok hatékonyságát és képességeit. Más szóval, a GenAI segíthet a biztonsági mérnököknek abban, hogy kevesebb erőfeszítéssel és azonos erőforrásokkal többet végezzenek, jobb teljesítményt és felgyorsult folyamatokat eredményezve.