Մտքի առաջնորդներ
Հալյուցինացիաների վերահսկում. LLM-ների տեղակայման առավելություններն ու ռիսկերը որպես անվտանգության գործընթացների մաս
Լեզուների մեծ մոդելներ (LLM-ները), որոնք վերապատրաստվել են հսկայական քանակությամբ տվյալների վրա, կարող են ավելի խելացի դարձնել անվտանգության օպերատիվ թիմերը: LLM-ները տրամադրում են ներդաշնակ առաջարկներ և ուղեցույցներ արձագանքման, աուդիտի, կեցվածքի կառավարման և այլնի վերաբերյալ: Անվտանգության թիմերից շատերը փորձարկում են կամ օգտագործում են LLM-ներ՝ աշխատանքային հոսքերում ձեռքով աշխատելը նվազեցնելու համար: Սա կարող է լինել ինչպես առօրյա, այնպես էլ բարդ խնդիրների համար:
Օրինակ, LLM-ը կարող է հարցնել աշխատակցին էլփոստի միջոցով, եթե նրանք ցանկանում էին կիսվել սեփականության իրավունքով պատկանող փաստաթուղթով և մշակել պատասխանը՝ անվտանգության մասնագետի առաջարկությամբ: LLM-ին կարող է հանձնարարվել նաև թարգմանել հարցումները՝ փնտրելու մատակարարման շղթայի հարձակումները բաց կոդով մոդուլների վրա և պտտել գործակալներ, որոնք կենտրոնացած են հատուկ պայմանների վրա՝ լայնորեն օգտագործվող գրադարանների նոր ներդրողներ, կոդերի անպատշաճ օրինաչափություններ, յուրաքանչյուր գործակալի համար նախատեսված հատուկ պայմանի համար:
Ասել է թե, այս հզոր AI համակարգերը կրում են զգալի ռիսկեր, որոնք ի տարբերություն այլ ռիսկերի, որոնք բախվում են անվտանգության թիմերին: Անվտանգությունը սնուցող մոդելները LLM-ները կարող են վտանգվել արագ ներարկման կամ տվյալների թունավորման միջոցով: Շարունակական հետադարձ կապերը և մեքենայական ուսուցման ալգորիթմները՝ առանց մարդու բավարար առաջնորդության, կարող են թույլ տալ վատ դերակատարներին ստուգել հսկիչները, այնուհետև առաջացնել վատ նպատակային պատասխաններ: LLM-ները հակված են հալյուցինացիաների, նույնիսկ սահմանափակ տիրույթներում: Նույնիսկ լավագույն LLM-ները հորինում են բաներ, երբ նրանք չգիտեն պատասխանը:
Անվտանգության գործընթացները և AI-ի քաղաքականությունը LLM-ի օգտագործման և աշխատանքային հոսքերի շուրջ կդառնան ավելի կարևոր, քանի որ այս համակարգերն ավելի տարածված են դառնում կիբերանվտանգության գործողությունների և հետազոտությունների ընթացքում: Համոզվելը, որ այդ գործընթացները համապատասխանում են, և չափվում և հաշվառվում են կառավարման համակարգերում, կարևոր կլինի ապահովելու համար, որ CISO-ները կարող են ապահովել բավարար GRC (կառավարում, ռիսկ և համապատասխանություն) ծածկույթ՝ կիբերանվտանգության շրջանակ 2.0-ի նման նոր մանդատները բավարարելու համար:
Կիբերանվտանգության ոլորտում LLM-ների հսկայական խոստումը
CISO-ները և նրանց թիմերը մշտապես պայքարում են նոր կիբերհարձակումների աճող ալիքին հետևելու համար: Ըստ Qualys-ի, 2023 թվականին գրանցված CVE-ների թիվը հասել է a նոր ռեկորդ՝ 26,447. Դա ավելի քան 5 անգամ է, քան 2013թ.
Այս մարտահրավերը միայն դարձել է ավելի հարկային, քանի որ միջին կազմակերպության հարձակման մակերեսը տարեցտարի մեծանում է: AppSec թիմերը պետք է ապահովեն և վերահսկեն շատ ավելի շատ ծրագրային հավելվածներ: Cloud computing-ը, API-ները, բազմաբնույթ ամպային և վիրտուալացման տեխնոլոգիաները հավելյալ բարդություն են ավելացրել: Ժամանակակից CI/CD գործիքների և գործընթացների շնորհիվ հավելվածների թիմերը կարող են ուղարկել ավելի շատ կոդ, ավելի արագ և հաճախակի: Microservices-ը և՛ միաձույլ հավելվածը բաժանել են բազմաթիվ API-ների և հարձակման մակերևույթի, ինչպես նաև բազմաթիվ այլ անցքեր են բացել գլոբալ firewalls-ում՝ արտաքին ծառայությունների կամ հաճախորդների սարքերի հետ հաղորդակցվելու համար:
Ընդլայնված LLM-ները հսկայական խոստումներ են տալիս նվազեցնելու կիբերանվտանգության թիմերի ծանրաբեռնվածությունը և բարելավելու նրանց հնարավորությունները: AI-ով աշխատող կոդավորման գործիքները լայնորեն ներթափանցել են ծրագրային ապահովման մշակում: Github-ի հետազոտությունը պարզել է, որ ծրագրավորողների 92%-ն օգտագործում կամ օգտագործել է AI գործիքներ՝ կոդերի առաջարկման և լրացման համար: Այս «copilot» գործիքների մեծ մասն ունի անվտանգության որոշ հնարավորություններ: Իրականում, ծրագրային առարկաները համեմատաբար երկուական արդյունքներով, ինչպիսիք են կոդավորումը (կոդը կամ կանցնի կամ ձախողվի միավորի թեստերը) լավ հարմար են LLM-ների համար: Ծրագրային ապահովման մշակման և CI/CD խողովակաշարում կոդերի սկանավորումից բացի, AI-ն կարող է արժեքավոր լինել կիբերանվտանգության թիմերի համար մի քանի այլ ձևերով.
- Ընդլայնված վերլուծություն. LLM-ները կարող են մշակել հսկայական քանակությամբ անվտանգության տվյալներ (տեղեկամատյաններ, ահազանգեր, սպառնալիքների հետախուզություն)՝ մարդկանց համար անտեսանելի օրինաչափություններն ու հարաբերակցությունները բացահայտելու համար: Նրանք կարող են դա անել տարբեր լեզուներով, շուրջօրյա և բազմաթիվ հարթություններում միաժամանակ: Սա նոր հնարավորություններ է բացում անվտանգության թիմերի համար: LLM-ները կարող են գրեթե իրական ժամանակում այրել ահազանգերի փաթեթը, նշելով այն ազդանշանները, որոնք, ամենայն հավանականությամբ, կլինեն ծանր: Ուսուցման ուժեղացման միջոցով վերլուծությունը պետք է բարելավվի ժամանակի ընթացքում:
- Ավտոմատացում: LLM-ները կարող են ավտոմատացնել անվտանգության թիմի առաջադրանքները, որոնք սովորաբար պահանջում են խոսակցական հետ ու առաջ: Օրինակ, երբ անվտանգության թիմը ստանում է IoC և պետք է հարցնի վերջնական կետի սեփականատիրոջը, թե արդյոք նրանք իրականում մուտք են գործել սարք կամ եթե դրանք գտնվում են ինչ-որ տեղ իրենց սովորական աշխատանքային գոտիներից դուրս, LLM-ը կարող է կատարել այս պարզ գործողությունները և այնուհետև հետևել. պահանջվող հարցերով և հղումներով կամ հրահանգներով: Սա նախկինում փոխազդեցություն էր, որը պետք է վարվեր ՏՏ կամ անվտանգության թիմի անդամը: LLM-ները կարող են նաև ապահովել ավելի առաջադեմ ֆունկցիոնալություն: Օրինակ, Microsoft Copilot for Security-ը կարող է ստեղծել միջադեպերի վերլուծության հաշվետվություններ և բարդ չարամիտ ծածկագիրը թարգմանել բնական լեզվով նկարագրությունների:
- Շարունակական ուսուցում և կարգավորում. Ի տարբերություն մեքենայական ուսուցման նախկին համակարգերի՝ անվտանգության քաղաքականության և ըմբռնման համար, LLM-ները կարող են արագորեն սովորել՝ ընդունելով դրանց պատասխանների մարդկային գնահատականները և վերամիավորելով տվյալների նոր լողավազանները, որոնք կարող են չպարունակվել ներքին գրանցամատյանների ֆայլերում: Իրականում, օգտագործելով նույն հիմքում ընկած հիմնարար մոդելը, կիբերանվտանգության LLM-ները կարող են կարգավորվել տարբեր թիմերի և նրանց կարիքների, աշխատանքային հոսքերի կամ տարածաշրջանային կամ ուղղահայաց հատուկ առաջադրանքների համար: Սա նաև նշանակում է, որ ամբողջ համակարգը կարող է ակնթարթորեն լինել նույնքան խելացի, որքան մոդելը, և փոփոխությունները արագորեն տարածվեն բոլոր ինտերֆեյսներում:
Կիբերանվտանգության համար LLM-ների ռիսկը
Որպես կարճ փորձ ունեցող նոր տեխնոլոգիա՝ LLM-ները լուրջ ռիսկեր ունեն: Ավելի վատ, այդ ռիսկերի ամբողջական չափը հասկանալը դժվար է, քանի որ LLM արդյունքները 100% կանխատեսելի կամ ծրագրային չեն: Օրինակ, LLM-ները կարող են «հալյուցինացիաներ առաջացնել» և պատասխաններ կազմել կամ սխալ պատասխանել հարցերին՝ հիմնվելով երևակայական տվյալների վրա: Կիբերանվտանգության օգտագործման դեպքերի համար LLM-ներ ընդունելուց առաջ պետք է հաշվի առնել հնարավոր ռիսկերը, այդ թվում՝
- Արագ ներարկում. Հարձակվողները կարող են ստեղծել չարամիտ հուշումներ՝ հատուկ ապակողմնորոշիչ կամ վնասակար արդյունքներ արտադրելու համար: Հարձակման այս տեսակը կարող է օգտագործել LLM-ի հակվածությունը՝ բովանդակություն ստեղծելու՝ հիմնվելով իր ստացած հուշումների վրա: Կիբերանվտանգության օգտագործման դեպքերում արագ ներարկումը կարող է լինել ամենավտանգավոր՝ որպես ինսայդերական հարձակման կամ հարձակման ձև չարտոնված օգտատիրոջ կողմից, ով օգտագործում է հուշումներ՝ մշտապես փոփոխելու համակարգի արդյունքները՝ շեղելով մոդելի վարքագիծը: Սա կարող է առաջացնել ոչ ճշգրիտ կամ անվավեր արդյունքներ համակարգի այլ օգտվողների համար:
- Տվյալների թունավորում. Վերապատրաստման տվյալները, որոնց վրա հիմնվում են LLM-ները, կարող են միտումնավոր կոռումպացվել՝ վտանգելով նրանց որոշումների կայացումը: Կիբերանվտանգության կարգավորումներում, որտեղ կազմակերպությունները, ամենայն հավանականությամբ, օգտագործում են գործիքների մատակարարների կողմից ուսուցանված մոդելներ, տվյալների թունավորում կարող է առաջանալ մոդելի թյունինգի ժամանակ կոնկրետ հաճախորդի և օգտագործման դեպքում: Այստեղ վտանգը կարող է լինել չարտոնված օգտատերերի կողմից վատ տվյալներ ավելացնելը, օրինակ՝ կոռումպացված տեղեկամատյանների ֆայլերը, որպեսզի խաթարեն վերապատրաստման գործընթացը: Լիազորված օգտվողը կարող է դա անել նաև ակամա: Արդյունքը կլինի LLM արդյունքներ՝ հիմնված վատ տվյալների վրա:
- HallucinationsԻնչպես նշվեց նախկինում, LLM-ները կարող են փաստացիորեն սխալ, անտրամաբանական կամ նույնիսկ վնասակար պատասխաններ առաջացնել՝ հուշումների թյուրիմացության կամ տվյալների հիմքում ընկած թերությունների պատճառով: Կիբերանվտանգության օգտագործման դեպքերում հալյուցինացիաները կարող են հանգեցնել կրիտիկական սխալների, որոնք խաթարում են սպառնալիքների հետախուզությունը, խոցելիության ստուգումը և վերացումը և այլն: Քանի որ կիբերանվտանգությունը առաքելության կարևորագույն գործունեություն է, LLM-ները պետք է պահպանվեն այս համատեքստում հալյուցինացիաների կառավարման և կանխարգելման ավելի բարձր չափանիշներով:
Քանի որ AI համակարգերը դառնում են ավելի ընդունակ, դրանց տեղեկատվական անվտանգության տեղակայումները արագորեն ընդլայնվում են: Հստակ լինելու համար, կիբերանվտանգության ոլորտի շատ ընկերություններ վաղուց օգտագործում են օրինաչափությունների համընկնումը և մեքենայական ուսուցումը դինամիկ զտման համար: Արհեստական ինտելեկտի գեներատիվ դարաշրջանում նորը ինտերակտիվ LLM-ներն են, որոնք ապահովում են ինտելեկտի շերտ գոյություն ունեցող աշխատանքային հոսքերի և տվյալների լողավազանի վերևում՝ իդեալականորեն բարելավելով կիբերանվտանգության թիմերի արդյունավետությունը և բարձրացնելով կարողությունները: Այլ կերպ ասած, GenAI-ն կարող է օգնել անվտանգության ինժեներին ավելին անել ավելի քիչ ջանքերով և նույն ռեսուրսներով՝ ապահովելով ավելի լավ կատարողականություն և արագացված գործընթացներ:
