აზროვნების ლიდერები
ჰალუცინაციების კონტროლი: LLM-ების, როგორც უსაფრთხოების პროცესების ნაწილის გამოყენების უპირატესობები და რისკები
დიდი ენის მოდელები (LLM-ები), რომლებიც გაწვრთნილნი არიან მონაცემთა დიდ რაოდენობაზე, შეუძლიათ უსაფრთხოების ოპერაციების გუნდები უფრო ჭკვიანები გახადონ. LLM-ები უზრუნველყოფენ შიდა წინადადებებსა და მითითებებს პასუხის, აუდიტის, პოზის მენეჯმენტისა და სხვა საკითხებზე. უსაფრთხოების გუნდების უმეტესობა ატარებს ექსპერიმენტებს ან იყენებს LLM-ებს, რათა შეამცირონ ხელით შრომა სამუშაო პროცესებში. ეს შეიძლება იყოს როგორც ამქვეყნიური, ასევე რთული ამოცანებისთვის.
მაგალითად, LLM-ს შეუძლია მიმართოს თანამშრომელს ელ.ფოსტის საშუალებით, თუ ისინი აპირებდნენ გაეზიარონ დოკუმენტი, რომელიც იყო საკუთრებაში და დამუშავდეს პასუხი უსაფრთხოების პრაქტიკოსის რეკომენდაციით. LLM-ს ასევე შეიძლება დაევალოს მოთხოვნების თარგმნა ღია კოდის მოდულებზე მიწოდების ჯაჭვის შეტევების მოსაძებნად და აგენტების დატრიალება, რომლებიც ორიენტირებულია კონკრეტულ პირობებზე - ფართოდ გამოყენებული ბიბლიოთეკების ახალი კონტრიბუტორები, არასწორი კოდის შაბლონები - თითოეული აგენტი შექმნილია ამ კონკრეტული მდგომარეობისთვის.
ამის თქმით, ეს ძლიერი AI სისტემები ეკისრება მნიშვნელოვან რისკებს, რომლებიც განსხვავებით სხვა რისკებისგან, რომლებიც ემუქრებათ უსაფრთხოების გუნდებს. მოდელები, რომლებიც უზრუნველყოფენ უსაფრთხოების LLM-ებს, შეიძლება დაზარალდეს სწრაფი ინექციის ან მონაცემთა მოწამვლის შედეგად. უწყვეტი უკუკავშირის მარყუჟები და მანქანათმცოდნეობის ალგორითმები საკმარისი ადამიანური ხელმძღვანელობის გარეშე ცუდ მსახიობებს საშუალებას აძლევს გამოიკვლიონ კონტროლი და შემდეგ გამოიწვიონ ცუდად მიზანმიმართული პასუხები. LLM-ები მიდრეკილნი არიან ჰალუცინაციებისკენ, თუნდაც შეზღუდულ სფეროებში. საუკეთესო LLM-ებიც კი აწყობენ რაღაცას, როცა პასუხი არ იციან.
უსაფრთხოების პროცესები და ხელოვნური ინტელექტის პოლიტიკა LLM-ის გამოყენებისა და სამუშაო ნაკადების ირგვლივ უფრო კრიტიკული გახდება, რადგან ეს სისტემები უფრო გავრცელებული გახდება კიბერუსაფრთხოების ოპერაციებსა და კვლევებში. იმის უზრუნველყოფა, რომ ეს პროცესები შესრულებულია და გაზომილია და აღირიცხება მართვის სისტემებში, გადამწყვეტი იქნება იმის უზრუნველსაყოფად, რომ CISO-ებს შეუძლიათ უზრუნველყონ საკმარისი GRC (მმართველობა, რისკი და შესაბამისობა) დაფარვა ახალი მანდატების შესასრულებლად, როგორიცაა კიბერუსაფრთხოების ჩარჩო 2.0.
LLM-ების უზარმაზარი დაპირება კიბერუსაფრთხოებაში
CISO-ები და მათი გუნდები მუდმივად იბრძვიან ახალი კიბერთავდასხმების მზარდი ტალღის შესანარჩუნებლად. Qualys-ის თანახმად, 2023 წელს დაფიქსირებული CVE-ების რაოდენობამ მიაღწია ა ახალი რეკორდი 26,447. ეს 5-ჯერ მეტია 2013 წელთან შედარებით.
ეს გამოწვევა მხოლოდ უფრო დაბეგვრის გახდა, რადგან საშუალო ორგანიზაციის თავდასხმის ზედაპირი ყოველწლიურად იზრდება. AppSec გუნდებმა უნდა უზრუნველყონ და დააკვირდნენ კიდევ ბევრ პროგრამულ პროგრამას. Cloud Computing, API-ები, მრავალ ღრუბლოვანი და ვირტუალიზაციის ტექნოლოგიები დამატებით სირთულეს მატებს. თანამედროვე CI/CD ინსტრუმენტებითა და პროცესებით, აპლიკაციის გუნდებს შეუძლიათ მეტი კოდის გაგზავნა, უფრო სწრაფად და უფრო ხშირად. მიკროსერვისებმა დაშალეს მონოლითური აპი მრავალრიცხოვან API-ში და თავდასხმის ზედაპირში და ასევე გატეხეს მრავალი ხვრელი გლობალურ ფეიერვალებში გარე სერვისებთან ან მომხმარებელთა მოწყობილობებთან კომუნიკაციისთვის.
მოწინავე LLM-ები უზარმაზარ დაპირებას იძლევიან, რომ შეამცირონ კიბერუსაფრთხოების გუნდების დატვირთვა და გააუმჯობესონ მათი შესაძლებლობები. AI-ზე მომუშავე კოდირების ინსტრუმენტებმა ფართოდ შეაღწია პროგრამული უზრუნველყოფის განვითარებას. Github-ის კვლევამ დაადგინა, რომ დეველოპერების 92% იყენებს ან იყენებდა AI ინსტრუმენტებს კოდის შეთავაზებისა და დასრულებისთვის. ამ "კოპილოტის" ხელსაწყოების უმეტესობას აქვს უსაფრთხოების გარკვეული შესაძლებლობები. ფაქტობრივად, პროგრამული დისციპლინები შედარებით ორობითი შედეგებით, როგორიცაა კოდირება (კოდი გაივლის ან ჩაუვარდება ერთეულ ტესტებს) კარგად შეეფერება LLM-ს. პროგრამული უზრუნველყოფის შემუშავებისა და CI/CD მილსადენის კოდის სკანირების გარდა, AI შეიძლება იყოს ღირებული კიბერუსაფრთხოების გუნდებისთვის რამდენიმე სხვა გზით:
- გაძლიერებული ანალიზი: LLM-ებს შეუძლიათ დაამუშავონ დიდი რაოდენობით უსაფრთხოების მონაცემები (ლოგიები, გაფრთხილებები, საფრთხის დაზვერვა), რათა დაადგინონ ადამიანებისთვის უხილავი შაბლონები და კორელაციები. მათ შეუძლიათ ამის გაკეთება სხვადასხვა ენებზე, მთელი საათის განმავლობაში და მრავალ განზომილებაში ერთდროულად. ეს ხსნის ახალ შესაძლებლობებს უსაფრთხოების გუნდებისთვის. LLM-ებს შეუძლიათ დაწვონ სიგნალების დასტა თითქმის რეალურ დროში, მონიშნონ ისინი, რომლებიც, სავარაუდოდ, მძიმეა. განმამტკიცებელი სწავლის საშუალებით, ანალიზი დროთა განმავლობაში უნდა გაუმჯობესდეს.
- ავტომატიკა: LLM-ებს შეუძლიათ უსაფრთხოების გუნდის ამოცანების ავტომატიზაცია, რომლებიც ჩვეულებრივ მოითხოვს საუბარს წინ და უკან. მაგალითად, როდესაც უსაფრთხოების გუნდი იღებს IoC-ს და უნდა ჰკითხოს საბოლოო წერტილის მფლობელს, იყო თუ არა მოწყობილობაში შესული, ან თუ ისინი მდებარეობს სადმე მათი ნორმალური სამუშაო ზონის გარეთ, LLM-ს შეუძლია შეასრულოს ეს მარტივი ოპერაციები და შემდეგ დაიცვას დასვით კითხვები, როგორც საჭიროა და ბმულები ან ინსტრუქციები. ეს იყო ურთიერთქმედება, რომელიც IT ან უსაფრთხოების ჯგუფის წევრს თავად უნდა მოეწყო. LLM-ებს ასევე შეუძლიათ უფრო მოწინავე ფუნქციონირება. მაგალითად, Microsoft Copilot for Security-ს შეუძლია შექმნას ინციდენტების ანალიზის ანგარიშები და თარგმნოს რთული მავნე პროგრამის კოდი ბუნებრივ ენაზე.
- უწყვეტი სწავლა და რეგულირება: უსაფრთხოების პოლიტიკისა და გაგების წინა მანქანური სწავლების სისტემებისგან განსხვავებით, LLM-ებს შეუძლიათ ისწავლონ ფრენის დროს მისი პასუხის ადამიანური რეიტინგების მიღებით და მონაცემთა უფრო ახალი კრებულის ხელახლა დაყენებით, რომლებიც შეიძლება არ იყოს შეტანილი შიდა ჟურნალის ფაილებში. ფაქტობრივად, ერთი და იგივე ძირითადი მოდელის გამოყენებით, კიბერუსაფრთხოების LLM-ები შეიძლება მორგებული იყოს სხვადასხვა გუნდისთვის და მათი საჭიროებებისთვის, სამუშაო პროცესებისთვის ან რეგიონალური ან ვერტიკალური სპეციფიკური ამოცანებისთვის. ეს ასევე ნიშნავს, რომ მთელი სისტემა შეიძლება მომენტალურად იყოს ისეთივე ჭკვიანი, როგორც მოდელი, ცვლილებები სწრაფად გავრცელდება ყველა ინტერფეისში.
LLM-ების რისკი კიბერუსაფრთხოებისთვის
როგორც ახალი ტექნოლოგია, რომელსაც აქვს მოკლე გამოცდილება, LLM-ებს სერიოზული რისკები აქვთ. უარესი, ამ რისკების სრული მასშტაბის გაგება რთულია, რადგან LLM შედეგები არ არის 100% პროგნოზირებადი ან პროგრამული. მაგალითად, LLM-ებს შეუძლიათ "ჰალუცინაციები" და შეადგინონ პასუხები ან არასწორად უპასუხონ კითხვებს, წარმოსახვითი მონაცემების საფუძველზე. კიბერუსაფრთხოების გამოყენების შემთხვევებისთვის LLM-ების მიღებამდე უნდა განიხილოს პოტენციური რისკები, მათ შორის:
- სწრაფი ინექცია: თავდამსხმელებს შეუძლიათ შექმნან მავნე მოთხოვნილებები სპეციალურად შეცდომაში შემყვანი ან მავნე შედეგების მისაღებად. ამ ტიპის თავდასხმას შეუძლია გამოიყენოს LLM-ის ტენდენცია კონტენტის გენერირებისკენ მის მიერ მიღებული მოთხოვნების საფუძველზე. კიბერუსაფრთხოების გამოყენების შემთხვევაში, სწრაფი ინექცია შეიძლება იყოს ყველაზე სარისკო, როგორც ინსაიდერული თავდასხმის ან თავდასხმის ფორმა არაავტორიზებული მომხმარებლის მიერ, რომელიც იყენებს მოთხოვნებს სისტემის შედეგების სამუდამოდ შესაცვლელად მოდელის ქცევის გადახრის გზით. ამან შეიძლება წარმოქმნას არაზუსტი ან არასწორი შედეგები სისტემის სხვა მომხმარებლებისთვის.
- მონაცემთა მოწამვლა: ტრენინგის მონაცემები, რომლებსაც LLM-ები ეყრდნობიან, შეიძლება განზრახ დაზიანდეს, რაც არღვევს მათ გადაწყვეტილების მიღებას. კიბერუსაფრთხოების პარამეტრებში, სადაც ორგანიზაციები, სავარაუდოდ, იყენებენ მოდელებს, რომლებიც გაწვრთნილნი არიან ხელსაწყოების პროვაიდერების მიერ, მონაცემთა მოწამვლა შეიძლება მოხდეს მოდელის დაყენებისას კონკრეტული მომხმარებლისთვის და გამოყენების შემთხვევისთვის. რისკი აქ შეიძლება იყოს არაავტორიზებული მომხმარებლის მიერ, რომელიც დაამატებს ცუდ მონაცემებს - მაგალითად, დაზიანებული ჟურნალის ფაილებს - სასწავლო პროცესის დასამხობად. ავტორიზებულ მომხმარებელს ასევე შეუძლია ამის გაკეთება უნებურად. შედეგი იქნება LLM გამომავალი ცუდი მონაცემების საფუძველზე.
- ჰალუცინაციები: როგორც უკვე აღვნიშნეთ, LLM-ებმა შეიძლება წარმოქმნან ფაქტობრივად არასწორი, ალოგიკური ან თუნდაც მავნე პასუხები მოთხოვნების გაუგებრობის ან მონაცემთა ძირითადი ხარვეზების გამო. კიბერუსაფრთხოების გამოყენების შემთხვევაში, ჰალუცინაციები შეიძლება გამოიწვიოს კრიტიკულ შეცდომებს, რომლებიც ანგრევს საფრთხის ინტელექტს, დაუცველობის ტრიაჟს და გამოსწორებას და სხვა. იმის გამო, რომ კიბერუსაფრთხოება არის მისიის გადამწყვეტი აქტივობა, LLM-ები უნდა იყოს დაცული ამ კონტექსტში ჰალუცინაციების მართვისა და პრევენციის უფრო მაღალი სტანდარტების შესაბამისად.
AI სისტემები უფრო ქმედუნარიანი ხდება, მათი ინფორმაციული უსაფრთხოების განლაგება სწრაფად ფართოვდება. გასაგებად რომ ვთქვათ, ბევრი კიბერუსაფრთხოების კომპანია დიდი ხანია იყენებს შაბლონების შესატყვისს და მანქანურ სწავლებას დინამიური ფილტრაციისთვის. რაც ახალია გენერაციულ AI ეპოქაში არის ინტერაქტიული LLM-ები, რომლებიც უზრუნველყოფენ დაზვერვის ფენას არსებულ სამუშაო პროცესებზე და მონაცემთა ბაზებზე, რაც იდეალურად აუმჯობესებს ეფექტურობას და აძლიერებს კიბერუსაფრთხოების გუნდების შესაძლებლობებს. სხვა სიტყვებით რომ ვთქვათ, GenAI-ს შეუძლია დაეხმაროს უსაფრთხოების ინჟინრებს ნაკლები ძალისხმევით და იგივე რესურსებით მეტის გაკეთებაში, რაც უზრუნველყოფს უკეთეს შესრულებას და დაჩქარებულ პროცესებს.
