मतिभ्रम नियंत्रण: सुरक्षा प्रक्रियाओं के भाग के रूप में एलएलएम की तैनाती के लाभ और जोखिम

बड़े भाषा मॉडल (LLM) विशाल मात्रा में डेटा पर प्रशिक्षित सुरक्षा संचालन टीमों को अधिक स्मार्ट बना सकते हैं। LLM प्रतिक्रिया, ऑडिट, मुद्रा प्रबंधन, और बहुत कुछ पर इन-लाइन सुझाव और मार्गदर्शन प्रदान करते हैं। अधिकांश सुरक्षा टीमें वर्कफ़्लो में मैन्युअल परिश्रम को कम करने के लिए LLM के साथ प्रयोग कर रही हैं या उनका उपयोग कर रही हैं। यह सामान्य और जटिल दोनों तरह के कार्यों के लिए हो सकता है। 

उदाहरण के लिए, एक एलएलएम किसी कर्मचारी से ईमेल के माध्यम से पूछताछ कर सकता है कि क्या उनका इरादा किसी ऐसे दस्तावेज़ को साझा करने का था जो मालिकाना था और एक सुरक्षा व्यवसायी की सिफारिश के साथ प्रतिक्रिया को संसाधित कर सकता है। एक एलएलएम को खुले स्रोत मॉड्यूल पर आपूर्ति श्रृंखला हमलों को देखने के लिए अनुरोधों का अनुवाद करने और विशिष्ट स्थितियों पर केंद्रित एजेंटों को स्पिन करने का काम भी सौंपा जा सकता है - व्यापक रूप से उपयोग किए जाने वाले पुस्तकालयों में नए योगदानकर्ता, अनुचित कोड पैटर्न - प्रत्येक एजेंट को उस विशिष्ट स्थिति के लिए तैयार किया जाता है। 

ऐसा कहा जाता है कि, ये शक्तिशाली AI सिस्टम महत्वपूर्ण जोखिम उठाते हैं जो सुरक्षा टीमों के सामने आने वाले अन्य जोखिमों से अलग हैं। सुरक्षा LLM को शक्ति प्रदान करने वाले मॉडल को त्वरित इंजेक्शन या डेटा विषाक्तता के माध्यम से समझौता किया जा सकता है। पर्याप्त मानवीय मार्गदर्शन के बिना निरंतर फीडबैक लूप और मशीन लर्निंग एल्गोरिदम खराब अभिनेताओं को नियंत्रण की जांच करने और फिर खराब लक्षित प्रतिक्रियाओं को प्रेरित करने की अनुमति दे सकते हैं। LLM सीमित डोमेन में भी मतिभ्रम के शिकार होते हैं। यहां तक ​​कि सबसे अच्छे LLM भी तब चीजें बनाते हैं जब उन्हें जवाब नहीं पता होता। 

एलएलएम उपयोग और वर्कफ़्लो के आसपास सुरक्षा प्रक्रियाएं और एआई नीतियां अधिक महत्वपूर्ण हो जाएंगी क्योंकि ये सिस्टम साइबर सुरक्षा संचालन और अनुसंधान में अधिक सामान्य हो जाएंगे। यह सुनिश्चित करना कि उन प्रक्रियाओं का अनुपालन किया जाता है, और शासन प्रणालियों में मापा और हिसाब लगाया जाता है, यह सुनिश्चित करने के लिए महत्वपूर्ण साबित होगा कि सीआईएसओ साइबर सुरक्षा फ्रेमवर्क 2.0 जैसे नए जनादेशों को पूरा करने के लिए पर्याप्त जीआरसी (शासन, जोखिम और अनुपालन) कवरेज प्रदान कर सकता है। 

साइबर सुरक्षा में एलएलएम का बड़ा वादा

सीआईएसओ और उनकी टीमें लगातार नए साइबर हमलों की बढ़ती लहर से निपटने के लिए संघर्ष कर रही हैं। क्वालिस के अनुसार, 2023 में रिपोर्ट किए गए सीवीई की संख्या एक मिलियन तक पहुंच गई है। 26,447 का नया रिकॉर्डयह 5 की तुलना में 2013 गुना से भी अधिक है। 

यह चुनौती और अधिक कठिन हो गई है क्योंकि प्रत्येक गुजरते वर्ष के साथ औसत संगठन की आक्रमण सतह बड़ी होती जा रही है। AppSec टीमों को कई और सॉफ़्टवेयर अनुप्रयोगों को सुरक्षित और मॉनिटर करना होगा। क्लाउड कंप्यूटिंग, एपीआई, मल्टी-क्लाउड और वर्चुअलाइजेशन तकनीकों ने अतिरिक्त जटिलता बढ़ा दी है। आधुनिक सीआई/सीडी टूलींग और प्रक्रियाओं के साथ, एप्लिकेशन टीमें अधिक कोड, तेजी से और अधिक बार भेज सकती हैं। माइक्रोसर्विसेज ने मोनोलिथिक ऐप को कई एपीआई और अटैक सरफेस में विभाजित कर दिया है और बाहरी सेवाओं या ग्राहक उपकरणों के साथ संचार के लिए वैश्विक फ़ायरवॉल में कई और छेद भी कर दिए हैं।

उन्नत एलएलएम साइबर सुरक्षा टीमों के कार्यभार को कम करने और उनकी क्षमताओं में सुधार करने का जबरदस्त वादा करते हैं। एआई-संचालित कोडिंग टूल ने सॉफ्टवेयर विकास में व्यापक रूप से प्रवेश किया है। जीथब शोध में पाया गया कि 92% डेवलपर्स कोड सुझाव और पूर्णता के लिए एआई टूल का उपयोग कर रहे हैं या कर चुके हैं। इनमें से अधिकांश "कोपायलट" उपकरणों में कुछ सुरक्षा क्षमताएं हैं। वास्तव में, अपेक्षाकृत बाइनरी परिणामों वाले प्रोग्रामेटिक विषय जैसे कोडिंग (कोड या तो यूनिट परीक्षण पास करेगा या असफल होगा) एलएलएम के लिए उपयुक्त हैं। सॉफ़्टवेयर विकास और सीआई/सीडी पाइपलाइन के लिए कोड स्कैनिंग से परे, एआई कई अन्य तरीकों से साइबर सुरक्षा टीमों के लिए मूल्यवान हो सकता है:   

• उन्नत विश्लेषण: एलएलएम मनुष्यों के लिए अदृश्य पैटर्न और सहसंबंधों की पहचान करने के लिए भारी मात्रा में सुरक्षा डेटा (लॉग, अलर्ट, खतरे की खुफिया जानकारी) संसाधित कर सकते हैं। वे इसे भाषाओं में, चौबीसों घंटे और कई आयामों में एक साथ कर सकते हैं। इससे सुरक्षा टीमों के लिए नए अवसर खुलते हैं। एलएलएम लगभग वास्तविक समय में अलर्ट के ढेर को नष्ट कर सकते हैं, जो सबसे गंभीर होने की संभावना रखते हैं उन्हें चिन्हित कर सकते हैं। सुदृढीकरण सीखने के माध्यम से, समय के साथ विश्लेषण में सुधार होना चाहिए। 
• स्वचालन: एलएलएम सुरक्षा टीम के कार्यों को स्वचालित कर सकते हैं जिनके लिए आम तौर पर आगे और पीछे बातचीत की आवश्यकता होती है। उदाहरण के लिए, जब एक सुरक्षा टीम को IoC प्राप्त होता है और उसे एंडपॉइंट के मालिक से पूछना पड़ता है कि क्या उन्होंने वास्तव में किसी डिवाइस में साइन इन किया है या यदि वे अपने सामान्य कार्य क्षेत्र के बाहर कहीं स्थित हैं, तो एलएलएम इन सरल ऑपरेशनों को निष्पादित कर सकता है और फिर उनका पालन कर सकता है। आवश्यकतानुसार प्रश्नों और लिंक या निर्देशों के साथ। यह एक ऐसी बातचीत होती थी जिसे एक आईटी या सुरक्षा टीम के सदस्य को स्वयं संचालित करना होता था। एलएलएम अधिक उन्नत कार्यक्षमता भी प्रदान कर सकते हैं। उदाहरण के लिए, सुरक्षा के लिए एक Microsoft Copilot घटना विश्लेषण रिपोर्ट तैयार कर सकता है और जटिल मैलवेयर कोड का प्राकृतिक भाषा विवरण में अनुवाद कर सकता है। 
• निरंतर सीखना और ट्यूनिंग: सुरक्षा नीतियों और समझ के लिए पिछले मशीन लर्निंग सिस्टम के विपरीत, LLM अपनी प्रतिक्रिया की मानवीय रेटिंग को प्राप्त करके और डेटा के नए पूल पर फिर से ट्यून करके सीख सकते हैं जो आंतरिक लॉग फ़ाइलों में शामिल नहीं हो सकते हैं। वास्तव में, एक ही अंतर्निहित आधारभूत मॉडल का उपयोग करके, साइबर सुरक्षा LLM को विभिन्न टीमों और उनकी ज़रूरतों, वर्कफ़्लो या क्षेत्रीय या वर्टिकल-विशिष्ट कार्यों के लिए ट्यून किया जा सकता है। इसका यह भी अर्थ है कि पूरा सिस्टम तुरंत मॉडल जितना स्मार्ट हो सकता है, जिसमें सभी इंटरफेस में तेज़ी से बदलाव हो सकते हैं। 

साइबर सुरक्षा के लिए एलएलएम का जोखिम

छोटे ट्रैक रिकॉर्ड वाली एक नई तकनीक के रूप में, एलएलएम में गंभीर जोखिम हैं। इससे भी बदतर, उन जोखिमों की पूरी सीमा को समझना चुनौतीपूर्ण है क्योंकि एलएलएम आउटपुट 100% पूर्वानुमानित या प्रोग्रामेटिक नहीं हैं। उदाहरण के लिए, एलएलएम काल्पनिक डेटा के आधार पर "मतिभ्रम" कर सकते हैं और उत्तर बना सकते हैं या प्रश्नों का गलत उत्तर दे सकते हैं। साइबर सुरक्षा उपयोग के मामलों के लिए एलएलएम अपनाने से पहले, संभावित जोखिमों पर विचार करना चाहिए जिनमें शामिल हैं: 

• शीघ्र इंजेक्शन:  हमलावर विशेष रूप से भ्रामक या हानिकारक आउटपुट बनाने के लिए दुर्भावनापूर्ण संकेत तैयार कर सकते हैं। इस प्रकार का हमला LLM की प्रवृत्ति का फायदा उठा सकता है, जो उसे प्राप्त संकेतों के आधार पर सामग्री उत्पन्न करता है। साइबर सुरक्षा उपयोग के मामलों में, प्रॉम्प्ट इंजेक्शन एक प्रकार के अंदरूनी हमले या अनधिकृत उपयोगकर्ता द्वारा किए गए हमले के रूप में सबसे अधिक जोखिम भरा हो सकता है, जो मॉडल व्यवहार को तिरछा करके सिस्टम आउटपुट को स्थायी रूप से बदलने के लिए संकेतों का उपयोग करता है। यह सिस्टम के अन्य उपयोगकर्ताओं के लिए गलत या अमान्य आउटपुट उत्पन्न कर सकता है। 
• डेटा विषाक्तता:  एलएलएम जिस प्रशिक्षण डेटा पर भरोसा करते हैं उसे जानबूझकर भ्रष्ट किया जा सकता है, जिससे उनकी निर्णय लेने की क्षमता प्रभावित हो सकती है। साइबर सुरक्षा सेटिंग्स में, जहां संगठन उपकरण प्रदाताओं द्वारा प्रशिक्षित मॉडल का उपयोग कर रहे हैं, विशिष्ट ग्राहक और उपयोग के मामले के लिए मॉडल की ट्यूनिंग के दौरान डेटा विषाक्तता हो सकती है। यहां जोखिम एक अनधिकृत उपयोगकर्ता द्वारा प्रशिक्षण प्रक्रिया को नष्ट करने के लिए खराब डेटा - उदाहरण के लिए, दूषित लॉग फ़ाइलें - जोड़ने का हो सकता है। कोई अधिकृत उपयोगकर्ता अनजाने में भी ऐसा कर सकता है. परिणाम खराब डेटा पर आधारित एलएलएम आउटपुट होगा।
• मतिभ्रमजैसा कि पहले बताया गया है, LLMs संकेतों की गलतफहमी या अंतर्निहित डेटा दोषों के कारण तथ्यात्मक रूप से गलत, अतार्किक या यहां तक ​​कि दुर्भावनापूर्ण प्रतिक्रियाएं उत्पन्न कर सकते हैं। साइबर सुरक्षा उपयोग के मामलों में, मतिभ्रम के परिणामस्वरूप गंभीर त्रुटियां हो सकती हैं जो खतरे की खुफिया जानकारी, भेद्यता ट्राइएज और उपचार, और बहुत कुछ को कमजोर कर देती हैं। क्योंकि साइबर सुरक्षा एक मिशन महत्वपूर्ण गतिविधि है, इसलिए LLMs को इन संदर्भों में मतिभ्रम को प्रबंधित करने और रोकने के उच्च मानक पर रखा जाना चाहिए। 

जैसे-जैसे AI सिस्टम अधिक सक्षम होते जा रहे हैं, उनकी सूचना सुरक्षा तैनाती तेजी से बढ़ रही है। स्पष्ट रूप से, कई साइबर सुरक्षा कंपनियों ने डायनेमिक फ़िल्टरिंग के लिए लंबे समय से पैटर्न मिलान और मशीन लर्निंग का उपयोग किया है। जनरेटिव AI युग में जो नया है वह इंटरैक्टिव LLM हैं जो मौजूदा वर्कफ़्लो और डेटा के पूल के ऊपर इंटेलिजेंस की एक परत प्रदान करते हैं, जो आदर्श रूप से दक्षता में सुधार करते हैं और साइबर सुरक्षा टीमों की क्षमताओं को बढ़ाते हैं। दूसरे शब्दों में, GenAI सुरक्षा इंजीनियरों को कम प्रयास और समान संसाधनों के साथ अधिक काम करने में मदद कर सकता है, जिससे बेहतर प्रदर्शन और त्वरित प्रक्रियाएँ प्राप्त होती हैं।