قاده التفكير
التحكم في الهلوسة: فوائد ومخاطر نشر LLMs كجزء من العمليات الأمنية
نماذج اللغات الكبيرة (LLMs) المدربة على كميات هائلة من البيانات يمكن أن تجعل فرق العمليات الأمنية أكثر ذكاءً. يقدم LLMs اقتراحات وتوجيهات مضمنة بشأن الاستجابة وعمليات التدقيق وإدارة الموقف والمزيد. تقوم معظم فرق الأمان بتجربة أو استخدام LLMs لتقليل الجهد اليدوي في سير العمل. يمكن أن يكون هذا للمهام الدنيوية والمعقدة.
على سبيل المثال، يمكن لـ LLM الاستعلام عن الموظف عبر البريد الإلكتروني إذا كان يقصد مشاركة مستند كان مملوكًا ومعالجة الرد بتوصية لممارس الأمان. يمكن أيضًا تكليف LLM بترجمة الطلبات للبحث عن هجمات سلسلة التوريد على وحدات مفتوحة المصدر وتدوير الوكلاء الذين يركزون على ظروف محددة - مساهمون جدد في المكتبات المستخدمة على نطاق واسع، وأنماط التعليمات البرمجية غير المناسبة - مع إعداد كل وكيل لهذا الشرط المحدد.
ومع ذلك، فإن أنظمة الذكاء الاصطناعي القوية هذه تحمل مخاطر كبيرة تختلف عن المخاطر الأخرى التي تواجه الفرق الأمنية. يمكن أن تتعرض النماذج التي تدعم شهادات LLM الأمنية للخطر من خلال الحقن الفوري أو تسميم البيانات. ومن الممكن أن تسمح حلقات التغذية الراجعة المستمرة وخوارزميات التعلم الآلي دون توجيه بشري كاف للجهات الفاعلة السيئة باستكشاف الضوابط ومن ثم إحداث استجابات سيئة الاستهداف. LLMs عرضة للهلوسة، حتى في مجالات محدودة. حتى أفضل حاملي شهادة الماجستير في القانون يختلقون الأشياء عندما لا يعرفون الإجابة.
ستصبح العمليات الأمنية وسياسات الذكاء الاصطناعي حول استخدام LLM وسير العمل أكثر أهمية حيث أصبحت هذه الأنظمة أكثر شيوعًا عبر عمليات وأبحاث الأمن السيبراني. إن التأكد من الامتثال لهذه العمليات وقياسها وحسابها في أنظمة الحوكمة، سيكون أمرًا بالغ الأهمية لضمان قدرة CISOs على توفير تغطية كافية لـ GRC (الحوكمة والمخاطر والامتثال) للوفاء بتفويضات جديدة مثل Cybersecurity Framework 2.0.
الوعد الضخم للماجستير في الأمن السيبراني
يكافح مدراء تكنولوجيا المعلومات وفرقهم باستمرار لمواكبة المد المتزايد للهجمات الإلكترونية الجديدة. وبحسب كواليس، بلغ عدد حالات مكافحة التطرف العنيف التي تم الإبلاغ عنها في عام 2023، XNUMX رقم قياسي جديد قدره 26,447. وهذا يزيد بأكثر من 5X عن عام 2013.
لقد أصبح هذا التحدي أكثر صعوبة مع تزايد حجم سطح الهجوم للمؤسسة المتوسطة مع مرور كل عام. يجب على فرق AppSec تأمين ومراقبة العديد من التطبيقات البرمجية. لقد أضافت الحوسبة السحابية وواجهات برمجة التطبيقات والتقنيات السحابية المتعددة والمحاكاة الافتراضية تعقيدًا إضافيًا. باستخدام أدوات وعمليات CI/CD الحديثة، يمكن لفرق التطبيقات شحن المزيد من التعليمات البرمجية بشكل أسرع وبتكرار أكبر. قامت الخدمات الصغيرة بتقسيم التطبيق المتجانس إلى العديد من واجهات برمجة التطبيقات وسطح الهجوم، كما أحدثت العديد من الثغرات في جدران الحماية العالمية للتواصل مع الخدمات الخارجية أو أجهزة العملاء.
يحمل LLMs المتقدم وعدًا هائلاً لتقليل عبء العمل على فرق الأمن السيبراني وتحسين قدراتهم. لقد اخترقت أدوات الترميز التي تعمل بالذكاء الاصطناعي تطوير البرمجيات على نطاق واسع. وجدت أبحاث Github أن 92% من المطورين يستخدمون أو استخدموا أدوات الذكاء الاصطناعي لاقتراح التعليمات البرمجية وإكمالها. تتمتع معظم أدوات "مساعد الطيار" هذه ببعض القدرات الأمنية. في الواقع، تعتبر التخصصات البرمجية ذات النتائج الثنائية نسبيًا مثل البرمجة (إما أن ينجح الكود في اختبارات الوحدة أو يفشل فيها) مناسبة تمامًا لماجستير القانون. إلى جانب مسح التعليمات البرمجية لتطوير البرامج وفي مسار CI/CD، يمكن أن يكون الذكاء الاصطناعي ذا قيمة لفرق الأمن السيبراني بعدة طرق أخرى:
- التحليل المحسن: يمكن لـ LLMs معالجة كميات هائلة من البيانات الأمنية (السجلات والتنبيهات وذكاء التهديدات) لتحديد الأنماط والعلاقات المتبادلة غير المرئية للبشر. يمكنهم القيام بذلك عبر اللغات، على مدار الساعة، وعبر أبعاد متعددة في وقت واحد. وهذا يفتح فرصًا جديدة لفرق الأمن. يمكن لـ LLMs حرق مجموعة من التنبيهات في الوقت الفعلي تقريبًا، ووضع علامة على التنبيهات التي من المرجح أن تكون خطيرة. من خلال التعلم المعزز، يجب أن يتحسن التحليل مع مرور الوقت.
- الأتمتة: يمكن لـ LLMs أتمتة مهام فريق الأمان التي تتطلب عادةً إجراء محادثة ذهابًا وإيابًا. على سبيل المثال، عندما يتلقى فريق أمني بطاقة IoC ويحتاج إلى سؤال مالك نقطة النهاية عما إذا كان قد قام بالفعل بتسجيل الدخول إلى جهاز أو إذا كان موجودًا في مكان ما خارج مناطق عمله العادية، يمكن لـ LLM إجراء هذه العمليات البسيطة ثم المتابعة مع الأسئلة كما هو مطلوب والروابط أو التعليمات. كان هذا بمثابة تفاعل يجب على أحد أعضاء فريق تكنولوجيا المعلومات أو الأمن أن يقوم به بنفسه. يمكن أن توفر LLMs أيضًا وظائف أكثر تقدمًا. على سبيل المثال، يمكن لبرنامج Microsoft Copilot for Security إنشاء تقارير تحليل الحوادث وترجمة تعليمات برمجية ضارة معقدة إلى أوصاف باللغة الطبيعية.
- التعلم المستمر والضبط: على عكس أنظمة التعلم الآلي السابقة للسياسات الأمنية والفهم، يمكن لـ LLMs التعلم بسرعة عن طريق استيعاب التقييمات البشرية لاستجابتها وإعادة ضبط مجموعات البيانات الأحدث التي قد لا تكون موجودة في ملفات السجل الداخلية. في الواقع، باستخدام نفس النموذج الأساسي الأساسي، يمكن ضبط LLMs في مجال الأمن السيبراني لفرق مختلفة واحتياجاتها، أو سير العمل، أو المهام الإقليمية أو الرأسية المحددة. وهذا يعني أيضًا أن النظام بأكمله يمكن أن يكون على الفور بنفس ذكاء النموذج، مع نشر التغييرات بسرعة عبر جميع الواجهات.
مخاطر LLMs للأمن السيبراني
وباعتبارها تقنية جديدة ذات سجل قصير، فإن حاملي شهادة LLM يواجهون مخاطر جسيمة. والأسوأ من ذلك هو أن فهم المدى الكامل لهذه المخاطر يمثل تحديًا لأن مخرجات LLM لا يمكن التنبؤ بها أو برنامجية بنسبة 100٪. على سبيل المثال، يمكن لحاملي شهادة الماجستير في القانون "الهلوسة" واختلاق الإجابات أو الإجابة على الأسئلة بشكل غير صحيح، بناءً على بيانات وهمية. قبل اعتماد LLMs لحالات استخدام الأمن السيبراني، يجب على المرء أن يأخذ في الاعتبار المخاطر المحتملة بما في ذلك:
- الحقن الفوري: يمكن للمهاجمين صياغة مطالبات ضارة خصيصًا لإنتاج مخرجات مضللة أو ضارة. يمكن لهذا النوع من الهجوم استغلال ميل LLM لإنشاء محتوى بناءً على المطالبات التي يتلقاها. في حالات استخدام الأمن السيبراني، قد يكون الحقن الفوري أكثر خطورة كشكل من أشكال الهجوم الداخلي أو الهجوم من قبل مستخدم غير مصرح به يستخدم المطالبات لتغيير مخرجات النظام بشكل دائم عن طريق تحريف سلوك النموذج. قد يؤدي ذلك إلى إنشاء مخرجات غير دقيقة أو غير صالحة لمستخدمي النظام الآخرين.
- تسمم البيانات: يمكن أن يتم إتلاف بيانات التدريب التي يعتمد عليها LLMs عن عمد، مما يعرض عملية اتخاذ القرار للخطر. في إعدادات الأمن السيبراني، حيث من المرجح أن تستخدم المؤسسات نماذج تم تدريبها من قبل موفري الأدوات، قد يحدث تسمم البيانات أثناء ضبط النموذج للعميل المحدد وحالة الاستخدام. قد يتمثل الخطر هنا في قيام مستخدم غير مصرح له بإضافة بيانات سيئة - على سبيل المثال، ملفات سجل تالفة - لتخريب عملية التدريب. يمكن للمستخدم المصرح له أيضًا القيام بذلك عن غير قصد. ستكون النتيجة مخرجات LLM بناءً على بيانات سيئة.
- الهلوسة: كما ذكرنا سابقًا، قد تولد LLM استجابات غير صحيحة أو غير منطقية أو حتى ضارة بسبب سوء فهم المطالبات أو عيوب البيانات الأساسية. في حالات استخدام الأمن السيبراني، يمكن أن تؤدي الهلوسة إلى أخطاء فادحة تعوق استخبارات التهديدات وفرز الثغرات الأمنية ومعالجتها وغير ذلك الكثير. نظرًا لأن الأمن السيبراني يعد نشاطًا بالغ الأهمية للمهمة، يجب أن تلتزم LLMs بمعايير أعلى لإدارة ومنع الهلوسة في هذه السياقات.
مع زيادة قدرة أنظمة الذكاء الاصطناعي، تتوسع عمليات نشر أمن المعلومات الخاصة بها بسرعة. لكي نكون واضحين، استخدمت العديد من شركات الأمن السيبراني منذ فترة طويلة مطابقة الأنماط والتعلم الآلي للتصفية الديناميكية. الجديد في عصر الذكاء الاصطناعي التوليدي هو دورات LLM التفاعلية التي توفر طبقة من الذكاء فوق مسارات العمل الحالية ومجموعات البيانات، مما يؤدي بشكل مثالي إلى تحسين الكفاءة وتعزيز قدرات فرق الأمن السيبراني. بمعنى آخر، يمكن لـ GenAI مساعدة مهندسي الأمن على القيام بالمزيد بجهد أقل وبنفس الموارد، مما يؤدي إلى أداء أفضل وعمليات متسارعة.
