מנהיגי מחשבה
בקרת הזיות: יתרונות וסיכונים של פריסת LLMs כחלק מתהליכי אבטחה
דגמי שפה גדולים (LLMs) מאומנים על כמויות אדירות של נתונים יכולים להפוך את צוותי תפעול האבטחה לחכמים יותר. לימודי תואר שני מספקים הצעות והדרכה מקוונות לגבי תגובה, ביקורת, ניהול יציבה ועוד. רוב צוותי האבטחה מתנסים עם LLMs או משתמשים בהם כדי להפחית את העמל הידני בזרימות העבודה. זה יכול להיות גם למשימות שגרתיות וגם למשימות מורכבות.
לדוגמה, LLM יכול לשאול עובד באמצעות דואר אלקטרוני אם הם התכוונו לשתף מסמך שהיה קנייני ולעבד את התגובה עם המלצה לרופא אבטחה. ניתן להטיל על LLM גם משימה לתרגם בקשות לחיפוש התקפות שרשרת אספקה על מודולי קוד פתוח וליצור סוכנים המתמקדים בתנאים ספציפיים - תורמים חדשים לספריות בשימוש נרחב, דפוסי קוד לא תקינים - כאשר כל סוכן מתוכנן לאותו מצב ספציפי.
עם זאת, מערכות הבינה המלאכותית החזקות הללו נושאות סיכונים משמעותיים שאינם דומים לסיכונים אחרים העומדים בפני צוותי אבטחה. ניתן לסכן מודלים המספקים מערכות LLM אבטחה באמצעות הזרקה מיידית או הרעלת נתונים. לולאות משוב מתמשכות ואלגוריתמים של למידת מכונה ללא הדרכה אנושית מספקת יכולים לאפשר לשחקנים גרועים לחקור בקרות ולאחר מכן לגרום לתגובות ממוקדות גרועות. LLMs נוטים להזיות, אפילו בתחומים מוגבלים. אפילו ה-LLMs הטובים ביותר ממציאים דברים כשהם לא יודעים את התשובה.
תהליכי אבטחה ומדיניות בינה מלאכותית סביב השימוש וזרימות העבודה של LLM יהפכו קריטיים יותר ככל שמערכות אלו יהפכו נפוצות יותר בפעולות ובמחקר של אבטחת סייבר. הקפדה על ציות של תהליכים אלה, ונמדדים ומטופלים במערכות ממשל, תהיה חיונית כדי להבטיח ש-CISOs יכולים לספק כיסוי GRC (ממשל, סיכונים ותאימות) מספיק כדי לעמוד במנדטים חדשים כמו מסגרת אבטחת הסייבר 2.0.
ההבטחה הענקית של לימודי תואר שני באבטחת סייבר
CISOs והצוותים שלהם נאבקים כל הזמן כדי לעמוד בקצב הגואה של מתקפות סייבר חדשות. לפי Qualys, מספר ה-CVEs שדווחו בשנת 2023 הגיע ל-a שיא חדש של 26,447. זה עלייה ביותר מפי 5 מ-2013.
האתגר הזה רק הפך למייסר יותר ככל שמשטח ההתקפה של הארגון הממוצע הולך וגדל עם כל שנה שחולפת. צוותי AppSec חייבים לאבטח ולנטר יישומי תוכנה רבים נוספים. מחשוב ענן, ממשקי API, ריבוי עננים וטכנולוגיות וירטואליזציה הוסיפו מורכבות נוספת. עם כלי ותהליכים מודרניים של CI/CD, צוותי יישומים יכולים לשלוח יותר קוד, מהר יותר ובתדירות גבוהה יותר. Microservices גם פיצלו אפליקציה מונוליטית למספר ממשקי API ולשטח תקיפה וגם חוררו הרבה יותר חורים בחומות אש גלובליות לתקשורת עם שירותים חיצוניים או התקני לקוחות.
ללימודי LLM מתקדמים יש הבטחה עצומה להפחית את עומס העבודה של צוותי אבטחת סייבר ולשפר את היכולות שלהם. כלי קידוד המונעים בינה מלאכותית חדרו באופן נרחב לפיתוח תוכנה. מחקר של Github מצא כי 92% מהמפתחים משתמשים או השתמשו בכלי AI להצעת קוד והשלמה. לרוב כלי "טייס המשנה" הללו יש כמה יכולות אבטחה. למעשה, דיסציפלינות פרוגרמטיות עם תוצאות בינאריות יחסית כמו קידוד (קוד יעבור או ייכשל במבחני יחידה) מתאימות היטב ללימודי LLM. מעבר לסריקת קוד לפיתוח תוכנה ובצנרת ה-CI/CD, AI עשוי להיות בעל ערך עבור צוותי אבטחת סייבר בכמה דרכים אחרות:
- ניתוח משופר: LLMs יכולים לעבד כמויות אדירות של נתוני אבטחה (יומנים, התראות, מודיעין איומים) כדי לזהות דפוסים ומתאמים בלתי נראים לבני אדם. הם יכולים לעשות זאת על פני שפות, מסביב לשעון ועל פני מספר רב של ממדים בו-זמנית. זה פותח הזדמנויות חדשות עבור צוותי אבטחה. LLMs יכולים לשרוף ערימה של התראות כמעט בזמן אמת, ולסמן את אלו שסביר להניח שיהיו חמורות. באמצעות למידת חיזוק, הניתוח אמור להשתפר עם הזמן.
- אוטומציה: LLMs יכולים להפוך משימות צוות אבטחה לאוטומטיות שבדרך כלל דורשות שיחה הלוך ושוב. לדוגמה, כאשר צוות אבטחה מקבל IoC וצריך לשאול את הבעלים של נקודת קצה אם הוא אכן נכנס למכשיר או אם הם נמצאים איפשהו מחוץ לאזורי העבודה הרגילים שלהם, ה-LLM יכול לבצע את הפעולות הפשוטות הללו ולאחר מכן לבצע עם שאלות כנדרש וקישורים או הוראות. זו הייתה פעם אינטראקציה שחבר צוות IT או אבטחה היה צריך לנהל בעצמו. LLMs יכולים גם לספק פונקציונליות מתקדמת יותר. לדוגמה, Microsoft Copilot for Security יכול ליצור דוחות ניתוח אירועים ולתרגם קוד תוכנות זדוניות מורכבות לתיאורי שפה טבעית.
- למידה וכיוונון מתמשכים: בניגוד למערכות קודמות של למידת מכונה עבור מדיניות אבטחה והבנה, LLMs יכולים ללמוד תוך כדי תנועה על ידי הטמעת דירוגים אנושיים של התגובה שלו ועל ידי כוונון מחדש למאגרים חדשים יותר של נתונים שאולי אינם כלולים בקובצי יומן פנימיים. למעשה, באמצעות אותו מודל יסודי, ניתן לכוונן LLMs של אבטחת סייבר לצוותים שונים ולצרכים שלהם, זרימות העבודה או משימות ספציפיות לאזור או אנכי. זה גם אומר שהמערכת כולה יכולה להיות חכמה באופן מיידי כמו הדגם, עם שינויים שמתפשטים במהירות בכל הממשקים.
סיכון של LLMs לאבטחת סייבר
כטכנולוגיה חדשה עם רקורד קצר, ל-LLMs יש סיכונים רציניים. גרוע מכך, הבנת ההיקף המלא של הסיכונים הללו היא מאתגרת מכיוון שתפוקות LLM אינן צפויות ב-100% או פרוגרמטיות. לדוגמה, לימודי תואר שני יכולים "להזות" ולהמציא תשובות או לענות על שאלות בצורה שגויה, בהתבסס על נתונים דמיוניים. לפני אימוץ LLMs למקרי שימוש באבטחת סייבר, יש לשקול סיכונים פוטנציאליים כולל:
- הזרקה מהירה: תוקפים יכולים ליצור הנחיות זדוניות במיוחד כדי לייצר פלטים מטעים או מזיקים. סוג זה של התקפה יכול לנצל את הנטייה של ה-LLM ליצור תוכן על סמך ההנחיות שהוא מקבל. במקרים של שימוש באבטחת סייבר, הזרקה מיידית עשויה להיות מסוכנת ביותר כצורה של התקפה פנימית או התקפה על ידי משתמש לא מורשה שמשתמש בהנחיות כדי לשנות לצמיתות את פלטי המערכת על ידי הטיית התנהגות המודל. זה עלול ליצור פלטים לא מדויקים או לא חוקיים עבור משתמשים אחרים של המערכת.
- הרעלת נתונים: נתוני ההכשרה שעליהם מסתמכים על-ידי ה-LLM עלולים להיפגם בכוונה, ולסכן את קבלת ההחלטות שלהם. בהגדרות של אבטחת סייבר, שבהן ארגונים עשויים להשתמש במודלים שהוכשרו על ידי ספקי כלים, הרעלת נתונים עלולה להתרחש במהלך כוונון המודל עבור הלקוח הספציפי ולמקרה השימוש. הסיכון כאן יכול להיות שמשתמש לא מורשה יוסיף נתונים גרועים - למשל, קובצי יומן פגומים - כדי לערער את תהליך ההדרכה. משתמש מורשה יכול גם לעשות זאת בשוגג. התוצאה תהיה פלטי LLM המבוססים על נתונים גרועים.
- הזיות: כפי שהוזכר קודם לכן, LLMs עלולים ליצור תגובות שגויות עובדתיות, לא הגיוניות או אפילו זדוניות עקב אי הבנות של הנחיות או פגמים בבסיס הנתונים. במקרים של שימוש באבטחת סייבר, הזיות עלולות לגרום לשגיאות קריטיות המשתקות את מודיעין האיומים, בדיקה ותיקון פגיעות ועוד. מכיוון שאבטחת סייבר היא פעילות קריטית למשימה, יש להקפיד על לימודי LLM ברמה גבוהה יותר של ניהול ומניעת הזיות בהקשרים אלה.
ככל שמערכות AI הופכות ליכולות יותר, פריסות אבטחת המידע שלהן מתרחבות במהירות. כדי להיות ברור, חברות אבטחת סייבר רבות השתמשו זמן רב בהתאמת דפוסים ולמידת מכונה לצורך סינון דינמי. מה שחדש בעידן הבינה המלאכותית הינרטיבית הם LLMs אינטראקטיביים המספקים שכבה של מודיעין על גבי זרימות עבודה ומאגרי נתונים קיימים, באופן אידיאלי לשיפור היעילות ושיפור היכולות של צוותי אבטחת סייבר. במילים אחרות, GenAI יכול לעזור למהנדסי אבטחה לעשות יותר בפחות מאמץ ובאותם משאבים, ולהניב ביצועים טובים יותר ותהליכים מואצים.
