幻觉控制：部署法学硕士作为安全流程一部分的好处和风险

大型语言模型 经过大量数据培训的法学硕士可以使安全运营团队变得更加聪明。法学硕士提供有关响应、审计、态势管理等的在线建议和指导。大多数安全团队正在尝试或使用法学硕士来减少工作流程中的手动工作。这既适用于平凡的任务，也适用于复杂的任务。 

例如，法学硕士可以通过电子邮件询问员工是否打算共享专有文档，并处理回复并推荐安全从业人员。法学硕士还可以负责翻译请求以寻找对开源模块的供应链攻击，并启动专注于特定条件的代理（广泛使用的库的新贡献者、不正确的代码模式），每个代理都针对该特定条件做好了准备。 

尽管如此，这些强大的人工智能系统承担着与其他安全团队面临的风险不同的重大风险。支持安全 LLM 的模型可能会通过即时注入或数据中毒而受到损害。在没有足够人类指导的情况下，连续反馈循环和机器学习算法可能会让坏人探测控制，然后引发针对性不强的反应。即使在有限的领域，LLM 也容易产生幻觉。即使是最好的 LLM，当他们不知道答案时也会编造故事。 

随着这些系统在网络安全运营和研究中变得越来越普遍，围绕 LLM 使用和工作流程的安全流程和 AI 政策将变得更加重要。确保这些流程得到遵守，并在治理系统中得到衡量和考量，对于确保 CISO 能够提供足够的 GRC（治理、风险和合规性）覆盖以满足网络安全框架 2.0 等新规定至关重要。 

法学硕士在网络安全领域的巨大前景

CISO 及其团队不断努力跟上新网络攻击的浪潮。根据 Qualys 的数据，2023 年报告的 CVE 数量达到了 创下 26,447 的新纪录。比 5 年增长了 2013 倍多。 

随着普通组织的攻击面逐年扩大，这一挑战只会变得更加艰巨。应用安全团队必须保护和监控更多的软件应用程序。云计算、API、多云和虚拟化技术增加了额外的复杂性。借助现代 CI/CD 工具和流程，应用程序团队可以更快、更频繁地交付更多代码。微服务不仅将单体应用程序分解为众多 API 和攻击面，还在全球防火墙中打出了更多漏洞，以便与外部服务或客户设备进行通信。

高级 LLM 有望大幅减少网络安全团队的工作量并提高其能力。人工智能编码工具已广泛渗透到软件开发中。Github 研究发现，92% 的开发人员正在使用或曾经使用过人工智能工具进行代码建议和完成。大多数这些“副驾驶”工具都具有一些安全功能。事实上，具有相对二元结果的程序化学科（例如编码，代码将通过或未通过单元测试）非常适合 LLM。除了用于软件开发和 CI/CD 管道的代码扫描之外，人工智能还可以通过其他几种方式为网络安全团队带来价值：   

• 增强分析： 法学硕士可以处理大量安全数据（日志、警报、威胁情报），以识别人类不可见的模式和相关性。他们可以跨语言、全天候、同时跨多个维度做到这一点。这为安全团队带来了新的机会。法学硕士可以近乎实时地销毁一堆警报，标记出最可能严重的警报。通过强化学习，分析应该随着时间的推移而改进。 
• 自动化： LLM 可以自动执行通常需要来回对话的安全团队任务。例如，当安全团队收到 IoC 并需要询问端点所有者是否确实登录了设备，或者他们是否位于正常工作区域之外的某个地方时，LLM 可以执行这些简单的操作，然后根据需要跟进问题以及链接或说明。这曾经是 IT 或安全团队成员必须自己进行的交互。LLM 还可以提供更高级的功能。例如，Microsoft Copilot for Security 可以生成事件分析报告并将复杂的恶意软件代码转换为自然语言描述。 
• 持续学习和调整： 与之前用于安全策略和理解的机器学习系统不同，LLM 可以通过获取人类对其响应的评级并重新调整内部日志文件中可能不包含的新数据池来实时学习。事实上，使用相同的底层基础模型，网络安全 LLM 可以根据不同的团队及其需求、工作流程或区域或垂直特定任务进行调整。这也意味着整个系统可以立即变得与模型一样智能，变化可以快速传播到所有界面。 

网络安全法学硕士的风险

作为一项历史较短的新技术，LLM 存在严重风险。更糟糕的是，要全面了解这些风险非常困难，因为 LLM 的输出并非 100% 可预测或程序化。例如，LLM 可能会“产生幻觉”，并根据虚构的数据编造答案或错误地回答问题。在将 LLM 用于网络安全用例之前，必须考虑潜在风险，包括： 

• 即时注射：  攻击者可以专门制作恶意提示来产生误导性或有害的输出。此类攻击可以利用 LLM 根据收到的提示生成内容的倾向。在网络安全用例中，提示注入可能是最危险的一种内部攻击形式，或者未经授权的用户使用提示通过扭曲模型行为永久更改系统输出。这可能会为系统的其他用户生成不准确或无效的输出。 
• 数据中毒：  LLM 所依赖的训练数据可能会被故意破坏，从而影响其决策。在网络安全环境中，组织可能会使用工具提供商训练的模型，在针对特定客户和用例调整模型的过程中可能会发生数据中毒。这里的风险可能是未经授权的用户添加坏数据（例如损坏的日志文件）来破坏训练过程。授权用户也可能无意中这样做。结果就是 LLM 输出基于坏数据。
• 幻觉：如前所述，由于对提示的误解或潜在的数据缺陷，LLM 可能会产生事实上不正确、不合逻辑甚至恶意的响应。在网络安全用例中，幻觉可能会导致严重错误，从而削弱威胁情报、漏洞分类和修复等。由于网络安全是一项关键任务活​​动，因此 LLM 必须遵守更高的标准来管理和预防这些情况下的幻觉。 

随着人工智能系统的能力变得越来越强大，其信息安全部署也在迅速扩大。需要明确的是，许多网络安全公司长期以来一直使用模式匹配和机器学习进行动态过滤。生成式人工智能时代的新事物是交互式法学硕士，它在现有工作流程和数据池之上提供一层智能，从而理想地提高效率并增强网络安全团队的能力。换句话说，GenAI 可以帮助安全工程师用更少的精力和相同的资源做更多的事情，从而产生更好的性能并加速流程。