真实大揭秘：生成式AI到底对网络安全行业造成了哪些影响？

人工智能 代码卫士 2023-05-24

AI将如何被部署到安全上下文中以及它是否将取得拥趸们所承诺的巨大突破？

作者：ELIAS GROLL、CHRISTIAN VASQUEZ 和AJ VICENS

编译：代码卫士

在网络安全行业，放眼望去，无论是大会、交易博览会还是新闻头条，规模最大的企业都在声称，生成式AI将会改变网络防御的一切并将胜过黑客。

不管是微软的 Security Copilot、谷歌基于安全的大语言模型、Recorded Future 的AI 威胁情报分析师助手、IBM 基于AI 的安全服务，还是Veracode 新推出机器学习工具查找代码漏洞，科技公司正在争先恐后地为网络安全行业推出最新的AI服务。

在上个月举行的 RSA 大会上，几乎每走一步就有销售人员兜售自己公司新出的AI产品。从哗众取宠的广告、夸夸其谈的论调，再到国家安全官员更为克制的讨论，人人都在讨论AI。

近年来机器学习取得的快速进步使得AI的力量显而易见。不为人注意的是，AI将如何被部署到安全上下文中以及它是否将取得拥趸们所承诺的巨大突破？

在数十次访谈中，研究人员、投资者、政府官员和网络管理人员都在说他们看到了生成式 AI 的防御潜能，其中混杂着批判和兴奋。他们批判认为营销炒作错误地展现了AI真正能做的事情，而且认为AI可能会催生出一系列难以理解的安全漏洞。

但这种批判被真实的兴奋所抚平。通过将人类语言处理为真实语音而不是代码，自然语言处理技术赋能人类和机器已新的方式进行交互，且受益不可预测。网络安全公司 SentinelOne 的研究部门 SentinelLabs 高级总监 Juan Andres Guerrero-Saade 表示，“这是我们在人类计算机交互中见到的根本改变时刻之一，计算机更接近于我们自然做事的方式。”

对于网络安全行业的老兵而言，围绕AI的火热炒作似曾相识。生成式AI（可复刻人类语音并与用户交互的工具）近期取得的进步虽然引人注目，但其底层的机器学习技术已在过去十年中广泛被网络安全公司部署。机器学习工具已经驱动反病毒、垃圾邮件过滤和钓鱼检测工具，而“智能”网络防御（使用机器学习适应攻击模式的防御）的提法已成为网络安全行业的基本营销要素。

网络安全公司 Protect AI 的首席信息安全官 Diana Kelley 指出，“这些机器学习工具在人类无法从海量数据中发现的模式方面表现出色。”

在网络安全语境中，机器学习工具主要位于后台，推动关键功能的发展，但生成式AI的革命可能会改变这一点。这在很大程度上是因为AI行业领导者 OpenAI 的激进型，它已发布了生成式 AI 产品。

随着近年来AI技术的发展，AI孵化器如谷歌尽管是使如今的生成式AI工具成为可能的很多技术的先驱，但对于公开发布产品还是犹豫不决。而 OpenAI 更加快速地推出 AI 工具并构建了丝滑的用户界面，让其与语言模型的工作极其容易。微软为 OpenAI 的工作豪掷数十万美元和云计算资源，目前正在将该初创公司的大语言模型集成到产品服务中，从而让 OpenAI 触及庞大的客户基数。

竞争者们奋起直追。最近，谷歌首席执行官 Sundar Pichai在开发者大会上的主旨演讲中提到数十次AI，相关剪辑视频在网络疯传。

AI 企业是经济放缓时期仍然还能吸引风投的少数技术行业，很多初创企业迅速闻风而动，对外宣传自己也在服务中集成了生成式AI。在上个月举行的 RSA 会议上，与会投资者被淹没在声称能将AI融入网络安全环境中的企业中，但情况常常是：作为商业搭配的生成式AI似乎不过是空头支票。

风投公司 Gallos 的网络安全领域投资者 William Kilmer 提到，“我们在现场看到的情况是，很多人都在靠拢 ChatGPT 说，‘嘿，看下这个很酷的产品’。”他认为夸夸其谈者众，对于使用生成式 AI 则言之甚少。

现实情况如何？

随着企业忙于吸引资本和客户，生成式AI 的现实情况在资料中可被轻松掩盖。Guerrero-Sade 提到，“我们面临的最大问题就是营销，资料营销。大家把这些资料打包并声称安全问题已解决——结束了，我们走吧！但这些毫无真实性可言。”

因此，区分炒作和实际是投资者、技术者、客户和政策制定者所面临的艰难挑战。

白宫的最高网络安全顾问 Anne Neuberger 认为生成式 AI 能够大大提升计算机系统防御能力，不过认为AI的潜能尚未完全展现。Neuberger 认为，生成式AI可用于清理老旧的代码库、识别缺乏专门维护人员的开源仓库中的漏洞，甚至可用于通过人类难以编写的正式语言生产经过验证的安全代码。她认为，运行大量端点安全系统且可访问所生成数据的企业有很好的机会训练有效的安全模型。

Neuberger 提到，“AI技术的底线是创造了很多提升网络安全和网络防御的机会。我们想要做的是在攻防追逐中，防御方能够行动得更快。有了大语言模型，恶意软件的生成速度要比之前更快，这种情况更需要防御方更快。”

但另一方面，在安全敏感情境中有效地执行大语言模型面临很多重大挑战。在她任职美国国家安全局期间，Neuberger 提到，当NSA 开始使用大语言模型辅助分析师工作时在语言翻译和情报分析师应当优先审查的任务方面，她亲自见证了这些障碍。

清理数据以便机器学习使用，这项工作需要投入时间和资源，而当NSA开始为分析师推出模型时，一些人是抵触态度担心自己被取代。她提到，“意识到这类模型可分类并让他们发挥更有效的作用颇费周折。”

对于像 Guerrero-Saade 一样的网络安全践行者而言，最令人兴奋的生成式 AI 应用在于逆向工程。恶意软件研究社区迅速接受了生成式AI并在 ChatGPT 发布的一个月内，推出了集成了ChatGPT 的 IDA Pro 版本。即使具有数年逆向工程经验，Guerrero-Saade 仍然可从这些工具中习得新知识，如当他最近参加一次培训时对培训内容一无所知，于是借助 ChatGPT 开始上手。

纽约大学网络安全中心的助理研究教授 Hammond Pearce 提到，ChatGPT 在充当“胶水逻辑”时，令人刮目相看，它充当互不关联的程序之间的翻译者。他指出，“并不是说 ChatGPT 不令人惊讶，因为它确实很厉害，而是当新产品推出时， ChatGPT 和其它技术的结合将让人们为之倾倒。”

目前，生成式 AI 的防御式网络安全应用还处于非常初期的阶段。可能最引人瞩目的此类产品微软 Security Copilot 仍然仅处于与公司少部分客户非公开预览并收集反馈的阶段。使用 Security Copilot 要求被集成到微软安全栈中并运行该公司的其它安全工具中如 Intune、Defender 和 Sentinel。

Copilot 提供类似于 ChatGPT 的输入系统，允许用户对大语言模型进行查询，而该大语言模型使用 OpenAI 的 GPT-4 和微软关于安全警报、事件和恶意代码的模型。该系统的目标是通过为分析师提供能够快速解释所审查代码或事件以及能够快速推出分析产品的工具，为分析师节省时间。

微软副总裁兼AI安全架构师 Chang Kawaguchi 认为当前机器学习与人类语言的协作能力是“一小步功能改变”。他和同事演示 Copilot 时获得的最一致的反馈是，“哦，天哪，谢谢你为我们生成 PowerPoint。就像说，我讨厌这部分工作。”

Kawaguchi 表示，“如果没有上一代的机器学习，我们就无法实现它。”

幻觉？

尽管如此聪明，但当前的机器学习工具仍然存在非常明显的愚蠢性。即使在微软为 Copilot 准备的 YouTube 演示中，该公司的一名销售女性员工也强调了它的局限性并提到该模型以 Windows 9（早已不存在的软件）为例说明它如何可传递虚假信息。

随着更广范围的部署，安全专家们担心生成式 AI 工具可能会引入新的、难以理解的安全漏洞。加州大学伯克利分校的AI安全计划总监 Jessica Newman 提到，“现在大家不应该信任这些大语言模型是可靠的。”

Newman 将大语言模型类比为“遵循系统的指令”，说明它们可以被提供参与恶意行为的指令。这种攻击类型即“提示符注入”，导致模型易受很多种难以预测的方式的操纵。另外，AI系统也具有常见的安全漏洞，且易受数据投毒攻击或其底层算法易受攻击。

这些漏洞尤其难以修复，因为大语言模型的性质意味着我们经常不理解它们为何要输出既定答案，即所谓的“黑盒”问题。就像黑盒一样，我们无法看到大语言模型内部的情况，这就使得他们所做的工作难以理解。虽然语言模型在不断进步，但改进其可解释性的工具并未以相同的速度前进。

Newman 表示，“创建这些系统的人无法肯定地说明它们是怎么做出决策的。这些高阶AI系统的黑盒性质在处理变革性技术时是史无前例的。”

这使能源等行业中的安全关键系统操作人员对于大语言模型的部署速度深感担心。西门子能源公司的工业网络和数字化安全的副总裁兼全球主管 Leo Simonovich 提到，“我们担心网络-物理世界中LLM的采用和部署速度。”

Simonovichn 表示，运营技术领域对AI的采用一直缓慢“且合理”，“在我们领域，我们看到对于AI用于安全目的的犹豫不决，尤其是将由 AI 驱动的 IT 安全应用带到运营技术领域。”

随着大语言模型的部署更为广泛，安全专业人员也担心缺乏描述其工作的正确语言。当大语言模型自信地输出不正确的信息时，研究人员将此类语句描述为“幻觉”，这一词语指赋予非人类的计算机系统以人性。

大语言模型的这些特性可导致人与机器之间难以解释的交互。《网络安全实用架构》的作者 Kelley 提问多个大语言模型她是否编写了一本书。大语言模型并未描述她所写的数，而是描述了一本她并未撰写但可能会撰写的零信任相关书籍。

Kelley 表示，“所以说这是一种巨大的幻觉？还是说只是一种古老的数据概率问题？虽然是第二种情况但被冠以幻觉这一称谓。我们必须思考我们的谈论方式。”

原文链接

https://cyberscoop.com/generative-ai-chatbots-cybersecurity/