数据科学

使用 NVIDIA Morpheus 对每个网络用户和资产进行指纹识别

发现和制止威胁的传统方法已不再有效。一个原因是,随着应用程序和系统之间的互连不断增加,攻击者进入系统并造成破坏的方式也越来越多。

将人工智能应用于这个问题似乎是一个自然选择,但从某种意义上说,这扩大了数据问题。一个典型的用户在工作时可能会与 100 个或更多的应用程序交互,而应用程序之间的集成意味着这 100 个应用程序之间可能会有成千上万的互连和共享权限。如果你有 10000 个用户,你需要 10000 个模型作为开始。

好消息是 NVIDIA Morpheus 解决了这个问题。 NVIDIA 最近宣布了对 Morpheus 的更新,这是一个应用于 网络安全问题的数据科学 的端到端工具。

问题概述

任何给定应用的被破坏的凭据都会给攻击者一个巨大的权限世界,随着时间的推移,这些权限不会是明显的或静态的。在 2021 , 61% 的攻击的根源是受损的凭据

虽然大多数应用程序和系统都会创建日志,但这些日志的种类、数量和速度意味着可能的大部分响应是“在马离开后关上牲口棚的门”。如果幸运的话,识别凭证违规和造成的损害可能需要数周时间,如果一般的话,则需要数月时间。

由于用户数量超过“适度”或“非常适度”,传统的基于规则的系统无法创建警告。当用户或系统开始做一些不寻常的事情时,一个知道另一个人或系统典型行为的人几乎会立即注意到可疑的事情。

每个账户都有一个数字指纹:它在特定的时间序列中做或不做的一组典型的事情。这个问题不再仅仅通过定期重置的强密码、一个规则表和定期从日志数据海洋中对日志进行滴大小的抽查来解决。

问题在于理解每个用户的日常工作。这是一个数据科学问题。

多种方法的模型集成

10000 个型号已经够吓人的了。但如果我们致力于解决网络安全问题,就像严重的数据科学问题一样,一种模式是不够的。在最关键的数据科学问题中,最先进的技术是整合多个模型。

模型集成是指以某种方式组合模型,以提供比单个模型更好的预测。事实证明,“群体智慧”也是正确的,许多机器学习方法都试图预测同样的事情。

在识别恶意攻击的数字指纹的案例中, Morpheus 采用了两种不同的模型,并使用它们来提醒人类分析师可能存在的严重危险。一种方法只有几年的历史,另一种方法有几百年的历史:

  • 因为攻击试图通过模仿给定帐户的行为来隐藏其行为,所以自动编码器测试给定用户的行为作为平面快照的典型程度。
  • 因为攻击是暂时的,所以傅里叶变换用于理解随时间变化的典型行为。

方法 1 :自动编码器

在使用 Morpheus 启用的特定示例中,自动编码器根据 AWS CloudTrail 数据进行训练。 CloudTrail 日志是可以转换为表格数据的嵌套 JSON 对象。数据字段随时间和用户的不同而变化很大。这需要神经网络方法提供的灵活性和 Morpheus 平台的一部分 RAPIDS 的预处理速度。 Morpheus 在此用例中部署的特定神经网络方法是自动编码器。

An autoencoder is a type of artificial neural network used to learn efficient codings of unlabeled data, with input/output layers.
图 1 。自动编码器架构。资料来源: Wikipedia

从较高的层次上讲,自动编码器是一种神经网络,它试图从给定的数据中提取噪声,并以近似的形式重建该数据,而不产生噪声,同时尽可能真实地反映实际数据。

例如,想象一张表面有划痕的照片。一个好的自动编码器可以在没有划痕的情况下再现底层图片。一个训练有素的自动编码器,一个熟悉其领域的自动编码器,在重建给定数据时具有低的“损失”或误差。

在本例中,您将获取给定用户的典型行为,去掉细微变化的“噪音”,然后复制该数字指纹。与任何统计问题一样,每个编码事件都有一个相关的丢失或错误。

要部署此解决方案,请更新 Morpheus 附带的预训练模型,为每个用户/服务和机器/服务交互提供一段典型的无攻击数据。将这些模型移至 MueEUS 的英伟达 Triton 推理服务器层。

令人惊讶的是,实际的自动编码被丢弃,丢失的数字被保留。定义了一个用户定义的阈值,用于标记要由人工审核的帐户。默认选项是经典的 Z 分数:损失的四个标准差是否高于此用户的平均损失?

 

An enterprise’s employees may generate 500K models, but when you add the microservices, custom apps, and interconnections per application, an enterprise may have to consider millions of models to secure the network.
图 2 。现代企业的组合爆炸及其安全要求

方法 2 :快速傅立叶变换

Wave diagram with two points marked in yellow.
图 3 。 Morpheus 框架捕获的异常活动的两个时间点,如果不进行 FFT 等时间序列分析,可能无法检测到

快速傅立叶变换( FFT )提取数据噪声下波的基本行为。傅立叶分析是在 1700 年代后期发展起来的,在金融、交通工程、经济学以及网络安全等领域的应用数学分析中仍然具有非常重要的价值。

一个给定的时间序列可以分解成不同的组成部分,显示有规律的季节、每周和每小时的变化以及趋势。分解一个时间序列可以让分析师了解,尽管存在持续的振荡,但随着时间的推移,一些东西是否确实在增长。他们还可以了解网络安全用例是否对时间序列感兴趣,以及在正常的流量涨落之外是否有真正不寻常的事情发生。

机器应用程序活动往往会随着时间的推移而振荡,攻击者的活动可能很难在数据中的周期性噪音中检测出来,而仅仅是一个体积警报。要在周期数据中发现细微的异常,可以使用 FFT 将数据从时域转换到频域。然后将信号重建回时域(使用 iFFT ),但仅使用前 90% 的频率。原始信号和重构信号之间的较大差异表示机器活动异常并可能受到恶意人类活动危害的时间。

Morpheus 通过了解给定用户/服务和机器/服务系统交互的正常活动周期,应用 FFTs 。在此之后, GPU 快速执行分解,并对转换后的数据应用滚动 Z 分数,以标记异常的时段。作为参考, CuPy FFT 分解比通过 NumPy 进行的类似运算快 120 倍。有关更多信息,请参阅 比较 Tensorflow 、 PyTorch 、 CuPy 、 PyFFTW 和 NumPy 的 FFT 速度测试

把它们放在一起

Morpheus 是帮助人类分析师的工具。这意味着,当它向一个人发送正确数量的数据时,它是最有用的。

Diagram of NVIDIA Morpheus going through the preprocessing, modeling, output, and inference steps on raw time series data and authorization logs.

图 4 。 NVIDIA Morpheus 工作流

回到前面的讨论, Morpheus 使用了投票组合。这两种模型最紧急标记的数据被发送给人类安全团队。这使得网络安全红色团队的力量倍增,他们将宝贵的时间用于威胁的实时展开,而不是数周或数月后。

网络安全数据问题就像从淤泥中提炼矿石:你从大量的零开始,当你筛选、提炼和分析时,你得到了一些真正值得一看的东西。虽然我们不认为系统入侵是黄金,但我们知道分析师的时代是黄金。

有效的防御需要情报工具来帮助跟踪和确定优先级。 Morpheus 部署的复杂方法的集成正是为了实现这一点。这意味着为部署 Morpheus 的企业降低了财务、声誉和运营风险。

试试看

Morpheus 附带了代码、数据和模型,让您能够了解用例如何工作,并了解 Morpheus 将如何为您的企业工作。使用前面的工作流,您观察到 micro-F1 分数为 1 。此外,在多个实验中,你发现错误归因率接近 0% (机器与人类相比)。

除了最先进的数据科学和预建模型外, Morpheus 还被设计为网络安全数据科学的平台。它无缝地结合了一套 NVIDIA 和 Cyber Log Accelerator ( CLX )技术,使部署变得简单快捷。

请记住,这些模型,特别是 FFT 模型,不能完全冷启动,必须提供一定数量的数据,代表正常的、无攻击的 CloudTrail 日志流。

这仅仅是 Morpheus 可以做些什么来阻止困扰企业的黑客幽灵的开始。很容易想象,在不久的将来,为了获得更高的预测精度,将同时部署更多的模型。要访问 NVIDIA Morpheus 的最新版本,请注册 扩大早期访问计划

 

Tags