LogRhythm 7 SIEM和分析平台介绍

(一)介绍

在当今快节奏的威胁环境中,检测和响应速度至关重要。然而,根据大量SANS调查,安全分析师很难跟上黑客攻击速度。

攻击者运行自动化脚本和程序进行攻击,我们的安全和日志系统必须尽可能接近实时地处理这些数据,并产生为可操作的信息,而不会使维护者和响应者陷入太多不必要的信息。

不幸的是,对于许多防护者和反应者来说,所需要的防御水平是无法达到的。除了visibility(能见度)不足之外,SANS调查绝大多数组织都缺乏人员和专业资源,而不能快速、准确地检测和修复威胁。

SIEM平台和类似工具输入的是来自终端、安全设备和网络流的日志和事件信息,同时为分析人员提供仪表盘(dashboard),以深入了解事件并使用信息进行准确响应和修复。随着技术发展,SIEM工具已经演变成能输入更多形式的日志、威胁、事件和情报数据,将其与威胁情报和其他上下文信息进行整合并将其相关联,并将人工智能和机器学习扩展其分析技术中。

这些工具快速准确吗?我们将对LogRhythm 7.2威胁生命周期管理平台进行测试。我们发现:它的clustered Elasticsearch indexing layer支持处理大量的安全和事件数据。

LogRhythm系统的一些核心优势包括数据处理、机器分析、快速搜索和深入下钻(drilldown),有对速度和准确性的需求。其他强大的功能包括LogRhythm的安全自动化(通过用例管理(case
management)和SmartResponse™)。我们还发现“Metrics”是一个有用的工具,用于评估平均检测时间和其他有用的指标,包括修复的时间和修复程度,以及利用任何新情报进行趋势分析和重新发现。

我们的模拟部署代表了一个大型组织的基础架构,每天产生大量的日志源(约13万个)和日志(260亿)。 在整个测试过程中,LogRhythm具有处理、分析和索引率,每秒30万条消息(MPS)。

(二)测试环境

LogRhythm的最新威胁生命周期管理平台包含许多新的增强功能和改进,主要集中在减少安全运行和调查的检测和响应时间。 LogRhythm的数据聚合和查询引擎现在使用Elasticsearch,它是一个高度可扩展的索引和查询层,支持本地语言搜索和上下文搜索。我们专注于此评估本次测试着重可靠性和性能功能,以及基于策略的配置功能。

在本次测试中,SANS专注于:

•易用性

•处理大型分布式数据集的可扩展性和性能

•基于主机的策略和配置功能

•快速搜索,分析和事件关联

•案例管理工具组件可帮助安全运营团队更有效

组件

包括在LogRhythm部署中(括号中的数字表示环境中配置的数量):

•Platform Manager(1) – 集中管理告警、通知和案例和安全事件管理。支撑实时仪表板,SmartResponse操作和报告。

•数据收集器(Data Collector) – 提供本地和远程无代理收集机器数据。

•系统监测代理(System Monitor Agent) – 监控终端,监测文件完整性,用户行为、网络通信以及应用程序和进程。我们的测试使用了支持Linux的代理;也支持AIX,HP-UX,Solaris和Windows。

•网络检测器(Network Monitor) – 执行网络流量的深度数据包检测,识别应用、可搜索元数据的提取,全包抓取和深度数据包分析。

•数据处理器(Data Processor)(5 sets of 4) -处理来自数据采集器,系统监视器和网络监视器的数据。提取和丰富元数据,实现基于机器和搜索的分析,垂直和水平数据处理。

AI引擎(AI Engine)(5) – 实现对上下文机器和取证数据的实时流式分析,并使用广泛的算法技术生成风险优先级报警。 AI Engine节点采用独特的缩放模型垂直和水平扩展,以保持集中分析。

•数据索引器(Data Indexer)(5 sets of 10) – 使用Elasticsearch搜索后端,存储原始非结构化机器数据和上下文数据、结构化元数据的副本,以实现基于搜索的分析。数据索引器支持集中分析,实现更高的可扩展性,性能和可用性。

环境配置有以下参数和容量考虑:

•30万MPS收集能力(每天258亿条消息)

•130,000个独特日志源

•100%数据处理,分布式架构中

•100%通过分析层进行数据实时分析,没有数据排队

•100%的数据可快速搜索

•100%的数据可用、持续和存储

这些是我们审查的目标和环境。然而,进一步的硬件投资可提供更高的可扩展性。环境图如图1所示。

评估环境包括两个LogRhythm知识库模块,是分析,报告,规则和其他分析工具。 LogRhythm Labs创建并维护这些软件包。 这些模块包括:

•核心威胁检测模块,包括用于威胁检测和响应的基础工具。 它使用预配置的规则,并利用日常数据和安全事件的常见源,帮助客户快速实现价值。

•20大CIS关键安全控制模块,提供分析功能,确保组织符合CIS关键控制。

(三)威胁态势

LogRhythm威胁生命周期管理平台旨在减少检测和响应时间。因此,本部分的测试侧重于如下几层的可扩展性和性能:

  • 收集

  • 处理

  • 机器分析

  • 持久性

  • 搜索分析

1、数据收集和生成

可扩展和弹性的事件数据收集对业务和安全团队很关键,因为整合和集中收集功能可能会降低系统,应用程序甚至网络的性能。在评估事件数据收集时,以下属性很重要:

数据量和速度

LogRhythm提供水平数据收集,从而支持远程或代理收集数万个数据源。为了在性能评估中验证这一点,我们观察到LogRhythm收集超过30万MPS。只用60个系统监视器代理,每个收集5000
MPS,显示代理转发大量数据的能力。
LogRhythm报告支持使用更多代理(10,000或更多)的部署,这是我们在早期的LogRhythm审查中验证的功能。

•分布式架构

LogRhythm的分布式收集架构可以支持,就近收集数据源的数据,确保转发到中心位置的有效和安全性。 (此功能没有验证。)

各种源和数据类型。

LogRhythm可以通过各种远程或基于代理的收集技术从任何来源收集任何基于消息的数据。我们看到有13万个独特的日志源生成事件。图2描述了这些日志源在小的分布式占用空间中的分布情况。

2、数据处理

将不同类型的日志和事件数据处理和丰富为一致的格式是资源密集的过程。它必须几乎实时执行,以便支持下游的机器分析和搜索分析。 LogRhythm的数据处理层(data processing tier)使用负载平衡来提供此层的可扩展性。

LogRhythm拥有专利的机床数据智能(Machine
Data
Intelligence,MDI)Fabric可以提供自动处理和丰富的数据源,超过750个数据源。这需要提取元数据、关键字段的归一化(例如,收集时间)和数据丰富化(例如方向性)。在我们审查的测试环境中,每个收集的日志都应用了此技术,支持即时分析。

为了评估架构的总体处理能力,我们测量了LogRhythm测试环境中正在处理的302,000 MPS的事件,其中20个数据处理器,处理平均15,000 MPS,如图3所示。

为了查看LogRhythm可以如何处理数据,并支持搜索和分析,我们审查了活动监视器,以查看何时系统首次看到特定事件,然后如何在处理。我们观察到,系统在几秒钟内收集事件、对其进行处理和索引。

3、机器分析

任何分析平台的核心是自动分析以前收集和处理的数据。 LogRhythm的分析层(analytics tier)由其专利的AI Engine节点组成,它们使用基于场景和基于行为异常检测的技术进行实时分析。执行复杂分析的任何事件管理平台都应展现或拥有以下功能:

•执行实时分析。

为了满足实时吞吐量的需求,AI Engine利用基于流的内存分析,在收集和处理的几秒钟内识别活动。我们验证了AI引擎产生的告警在相关数据收集的几秒钟内就可见。

•执行多种分析技术。

我们注意到,AI引擎支持各种分析技术,如高级关联和行为分析,包括自动行为、直方图,统计和白名单profile。部署设置了16个实时规则。演示这些分析功能的几个用例在本文的“用例”部分中有详细介绍。

•分析跨环境的数据。

监测复杂的威胁和复杂行为建模需要环境的整体视角。 AI Engine的分析规则接受了所有设备类型的收集数据。

•垂直和水平扩展。

每个AI引擎以非常高的速度(高达75,000 MPS)分析数据,并且分析分布在多个AI Engine节点上,以支持水平扩展或分布式分析。我们观察到,在测试过程中,使用了五台AI引擎服务器分析了100%的收集数据。

4、数据持久性

存储更大量的事件数据可以使安全和取证团队可以在更长的时间内执行更深入的查询,有效地构建更好更准确的行为趋势和告警模型。数据持久性对于安全性分析是至关重要的,特别是在大的商务环境中。

LogRhythm的数据持久层(data persistence tier)使用Elasticsearch,这是适用于大环境的高性能索引后端。该技术可以保持大量的并行读/写操作,因此大量写入操作不会降低搜索大量数据的能力。

为了验证系统上持续存在的事件数据的数量和速度,我们审查了各种数据处理器测量标准,包括数据索引,数据归档和通过系统“刷新”的日志。 50个DX设备中的一些指标如图4所示。

5、探索式分析(Search Analytics)

LogRhythm的分析界面简单,包括仪表板,和一些实用程序支持创建新的仪表板,并快速添加显示安全操作所需数据的一些“小部件”。图5显示了一个仪表板,其中包含许多常见的安全操作事件和指标,分析人员可以了解趋势,利用情报支持后续行动。

该仪表板提供的窗口小部件,可以看到日志处理速率、过去30天内的top告警、TOP的事件和分类,TOP受影响的主机和应用程序,事件趋势等。可以通过UI添加,删除或定制仪表板小部件。这些小部件使分析人员可以一目了然地了解部署的运行状况以及环境活动的面向安全的视图。

我们还可以使用“Precision
Search”界面对所有数据源进行集中搜索,该界面位于分析界面的右上角。用户可以执行非结构化搜索、上下文搜索和“精确搜索”。这些选项将结果缩小到一个更相关的结果,以便更快的调查。
LogRhythm的Elasticsearch后端可以实现精确搜索功能。

搜索是精确和快速的,即使在300K
MPS工作负载下。 作为验证,我们搜索classification of “Access Success,” an Origin User
on a list of terminated users, and containing either the term
confidential or forecast in the log message的所有日志活动。 该查询如图6所示。

6、主机代理和策略

此版本的LogRhythm已经简化了主机代理的管理,具有强大的配置管理和监控功能。这些变化提供了跨主机之间管理的一致性,监测文件完整性,流程活动、网络通信和用户活动。支持多种策略类型,也支持轻松创建和修改策略。例如,在我们的审查中,我们测试了文件服务器的标准策略。

LogRhythm为几个操作系统提供预先设置的代理设置。在我们选择了文件服务器策略之后,我们定制了代理程序的行为和将采取的行动,包括:与之通信的数据处理器,收集的日志和事件的类型,SNMP设置,文件完整性监控规则等,见图7。

我们还通过在策略配置中禁用主数据处理器来测试代理容错,并观察到由于故障切换到下一个可用的处理器。

总的来说,我们发现策略对于今天的风险是有用,对管理员有帮助。很容易定制自己的政策。

当我们测试LogRhythm的扩展能力时,我们发现它在300K MPS的负载下可以运行良好。在我们的测试环境中,LogRhythm具有日志收集,处理,分析,索引和搜索性能。此外,我们发现LogRhythm的嵌入式安全自动化和业务流程工具表现良好。

(四)威胁检测用户案例

我们的用例旨在显示LogRhythm的速度和响应速度,安全自动化和编排,同时还展示了功能,包括报警,案例管理,SmartResponse自动化等。在整个测试过程中,在我们的30万MPS测试负载下,LogRhythm在几秒钟内返回查询,并迅速触发可操作的报警。

接下来,我们将在两种监控和响应用例下测试LogRhythm,涉及不同形式的基于用户的威胁。

(一)案例一:识别特权帐户创建行为

根据多项SANS调查,内部人员对系统和数据构成最大的威胁。例如,在SANS 2016年关于医疗网络安全风险和做法的调查中,39%的人认为内部威胁是影响其网络威胁的主要原因。

监控特权IT组的新的和不寻常的行为是常见的事件监控策略,因为特权升级和滥用是进行中的攻击的标志。因此,我们使用LogRhythm监视模拟环境,具有管理权限的内部人员创建域管理员帐户,然后尝试删除敏感数据文件。这种情况我们使用LogRhythm
UI和SmartResponse功能,不仅可以实时检测,还可以实时响应这些事件。

触发警报

在这种情况下,当模拟内部人员创建新的域管理员帐户时,LogRhythm控制台触发了高优先级警报,如图8所示。

该警报是通过LogRhythm的实时分析引擎和核心威胁检测模块的算法(Core
Threat Detection Module)触发的。
LogRhythm的SmartResponse(LogRhythm的安全自动化和业务流程功能的一部分)触发了对此帐户(curly.howard)的自动监控,以便对帐户相关的所有其他活动进行更密切的监视,例如横向移动等。

 采取自动化操作

通过控制台可以向下钻取事件,使我们能够看到受影响的组、系统、运行时间等。 例如,当我们正在监视的假设用户尝试删除重要文件时,SmartResponse会自动执行几个实时的操作:首先禁用用户,然后根据我们预先配置的策略处理(见图9)。

进一步了解更多细节,并使用“pivot”功能来监控用户(curly.howard.)的其他活动。 当其访问其他系统,或并与其他帐户交互时,如图10所示。

虽然我们看的是内部特权滥用的用例,但这些横向移动往往是一个外部攻击者的典型代表,攻击者获取了合法凭证,并试图以一个完全合法的方式访问系统。这就是为什么如此多的攻击活动没有发现,如果缺少LogRhythm等工具来检测模式、告警,并将非法活动连接成威胁快照。

管理和配置

可以轻松查看和控制角色,从系统管理到SOC分析师到需要访问权限的审核员。 LogRhythm易于配置和管理,具有连接Active Directory并将角色分配给用户和组的能力,如图11所示。

在整个用例研究中,我们发现界面直观而简单,无论是查看仪表板(许多SOC分析师将花费大量时间),监控报警(风险评级事件的动态仪表板),创建和编辑事件案例,或查询事件和关联关系。

(二)用例二:钓鱼

第二个事件监控和响应用例是关于被钓鱼的用户,根据SANS 2016对终端安全性的调查,钓鱼是用于攻击者破坏终端的最主要的形式,有75%通过电子邮件附件渗透到组织中,其中46%由用户点击电子邮件中的链接执行。

我们执行了一个典型的网络钓鱼攻击路径,从终端开始,使我们更多地了解LogRhythm UI、告警和管理工具。 攻击模式如下:

1、用户点击电子邮件中的链接。

2、一旦点击,链接打开了一个本地漏洞的后门。

3、利用这个漏洞,与外部已知的威胁方进行通信。

4.攻击者横向移动,通过暴力破解,强制使用PsExecadmin管理员帐户。

5、攻击者建立了一个用于数据泄露的SSH通道。

Sounding Alarms

一旦我们开始执行上述步骤,LogRhythm AI Engine就会发出一个“严重级别”告警,如图12所示。

我们继续调查网络钓鱼,通过下钻研究可疑活动,并从初步分析中创造了新的案例。


管理用例(case)

LogRhythm 7中的一个重要功能是增强的用户管理功能,其中包括安全自动化和业务流程功能功能。我们可以为任何检测到的事件创建一个新的用例(case),添加状态信息,按优先级排列(1是最高的),指示我们是否认为这是事件或事件数据,并添加到期日期描述。

在LogRhythm界面中创建一个用例很简单 – 您可以单击告警控制台中的“新建用例”按钮(如图12所示屏幕左下方所示)。然后,我们然后下钻网络钓鱼告警并将其添加到新用例中。


集成威胁情报

LogRhythm(通过与第三方情报供应伙伴feed的集成)提醒我们,受感染的系统访问了网络,在已知僵尸网络威胁列表上出现。

我们还注意到,攻击者使用受影响的主机执行PsExec对相邻主机执行暴力破解,并显示了一个新的告警(由AI引擎生成),如图14所示。

在这个告警中,我们看到PsExec文件被检测到,身份验证失败,管理员帐户作为目标,以及其他受影响的主机。

监控网络流量

LogRhythm的网络监控功能捕获会话中的流,通过深度数据包检测识别应用,并提取检测和响应事件所需的元数据。
在我们的测试环境中,LogRhythm Network Monitor捕获到相邻系统的异常流量,发现出站的数据泄露流量,从而产生新的告警。
通过下钻分析,我们获取了通过SSH数据的PCAP文件,我们添加了一个用例,如图15所示。

我们添加的PCAP包可以轻松发送到网络取证团队成员,LogRhythm仪表板中的任何注释事件可以作为日志添加到用例中。

隔离受影响的系统

需要隔离受到网络钓鱼攻击影响的初始系统,以及其他参与暴力攻击的系统。为了实现隔离,使用LogRhythm SmartResponse操作自动阻止来自这些系统的所有网络访问,并且通过PCAP文件可以进行额外的取证分析。

排名和共享

此用例说明了新版本LogRhythm中的一些功能:

•立即根据风险进行排名和优先排列的表面报警。

•快速下钻事件,以获取有关用户,系统,应用程序,流量和其他相关元素的更多详细信息。

•将所有数据,事件和证据添加到用例中,然后根据需要与其他团队成员共享。

(三)提高效率

上述两个用例显示了LogRhythm如何帮助组织检测和响应网络威胁。LogRhythm可以提供数据,监控从案例创建和状态到缓解和完成的时间,如图16所示。

可以由时间跟踪组织平均检测时间和平均响应时间,并通过仪表板显示,从而实现持续的过程改进。

我们能够在近乎实时的情况下钻事件,并且能够快速访问历史数据和比较报告。我们能够将由LogRhythm汇集的数据与来自第三方供应商的情报相关联,创建用例,添加证据并共享用例。

(五)结论

安全专业人员面临比以往更多的挑战。我们拥有更多的数据,更多的对手,更少的时间和不足的专业人员。 LogRhythm 7是一个可以帮助分析师,提供易用性和广泛而强大的功能的平台,可简化检测和响应网络安全事件的过程。

由于在2015年进行了LogRhythm测试一样,LogRhythm 7.2满足安全运营团队的关键需求。它为需要统一的威胁检测平台的安全操作团队和分析团队提供了显着的优势,具有数据处理,机器分析,响应和编排功能。

我们还注意了平台的可扩展性和性能,以及一个模拟了大型部署的测试环境。测试环境运行在300K
MPS(每天260亿日志)。收集来自超过130K个日志源,并对所有数据执行处理和分析。此外,我们还注意到一些基于主机的更新策略和配置功能,灵活且易于管理的代理程序具有弹性,易于修改和升级,易于部署。

防御人员和响应人员需要易于使用的工具,具有深入而强大的功能,可以直观地搜索恶意行为并快速响应。在我们测试中,我们使用的工具(包括自动化SmartResponse)有助于防止数据丢失。同样重要的是,LogRhythm平台是自学习的,并提供一个反馈变换,风险管理者可以使用它来提高安全性。

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注