(一)Sqrrl简介
介绍了威胁追踪(hunting)的概念后,关键还是看用户的需求和产业的支撑,上篇文章介绍了美国主流的几家公司,本文主要来看其中的一家Sqrrl。
1、首先来看官网的自我介绍
Sqrrl是威胁追踪(hunting)公司,使组织能够定位、追踪和破坏高级网络威胁。
Sqrrl行业领先的威胁追踪平台将关联分析、用户和实体行为分析(UEBA)和多PB级可扩展性功能集成到一个集成解决方案中。
Sqrrl的独特方法使安全分析师能够更快地发现威胁,并减少调查所需的时间和资源。
与传统的基于签名或规则的检测解决方案不同,Sqrrl的平台使用kill-chain分析来检测网络对手的战术,技术和程序(TTP)。这样既减少了攻击者驻留的时间,又大大减少了调查网络事件的时间。
Sqrrl利用关联数据、机器学习、用户和实体行为分析(UEBA)、风险评分和大数据技术为行为图(Behavior
Graph),揭示藏在安全数据集中的恶意模式和异常。 Sqrrl利用网络、终端和周边安全数据集,并与各种安全信息和事件管理(SIEM)工具集成。
Sqrrl Enterprise将几个大数据技术统一为单一平台,包括Hadoop、关联数据分析、机器学习和高级可视化。 Sqrrl企业擅长以下网络威胁追踪用例:
-
高级持续威胁检测
-
数据泄露检测
-
恶意软件检测
-
内部威胁检测
-
告警分类
-
事件调查
-
威胁情报分析
-
网络态势感知
Sqrrl Enterprise的基础是Apache Accumulo,这是与Sqrrl历史密切相关的数据库项目。
2、Sqrrl的历史
Accumulo:始于2008年,当时国家安全局(NSA)开始寻找可以应对日益增长的数据挑战的新数据存储。当时,没有现成的数据库解决方案,所以NSA决定构建新的解决方案(在Google的BigTable论文的帮助下)。 NSA称这个新的数据存储Accumulo。
如今,Accumulo被整个国防部和美国情报界以及各公司使用。 2011年底,NSA开放采购Accumulo,而在2012年春季,Accumulo成为Apache基金会的顶级项目。
2012年夏天,Accumulo项目的核心创始人,提交者和贡献者共同创立了Sqrrl。 Sqrrl Enterprise建立在Accumulo基础之上,并将其与各种其他大数据工具和技术相结合,创建最安全追踪平台,以便跨多个安全数据集进行快速,可操作的威胁检测。
3、与NSA的关系
Accumulo是PRISM棱镜项目的核心组成。
据Kahn的介绍,Accumulo数据库系统是NSA企业架构的核心。大多数NSA的关键分析应用都运行在Accumulo上。“我不能透露具体是哪些应用,但人们在新闻中看到的大多数监控和分析应用的后台都是Accumulo。”
Accumulo的性能如此强大,足以配得上对NSA大规模监控行为的各种指责。从技术角度看,NSA已经能够识别网络上的各种可疑行为和个人,但是NSA还有一个“更大的想法”,Kahn称之为“生命分析的模式”:
这些都可以归结为异常分析,也是我们目前的重点。如何建立一种模式来识别异常和正常?这需要基于对大量应用案例的分析…
我们今天的很多工作主要是围绕图谱分析(Graph Analytics)进行,建立大规模分布式的数据图谱——围绕一个具体的应用实例建立正常模式的数据图谱,然后参照这个图谱查找异常模式。
(二)核心人员
作为Sqrrl的首席技术官和联合创始人,Adam
Fuchs负责确保Sqrrl在大数据基础设施技术领域处于世界领先地位。
以前在国家安全局,Adam是几个数据库项目的创新者和技术总监,处理世界上最大和最多元化的数据集。 他是Apache
Accumulo项目的联合创始人。 Adam拥有华盛顿大学的计算机科学学士学位,并在马里兰大学完成了大量的研究生课程。
(三)其他媒体的一些介绍
1、来自SC Magazine US 的介绍
Next-generation security monitoring and analytics
虽然这个创新者并没有把“威胁追踪”一词列举出来,但它确实给了它形式和实例。通过开发其威胁追踪参考模型(Threat Hunting Reference Model),Sqrrl已经迈出了迈向威胁追踪过程的第一步。由于它已围绕这一模式建立了产品,在市场上占有一席之地。许多Sqrrl团队成员都是NSA的科学家,所以,正如人们所期望的那样,技术和数据科学是靠谱的。该模式是不寻常的,因为它已经开始定义威胁追踪过程。
成熟度模型的模型 – 作为一个威胁狩猎框架是坚实的,对于那些在模型中进行了一段时间的人来说,这是非常有意义的。
Sqrrl安装在Hadoop集群上,可以是硬件或基于云的。该公司今年又增加了新的功能。他们改进了内置的分析功能,以便进一步观察,支持追踪。并且,继续提升攻击者行为的发现,以确定哪些用户、用户帐户等有风险。
此外,还有新的重点是工作流。
Sqrrl将威胁追踪视为一个合作行为,因此为分析人员添加了为其他分析人员添加标签和注释的功能。开发人员在DNS花费更多时间,利用DNS进行隧道,命令和控制等。对手正在使用DNS,因此防御者必须了解攻击者正在做什么,如何识别他们的行为并防范它。此工具专为威胁追踪而设计。
作为未来的威胁追踪的公司,对于他们而言,显而易见的问题是“这种威胁追踪在市场上如何为您服务?”答案是明确的:“非常好。威胁追踪不仅仅是攻击指标搜索。它包括复杂的分析和可视化。我们已看到分配给威胁追踪的预算。“
(四)用户和实体行为分析UEBA
什么是UEBA?
User and entity behavior analytics (UEBA)直接翻译就是“用户和实体行为分析”,SANS定义:“UEBA能成功地检测恶意和滥用行为,否则将被忽视,并对其他系统的安全告警进行有效整合和优先级别排序。
UEBA是针对历史数据的批处理,是自我学习型的,分析实体行为的,主要是用机器学习算法(监督机器学习、无监督机器学习)、贝叶斯、图算法。
(五)来自PPT的几个图
前几张PPT是说明威胁hunting的必要性,先从SOC的问题来说,问题来源于crowd的2017年威胁追踪的报告。
这是威胁追踪的成熟度模型。
接下来是威胁追踪的闭环。
第一步:开始于创建一个关于您的IT环境中可能发生的一些类型的活动的假设。
第二步:通过各种工具和技术来对假设进行调查,包括关联数据搜索和可视化。有效的工具将利用原始和关联的数据分析技术,如可视化,统计分析或机器学习来融合不同的网络安全数据集。
第三步:工具和技术揭示了新的恶意行为模式和攻击者技战术TTP。这是追踪周期的关键部分。这个过程的一个例子可能是,以前的调查显示用户帐户的行为异常,发送异常高的出站流量。在进行关联数据调查后,发现用户的帐户被攻击,通过组织的第三方服务提供商的漏洞。开发新的假设和分析来专门发现与类似的第三方服务提供商关联的其他用户帐户。
最后,成功的追踪形成了通报和丰富自动化分析的基础。不要浪费你的团队的时间,一遍又一遍地做同样追踪。一旦找到了技术,就可以使其自动化,使您的团队能够继续关注下一次新的追踪。来自追踪的信息可用于改进现有的检测机制。您可能会发现导致新威胁的信息,甚至创建情报。
下面这个图,我理解,最左边是输入的原始数据,中间就是sqrrl的核心算法,通过动态提取,进行用户和实体行为分析,形成行为图,右边为提供给用户使用的。
这个左边应该是原始的日志展示,右边是通过建模、各种模型后,可视化的展示。