2017年SANS关于“ Threat Hunting”的调查

（一）执行摘要

Threat Hunting是今年特别火的一个词，主要是对于威胁，要积极主动，要主动出击，主动查询和追踪威胁，而不是被动等待和响应，本文中统一翻译为“威胁追踪”。

威胁追踪是一种迭代的方法，用于搜索、识别和了解进入防御者网络的攻击者。从SANS 2017年针对威胁追踪调查结果显示，对于许多组织来说，追踪仍然是新的领域，缺少过程定义和组织观点。

不幸的是，大多数组织仍然对被动对告警和事件做出响应，而不是主动地追踪威胁。威胁追踪不能完全自动化。自动化结束就是威胁追踪行为的开始于，它利用了自动化的结果。也就是说，组织正在努力进行持续性监测技术，并依靠更多的安全自动化，使追踪更有效。

306名受访者进行的调查显示，大多数正在“威胁追踪”的组织往往是大型企业或过去受到严重攻击的企业。调查显示了一些有趣的数据，其中包括：在实现安全性改进的组织中，91％的企业得到了速度和准确度提高，表示使用威胁追踪减少了他们的暴露。

调查还显示，威胁情报和追踪必须协同才能发挥更好的作用。反馈表明，情报是有效的威胁追踪的关键，而专注于人员和培训是至关重要的。

本文调查了威胁追踪的情况，并建议组织可采取的方法来加强威胁追踪计划。

（二）反馈

近几年来，采取威胁追踪策略和战略的组织正在增加。但大部分增长仅限于金融、高科技、军事/政府和电信部门。这些都是会直接受到有组织犯罪和民族国家支持的攻击方靶向性攻击的部门。医疗保健业的代表性更高，因为这个行业在过去几年一直受到持续的勒索攻击的困扰。受访者主要来自这些行业，如表1所示，前top
5的反馈的行业。

“其他”的一般类别占我们样本的14％，与政府相同，主要由咨询和安全服务提供商以及保险，法律和石油和能源行业的受访者组成。

安全分析师，他们的直接经理和事件响应者/威胁分析师占本报告受访者的65％。这些信息安全人员组是负责进行威胁追踪活动的团体。参见图1。

 

（三）威胁追踪：IT安全中的新兴领域

威胁追踪对于大多数安全团队来说是新的，它主要通过非结构化和未经测试的“追踪”功能来实现。尽管有27％的团队已经定义了自己的追踪方法，但只有5％的人使用来自发布来源的外部指导来创建他们的方法，而7％的外包给第三方。
45％的大多数人都是由特定事件驱动的追踪。见图2。

很少数团队使用外部提供的方法的部分原因是，没有很多公共参考资源可用于追踪。安全行业，几乎没有公布威胁追踪策略和策略的指南。

 此外，许多组织还不够成熟，无法充分采用威胁追踪能力。调查显示，大多数组织仍然积极为SOC配置威胁情报能力，这是正确的威胁追踪的前提。调查结果还说明了大企业和政府之外的很多企业还仍然在努力将整合安全运营，以及整合事件响应能力，这是追踪能力的先决条件。

威胁追踪是新的领域，它的出现让我们回想了20世纪90年代末和21世纪初的初始信息安全行动。大部分是内部学习的，没有很好的记录。未来帮助改进积累整体威胁追踪经验，越来越多的大型组织致力于在日常安全行动中开始进行威胁追踪。威胁追踪队伍正在慢慢地通过会议，白皮书，博客和小型在线协作小组与社区分享他们的成果，技术和发现。

 

由于缺乏框架，采购威胁追踪的新产品或服务是“买方谨慎”的环境。有些服务和产品公司只是将其产品重新标注为“威胁追踪”，因为它们有助于“检测威胁”。尽管威胁追踪用到了检测威胁，但这不仅仅是这些。

追踪是主动采取行动，而不是采取反应式方式来识别事件。当有告警或通知进入时，反应组织将开始事件响应（IR）。告警可能来自FBI等第三方，也可能来自组织自己的安全传感器。响应式方法的最佳方式是，IR团队在很大程度上等待被采取行动，并依靠其通知的准确性。大多数组织开始建立自己的IR团队作为一个反应（reactive）组织，这没有问题。在许多情况下，IR小组主要由兼职人员组成，通常在正常工作期间履行其他职责。随着组织规模越来越大，或者事件数量越来越多，团队就有可能成为永久性的。甚至更大的组织可能仍然通过额外的内部人员增加他们的IR团队，或者可能与提供此类服务的第三方承包商签订合同。

当他们意识到他们没有足够早地发现安全事件时，组织从反应组织转变成追踪组织。“”基于追踪的响应“”的想法并不意味着它仅仅是方法。成为追踪组织的关键因素是采取一种假设“对手已经存在”。这将检测攻击的关键指标。

大多数追踪组织也是响应型的。区别在于，他们开始给IR团队布置任务，积极追捕环境中的对手。为了完成这项任务，该团队通常将拥有已知的恶意软件，活动模式或准确的威胁情报，以帮助他们进行搜索。

准备进行威胁追踪的组织有时没有看到威胁情报的重要性。简单地让一个团队“找到邪恶”是不够的。团队需要了解正常和异常之间的差异，需要了解典型的黑客工具和技术。它需要熟练的网络和基于主机的取证来找到攻击者。最后，如果该组织有网络威胁情报，这将很有帮助。

这是可实现的目标。但要做好准备。追踪涉及到手动和半自动扫描。

 

连续追踪：还没有准备好

  要求组织是否完成威胁追踪是一个难以回答的问题。  在我们的调查中，大多数组织认为他们定期进行了威胁追踪。 参见图3。

 

然而，由于威胁追踪是新的领域，受访者也可能将与防病毒，IDS或安全信息和事件管理（SIEM）警报相关的活动归类为“威胁追踪”活动。这些数据源很可能用于追踪，但是所有这些数据源都是响应技术，而追踪比起响应更为主动。我们的调查将此问题放在最前面，43％的用户启动了响应警报的搜索，只有35％的用户不断搜索新的隐藏的威胁。

“响应趋势”是一个非常重要的外部因素，因为它表明大多数组织在检测事件之前没有完成追踪。他们只是响应了IDS提供的告警。这是信息安全行业的正常任务。追踪是事件响应阶段中“事件范围（incident
scoping）”中发挥重要作用，因为情报现在正在指导在哪里找到额外的受影响的主机。此阶段有助于确定受损系统的总数，并对攻击行为的严重程度进行测量。

从我们的角度来看，这是非常积极的，可能表明该组织正在接近正式的主动威胁追踪行动，并正在开发相关技能。如果你问高级或专家，他们从哪儿学习“追踪”，大多数人会说这是通过他们参与时间响应，攻击的范围界定等。
IR团队从事件响应转变为追踪威胁本身是一个很大的迹象，许多组织在未来几年可能正式化其威胁追踪能力。挑战是留住人才（学习威胁追踪技能的人才）。

建议

 
我们的建议是，从事事件响应的组织，开始组织全职人员专门负责事故响应，并分配威胁追踪的任务。我们还建议组织开始对威胁情报进行界定，以及如何利用威胁情报在企业中发起有针对性的追踪。如果组织的网络的可见性不好，首先需要开始构建能够在其网络和终端上提供持续监控功能的功能。总之，尝试这种方法：

 1.SOC的持续性监控有助于更好地检测威胁，减少攻击持续时间。

 2.全职IR团队演变成威胁追踪队伍。

3.团队将内部和外部威胁情报feed整合到持续监测中，并指派IR威胁追踪小组去寻找对手的可能地点。

基于SOC的追踪

调查的关键问题之一是：“哪些活动将启动积极的威胁追踪”？检查结果，似乎追踪似乎更集中在“反应性”指标而不是主动情报。这意味着更多的组织正在遵循传统的SOC“安全监控”方法，而不是利用预测性网络威胁情报（CTI）对可能的攻击活动地点进行有针对性的检查。例如，87％的用户使用来自工具的告警，这表示使用传统的检测方法。参见图4。

 

这种方法可能会增加误报。在“追踪”中使用的响应能力不是针对组织面临的具体威胁而定制的。

误报问题的另一个原因是79％的人在环境中使用异常来指导他们的追踪。许多异常是误报的，区分异常的误报越来越困难。虽然异常检测可以提供准确性，但组织可以利用更有效的追踪功能，来减少网络安全团队花费的时间和精力。

 令人鼓舞的是49％的用户使用第三方开源情报进行威胁追踪操作，而57％的用户也使用情报提供商的定制情报。没有CTI，企图主动追踪的组织在黑暗中射击，因为他们对于在哪里可以找到并发现对手的知识有限。根据SANS
2017网络威胁情报调查，许多组织还没有正式的内部团队从事威胁情报。为了开始这个过程，我们建议，团队寻求提供威胁情报的公司开始，并寻找行业资源（如果有的话）。

 底线：组织创建或摄取现代威胁情报feed，用于传感器，对追踪操作时更为成功。组织需要考虑到，追踪不仅仅是先进的安全监控，而是通过使用威胁情报使用，有针对性地采取策略性的手段来提高追踪的准确性。

 威胁追踪仍然是一个激动人心的行为

大多数组织经常借用其他的工作人员，甚至外包威胁追踪来实现他们的目标。只有31％的受访者表示有充分的员工致力于追踪。组织倾向于从其他员工抽调追踪人员（16％），以特别方式（13％）或外包服务（6％）选择追踪人员队伍。由于追踪是持续的，人员问题是一个持续挑战，员工从不同的方向抽调，无法提供所需的服务水平。参见图5。

 

 很明显，许多威胁追踪组织正在优先考虑“技术”，如图6所示。

 

 

入侵检测功能和适当的日志记录是正确数据收集的关键，追踪不仅仅需要技术成功。需要威胁情报、可扩展性和分析人员才能使这些能力成功。威胁追踪自动化类似于文字处理器中的拼写检查。虽然它可以帮助识别错误，但其本质上，在很大程度上是人为驱动的，而且更多的是一种工具，而不是真正的自动化。

威胁追踪技能和工具

 由受过训练的分析师使用威胁追踪工具，可以帮助提高威胁追踪行为的可扩展性和准确性。核心技术技能和知识领域也是成功的威胁追踪队伍的关键。参与者界定的两个关键领域包括核心安全操作能力、数字取证以及事件响应（DFIR）技能。网络和终端的基础知识构成了第一层知识。这些知识领域本质上是了解企业网络内多个位置的典型网络流量和终端服务。这些技能被认为是适当的，因为它们是核心能力，因此对威胁追踪来说这是强制性的。

 在第一组中，我们还看到威胁情报和分析。安全分析提供短期和长期的跨网络和主机的历史数据，使威胁追踪队伍能够发现异常现象。此外，威胁情报为追踪团队提供了重点攻击者领域，以及主要攻击者战术，技术和程序（TTP）。没有威胁情报优化团队的重点领域，大多数团队发现任务处理不过来。

考虑到事件响应和取证技能是在单个主机上以及在整个组织的企业网络中进行追踪所需的基本能力，DFIR技能将构成所需技能的第二层次。 DFIR技能通常被定义为核心功能，因为受过训练的分析人员使用它们，来识别和提取新的威胁情报，用于上一级技能，以识别受感染的主机。

 

 

两层完美组合在一起。我们建议组织在在建立威胁追踪队时着重建立核心能力。使您的团队能够检查网络和终端基线。然后，能够使用安全分析和威胁情报来更有效地识别受影响的主机。

现有基础设施使用情况

大多数受访者使用现有的基础设施（91％）进行威胁追踪。现有的基础架构（如日志文件，SIEM分析和入侵检测系统）对威胁追踪人员很有价值。但仍然需要人来进行威胁追踪。这些功能中的大多数都是基于规则的，并提供响应检测。参见图7

 

大多数组织最初缺乏检测高级对手的能力，即使利用图7所列的工具。最初，大多数运营团队任务威胁追踪就是正在使用的基于规则的SOC。由于大多数攻击者都是模拟正常用户，签名通常不能检测到它们。要取得成功，任何组织都将需要适当调整和有基准的安全环境，并减少可能误报数量。

正在开发新的工具和功能，使威胁追踪人员能够利用他们已经收集的数据，对系统进行更积极的检查。例如，威胁追踪中使用的常用技术称为data stacking。data stacking.通过网络中的数百个终端提取类似的数据，以确定是否少数终端上的异常。

例如，威胁追踪人员可能会使用data stacking来检查在组织中的特定业务部门的类似工作站上启动哪些进程。通过这种技术发现的异常通常不太容易发生误报。例如，大多数启动程序在每个工作站上应该相似。

 

追踪自动化：全自动或半自动？

自动化是一个误解的词，特别是在威胁追踪的背景下。追踪需要能力来帮助提高速度，准确性和有效性。最好的追踪队伍大力利用自动化来帮助提高整个企业追踪的规模和效率。然而，追踪最适合于寻找自动化不能单独发现的威胁。毕竟，威胁是移动目标。然而，重要的是要认识到自动化与威胁追踪的人类过程相互交织的本质。

帮助威胁追踪的工具和能力是SOC驱动的。传统的信息安全（如SIEM架构，日志文件分析，入侵检测和防病毒）都是基于签名和规则fed进行自动化功能（由分析人员提供和维护）。当利用这些工具进行威胁追踪时，他们经常记录、识别并且可能忽略一些高级对手留下的几乎察觉不到的小异常。忽略这些微不足道的异常是容易的，因为即使是中等的网络，也有太多的不正确的威胁。一般发现攻击后，大多数安全小组意识到，传感器实际上记录了攻击者的活动。然而，在这些告警发生的时候，这些团队处理不过来，而忽略了。

通过有效利用威胁智能可以大大提高这些功能。通过适当的情报，额外的威胁和攻击指标，正确的分析师使用适当优化的工具，一些看似良性的告警将被确定为重大事件。威胁追踪、威胁情报和安全运行动协同工作。

在调查对象中，有16％的受访者表示他们正在通过全自动告警使用威胁追踪。实际使用的全自动追踪功能的数量是一小部分，这可能是，追踪在许多过程难以自动化和需要人的介入。大多数受访者表示，他们的威胁追踪能力是半自动化的，或者根本没有自动化，如图8所示。

 

全面自动化威胁追踪是一个挑战。过度依赖标准SOC报告工具（如SIEM / IDS），往往会影响追踪效率的报告，因为它们不是在追踪 – 他们正在进行入侵检测。SIEM / IDS数据可用于帮助识别寻常异常。

我们提倡自动化提高速度，可扩展性和准确性，要考虑应该自动化多少。考虑寻找工具来加强和扩大追踪活动，但不要完全依赖他们。更重要的是投入威胁情报feed，培训和招聘技术人员，而不是寻求能够完全自动追踪活动的能力。

 

难点？

在调查中，77％的受访者表示，终端数据对于进行追踪至关重要，73％的受访者选择访问和/或身份验证日志。威胁情报feed（包括供应商和信息共享和分析中心（ISAC）feed）被评为追踪所需数据源类型的中间，仅由64％的受访者选择，这也表明目标明确的追踪是受访者没有做到的，因为没有威胁情报就不能实现目标追捕。有威胁情报的目标追踪证明，特别是最近，减少攻击者在网络中的存活的时间，从而更有效地识别威胁。参见图9.

 

虽然终端安全数据在所需的数据上处于高位，但终端相关数据在实际收集的总体尺度上很低。只有71％收集终端数据和模式。另有58％的人收集了文件监控数据，42％监控用户行为。由于高级持续威胁（APT）窃取标准用户和凭据，因此仅基于网络数据检测活动难以进行有效的威胁追踪。收集到的终端数据数量越少，表明许多受访者认为终端数据更加模糊，难以获得。参见图10。

.

 

虽然基于网络数据的数据收集在调查中评分较高，但终端分析数据在大多数追踪操作中仍然是差距。

多个主机之间的日志文件数据可以很容易地被摄入到SIEM和其他分析系统中。因为更容易获得，所以可以从中提取日志文件的关键系统越多，组织的整体视图就越好。记录允许的流量以及记录拒绝或异常流量是一个好主意，因为恶意活动（如数据泄露）通常被伪装成合法流量。日志文件分析提供了未经授权的凭据访问，攻击者的横向移动和恶意软件运行。当从多个系统收集日志时，日志文件分析可以用于通过与基准比较来识别异常。

 

威胁追踪可以提高安全

 受访者表示，尽管他们的威胁追踪工作不成熟，但这些努力正在取得成效。在调查中，有60％的受访者认为他们使用威胁追踪可以显着改善其组织的安全。然而，有趣的是，36％的受访者表示不确定，只有3％的受访者表示不满。

反馈者无法确定威胁追踪如何增加安全的原因有很多。有些受访者可能早就接受了威胁追踪思路，但无法提供答案。其他人可能根本不觉得有定量数据来最终支持答案。制定衡量安全措施价值的指标是重要的。许多组织将进一步发展，制定关键绩效指标（KPI）。

本调查试图提取对这些改进指标，根据安全行业其他使用的一些常见KPI，来确定：

• 没有改善

• 有些改善（Some improvement）

• 显着改善（Significant improvement）

• 总体改善（Some + Significant）

这是在以下几个方面进行的：

• 速度和响应准确度

•  攻击面暴露的网络和终端

• 减少 dwell time（感染到检测）

• Time to containment（检测/防止扩散或横向运动）

• 根据检测到的事件数量/实际攻击的数量

• 外部威胁暴露

• 用于响应的资源（例如，工作时间，费用）

• 减少恶意软件感染的数量/频率

•  其他

结果表明，对于那些发现改进威胁追踪的受访者来说，至少有74％在每个某些领域都有改善。总体改进面积最大的是响应速度和准确度，以及攻击面暴露的改善，91％的受访者在这两个领域都有改善，如表2所示

。

第一个领域，响应的速度和准确性是帮助确定追踪人员是否以有效和及时的方式执行工作的理想指标，从而减少对手持久存在的可能性。第二个领域是减少攻击面暴露的一个改进，由于追踪重点针对对手，而不是着重于识别和修复漏洞、强化架构和系统，或调整被动防御。然而，超过90％的受访者由于追踪而在这方面有所改善，表明即使在威胁追踪中没有发现威胁，也能取得改善。

最少改进的选项是恶意软件感染数量的减少，23％的受访者回答说没有改善。这当然是有道理的。防御者通不能控制攻击者尝试入侵的次数，或者用户点击网络钓鱼邮件的次数。

新的、进化的和已知威胁的理解

调查问卷向反馈者提了问题，问他们对于他们面临的威胁的理解，以及过去12个月来，以前未检测到的威胁是否已经被现有的安全系统已知，未知（新的）或从发现的威胁模式演变而来。如果威胁已经被现有的安全系统所知，系统可能需要一些调整。威胁追踪抓住了威胁是件好事，但理想情况下，仅代表活动的一小部分。然而，受访者表示，已知的威胁与新的威胁没有显着差异。这可能表明环境中的传统的被动防御，如反恶意软件系统，需要更多的调整，以促进追踪人员关注新的威胁。

换种方式表达，反馈者表示，对于发现的很大一部分，他们根本不知道是新的，已知的还是进化的，在每个类别选择“不知道”分别是30％，27％和41％的。参见图11。

 组织应确保执行威胁追踪的团队在最适合此类工作的环境之上进行。这意味着要对建筑和被动防御进行适当的投资，使环境更加可防护。此外，环境应有助于可见性，并且应该对威胁情报进行定制化，以帮助团队回答关于威胁是否是新的、已知的、或从已知威胁进化而来。

主动做法最好

每年各行业报告都表明，在其环境中发现或发现威胁的时间范围从几天到几周到一年或更长。平均通常在几周或几个月左右。在这项调查中，超过50％的受访者在24小时内发现了严重威胁，20％在8到24小时内发现威胁，28％需要1到8个小时才能发现威胁。另有12％的受访者表示在1小时内发现了威胁。这是惊人的。同样地，对于一旦发现的威胁，50％在24小时内响应。参见图12。

 

这个问题特别询问了参与者，他们从开始准备着手到发现严重的威胁需要多长时间。这意味着许多威胁可能仍然在环境中更长时间。威胁追踪人员必须有权力搜索这些威胁，并允许其专注于追踪，而不是在安全或组织相关的任务上。

人员，流程和技术

永远不能有完美的安全，所以组织必须平衡人员、流程和技术的正确投资，以达到他们的正确的安全水平。多少投资用于威胁追踪？绝大多数受访者表示，他们将在未来24个月对威胁追踪人员，工具和能力进行更多的投资。总体来说，65％的参与者表示，他们的组织将对威胁追踪进行额外投资，分别增加10％，25％和50％，分别占21％，23％和15％。只有6％的人表示组织裁减投资威胁追踪。另有30％的受访者认为他们很适合，投资没有变化。

投资的第一选择，其中49％的受访者选择提高搜索数据和信息的能力。鉴于大量数据组织必须筛选出来识别恶意活动，这是一个非常合理的要求。第二大最受欢迎的选择是，48％的受访者选择是能够将不同信息来源和攻击指标之间的点连接起来。第三大选择，47％选择，更多的工作人员有调查技能进行搜索。第四是更好的检测，选择46％。最不受欢迎的选择是更好的存储是不足为奇的。大多数团队发现自己有大量的数据，但是在当天没有足够的时间来搜索它。见图13。

  这些改进都取决于人，流程和技术共同发展。改进的搜索功能可能是一个技术问题，更好地利用分析和机器学习可以帮助您。但是，按照预定义的过程，受过良好训练的人员将会更有效地进行搜索。整个行业都有希望有更多有调查技能的人的愿望。从来没有似乎没有足够的人。技术，流程和培训将继续帮助您充分利用员工。

（三）结论：明智地利用

2017年“威胁追踪调查”调查了各种话题，包括威胁追踪的成效，方法和投资。结果表明，威胁追踪是一个较新的讨论，但是是有效。然而，由于缺乏对事件响应何时结束和威胁追踪如何开始的明确理解，这种讨论有些混乱。

 组织开始采取积极主动的方式进行威胁追踪，而不是等待攻击通知。更多的组织需要跨越式发展。而且，他们开始明白，威胁追踪方式只能部分自动化。事实上，威胁追踪充分利用了自动化的结果，当自动化结束，威胁追踪但才真正开始。组织需要确保有适当人员进行威胁追踪。
IR团队成员是挖掘和扩大知识库以进行威胁追踪的理想人选。

 在这个领域将会增加投资。这意味着组织，团队和个人将会为他们提供工具，人员和流程，促进威胁追踪工作，但可能不适合所有环境。希望建立威胁追踪能力的团队应自我培训，从而做出明智的投资。

原文链接：

https://www.sans.org/reading-room/whitepapers/analyst/hunter-strikes-back-2017-threat-hunting-survey-37760