大数据与大规模网络安全感知

       快速发展的互联网技术不断地改变和提升人们的生活，然而多层面的安全威胁和安全风险也不断出现。对于一个大型网络，在网络安全层面，除了以访问控制、入侵检测和身份识别等基础技术手段，安全运维和管理人员需要能够及时感知网络中的异常事件与整体安全态势。对于安全运维人员来说，如何从成千上万的安全事件和日志中，抽丝剥茧找到最有价值、最迫切需要去处理和解决的安全问题以保障网络的安全状态，是运维人员最为关心的和需要解决的问题；而对于安全管理者和高层管理者而言，如何描述当前网络安全的整体状况，如何预测和判断风险发展的趋势，如何指导下一步的安全建设与规划，则是一道持久的难题。随着大数据技术的成熟和应用推广，网络安全态势感知技术有了新的发展方向，大数据技术特有的海量存储、并行计算、高效查询等特点，为大规模网络的安全态势感知的关键技术创造了突破发展的机遇，本文将对大规模网络的安全态势感知和大数据技术在安全感知方面的促进进行一些探讨。

对于一个大规模的网络而言，面临的风险同样是巨大的，可分为广度问题和深度问题。从广度上来说，以中国移动的CMNET网络为例，其所属IP地址超过3000万个，提供对外服务的网站数千个，其规模不可说不大，节点类型亦是丰富多样，而伴随其中的安全问题会随着网络节点的增加呈现指数级上升。从深度上来说，下一代移动互联网安全威胁主要表现在：传统攻击依然存在且手段多样，APT（高级持续性威胁）攻击逐渐增多且造成的损失不断增大。攻击者的工具工具和手段呈现平台化、集成化和自动化的特点，其具有更强的隐蔽性，具有更长的攻击与潜伏时间，具有更加明确和特定的攻击目标，所有的这些造成了下一代的安全威胁具有更强的杀伤力与逃避能力。从广度上和深度上来看，一个大规模的网络所引发的安全保障复杂度激增，其主要面临安全数据量巨大、安全事件被割裂难以感知、安全的整体状况无法描述这三个主要问题。

网络安全感知能力具体可分为资产感知、脆弱性感知、安全事件感知和异常行为感知四个方面，资产感知能力是能够自动化地快速发现和收集大规模网络的资产分布情况、资产更新情况、资产属性等信息，脆弱性感知能力需要有三个层面的脆弱性感知能力：不可见、可见和可利用的脆弱性，安全事件的感知能力事实上的需求是确定事件的时间、地点、人物、起因、经过和结果，异常行为感知能力是用来弥补不可见脆弱性发现能力和发现未知安全事件的能力，主要面向未知的攻击感知。一个相对完整的网络安全感知的能力模型与架构设计如下图所示：

随着Hadoop、NoSQL等技术的兴起，BigData大数据的应用逐渐增多与成熟，大数据自身所拥有三个特性：Velocity快速处理、Volume大数据量存储、Variety支持多类数据格式。大数据的这些天生特性，正可以为网络安全感知能力所服务。首先，多类型数据格式可以使得网络安全感知获得更多的日志数据，包括网络与安全设备的日志、网络运行情况信息、业务与应用的日志记录等，然后大数据量存储与快速处理为高速网络流量的深度安全分析提供了技术支持，可以为高智能模型算法提供计算资源。最后，大数据对异常行为感知也提供了更便利的条件，在异常行为感知的识别过程中，其核心是对正常业务行为与异常攻击行为之间的未识别行为进行离群度分析，大数据使得在分析过程中采用更小的匹配颗粒与更长的匹配时间提供了可能。