大数据安全架构

     前面大家都在谈智能安全的趋势，利用大数据实现高级安全分析。最近在支持一个政府项目的大数据平台的安全，也将相关知识恶补了一下，下面对大数据安全架构做一些总结。 

    在大数据时代，传统的安全方法论框架和工具无法适应大数据环境的高速度、多类型、大容量的特点。 

    大数据安全思考的维护和传统安全一样，需要考虑机密性、完整性和可用性，从数据采集、存储和加工、应用的全过程，分析在数据分级、数据访问控制、数据备份等方面的安全需求，也需要结合大数据应用的特点，特别考虑如何保证敏感数据和法律限制数据在分析过程中的安全，尤其考虑针对分析结果的安全。

 

   大数据安全可以基于企业现有的安全架构，但需要在工具、管理和运维方面针对大数据平台架构、数据和应用的特点，增强安全控制。

 

大数据安全挑战：        

• 针对数据采集和加工处理数据量大的特点，需要考虑安全成本，也需要针对敏感数据进行特别考虑·        
• 针对数据来源多样性的特点，需要进行数据分级（包括数据源、中间数据和结果数据），并考虑数据访问控制策略。有的大数据平台本身具有安全设计，有些则需要与企业其他安全机制进行集成。·        
• 针对大数据平台高速处理的特点，对多节点处理的情况需要考虑如何有效监控。同时，传统安全工具大多针对交易型应用，无法处理大数据量高速处理的情况。
• 针对不同的大数据平台特点，考虑其特殊的安全需求        
• 分布式文件系统，如Hadoop。Hadoop的安全框架基于Kebros认证体系和传输加密。Hadoop多节点分布式文件系统，协议复杂，增加了应用安全的复杂性。任何一个节点的数据受到破坏，都可能影响决策分析的结果。Hadoop本身没有提供对节点静态数据的加密特性，可能无法满足一些合规性的要求。目前有一些针对Hadoop安全的开源项目正在开展。如Rhino的目标就是解决HBase加密和单点登录问题。
• NoSQL数据库，如Apache Cassandra：Cassandra来自Facebook的混合型的非关系的数据库，面向列的设计抱枕针对网络社交计算的性能和扩展性，但在数据安全方面考虑的较少。Cassandra数据库仅提供简单的用户名密码 认证，其平行节点分布处理模式不能够对写入数据库的数据进行验证。Cassandra的查询语言CQL也存在类似SQL注入的弱点，现有安全工具对CQL安全考虑的较少。·        
• 大数据云服务：通过云技术可以提供大数据基础计算环境支撑，也可以提供高级分析技术的运行环境。Hadoop和Cassandra也可以在云计算环境中部署。云服务提供商可以提供基础的平台安全和网络安全环境，但由于云计算多租户特点和运营环境的限制，要实现安全的大数据解决方案，在数据和应用层面需要额外的设计和考虑。企业需要考虑敏感数据在云端处理的安全性，也需要将认证和授权扩展到云计算环境。

各类云平台支持的安全特性对比如下：

下面以一个财务分析的大数据应用为例，从数据采集、传输、加工和内容管理方面分析大数据安全解决方案的安全机制。

 

• 数据采集：针对不同类型的数据源的数据采集过程，可以采用不同的安全机制，如数据库加密、数据访问控制和授权、文件加密、网络通信加密
• 内容管理：进行内容扫描（采用数据防泄漏解决方案（DLP），进行数据存储、网络传输内容的扫描和识别，保证敏感数据泄漏能够被及时发现和阻断）
• 大数据系统管理员和用户访问：用户认证——使用集中的AD或LDAP认证、用户名和密码的HTTPS加密传输·        
• 日志和审计：对整个大数据技术架构，进行安全日志记录和审计（可以采用安全事件管理类产品套件（SIEM））

 (The End)