转发以前微信公众号发的文章，Sec-UN独家。
目前国内传统SIEM/SOC市场已经遇到一个发展瓶颈，不论是买了SIEM的客户还是卖SIEM的厂家，都不是很满意。买了的觉得就是更多误报、更多没法用，卖的厂家由于产品同质性强、一套卖几万的也不鲜见。而国际市场目前情况跟国内截然相反，不仅市场持续高速增长，更出现了像Splunk这样的市场和技术上的挑战者，用大数据技术带来了全新全新的思维。
中间插播一下SOC和SIEM的区别，国外把这个产品线定义为安全事件管理，即SIEM，其构筑的安全能力的运营中心，叫SOC。而国内秉承着往大里忽悠的习惯，把网管、流程管理、风险管理的一堆东西往里面塞，生造出一个SOC的概念。我还是喜欢叫这个SIEM。
先说一下目前SIEM产品面临的8大挑战：
1.SIEM系统自身日益复杂，除安全事件收集管理外，还逐渐产生向网管、流程管理、风险管理、合规管理等等的分支，不论是功能还是系统架构比起以前复杂度极大提升
2.随着数据的接入的多样性增加，SIEM实际不仅需要进行安全管理，还需要进行数据管理，数据管理是安全公司的弱项，最后多搞出一些莫名奇妙的东西
3.性能瓶颈，传统的应用/数据库架构局限了系统的性能，其能存储的历史数据时长、存储事件的汇总度、查询分析的速度均受到极大的限制，直接造成了系统的可用性差
4.收集、处理的数据多样性增加，传统SIEM多只采用范式化手段（即结构化）进行高级汇总事件的处理（如IDS从网络原始事件生成的高级事件），而目前随着需求的深入，需要对各种原始日志进行收集和处理（半结构化了），甚至需要对语音、视频等数据进行处理（非结构化了）
5.更深层次的事件关联处理、分析和展现，原有SIEM多基于一些十分原始老旧的数据处理、分析、展现手段，而当前map/reduce，BI等技术已经成熟应用，SIEM需要使用这些新技术在事件关联、处理和展现能力上进行提升
6.对分析内容的深层理解，规则制定能力，由于性能、事件汇总度、广度等限制，之前SIEM号称的深度关联分析多形同虚设，而随着SIEM收集事件的深度（汇总度）、广度的提升，以及对SIEM功能期望的进一步提升，需要有深度了解业务、安全的人制定更深层次、更能解决实际问题的规则/场景制定
7.需要支持云等IT新基础环境架构，云计算、大数据处理等技术已经逐渐成熟，用户IT环境也已逐步向云迁移，因此SIEM也需要支持这些IT新基础环境架构
8.解决安全的碎片化问题，当前的安全环境也远非几年前的安全环境，新的防APT、DLP、DAP、WAF、DPI、移动端管理等产品和技术也已得到广泛运用，业务监控、应用监控甚至反舞弊也逐渐成为SIEM需要具备的功能，因此需要SIEM进行更广泛意义上的功能上的整合
说完了挑战，再说未来SIEM发展的6大趋势：
1.应对半结构化、非结构化数据的收集和处理，扩展基于语义（如某同学搞的自然源语义处理）的数据收集处理能力，实现内容感知的SIEM
2.应用Map/Reduce，Hadoop，Index等新数据处理技术，提升数据收集、处理和展现能力
3.基于大数据平台扩展对历史和实时数据的分析能力
4.整合环境监控、虚拟化、移动、应用、社会媒体和云监控等数据源，扩展数据来源和应用场景
5.基于大数据平台扩展对历史和实时数据的分析能力
6.应用安全智能信息分享等外部信息源，解决精准定位、误报问题以及快速协同发现等问题
安全智能/情报信息（Security Intelligence）也是现在的大热门安全技术，这么高大上东西，到了国内突然变成了土土的信誉库，无语了都。好了，明天的主题你也猜到了，Security Intelligence~
大数据分析(BDA)是当下各个领域的热点，大数据安全分析（BDSA）则是当下网络安全领域的热点，而将大数据安全分析用于SIEM则更是再自然不过的选择。但是，我们也要看到，BDSA-based SIEM真正发挥生产力还需要一段时间。国内互联网公司们、安全厂商们在做这块工作，但大部分还处于探索的阶段。存的问题还好说，分析则是一大挑战。即便是在美国，这个工作也算不上成熟，大部分都是startup公司在做，Splunk走得快些，但核心定位也是“IT Search”，距离“Analysis”依然还有很多可以做的。前途很美好，道路依然曲折，**BDSA也不是SIEM的银弹**。Gartner说“95%的用户不会在2014年真正应用大数据安全分析技术，因为其还过于复杂，缺乏商业化的成熟产品支撑，缺少相关的使用技能”（Predicts 2014：Infrastructure Protection）【参见http://yepeng.blog.51cto.com/3101105/1336736】。
此外，我们在谈论SIEM/SOC的时候，其实还应该加入一个词——安全管理（平台/系统），国外叫企业安全管理系统（ESM），组合成“SIEM/ESM/SOC”更好些。三个概念依次扩大，SIEM和ESM都偏技术，而SOC则涵盖了技术、流程和组织，甚至是场所。国内说SOC，往往指代的是ESM，而非SIEM，因此，我也经常将安全管理平台（或者叫ESM）称作“SOC平台”，意即SOC的技术核心部分（注意：不是SOC的技术全部构成）。国内的“SOC平台”涵盖的内容大于SIEM，并非是夸大，而是现实的需求。在美国市场，同样有个ESM市场，是大于SIEM的。国内的SIEM一般不叫SOC（或者我所谓的“SOC平台”），而是往往被冠以“日志审计”的帽子。
如您所述，SIEM的内涵和外延正在演进，受到BDA的影响也相当深刻，关键的一点就在于I（安全要素信息）的急速膨胀。BDSA-based SIEM或者BDSA-based安管平台有5个V（高速、多源、海量、价值、可视）【参见拙文《基于大数据分析的安全管理平台技术研究及应用》http://yepeng.blog.51cto.com/3101105/1351676】，其中最难做到的就是Value（价值）维度，这也就是分析的目标所在。经典BDA下的分析模型和算法如何应用到安全领域，是个巨大的课题，不是拿个mahout，用用R就能跑出来的，需要掌握安全领域知识和分布式分析算法的跨界人才。
更重要地是，即便有了NB的安全分析算法，也不代表Value就能轻易实现了，即便在经典的BDA领域亦如此，都强调人的主观能动性，所谓“安全分析师”，或者叫“数据科学家”。没有人的参与，value还是问题。
bennyye 也很有研究啊，赞