开源威胁情报Feed:数据优化(1)

围观次数:1,625 views

守望者发布开源威胁情报feed数据一周时间来,有不少使用者在数据质量上提了不少问题和建议。Feed数据每天一个DAT格式文件。包括恶意的IP、dns、url、邮箱、md5等。目前还是ftp方式供下载使用。具体feed格式参考了国外的威胁情报服务商cyren等数据格式。

1

数据质量是feed的关键,,集思广益,我们后面会持续进行优化。目前主要的数据优化措施如下。

1   Feed数据优化方法

1.1 恶意IP地址

  • 命中率检测

将每天的数据导入流量较大的生产环境中,观察每天的命中率情况,命中者提高信誉值。

命中率是检测feed质量的纬度之一。

  • 存活率确认

利用批量Ping工具、全端口扫描检测现有IP地址库的存活率情况,我们后面会加一个字段来表示当天该IP地址是否存活,这样可以给数据使用厂商更多灵活调整的空间;

  • 地址分类优化

将IP地址分为国外IP地址,国内IP地址,(可借助IPIP.NET 或者其它的库来批量检测)并设计一个字段来表示;

  • 端口探测?

对检测到存活的IP地址进行端口探测,检测出所有的端口开放情况和服务开放情况。小伙伴提的建议不错,这个目前watcerlab还在考虑中。

 

 

1.2 恶意URL地址

  • 存活检测

利用批量工具或者脚本批量检测URL是否存活,存活的进行标识;

  • URL分类

对URL进行分类,分为国内,国外并提供一个字段标识;针对国内的采用烽火台联盟的思睿嘉得有网址分类引擎,如果是钓鱼网页能够区分类型比如:招商银行的,国家电网的等等;

  • 针对性测试?

这个根据恶意URL的标签,可以进行针对性的测试,这个目前watcerlab还在考虑中。

1.3 恶意DNS地址

  • 存活检测

利用批量检测工具意DNS存活率,提供一个字段标识;

  • 地址分类

将恶意DNS地址分为 国内 和国外两大类,也提供一个字段标识。

1.4 恶意Email邮箱

  • 存活检测

通过批量工具向邮箱发送邮件看email是真的存在,提供一个字段标识;

  • 地址分类

将Email邮箱按照地址分类,先做最基本的要分出国内,国外,后面考虑更细致划分。

1.5 恶意文件MD5

  • 匹配查询

通过向其它的情报库查询是否有关联数据判断MD5的质量。

国外的有 [VirusTotal] [UrlQuery][TotalHash] [ThreatExpert]。

2   数据获取讨论方式

需要feed数据,可关注 守望者实验室 微信公众号;回复关键词“feed“即可获取。

1

 

发表评论

邮箱地址不会被公开。 必填项已用*标注

广告赞助