5月5日,小伙伴们在数据质量上提了不少问题和建议,针对众多的问题我们做出了第一步的优化措施,接下来我们还将做更多的工作来优化Feed的质量。
1 问题答复
问题(1):恶意ip-feed文件目前是每天全量更新,有些老的IP怎么办,虽然这个ip今天没有做坏事,但是历史上曾做过坏事的IP怎么办,能否提供更长时间的数据?
解答:现有文件是每天一个版本,后续增加3天一个版本,和7天一个版本,用户更便利的使用。
问题(2):昨天守望者提供了IP的字段说明,对个别字段不清楚含义,能否有字段更详细的说明?
解答:现我们会对字段的常用标记内容进行详细说明,后面逐步给出。
问题(3):FTP下载方式不便利,有没有其他下载方式?
解答:后续提供HTTP的下载方式,基础数据免费下载。有些特别敏感的数据提供API的形式。
问题(4):目前的数据源从哪里来?
解答:开国外开源威胁情报feed的收集占70%左右,国内一手监测的数据占比30%左右。后面我们会逐步加大国内的监控一手数据。
问题(5):有没有定制一些更符合需求的feed?
解答:我们会进行更深入的数据整合、分析工作,对数据进行分析,提供定制的feed,比如webshell探测&攻击的相关情报feed、比如钓鱼情报、比如国内的恶意ip等。后面我们会逐步梳理需求,对数据源充分分析给出更精准的情报feed。
不断聚焦,提供精准需求的情报feed,是我们持续的目标。
2 样例
=,78.39.252.125,2016-05-03 00:34:59,2016-05-03 00:34:59,[‘proxy’],[],txt.proxyspy.net,75,IR
+,82.209.49.196,2016-05-03 00:34:59,2016-05-03 00:34:59,[‘proxy’],[],txt.proxyspy.net,75,CZ
=,78.40.181.45,2016-05-03 00:34:59,2016-05-03 00:34:59,[‘proxy’],[],txt.proxyspy.net,75,Unknow
=,104.156.239.154,2016-05-03 00:34:59,2016-05-03 00:34:59,[‘proxy’],[],txt.proxyspy.net,75,US
=,117.102.48.44,2016-05-03 00:34:59,2016-05-03 00:34:59,[‘proxy’],[],txt.proxyspy.net,75,PK
=,52.87.246.34,2016-05-03 00:34:59,2016-05-03 00:34:59,[‘proxy’],[],txt.proxyspy.net,75,Unknow
=,178.212.195.54,2016-05-03 00:34:59,2016-05-03 00:34:59,[‘proxy’],[],txt.proxyspy.net,75,UA
=,74.123.74.209,2016-05-03 00:34:59,2016-05-03 00:34:59,[‘proxy’],[],txt.proxyspy.net,75,US
=,154.73.28.212,2016-05-03 00:34:59,2016-05-03 00:34:59,[‘proxy’],[],txt.proxyspy.net,75,LY
3 下载方式
关注 守望者实验室 微信公众号;回复关键词“feed”即可获取相关feed文件。