楔子：“给ta一顶降落伞，请ta跳下去！”
质量是“一系列内在特性满足要求的程度”【1】（参见PMBOK第4版，下文中如未另声明，所有引用自PMBOK的定义均参考PMBOK第4版）。网络威胁情报质量是满足网络威胁情报要求的一系列内在特性的程度，例如：一套网络威胁情报是高质量的（及时、准确、易读、可执行）低等级（字段有限）的，或低质量（许多错误信息）高等级（字段丰富）的。
网络威胁情报自应用以来，由于其带有的预测性和时间效力，使得其质量问题备受关注，然而在质量问题本身，应该如何理解，笔者尝试进行探索并分享如下。
为了更好的理解网络威胁情报质量，让我们先从网络威胁情报的常见误区开始：
- 范围误区：
让我们回顾一下产品范围的定义：“某项产品、服务或成果所具有的特性和功能”（PMBOK）。网络威胁情报的范围是其所具有的特性和功能，网络威胁情报常见的两类产品 feed与lookup基本功能和特性如下述：
Feed模式提供准实时的IP、Domain、URL、Email等信息，通常用于防火墙（含NGFW）、WAF、IPS、SIEM等防护或检测手段，其特性注重时间效应和预测准确性。
Lookup模式提供更加丰富的上下文信息，包括Whois、PDNS等信息，通常用于溯源（Attribution），其特性更加注重信息的丰富度和完整性。
在这里我们可以看到，两种面向不同目的的网络威胁情报方式，其功能和特性具有非常明显的区别，将此二者放在对比序列中无法判断孰优孰劣。
范围不是质量！
- 等级误区：
等级是“对用途相同但技术特性不同的产品或服务的级别分类”
如同开篇所述的例子“一套网络威胁情报是高质量的（及时、准确、易读、可执行）低等级（字段有限）的，或低质量（许多错误信息）高等级（字段丰富）的。”从表达中我们可以看出等级和质量是有区别的。
网络威胁情报有各种等级的划分方式，例如：
- 通用网络威胁情报、行业网络威胁情报。附加了行业属性标签的行业网络威胁情报由于与行业相关度更高，可以让订阅者将注意力集中在优先级更高的安全事务上。
- 保密等级。可即时披露的网络威胁情报与需要批准的网络威胁情报具有不同的等级，而批准披露的机构和组织也各不相同。例如，《网络产品安全漏洞管理规定》第六条鼓励相关组织和个人向网络产品提供者通报其产品存在的安全漏洞。需要注意的是，安全漏洞的非法披露将需要承担其响应的行政、法律后果。
- 数量误区：
似乎这是一个最不需要解释的误区，然而现实世界中坚持数量至上的人并不少！
按照质量的定义，数量是外在属性，而非内在特性，因此很容易辨识这一误区。
数量的误区不仅仅表现在简单的条数上，还可能是威胁类别的数量、数据源数量等隐形数量。从全球众多的厂商坚持按情报条数计价这一事实，也可以反证数量绝非质量的衡量指标之一。
数量不是质量！
（坚持数量问题就是质量问题的代表问题就是威胁情报漏报，关于该问题：笔者在《网络威胁情报应用误区分析》一文中已对“上帝视角”论进行了证伪。）
那么，网络威胁情报的质量应当关注什么呢？参考广泛的关于威胁情报质量的论文，笔者认为网络威胁情报质量至少应当包括3个强制特性：时效性、准确性、完整性，以及一个强烈推荐的可选特性：相关性。
- 时效性：
时效性，是网络威胁情报的一个核心困扰，网络威胁情报作为情报领域的一个分支，继承了情报的时效性的要求，虽然网络信号已经进入了ms（毫秒）时代，但网络威胁情报的收集、分析验证、传送却远远未跟上网络进步的速度。
网络威胁情报的时效性，同时也是准确性的重要影响因素。网络威胁情报的各种属性之间存在着内部关联关系，而时效性则是准确性和完整性的根基，甚至直接决定了准确性和完整性的可能性。
- 准确性：
网络威胁情报的准确性，是毋庸置疑的重要属性之一。我们应该不会忘记某运营商的DNS服务器IP地址被误报为恶意IP，从而引发的大面积网络故障。
网络威胁情报的准确性，是从业者一直在致力解决的难题，由于网络威胁情报存在预判的需求，高准确性能力的所需要应对的挑战可想而知。可信列表、虚假网络威胁情报对抗都是提高准确性的重要手段。
- 完整性：
网络威胁情报所包含的信息应当完整，以为决策提供依据，缺失信息可能造成决策者的误判。在这里我们可以回顾网络威胁情报的lookup模式，该模式提供网络威胁的历史信息以供决策，该模式努力提供尽可能完整的历史信息（通常是以条数计算，这可能也是引起了数量作为网络威胁情报质量的指标的触发点），例如：由于未能及时获取到相应情报，被列为被黑网站的某IP未能及时变更为无威胁IP，从而使得决策者针对该IP做出了不当处置，即是典型的网络威胁情报完整性带来的影响。网络威胁情报的完整性问题可能由情报获取的及时性、情报源等多种因素引发。
- 相关性（可选）：
之所以把相关性作为可选特性，是从供需双方，尤其是需方应用场景的角度的来思考，由于供方的基础网络威胁情报是无差异化的，而需方则在应用场景中选择适用的网络威胁情报，因此相关性是一个可选特性，例如：信誉值（Reputation）筛选、威胁类型筛选、IoC类型筛选，都是相关性的代表。TLP（红绿灯协议）是相关性的典型代表，其黄色情报、红色情报即是针对相关受方的筛选结果。
由此，我们也可以看到网络威胁情报的相关性代表着定制化情报集合，包括来自基础情报的筛选子集和定向集合。
关于质量，业界有一个广为流传的故事：“二战初期，美军降落伞某供应商的合格率为99.9%，意味着平均每一千次跳伞就有一条生命的付出，因此军方要求其合格率必须达到100%，而供应商声称这是不可能做到的，于是军方改变了质检制度，从每批降落伞中随机挑出一个，让厂商负责人亲自使用其厂生产的降落伞从飞机上跳下。不久，奇迹出现了，降落伞的不合格率很快降为零。”
如何检验网络威胁情报的质量？
“给ta一套网络威胁情报，请ta在自己使用！”
写在最后：致敬质量大师朱兰“Quality is fitness for Use.”
注解：【1】参见《项目管理知识体系指南》第四版