2016年8月，安全研究中心 Ponemon Institute发布了一份《大数据网络安全分析研究报告》，对于网络安全大数据分析的现状、基于网络安全应用的Apache hadoop与网络安全大数据分析之间的关系做了调研。

Ponemon Institute采访了592位美国IT及IT安全从业人士，10位网络安全技术高管，他们所在的企业和组织都已经建立了Apache Hadoop应用。所有受访者都是某种形式的大数据分析工具的使用者，部分参与者是Apache Hadoop平台的用户。

Ponemon Institute的创始人Larry Ponemon认为，涌入企业环境的数据包含十分有价值的信息，可用于识别和减轻威胁，但在许多情况下，推断它对任何事情都有益还是太武断了，首次报告不仅表明企业和组织知道他们有这些信息可以对抗先进的威胁，也表明当数据与分析工具正确结合应用时，可降低整个企业或组织的风险。

88%受访者：大数据重要

参与这项调查的企业大部分有相当成熟的网络安全项目。70%的受访者表示，他们有许多中后期网络安全计划活动部署或成熟阶段的网络安全计划活动部署。

根据上述研究，使用大数据分析方法侦查偏离良好行为的企业和组织可在几小时甚至几分钟内确认安全事件，而且这一概率是不使用者的2.25倍。Apache Hadoop的用户发现，分析网络安全事件的还有几个重要意义。

72%的受访者认为，大数据分析在侦测前沿网络威胁上十分重要；

72%的受访者认为，使用大数据分析及传统技术手段，可能可以走在高级威胁的前面；

65%的受访者认为，大数据对营造和保障超强网络安全态势十分必要。

下图是受访者对于“大数据分析到底对网络安全是何种程度的重要”这一问题的态度，88%的人都表态“重要”。

大数据，越用越想用

大数据分析工具的重度用户比轻度用户更有信心来检测网络事故。对于常见的11种网络威胁，大数据分析工具的重度用户和轻度用户对自己处理起来的水平和能力也有不同认知。最大的鸿沟在以下几个领域：检测前沿恶意软件/勒索，受损设备（例如，凭据盗窃），零日攻击和恶意内部攻击。最小的差距在以下领域：拒绝服务，基于网络的攻击和矛式网络钓鱼/社会工程。

大数据分析工具居然是越用越想用。调查显示，61%的轻度用户受访者表示，需求增长显著，而75%的重度用户受访者表示，需求增长更显著。

调查：在过去12个月中，把大数据分析工具用于网络安全，你对此的需求是？

大数据，不是你想用就能用

大数据分析虽然用于网络安全接受度颇高，但是，调查显示，还是有多重因素阻碍你用大数据。比如，下图揭示了哪些因素阻碍大数据分析用于网络安全。

从上到下的因素依次为：缺乏内部专业知识、技术不足、资源不足、高管对网络安全是重大风险认识不足、和其他部门缺乏合作、不懂如何应对网络攻击、不是优先级事件、缺乏领导力、其他。

说了这么多大数据如何如何，为了保障网络安全，顶尖技术到底应该有什么特征呢？

调查：以下为最有前途的技术特征排序

从上到下的因素依次为：提供应用到安全数据的机器学习、提供用户行为分析（UBA）、提供针对威胁和攻击的预先警告、提供有关薄弱点或漏洞的智力支持、提供针对网络攻击的网络分析、尽量减少内部人的威胁（包括疏忽）、提供用户网络流量分析、优先威胁，漏洞和攻击、限制未经授权的访问和/或共享敏感或机密数据、防止不安全的设备访问安全系统、启用有效的恢复操作、简化威胁报告、安全端点包括移动连接设备、启用自适应外围控制、减少或消除恶意软件进入网络、启用高效的补丁管理、减缓甚至阻止攻击者的电脑、预先消灭DoS攻击。

Apache Hadoop是一套用于在由通用硬件构建的大型集群上运行应用程序的框架。它实现了Map/Reduce编程范型，计算任务会被分割成小块（多次）运行在不同的节点上。除此之外，它还提供了一款分布式文件系统（HDFS），数据被存储在计算节点上以提供极高的跨数据中心聚合带宽。

《勒索软件与企业2016》调查报告：企业将面临更多勒索软件威胁

勒索软件