为了从安全的角度来对付“大数据”，企业应该怎么做？很多企业会希望整合大量不同的数据源，但大部分企业没有这样做的原因在于：这是一个长期而具有挑战性的过程。
为了利用大数据来加强企业信息安全，我们需要部署哪些技术和流程？日志管理？siem部署？我们需要进行什么样的培训？保护数据中心需要怎么做？在本文中，笔者将提供现实的建议，让企业信息安全团队知道他们必须部署什么样的技术以及必须部署什么样的流程以充分利用大数据。
什么是大数据？为什么它对信息安全意义重大？
就像电影《黑客帝国》中的感知机器人或者《终结者》电影中的skynet一样，现在的大数据环境由大规模并行处理数据库产品（不过所幸的是，它们没有自我感知能力）组成，这些产品通过处理pb级到zb级看似不同的数据来创建趋势和数据映射。通过建立这种宏观层面的信息，大数据可以让企业了解到他们的产品是如何以前所未有的经济理解水平在运行。也就是说，通过以新方式来结合和分析海量数据，我们可以实现新的业务洞察力。
虽然大数据在商业世界有很多有价值的应用，重要的是要记住，这些大数据信息对于企业信息安全团队同样具有价值。那么，安全团队应该怎样利用大数据以加强企业安全，同时抵御内部和外部威胁？
保护大数据：基础设施准备
首先，对于利用大数据系统来分析企业内活动的安全工具，企业安全团队必须了解传统安全修复工具和它们之间的基础设施差异。在现在的企业安全办公室，我们并不难找到报告不同类型安全数据（试图查找问题的安全分析师会对这些数据感兴趣）的各种安全工具，日志记录工具、安全监控工具、外围安全设备、应用程序访问控制设备、配置系统、供应商风险分析程序、grc产品等，这些工具收集了大量信息，企业安全团队必须分解和规范化这些信息以确定安全风险。
虽然这些传统工具针对其特定类型的控制提供了数据视图，但这些系统的输出往往不是统一的，又或者这些数据被分解成汇总数据，并被输入到一个或者多个siem工具以在视觉上显示安全团队感兴趣的预定事件。一旦确定了某个趋势或者潜在事故，安全专业人士团队就必须从大量输出数据中筛选出证据以发现任何未经授权或恶意的活动。对于安全管理而言，这种“松散结合”的方法通常可行，但它速度很慢，很容易错过良好伪装的恶意事件，并且要在对大量历史数据进行收集、分析和总结后，才能发现严重的安全事件。
相比之下，大数据安全环境的创建需要依赖于前面提到的工具，为安全信息输入单一逻辑大数据安全信息仓库。这种仓库的优势在于，它将数据作为更大的安全生态系统的一部分，这个安全生态系统具有强大的分析和趋势分析工具来识别威胁，威胁需要通过检查多个数据集才能被确认，而不像传统的方法那样---安全团队通过虚拟放大镜来筛选松散耦合的数据集。
保护大数据：基础设施支持
当然在其核心，这种新环境将需要对基础设施进行调整，使其能够收集和分析数据。
为了创建支持大数据环境的基础设施，我们需要一个安全且高速的网络来收集很多安全系统数据源，从而满足大数据收集要求。鉴于大数据基础设施的虚拟化和分布式性质，企业需要将虚拟网络作为底层通信基础设施。此外，从承载大数据的角度来看，在数据中心和虚拟设备之间使用vlan等技术作为虚拟主机（已经部署了虚拟交换机）内的网络是最佳选择。由于防火墙需要检查通过防火墙的每个会话的每个数据包，它们成了大数据快速计算能力的瓶颈。因此，企业需要分离传统用户流量与构成大数据安全数据的流量。通过确保只有受信任的服务器流量流经加密网络通道以及消除之间的传统基础设施防火墙，这个系统就能够以所需要的不受阻碍的速度进行通信。
接着，这个安全数据仓库的虚拟服务器需要受到保护。最好的做法是，确保这些服务器按照nist标准进行加强，卸载不必要的服务（例如ftp工具）以及确保有一个良好的补丁管理流程。鉴于这些服务器上的数据的重要性，我们还需要为大数据中心部署备份服务。此外，这些备份还必须加密--无论是通过磁带介质还是次级驱动器的备份，毕竟在很多时候，安全数据站点发生数据泄露事故都是因为备份媒介的丢失或者被盗。另外，应该定时进行系统更新，同时，为了进行集中监控和控制，还应该部署具有正式运营中心的系统监视工具。
大数据安全：整合现有工具和流程
为了确保大数据安全仓库位于安全事件生态系统的顶端，我们还必须整合现有安全工具和流程。当然，这些整合点应该平行于现有的连接，因为企业不能为了大数据的基础设施改组而放弃其安全分析功能。对于一项新部署，最好的方法是尽量减少连接数量—通过连接企业和/或业务线的siem工具的输出到大数据安全仓库。由于这些数据已经被预处理，它将允许企业开始测试其分析算法与加工后的数据集。
在与安全信息和事件管理工具的整合工作完成后，初始趋势和事件将开始显现，我们还需要开发一个程序来去耦siem工具的输入使其直接进入仓库。最好的做法是为输入选择一个良好定义的标准化数据格式，这将大大较少所需要的整合和规范化步骤，确保对数据仓库改善后的分析算法的持续验证。
随着时间的推移，改进的分析功能将使数据仓库成为企业安全工具的主要收集点，企业的安全办公室将拥有对安全事件分析的单一入口点。
最后，由于大数据在一个新的不同的环境运行，我们还需要为安全办公人员定制一个培训计划。培训计划应该着眼于新开发的分析和修复过程，因为安全大数据仓库将通过这些过程来标记和报告不寻常的活动和网络流量。大数据生态系统的实际操作有着非常标准化的功能，未经授权的更改或者访问将很容易被发现。
大数据将为安全团队带来新的工作方式，而不会出现科幻电影中“机器接管人类”的戏剧化的一幕。通过了解大数据的优势、制定切合实际的目标以及利用现有安全技术的优势，安全管理人员将会发现他们在大数据进行的投资是值得的。
