热线电话：13121318867

登录
首页精彩阅读如何在虚拟环境下测试数据分析?
如何在虚拟环境下测试数据分析?
2016-05-10
收藏

如何在虚拟环境下测试数据分析?

IT安全的发展是围绕数据，生成、收集、收集、存储和分析数据是安全日志的重要部分，但这些大型数据集给存储和处理资源带来巨大压力。

在专业生产环境中，应该部署着良好的数据收集和分析基础设施，并有足够的资源进行可靠和稳定的设置。
然而，现实情况是，由于预算限制以及对更大灵活性的需求，安全专家通常需要在更小的环境中实施和测试数据分析及处理。幸运的是，即使预算低且时间有限，我们仍然有办法可以测试数据分析。本文中，让我们看看在小环境中有限预算情况下测试数据分析的方法。并且，让我们看看在小型环境有效运行数据分析的方法。
虚拟化
为了保持低成本以及高配置灵活性，我们应该尽可能多地利用虚拟化硬件。Vmware ESXi是数据分析测试实验室的不错选择，Parallels、VirtualBox和Hyper-V等其他产品也可以使用。在这个例子中，我们将使用Vmware。在免费注册许可证后，这个管理程序可安装在相对廉价的硬件中—但是要注意支持的CPU要求，否则也可能会很昂贵。在管理程序上，我们可以通过虚拟网络安装和连接很多不同的虚拟主机。例如，这包括基于Linux和Unix的代理服务器、IDS和防火墙设备，以及Splunk和Syslog服务器。
代理服务器
代理服务器可提供对网络流量的可视性，并可处理流量直到ISO模型的应用层。例如，它可显示HTTP和FTP特定通信。现在有很多免费的开源代理服务器，例如ClearOS、CacheGuard和pfSense。pfSense是基于FreeBSD，这是最容易管理的代理服务器之一，并且它内置很多高级功能，例如Squid Proxy、SSL检查、防病毒和VPN。远程Syslog是防火墙日志的可选项，但为了输出代理服务器日志，还需要在代理服务器设置的自定义选项字段添加以下命令行：access_log syslog:LOG_LOCAL4，这之后会进行重新启动。对于SSL检查，则需要通过Web UI安装Squid 3 Proxy软件包，SSL检查可提供hTTPS代理日志记录。
Splunk
Splunk Light是集中日志记录的起点，它还可以为安全性运行测试数据分析程序。在注册后，它免费可供使用，并可很容易地安装在Ubuntu服务器。考虑到主机本身是虚拟化，整个服务器不会增加任何成本。另一个选择是Splunk企业免费版，它提供60天免费试用，允许每天索引500 MB数据，但在60天后需要付费转为永久Splunk企业版。
在pfSense Remote Syslog的情况下，我们需要Splunk通用转发器来收集日志以及转发日志到Splunk索引。这个转发器可与Splunk Light Search Head(上文所述的Web UI)相同的主机或者在单独主机上。我们可通过Splunk Web界面来完成对这个Splunk通用转发器的数据来源和监听端口的配置和自定义。
Hadoop
数据挖掘和数据科学是目前的热门话题。对于任何想要深入研究这个问题的人来说，可以选择运行Hadoop测试服务器。通常情况下，Hadoop运行在群集配置中，但这也可以降至单节点群集，这种单台服务器将同时包含数据节点和名称节点。为了互换Splunk和Hadoop服务器之间的数据，可以下载和安装Hadoop Connect。这需要安装Splunk Enterprise Free，并由于Splunk内的应用支持要求，它将无法在Splunk Light运行。安装手册和视频提供在Splunk网站。
总结
总之，安全完全是关于数据。在设置这个测试实验室后，需要生成可用数据。这需要虚拟网络内的一些活动，例如通过代理服务器运行家庭LAN、在网络外围设置蜜罐或者在网络内运行模拟攻击。由于使用了虚拟组件，这个测试实验室将具有足够的灵活性以适应所要求的情况，并将能够生成很多类型的数据用于分析。



CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想查询CDA考试成绩，点击>>> “CDA成绩” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想获取CDA考试时间/费用/条件/大纲/通过率，点击 >>>“CDA考试官网” 了解CDA考试详情；

数据分析 Hadoop 字段 Linux 数据挖掘

数据分析咨询请扫描二维码

上一篇回归系列（一）| 怎样正确地理解线性回归
下一篇2020美国总统竞选大戏开锣，川普当选的奇迹会再发生吗？
CDA考试动态
CDA报考指南
热门栏目
最新资讯
更多
Copyright © 2015-present 北京国富如荷网络科技有限公司 All Rights Reserved.
京ICP备11001960号-9   京公网安备 11010802034615号   经营许可证编号：京B2-20210330
客服在线
立即咨询