影响大数据未来的三个改变:数据安全、管理、及心态
云计算改变了IT的交付模式,大数据将改变业务应用的模式。如今,企业普遍接受了数据是有价值的这一观点,下一步就是如何应用大数据的工具和手段改变数据资产的管理,实现数据的公开与共享,改善企业的安全环境,这对于加速大数据应用的落地具有非常重要的意义。
一、安全就是大数据的事
传统信息安全的核心是一个“防”字,就像是为了保证安全给房间装上门、窗和锁。门、窗和锁虽然是必可不少的安全装备,但是在大数据时代,您不觉得在房间里多安装一些“摄像头”会更加保险吗?北京瀚思安信科技有限公司(以下简称瀚思安信)就是一家专门做“摄像头”的大数据安全分析公司。摄像头只是一个比喻,其实就是借助大数据工具,对企业内外部所有相关的数据进行分析,找出传统安全工具无法发现的安全漏洞,从而改善企业的安全状况。
从防御到侦测和响应
IDC预测,到2020年,全球信息安全市场的规模将达到500亿美元,云安全、互联网安全和大数据安全是信息安全市场的三大支柱。大数据安全就是通过分析的手段实现安全的智能化。它是未来保证企业安全的重中之重。
传统的信息安全策略是基于签名和规则的安全模型,对已知的各种安全威胁进行防御。但是在云计算、移动化等趋势出现后,传统的安全边界正在被打破。早在两年前,Gartner就已经预言,安全的边界会越来越模糊,大数据将成为解决安全问题的关键所在。
“随着安全威胁的增多,以及安全攻击变得更有针对性,企业已经不能再依靠传统的安全设备的简单组合,就像门、窗和锁那样应对所有的安全攻击了。”瀚思安信联合创始人董昕分析说,“利用大数据解决安全问题并不是纸上谈兵,而是已经有了实实在在的产品和解决方案。”美国硅谷已经出现了很多从事大数据安全分析的公司。在中国,瀚思安信冲在了前面。
信息安全1.0时代的特征是以防御为中心,它的基础是基于规则和身份验证的安全模型。但是现在,传统的安全手段已经无法有效应对日益增长的高级可持续攻击和内部安全攻击。现在已经步入信息安全2.0时代,其特征是以侦测和响应为中心。现在也是大数据在安全方面真正发挥作用的时候了。
Gartner的数据显示,过去,企业将安全预算的90%投入在防御方面,而今后60% 的安全预算将用于侦测与响应。大数据将完全改变安全市场的规则。上一次信息安全市场的大变革发生在1998年,转折点是网络安全取代了单机杀毒。 Gartner认为,现在,大数据给安全领域带来的变革比上一次安全变革的意义更加重大,影响也更加深远。
大数据安全不是纸上谈兵
虽然公司成立不久,但瀚思安信基于大数据分析的下一代安全信息分析系统HanSight Enterprise已经在银行、公安等关键行业客户那里得到了部署。董昕举了个例子,国内某银行的网银系统采用瀚思安信HanSight Enterprise,每天分析1TB的日志数据,通过算法和模式识别的方式,找出了很多以前用户没有发现的内部和外部的攻击。
“我们遇到的或刻意寻找的客户都是已经在安全方面有了较大投入的企业,它们很清楚自己的安全问题所在,而且知道必须采用新的方法去解决。”董昕补充说,“采用大数据安全分析解决方案的企业,首先必须部署一个比较完善的安全防护体系,防火墙、入侵检测系统、防信息泄露系统等要一应俱全。在这种情况下,企业还要有分析大量数据的需求,比如1TB以上的数据,这样才能更充分地发挥像 HanSight Enterprise这样的产品的能力。不过,使用HanSight Enterprise并不需要掌握复杂的技术,普通的IT管理员就能胜任操作和管理工作。”
Gartner预测,到2016年,25%的全球大型企业将部署大数据分析系统,专门应对信息安全或网络欺诈,而今天这一比例仅为8%。企业在部署大数据分析系统的前6个月就可获得有效的投资回报。
目标是大企业
谈到公司的定位,董昕表示,大数据分析与安全在瀚思安信身上实现了有机统一。一方面,瀚思安信会基于Hadoop等不断提升大数据的处理效率;另一方面,瀚思安信还会将大数据处理工具与企业的业务关联起来,用于安全分析。
解决大数据时代的安全问题,瀚思安信的理念是“数据搜索+安全分析”,具体来说包括存储和索引、搜索和检测、机器学习和模式识别、安全知识库、监控和告警、报表和分析等六大环节。
瀚思安信目前只有21个人,其中18个是工程师。新产品开发对公司的发展来说至关重要。现阶段,瀚思安信只有两个产品:一个是免费版的企业级日志管理系统HanSight DataViewer 2.0,它是基于业界较成熟的分布式生态系统Elasticsearch开发的企业级日志管理平台,支持100TB数据量,提供搜索、大规模日志分析和可视化等服务;另一个是HanSight Enterprise。董昕希望用户通过试用免费版的企业级日志管理系统,先对瀚思安信利用大数据解决安全问题的思路和想法有一个直观的认识,然后在企业需要进行大数据安全分析时就可以更好地采用HanSight Enterprise。
HanSight Enterprise具有三大能力:未知威胁的发现能力、安全事件取证和上下文关联检索能力、全面安全态势展现和长周期分析报告能力。董昕介绍说:“正因为有了HanSight Enterprise,我们才可以帮助银行客户在秒级的时间里处理8亿条数据,并从中发现安全漏洞。”
HanSight Enterprise的目标客户群是大型企业。出于数据保密性和数据处理性能的考虑,现在的用户都是将HanSight Enterprise部署在私有云的环境中。“下一步,瀚思安信会考虑与公有云服务商合作,让中小型企业客户未来也能采用瀚思安信的大数据安全分析工具。”董昕介绍说,“现阶段,我们只能分析IT设备的日志数据。2015年,我们的产品将依靠全量网络流进行更大规模的数据分析。”
与传统安全厂商是互补关系
大数据安全分析产品与传统的网络安全产品并不矛盾,两者是互补的关系。比如,传统安全设备上的数据也能为HanSight Enterprise所分析。
“在很长一段时间里,我们将与传统的安全厂商共存。毕竟‘门和窗’是必需的,但只有‘门和窗’已不能解决安全问题,还需要‘摄像头’,然后对摄像头采集来的数据进行分析。”董昕介绍说,“我们与国内的一些安全厂商,比如绿盟、启明星辰等都保持着密切的沟通。”
其实,像瀚思安信下一代安全信息分析系统中最基本的日志数据分析功能,其他许多厂商的产品也都有,它们的区别到底在哪里呢?董昕解释说,虽然很多厂商也在做日志分析,但是它们的产品只能分析自己系统产生的数据,在关联性分析方面不尽如人意。另外,其他厂商的大数据分析工具在处理能力上还有不足,不能进行全量分析,无法将大数据分析工具的价值全部发挥出来。而瀚思安信的下一代安全信息分析系统是一个企业级的产品,在满足安全性、合规性和审计要求的情况下,可以实现实时的全量数据的安全分析,无论是数据分析的广度还是深度都有明显优势。
二、数据资产要管起来
数据是有价值的,毋庸置疑。但是,在大数据的概念提出前,又有多少企业真正把数据当成资产去经营、管理和更深入地挖掘其中的价值呢?
数据管理新模式
以前,企业在数据管理方面的实践最多就是把数据库中的数据存储起来,然后适当地做一些分析,用于营销或提升客户满意度,但是这些做法并没能充分发挥数据的价值。一方面,并不是所有的企业都做了类似的数据管理和挖掘工作;另一方面,数据挖掘的广度和深度也不理想。
“企业在对一小部分数据进行分析时,可能之前已经扔掉了99%的数据。这是因为有的用户没有意识到这些被扔掉的数据具有价值,还有的是因为用户没有称手的工具能够加工和处理如此庞大的数据量。”亚信大数据事业群总经理张灏告诉记者。
张灏认为,未来人工智能的发展可能会进一步促进人们对大数据的有效利用。通过深度的机器学习,系统可以自动帮用户捕捉所需的数据,其中很多数据可能以前仅凭人的经验是无法获得的。举例来说,现在黑客的攻击越来越有针对性,威胁无处不在,而仅靠银行人员的专业知识和经验来设定安全的规则,已经不能有效防范黑客的攻击。因此,银行希望他们的系统具有自动学习的能力,可以通过大数据分析来判断威胁所在。
针对这样一种趋势,企业应该建立一种新的管理思维模式,即数据资产的管理思维。张灏表示,为了让数据资产管理思维落地,必须做好以下几件事:第一,企业管理者必须认可数据是一种资产,数据存储的时间越长,数据可能越有价值;第二,企业内部要建立数据开放、共享的机制;第三,解决相关的技术难题,包括数据的安全性、隐私性等;第四,让数据流动起来,并建立以流动性为关键点的资产管理思维方式,更好地实现数据可视化。
过去,人们通常以现金资产和设备资产来评估一个企业的价值,而未来一定会以企业所拥有的数据资产的量和活性来评估企业的价值。在这个转变的过程中,数据资产的管理思维是必不可少的。
数据管理的利器
亚信就是数据资产管理思维的倡导者。如今,亚信可以提供包括数据采集、数据处理、分析挖掘等环节在内的大数据整体解决方案。近期,亚信发布了两款大数据新品——数据资产云图和数据资产管理一体机。
所谓数据资产云图,其实就是一个大数据的挖掘、监测和分析平台,其上搭载了多种数据挖掘应用产品,包括电商价格监控平台、产品口碑监测与分析、企业品牌监测与分析等,可根据用户的需求针对不同类型的数据进行多维度的分析。数据资产管理一体机则顺应了当前软硬件一体化的潮流,是一款集计算、存储、网络、大数据平台软件、大数据分析应用软件等于一体的集成化解决方案。它基于异构计算的理念将应用与硬件进行了深度融合,提供比通用的大数据平台更强大的数据分析和处理性能。
亚信的数据资产管理一体机采用的是标准化的x86硬件,并基于开源软件进行了软件开发。因此,该一体机具有很高的性价比,可以取代国外同类的一体机产品。由于亚信在电信行业拥有多年的开发和应用经验,尤其是在聚合数据、加工数据方面具有很强的能力,此次发布的数据资产管理一体机1.0版也在处理电信运营商数据方面表现出很强的实力。不过,这并不代表亚信的数据资产管理一体机就是为电信一个行业量身定制的。从其底层数据的处理能力来看,它还是一个适用于多个行业的产品。“我们希望通过自己的技术专长和对用户需求的透彻理解,为行业用户提供一个经过全面优化的软硬件一体的解决方案,提高大数据处理的效率,而不要让用户自己再费心选择和搭配软硬件。”张灏解释说。
虽然亚信的数据资产管理一体机可以适用于不同的行业,但是每个行业的需求、应用场景毕竟有所差异。所以在实际使用中,亚信还是会根据不同用户的特殊需求提供产品定制化的服务。
转变思维
张灏强调说:“数据资产管理平台对所有行业用户来说都是不可或缺的基础平台。不过,部署一个数据资产管理平台和部署一个Hadoop产品有很大不同,用户需要转变传统的管理思维。接受数据资产管理平台的前提是必须承认数据的价值是因为使用数据资产而产生的,然后才能谈到具体如何管理数据资产,对数据进行聚合、分析、加密,并最终从应用中获取价值。”
亚信是首个在银行和电信运营商两个领域里率先提出数据资产管理这一理念的。这两个行业目前是大数据应用水平最高的行业。这两个行业的客户对于数据的可视化、可管理性、数据挖掘等有很大的需求。亚信的数据资产管理方案对于提升行业用户的大数据应用水平起到了积极的作用。
三、数据交换要有开放的心态
北京腾云天下科技有限公司(以下简称腾云天下)高级总监陈星霖向记者介绍说,“腾云天下专注于移动互联网,目前覆盖的独立智能终端超过10万个,所以在移动数据的采集和分析方面具有明显优势。”
腾云天下在企业和移动应用之间搭建起了一座桥梁,将企业与个人消费者紧密联系在一起。比如,国内TOP10的股份制商业银行都是腾云天下的客户。腾云天下帮助这些银行通过数据的建模和分析提升了营销和征信服务水平。
“我们发现,许多银行客户非常愿意借助大数据工具改善服务,提升营销能力。”陈星霖介绍说,“下一步,我们要做的就是扩展业务范围,覆盖更多的数据消费场景。”
如今,数据的来源渠道越来越丰富,大量用户更倾向于在移动终端上进行浏览、搜索、数据分析和社交。腾云天下的一大优势就是拥有大量的移动端用户数据,可以对用户的消费行为进行分析,并将分析的结果反馈给直接面向终端客户的企业用户,主要包括银行、零售、快销、汽车等行业的客户。陈星霖介绍说:“我们只提供数据和数据分析,而数据与业务应用如何关联还要由相关的应用软件开发商来完成。我们的策略是与这些应用软件开发商进行广泛的合作。”
谈到未来如何在移动互联网领域进一步发展,陈星霖表示,腾云天下的一个努力方向是让数据的来源和形态更丰富,包括线上线下的数据和企业内外部的数据,通过对这些不同来源的数据进行采集和分析,可以了解个人用户喜好和消费行为。陈星霖举例说: “我们在与航空公司接触时发现,它们对于来自于PC和移动终端的数据无法进行关联和统一的识别。而我们的优势就是可以打通移动互联网与用户生态圈,整合不同来源的数据进行统一的身份认证。”
为了丰富数据的来源,腾云天下也愿意在一定条件下与相关单位进行数据的交换。这就涉及到一个十分敏感的问题——数据隐私。“我们不会采集任何与个人身份相关的隐私数据,比如身份证信息。”陈星霖肯定地表示,“相对于像银行这样在数据交换方面较封闭的企业来说,我们的心态比较开放。”
一些移动互联网领域的广告主希望从更多途径了解用户的消费行为,所以愿意在一定条件下将自己的部分数据托管到由第三方可信的机构搭建的数据共享平台上。来自各方的大量数据可以在这个第三方数据共享平台上得到聚合、分析和挖掘,最终的分析结果也会反馈给广告主或相关方。“我们与一些广告主也在就此事进行沟通。”陈星霖介绍说,“这个数据共享平台究竟由谁来负责搭建,是由行业内部自行决定的。参与数据交换的广告主都可以使用这个平台上的数据,但使用之后,数据就要被销毁。这种数据共享模式可能会先在某些垂直行业中得到采用。”
人们都说,在大数据时代,谁拥有数据谁才是最后的赢家。但是在陈星霖看来,谁拥有数据并不重要,数据的形态和载体才是关键。数据的公开和共享将对大数据的落地产生非常大的促进作用。
“作为企业,对数据共享要保持一个开放的心态。”陈星霖表示,“我们十分愿意与传统的企业交换数据,只要这些数据是有用的,具体的交换价格可以进一步协商。阻碍数据共享的主要因素是行业内还没有一个健全的数据交换机制。现在发生的不同企业之间的数据交换基本都是基于某个特定的项目。不过相信再过一两年,很多行业会建立起在本行业内可行的数据交换机制。“
数据分析咨询请扫描二维码
数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列的技能和能力,以确保能够有效地处理、分析和解释数据,从而支持业务决策。以下是数据分析师所需的主要 ...
2024-11-22需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21大数据技术专业主要学习计算机科学、数学、统计学和信息技术等领域的基础理论和技能,旨在培养具备大数据处理、分析和应用能力的 ...
2024-11-21