大数据安全分析是什么
在《为什么需要大数据安全分析》一文中,我们已经阐述了一个重要观点,即:安全要素信息呈现出大数据的特征,而传统的安全分析方法面临重大挑战,信息与网络安全需要基于大数据的安全分析。那么,到底什么是大数据安全分析,他与我们一般意义上的大数据分析有何异同之处?让我们先从大数据自身的定义开始。
1大数据的定义
如何定义大数据?《大数据的冲击》一书将大数据通俗定义为“用现有的一般技术难以管理的大量数据的集合”,并广义地定义为“一个综合性概念,它包括因具备3V(海量/高速/多样,Volume / Variety/Velocity)特征而难以进行管理的数据,对这些数据进行存储、处理、分析的技术,以及能够通过分析这些数据获得实用意义和观点的人才和组织。”
Gartner将大数据定义为“海量、高速、多变的信息资产,需要对它进行经济的、创新性的信息处理从而获得超越以往的洞察力、决策支持能力和处理的自动化”(high volume, velocity and/or variety information assets that demand cost-effective, innovative forms of information processing that enable enhanced insight, decision making, and process automation)。
2大数据的基本特征
大数据的三个公认的基本特点是3V,即海量、高速和多变。海量是指数据容量越来越大;高速表示需要处理的速度和响应的时间越来越快,对系统的延时要求相当高;多变就要处理各种各样类型的数据,包括结构化的、半结构化的、甚至是非结构化的数据。
IBM在上述三个特点基础之上增加了一个V(Veracity),即“真实性”、“准确性”。IBM认为只有真实而准确的数据才能让对数据的管控和治理真正有意义。
此外,业界还有人总结出其它的大数据特点,例如低价值密度(Value)、存活性(Viability),等等。低价值密度是指大数据中真正有意义的信息含量比重低;存活性是指特定情况下的大数据具有很强的时效性。
3大数据分析的定义
大数据技术的核心就是大数据分析(Big Data Analysis / Analytics)。一般地,人们将大数据分析定义为一组能够高效存储和处理海量数据、并有效达成多种分析目标的工具及技术的集合。
Gartner将大数据分析定义为追求显露模式检测和发散模式检测,以及强化对过去未连接资产的使用的实践和方法(the practices and technology used to pursue emerging and divergent pattern detection as well as enhance the use of previously disconnected information assets),意即一套针对大数据进行知识发现的方法。
通俗地讲,大数据分析技术就是大数据的收集、存储、分析和可视化的技术,是一套能够解决大数据的4V(海量、高速、多变、低密度)问题,分析出高价值(Value)的信息的工具集合。
4大数据安全分析
当前网络与信息安全领域,正在面临着多种挑战。一方面,企业和组织安全体系架构的日趋复杂,各种类型的安全数据越来越多,传统的分析能力明显力不从心;另一方面,新型威胁的兴起,内控与合规的深入,传统的分析方法存在诸多缺陷,越来越需要分析更多的安全信息、并且要更加快速的做出判定和响应。信息安全也面临大数据带来的挑战。
于是,业界出现了将大数据分析技术应用于信息安全的技术——大数据安全分析(Big Data Security Analysis / Analytics,简称BDSA),也有人称做针对安全的大数据分析(Big Data Analysis for Security)。
必须特别指出的是,大数据安全分析是指利用大数据技术来进行安全分析,而非我们一般所言的大数据安全(Big Data Security)。大数据安全,通常是指研究如何保护大数据自身的安全,包括针对大数据计算和大数据存储的安全性。
以上,也阐释了大数据和安全的两个连接关系,即基于大数据技术的安全和大数据自身的安全。这两者是两个不同的领域,本文探讨的是前者,即基于大数据技术的安全,本质上就是大数据技术的一种在安全领域的应用。
借助大数据安全分析技术,能够更好地解决天量安全要素信息的采集、存储的问题,借助基于大数据分析技术的机器学习和数据挖据算法,能够更加智能地洞悉信息与网络安全的态势,更加主动、弹性地去应对新型复杂的威胁和未知多变的风险。
必须强调的是,对于大数据安全分析而言,最关键的不在于大数据本身,而在于对这些数据的分析方法。大数据安全分析可以用到大数据分析的所有普适性的方法和技术,但当应用到网络安全领域的时候,还必须考虑到安全数据自身的特点和安全分析的目标,这样大数据安全分析的应用才更有价值。例如,在进行异常行为分析,或者恶意代码分析和APT攻击分析的时候,分析模型才是最重要的。其次,才是考虑如何利用大数据分析技术(例如并行计算、实时计算、分布式计算)来实现这个分析模型。
此外,大数据安全分析要产生实际价值还离不开安全分析师。
5大数据安全分析平台
大数据安全分析不是一个产品分类,而代表一种技术,一种安全分析的理念和方法。各种安全产品都能够运用大数据安全分析技术去重塑自身。
在一个较为完备的基于大数据安全分析的解决方案中,往往会有一个大数据安全分析平台作为整个方案的核心部件,承载大数据分析的核心功能,将分散的安全要素信息进行集中、存储、分析、可视化,对分析的结果进行分发,对分析的任务进行调度,将各个分散的安全分析技术整合到一起,实现各种技术间的互动。
6启明星辰大数据安全分析平台
作为国内信息安全领导厂商的启明星辰依托十几年在信息安全分析领域积累的丰富经验和领先技术在国内率先推出了具有自主知识产权的启明星辰泰合大数据安全分析平台(TSOC Big Data Security Analysis Platform,简称TSOC-BDSAP)。该平台帮助客户实现在规模不断扩大的异构海量数据如事件、流、网络原始流量、文件等信息中,结合流行的关联分析、机器学习、数理统计、实时分析、历史分析和人机交互等多种分析方法和技术,发现传统的安全产品无法检测的安全攻击和威胁。
启明星辰专门成立了泰合产品本部负责大数据安全分析领域及泰合系列管控类和审计类系统的研发、咨询、项目实施与运维。泰合产品本部分别在北京、上海、广州设有研发中心。
作为中国最早研发和最领先的安全管理平台之一,启明星辰泰合(TSOC)系列安管平台经过10多年的持续积累,获得了十多项发明专利,得到了国家多项专项基金的支持,并拥有目前国内最多的客户群,从2008年到2013年连续六年位居中国安全管理平台市场占有率第一,已经成为了安全管理平台领域的引领者,位居国内大数据安全分析领域的领导者阵营,也是国内流安全领域的积极倡导者和践行者。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-24以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《刘静:10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda ...
2025-04-23大咖简介: 刘凯,CDA大咖汇特邀讲师,DAMA中国分会理事,香港金管局特聘数据管理专家,拥有丰富的行业经验。本文将从数据要素 ...
2025-04-22CDA持证人简介 刘伟,美国 NAU 大学计算机信息技术硕士, CDA数据分析师三级持证人,现任职于江苏宝应农商银行数据治理岗。 学 ...
2025-04-21持证人简介:贺渲雯 ,CDA 数据分析师一级持证人,互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下,数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14在 Python 编程学习与实践中,Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本,集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展,数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据,帮助企业做出科 ...
2025-04-11持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》(下称《蓝皮书》)正式发布。《蓝皮书》指出,当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中,数据已经成为企业决策和运营的核心。每一位客户,每一次交易,都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进,企业生产运作过程中的在线数据变得更加丰富;而互联网、新零售等C端应用的丰富多彩,产 ...
2025-04-094月7日,美国关税政策对全球金融市场的冲击仍在肆虐,周一亚市早盘,美股股指、原油期货、加密货币、贵金属等资产齐齐重挫,市场 ...
2025-04-08背景 3月26日,科技圈迎来一则重磅消息,苹果公司宣布向浙江大学捐赠 3000 万元人民币,用于支持编程教育。 这一举措并非偶然, ...
2025-04-07在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01