大数据与大规模网络安全感知技术初探
快速发展的互联网技术不断地改变人们的生活方式,然而,多层面的安全威胁和安全风险也不断出现。对于一个大型网络,在网络安全层面,除了访问控制、入侵检测、身份识别等基础技术手段,需要安全运维和管理人员能够及时感知网络中的异常事件与整体安全态势。对于安全运维人员来说,如何从成千上万的安全事件和日志中找到最有价值、最需要处理和解决的安全问题,从而保障网络的安全状态,是他们最关心也是最需要解决的问题。与此同时,对于安全管理者和高层管理者而言,如何描述当前网络安全的整体状况,如何预测和判断风险发展的趋势,如何指导下一步安全建设与规划,则是一道持久的难题。
随着大数据技术的成熟、应用与推广,网络安全态势感知技术有了新的发展方向,大数据技术特有的海量存储、并行计算、高效查询等特点,为大规模网络安全态势感知的关键技术创造了突破的机遇。本文将对大规模网络环境下的安全态势感知、大数据技术在安全感知方面的促进做一些探讨。
对于一个大规模的网络而言,面临的风险也是巨大的,可分为广度风险和深度风险。从广度上讲,以中国移动的CMNET网络为例,所辖IP地址超过3000万个,提供对外服务的网站数千个,规模大、节点类型丰富多样,伴随其中的安全问题随网络节点数量的增加呈指数级上升。从深度上讲,下一代移动互联网安全威胁主要表现在传统攻击依然存在且手段多样、APT(高级持续性威胁)攻击逐渐增多且造成的损失不断增大。而攻击者的工具和手段呈现平台化、集成化和自动化的特点,具有更强的隐蔽性、更长的攻击与潜伏时间、更加明确和特定的攻击目标。以上造成了下一代安全威胁具有更强的杀伤能力与逃避能力。结合广度风险与深度风险来看,大规模网络所引发的安全保障的复杂度激增,主要面临的问题包括:安全数据量巨大;安全事件被割裂,从而难以感知;安全的整体状况无法描述。
网络安全感知能力具体可分为资产感知、脆弱性感知、安全事件感知和异常行为感知4个方面。资产感知是指自动化快速发现和收集大规模网络资产的分布情况、更新情况、属性等信息;脆弱性感知则包括3个层面的脆弱性感知能力:不可见、可见、可利用;安全事件感知是指能够确定安全事件发生的时间、地点、人物、起因、经过和结果;异常行为感知是指通过异常行为判定风险,以弥补对不可见脆弱性、未知安全事件发现的不足,主要面向的是感知未知的攻击。
一个相对完整的网络安全感知的能力模型与架构设计如下图所示:
随着Hadoop、NoSQL等技术的兴起,BigData大数据的应用逐渐增多和成熟,而大数据自身拥有Velocity快速处理、Volume大数据量存储、Variety支持多类数据格式三大特性。大数据的这些天生特性,恰巧可以用于大规模网络的安全感知。首先,多类数据格式可以使网络安全感知获取更多类型的日志数据,包括网络与安全设备的日志、网络运行情况信息、业务与应用的日志记录等;其次,大数据量存储与快速处理为高速网络流量的深度安全分析提供了技术支持,可以为高智能模型算法提供计算资源;最后,在异常行为的识别过程中,核心是对正常业务行为与异常攻击行为之间的未识别行为进行离群度分析,大数据使得在分析过程中采用更小的匹配颗粒与更长的匹配时间成为可能。
中国移动自2010年起在云计算和大数据方面就开始了积极探索。中国移动的“大云”系统目前已实现了分布式海量数据仓库、分布式计算框架、云存储系统、弹性计算系统、并行数据挖掘工具等关键功能。在“大云”系统的基础上,中国移动的网络安全感知也具备了一定的技术积累,进行了大规模网络安全感知和防御体系的技术研究,在利用云平台进行脆弱性发现方面的智能型任务调度算法、主机和网络异常行为发现模式等关键技术上均有突破,在安全运维中取得了一些显著的效果。
大数据的出现,扩展了计算和存储资源,提供了基础平台和大数据量处理的技术支撑,为安全态势的分析、预测创造了无限可能。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
持证人简介:贺渲雯 ,CDA 数据分析师一级持证人,互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下,数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14在 Python 编程学习与实践中,Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本,集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展,数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据,帮助企业做出科 ...
2025-04-11持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》(下称《蓝皮书》)正式发布。《蓝皮书》指出,当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中,数据已经成为企业决策和运营的核心。每一位客户,每一次交易,都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进,企业生产运作过程中的在线数据变得更加丰富;而互联网、新零售等C端应用的丰富多彩,产 ...
2025-04-094月7日,美国关税政策对全球金融市场的冲击仍在肆虐,周一亚市早盘,美股股指、原油期货、加密货币、贵金属等资产齐齐重挫,市场 ...
2025-04-08背景 3月26日,科技圈迎来一则重磅消息,苹果公司宣布向浙江大学捐赠 3000 万元人民币,用于支持编程教育。 这一举措并非偶然, ...
2025-04-07在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27