助力精细营销 电信行业大数据分析详解
移动互联网时代的来临,给人们的生活和娱乐方式带来了天翻地覆的变化,尤其是3G网络的出现,使得人们已经突破了时间和空间的限制,随时随地都可与他人交流沟通。这一全新事物的迅猛发展,给电信运营商带来许多商机,同时也出现了一些挑战。例如随着移动互联网的普及,用户移动数据流量迅猛增长,数据流量收入已经超过了点对点短信业务,成为拉动数据业务收入增长的主要驱动力。
如何应对大商机下的大挑战
尽管新的商业凸显,但挑战也应运而生。如在3G全业务市场竞争环境下,电信运营商急需根据竞争情况和用户需求,加快实现流量的实时计费和提醒,优化数据流量资费体系,降低资费水平差距,提高精细化营销能力,不断提高客户满意度并降低流量投诉等等。而这一切都催生了对流量大数据分析的需求,大数据依赖于成熟的技术方案,但从目前看来,运营商现有的系统架构并不能很好地满足这些需求。
从电信运营商的整体系统架构来看,其主要面临四个方面的挑战:
首先,传统电信运营商的系统建设分散,很难实现资源和应用共享。诸如经营分析、信令监测、综合网络分析、不良信息监测以及上网日志留存等大数据系统垂直建设较多。同时,很多省分公司的系统建设存在重复建设、应用重复开发、各类专家资源无法共享等情况。
其次,则是数据分散存储,标准化程度低。要对电信行业的流量大数据进行分析,就必须实现数据的集中存储,并有统一的标准。但从目前来看,各级电信运营商各大数据系统的数据模型并未统一,跨系统综合分析较为困难,在原有基础之上实现统一管理的难度较高。
再者,以OLTP为核心的传统架构难以满足新业务发展要求。电信运营商IT架构较为传统的做法是采用高端架构建设(类IOE),成本极高。并且,其仅具备良好的结构化数据处理能力,在飞速增长的非结构化、半结构化数据处理方面显得心有余而力不足。除此之外,传统的IT架构在高速增长的数据背景之下,很难满足其存储需求。
除了上述之外,目前电信运营商的大部分业务都只对内提供服务,未能有效地进行成规模商业利用。如何建立商业模式?如何解决用户隐私保护问题?这是各大电信运营商都需要深思的问题。
面对上述难题与挑战,并结合电信运营商现有业务,曙光存储提出了针对电信运营商大数据管理总体系统框架模型,其主要分为四层,即物理层、数据层、模型层和应用层。其中数据层是整个运营商大数据管理的核心部分,为上层应用提供数据支持。具体如下图所示:
那么其在实际环境中的表现是怎么的呢?下面我们来看看河南移动大数据平台的案例。
河南移动Hadoop平台案例分享
作为省级电信运营商,河南移动也需要满足前文所提到的优化资费体系、提高精细化营销、提升用户体验等需求。因此,为了推进全网数据流量的精细化经营,提升数据流量经营效益,河南移动与曙光公司合作进行了经分系统流量运营分析工程的建设。
该平台首先用于经分业务,基于平台来提高数据处理速度,为公司业务开展提供数据支撑。除此之外,该平台还用于处理每月账单。以现有传统Oracle数据库集群 + 小型机 + 高端FC磁盘阵列的模式,暂时能够保证每月1日按时提供用户账单,但以每年15%的数据增长量,用户估计一年后就难以满足需要,因此需要搭建一个处理能力更强,扩展性更高的平台来替代现有系统。
根据河南移动提出的需求,曙光公司依据在分布式计算领域多年的积累和研究提出了基于IB网的Hadoop分布式计算平台的方案。具体如下图所示:
在这一项目建设之中,其采用150台A620r-G双路服务器构建Hadoop平台,100台A840r-G四路服务器构建数据库处理平台,全系统以Infiniband网络互联,系统平台的IB网络设计中,所有的网络设备的连接均采用冗余设计。
这一设计方案的好处在于,每台服务器配置两个IB端口,IB端口通过冗余绑定方式分别与两台不同的汇聚交换机相连;此外通过高度冗余的三台二层交换机将所有汇聚交换机连接为统一的子网,最大限度的提高系统的冗余度和节点间通信带宽限制;两个IB网关设备底层各自与两台二层交换机相连,上层分别与一台路由器连接,上层的两台路由器通过VRRP技术实现IB网关的冗余连接,保证当任意一台网关或路由设备出现故障时,底层服务器均有链路连接到上层网络。
通过上述方案,该系统实现了Ethernet、Fibre channel、Infiniband三网融合,最大可能的满足Hadoop集群和数据库处理平台的高速通讯的需要。
这仅仅是曙光公司面向大数据处理与分析的一个较为典型的案例而已,实际上,针对电信行业的需求与挑战,曙光公司提出了各种有针对性的解决方案,下面我们就来一下在电信行业较为典型的话费详单查询系统解决方案和电信流量业务DPI系统解决方案。
迎难而上 曙光电信行业解决方案一览
话费详单查询系统解决方案
随着科技与生活水平的提高,手机已经成为现代人必不可少的通讯工具之一。面对上千万甚至上亿用户所产生的海量数据信息,如何在最短时间内精准定位数据,并返回正确的查询结果,这是电信运营商最为迫切需要解决的问题。
针对话费详单公众查询查询业务,系统设计上要满足海量历史数据的获取和存储,同时也要满足大并发量的查询和检索。针对海量详单查询系统的架构设计如下:
这一系统的特点在于,将查询数据和生产去耦合,生产数据中转之后再进行处理。再借助曙光XData大数据处理平台,实现数据的高效导入、查询及处理。面对海量数据的增长,这一大数据处理平台的线性扩展架构,能够面对数据量增加和查询量增加而轻松扩展。
电信流量业务DPI系统解决方案
移动智能终端的大肆兴起,使得数据业务迅猛增长,在带来收入的同时,也产生了诸多的难题。例如用户感知差,P2P滥用基站资源的有限带宽资源,高峰时段用户感知差,基站维护和增建,网络优化缺少依据。安全威胁多,黄色、暴力、反动等不良内容充斥网络 ,被黑客控制的僵尸网络主机。快速蔓延,安全隐患严重 ,DDoS攻击手段日新月异,攻击行为泛滥且难于防范。
同时,电信运营商的运维管理能力也遭遇巨大挑战,疲于应付各种事件和问题,各个系统无规则迭加部署,众多的离散系统,无法统一管理,网络的可用性和可维护性面临挑战。迫切需要统一的系统对网络应用监管,实现业务的保值到增值。针对这些难题,曙光构建了基于大数据理念的电信流量业务DPI系统解决方案,具体架构如下:
这一方案的特点在于,其采用高速设备直接从骨干网络抓取数据,而曙光XData大数据平台能够应对大规模流量做近实时的分析,并感知整个网络状态,优化网络运行。在应对海量数据处理、并发方面,大数据平台币传统的关系型数据平台更加适合DPI业务处理。
结语
电信行业当前面临的数据挑战和新业务运营的压力,曙光大数据解决方案能够充分发挥出数据的价值,在流量深度感知,新业务开发,传统业务增强方面,具有高性价比,易于管理和扩展等特性,效果显著,为运营商在移动互联网时代快速发展增加引擎动力。
数据分析咨询请扫描二维码
数据挖掘与分析在金融行业的使用 在当今快速发展的金融行业中,数据挖掘与分析的应用愈发重要,成为驱动行业变革和提升竞争力的 ...
2024-11-14学习数据挖掘需要掌握哪些技能 数据挖掘是一个不断发展的领域,它结合了统计学、计算机科学和领域专业知识,旨在从数据中提取有 ...
2024-11-14统计学作为一门基于数据的学科,其广泛的应用领域和多样的职业选择,使得毕业生拥有丰厚的就业前景。无论是在政府还是企业,统计 ...
2024-11-14在当今高速发展的技术环境下,企业正在面临前所未有的机遇和挑战。数字化转型已成为企业保持竞争力和应对市场变化的必由之路。要 ...
2024-11-13爬虫技术在数据分析中扮演着至关重要的角色,其主要作用体现在以下几个方面: 数据收集:爬虫能够自动化地从互联网上抓取大量数 ...
2024-11-13在数据分析中,数据可视化是一种将复杂数据转化为图表、图形或其他可视形式的技术,旨在通过直观的方式帮助人们理解数据的含义与 ...
2024-11-13在现代银行业中,数字化用户行为分析已成为优化产品和服务、提升客户体验和提高业务效率的重要工具。通过全面的数据采集、深入的 ...
2024-11-13在这个数据飞速增长的时代,企业若想在竞争中占据优势,必须充分利用数据分析优化其营销策略。数据不仅有助于理解市场趋势,还可 ...
2024-11-13数据分析行业的就业趋势显示出多个积极的发展方向。随着大数据和人工智能技术的不断进步,数据分析在各行各业中的应用变得越来越 ...
2024-11-13市场数据分析是一门涉及多种技能和工具的学科,对企业在竞争激烈的市场中保持竞争力至关重要。通过数据分析,企业不仅可以了解当 ...
2024-11-13数据分析与数据挖掘是数据科学领域中两个关键的组成部分,它们各有独特的目标、方法和应用场景。尽管它们经常在实际应用中结合使 ...
2024-11-13在如今这个数据驱动的时代,数据分析能力已经成为许多行业的重要技能。无论是为工作需要,还是为了职业转型,掌握数据分析都能够 ...
2024-11-13在如今这个数据驱动的时代,数据分析能力已经成为许多行业的重要技能。无论是为工作需要,还是为了职业转型,掌握数据分析都能够 ...
2024-11-13作为一名业务分析师,你肩负着将业务需求转化为技术解决方案的重任。面试这一角色时,涉及的问题多种多样,涵盖技术技能、分析能 ...
2024-11-13自学数据分析可能看似一项艰巨的任务,尤其在开始时。但是,通过一些策略和方法,你可以系统地学习和掌握数据分析的相关知识和技 ...
2024-11-10Excel是数据分析领域中的一款强大工具,它凭借其灵活的功能和易用的界面,成为了许多数据分析师和从业者的首选。无论是简单的数 ...
2024-11-10在快速发展的商业环境中,数据分析能力已经成为许多行业的核心竞争力。无论是初学者还是经验丰富的专家,搭建一个有效的数据分析 ...
2024-11-10在如今的数据驱动世界,数据分析师在各行各业中扮演着至关重要的角色。随着企业越来越依赖数据决策,数据分析职位的需求不断增加 ...
2024-11-10在信息爆炸的时代,做出正确的数据分析方法选择变得尤为重要。这不仅影响到数据分析的准确性,更关系到最终的决策效果。本文将详 ...
2024-11-10在当今竞争激烈的市场环境中,准确地把握市场动态和消费者需求是企业成功的关键。数据分析以其科学严谨的方法论,成为市场研究的 ...
2024-11-09