作者 | 大数据
来源 | hzdashuju
微软在联机事务处理(OLTP)云基准测试中实现每节点虚拟机数量提升36%,硬件成本下降30%;SAP HANA让系统重启从20分钟缩短至90秒,性能提升13倍之多,实现每TB数据库容量成本节约39%;百度在为Feed流服务提供高性能数据存取支撑时实现TCO的有效降低;亚信在其电信业务支持系统中在成本相当的情况下,实现查询响应下降35%……
为什么在数据爆炸性增长的今天,微软、SAP、百度、亚信们能够实现数据分析性能的提升以及总体拥有成本的大幅下降?
这一切还得先从数据分析的难题说起。
01 数据分析的难题在哪里
如今,我们身处一个数据洪流的时代,并且数据增长的脚步正在加快。过去,因为移动互联网、社交网络的快速发展,使得基于人的大量数据因此而产生;现在,随着5G、物联网的崛起,越来越多的设备开始接入到网络之中,并且开始源源不断的产生数据。
根据Strategy Analytics的《全球联网和物联网设备预测更新》报告显示,2018年全球联网设备数量达到220亿,到2025年将会有386亿台联网设备。
身处数字时代,面对海量数据如何挖掘其中的价值、洞悉趋势变化,就成为几乎所有企业/组织所期待的。但一个残酷的事实却是,大部分的企业/组织还只能分析极为一小部分的数据。就如IDC Global DataSPhere报告指出,全球只有不到2%的数据经过了分析。数据分析技术还远未到普及的程度,数据处理与分析的效率则远远落后于数据产生的数据。
那么,当前数据分析主要有哪些挑战?
首先是数据分析的数据量正在越来越庞大,海量数据的产生将走向日常化。以自动驾驶为例,一辆自动驾驶汽车一天收集的样本就高达上百万张高清图谱,其数据量高达3TB,并且需要不断对这些海量数据进行分析与学习,进而会产生出更多的数据。
未来,随着医疗、制造、航天、能源、交通等行业数字化程度越来越高,数据分析所面临的压力也会持续增大。
其次,数据分析对于实时性要求越来越高。虽然数据量增长迅速,但是用户对于数据分析实时性的要求一点都没有下降,甚至希望数据分析能够越快越好。比如运营商的数据,种类多、体量大,一种话单每天的数据量就达到上百亿条,如此大的实时数据流,也让业务对数据分析处理的实时性提出了极高要求。
最后则是数据分析对于成本的挑战,由于数据分析需要处理的数据越来越多。实时性要求越来越快,使得数据分析所需要的硬件资源、人员投入也更多,随之而来的就是整体拥有成本(TCO)的上升。
面对数据分析这些典型的挑战,到底使用哪些技术,才可以让数据分析和价值挖掘带来更快的速度和更加合理的成本?大部分人认为需要更快、核心更多、架构更有的CPU,但是CPU速度越来越快的今天,存储和网络传输的性能其实是目前最大的瓶颈所在,亟需通过新技术补上。
如何破解数据分析这些难题?英特尔傲腾数据中心级持久内存被认为是一剂良方。这也是微软、SAP、百度、亚信们能够从容应对数据分析的秘诀所在。
02 傲腾补上数据分析的短板
傲腾作为一种新的介质,为何可以在数据处理中发挥至关重要的作用?
这还得从计算机体系结构说起,由于目前计算依然是冯诺依曼体系结构,是计算与存储分离的架构,这就决定了越靠近CPU,数据处理速度就越快,但是容量也就越小,这就直接导致了在CPU性能越来越快的今天,CPU与存储介质之间的性能鸿沟越来越大。
如果为了数据分析的性能,而不断的增加内存容量,则会大幅提升整体性能成本,出现断电还会出现数据丢失的情况;如果依靠固态盘,则又无法弥补性能鸿沟。
因此,英特尔傲腾数据中心级持久内存孕育而生。英特尔傲腾数据中心持久内存与内存不同之处在于,它可以以更加经济的成本来扩展出更高的容量,并且具备数据非易失性,还具备以内存相近的数据读写和延时,可以完美填补CPU与存储介质之间的性能鸿沟。
英特尔傲腾数据中心级持久内存具备低成本下大容量的特性,单一模块可提供128GB/256GB/512GB三种选择,可以与传统DDR4 内存一种安装在基于第二代至强可扩展处理器的平台上,可以以更经济的价格在八路系统上实现高达24TB的容量,从而帮助用户在更加靠近CPU的位置加载远超之前规模的数据集,完美适合包括内存数据库以及其他对大容量有需求的数据分析应用,让更多数据的处理和分析走向实时化。
不仅如此,英特尔傲腾数据中心级持久内存还在产品模式上充分考虑用户的需求,提供了三种模式供用户灵活使用。
英特尔为傲腾数据中心级持久内存设计了第一种工作模式是内存模式。在这种模式下,它就是单纯的价格更便宜、量又足,但断电后也不会保存数据的内存,用作内存的容量扩展搭档。处理器的内存控制器会将DRAM内存视为缓存,而将英特尔傲腾数据中心级持久内存作为可寻址的主内存。
云计算最关键的技术--虚拟化及容器技术可以最快的速度直接从这种模式中受益,因为它可以借此以更低的成本在单个物理服务器上提升虚拟机或容器的密度,或为虚拟机及容器提供更大的内存容量,且无需重新编写软件。对于数据持久性没有要求的内存数据库,也通用能用这一模式快速实现在内存上的数据规模扩展。
比如,在百度Feed流服务中,其核心模块Feed-Cube全部部署在英特尔傲腾数据中心级持久内存的内存模式上,在大并发访问压力下的性能表现和资源消耗均符合预期,完美实现了Feed留服务高性能 数据存取的支撑,大幅降了总体拥有成本。
微软的虚拟机服务也在这种模式下受益匪浅。微软Windows Server 2019/Hyper-V 多租户虚拟机的联机事务处理(OLTP)云基准测试中,使用内存和英特尔傲腾数据中心级持久内存组合,比仅使用内存平台相比,内存容量大幅提升33%,每节点虚拟机数量提升多达36%,成本则下降30%。
如果用户对于数据持久性有要求,则英特尔傲腾数据中心持久内存可以提供第二种工作模式:App Direct模式。这种模式下,操作系统会将内存和英特尔傲腾数据中心级持久内存视为两个独立的内存池,使得英特尔傲腾数据中心级持久内存可以像内存一样寻址,并像存储设备一样具备数据持久性。
这种持久性让其在系统重启期间也能保留此前加载的数据,从而能增加系统的业务弹性,缩短重启时间,提升业务恢复的速度。只不过这种模式需要事先对运行在其上的软件进行修改和调优。
SAP在这种模式下实现了性能的大幅提升。SAP测试了其HANA在3TB DRAM内存平台,以及在3TB DRAM内存+6TB英特尔傲腾数据中心级持久内存平台上的性能表现。结果表明,后者可以让系统重启速度从20分钟缩短到90秒,实现13倍的提升,从而尽可能减少停机时间,并使每TB数据库容量的成本节约39%。
如果用户既对内存模式有需求,又有工作负载需要运行在App Direnct模式下,那么英特尔傲腾数据中心级持久内存就可激活其第三种工作模式--双重模式,这种模式可通过预配置的方式,部分处于内存模式,其余部分则处于App Direct模式,借以兼顾用户的双重需求。
03 英特尔精选方案让数据分析如虎添翼
2019年4月,英特尔推出第二代至强可扩展平台,包括了第二代至强可扩展处理器、傲腾数据中心级持久内存等一系列“以数据为中心”的产品技术组合。在这些产品技术的基础上,英特尔还推出了英特尔精选方案,可以为包括数据分析在内的各种工作负载进行优化,进一步提升应用的性能表现。
为了更好地让用户能够在熟悉的软件上释放第二代英特尔至强可扩展处理器及英特尔傲腾数据中心级持久内存的潜力,英特尔在精选方面层面携手合作伙伴,针对各种以数据为中心的工作负载,加速开发经过全方位优化和验证,使之更易于部署和使用,从而推进用户数据处理和分析平台的创新升级,进而帮助用户驾驭数据洪流,打造实时洞察,挖掘数据价值。
总体而言,英特尔针对数据分析当前面临的挑战,可以从技术、产品、解决方案等层面为用户提供全方位的办法,这也是像微软、百度、SAP、亚信们青睐英特尔的原因。未来,随着更多行业数字化程度替身个,数据分析将逐步走向普及,将会有越来越多的用户会选择英特尔傲腾数据中心级持久内存以及英特尔精选解决方案。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
大咖简介: 刘凯,CDA大咖汇特邀讲师,DAMA中国分会理事,香港金管局特聘数据管理专家,拥有丰富的行业经验。本文将从数据要素 ...
2025-04-22CDA持证人简介 刘伟,美国 NAU 大学计算机信息技术硕士, CDA数据分析师三级持证人,现任职于江苏宝应农商银行数据治理岗。 学 ...
2025-04-21持证人简介:贺渲雯 ,CDA 数据分析师一级持证人,互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下,数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14在 Python 编程学习与实践中,Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本,集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展,数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据,帮助企业做出科 ...
2025-04-11持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》(下称《蓝皮书》)正式发布。《蓝皮书》指出,当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中,数据已经成为企业决策和运营的核心。每一位客户,每一次交易,都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进,企业生产运作过程中的在线数据变得更加丰富;而互联网、新零售等C端应用的丰富多彩,产 ...
2025-04-094月7日,美国关税政策对全球金融市场的冲击仍在肆虐,周一亚市早盘,美股股指、原油期货、加密货币、贵金属等资产齐齐重挫,市场 ...
2025-04-08背景 3月26日,科技圈迎来一则重磅消息,苹果公司宣布向浙江大学捐赠 3000 万元人民币,用于支持编程教育。 这一举措并非偶然, ...
2025-04-07在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31