大数据引发数据库行业变革
数据库市场成形于上个世纪80年代。近年来随着云计算、大数据应用的兴起,面对爆发式增长的海量数据,传统数据库已难以应对;面对以视频、图片、文字等非结构化数据为主的大数据,传统商业智能系统和数据分析软件缺少有效地分析工具和方法。大数据引发数据库行业变革,国产数据库迎来三十年不遇的战略机遇期。
在激烈的市场竞争中,国产数据库厂商逐渐壮大起来,目前已经形成了以南大通用为首的国产数据库四大品牌。在新型数据库领域,国产技术已经与国外品牌站在了同一起跑线上。
2013年4月,相关媒体发布《中国数据库市场发展趋势报告》。通过深入分析大数据对于数据库市场的冲击,剖析OldSQL、NewSQL和NoSQL三类数据库技术的优缺点,梳理了中国数据库市场的发展特点、发展趋势,发展机遇、市场竞争环境等,从而为国产数据库厂商应对大数据时代的战略发展规划提供了重要的参考和建议。
一、大数据时代企业级数据处理需求
大数据可以分为行业大数据和互联网大数据两个类型,其中行业大数据又可分为四类:经营类、管理类、监管类和专业类。从占比上看,目前我们所说的大数据,有80%是来源于互联网大数据;从体量上看,行业大数据的体量与互联网大数据的体量相当,两者基本位于同一数量级上;从价值上看,行业大数据的价值密度高于互联网数据。
在未来3到5年,行业应用数据分析将成为大数据应用主战场。真正能够利用好大数据、并将其价值转化成生产力的企业必将具备强劲有力的竞争优势,从而成为行业的领导者。目前来看,政府、金融、电信、零售等将是最先使用大数据工具的行业。
表 1 大数据时代企业级数据处理需求
项目 业务特征 应用趋势
政府 公安 公安机关部门、警种繁多,造就了数据的海量化和类型的多样化。 利用对大数据的分析、挖掘,实现对人像,指纹比对,卡口等数据融合处理,从而为领导指挥决策,各情报分析提供支撑。
信息
安全 宏观上的网络安全态势感知和微观上的发现安全威胁,需要对海量日志信息进行定期的关系分析。 通过自动化分析处理与深度挖掘,将之前很多时候亡羊补牢式的事中、事后处理,转向事前自动评估预测、应急处理,让安全防护主动起来。
气象 数据包括温度和气压读数、风速、图像以及来自卫星、气球、船只和飞机的观测结果,而这些数据将以每天TB级的量级增长。 通过合理的梳理数据流,可提供更有价值、更加及时的气象信息,同时更好、更精确和更具预测性地进行环境预测。
交通
管理 系统性,数据量大;复杂性,涉及多方面数据;动态性,信息实时处理要求高。 对各种交通数据进行大量采集和系统分析,实现对道路和交通状况的全天候和全天时感知。
税务 税收信息包含种类繁多,人员涉及广泛。 通过税收数据的集中处理,真实、实时、全面地掌握税收工作各项数据和整体情况。
社保
管理 社保“一卡通”将产生的海量数据信息,并且呈现出几何式增长态势。 对于海量信息进行合理分类、科学分析、有效预测。
电信行业 数据量激增,保存时间长;受众群体大,市场饱和度高。 数据流量暴增,向智能化管道转型;规避同质化竞争,寻找差异化经营“蓝海”。
金融行业 设备先进,功能齐全;自动化程度高,安全保密性强。 金融智能决策、金融服务创新。
零售行业 零售行业需要及时响应客户需求,实现精准营销。 个性化精准营销要求零售企业对消费者消费行为、天气等进行大数据分析,结合客户的购物习惯,提供一致的个性化购物体验,以提高客户忠诚度。
二、大数据引发数据库行业技术变革
大数据引发数据库行业架构创新。美国著名数据库科学家迈克尔•斯通布雷克(Michael Stonebraker)指出,行业技术的发展趋势是由一种架构支持所有应用转变为用多种架构支持多类应用。在大数据和云计算的背景下,这一理论导致了数据库市场的大裂变:数据库市场分化为三大阵营,包括OldSQL(传统数据库)、NewSQL(新型数据库)和NoSQL(非关系型数据库)。为了提升性能,NewSQL阵营普遍采用了列存储技术;NoSQL阵营普遍采用了KV技术。三个阵营都不同程度地采用了分布式计算、分布式文件系统、内存计算技术,并积极地使用新的硬件技术,如大内存、Flash、SSD和高速网络连接(万兆交换机和Infiniband)等。
三者在数据管理能力、数据的价值密度以数据处理的实时性等方面各有所长,从而势必造成在未来的数据库软件市场上出现结构混搭、多种技术并存,并且和谐相处的局面。然而,由于受数据管理能力所限,伴随数据量逐年增加,OldSQL生命活力受到极大影响,未来将呈现不断弱化的趋势;在NoSQL领域,虽然其在数据管理能力方面具备先天优势,但是因为NoSQL处理的大多为互联网数据,其价值密度较低,因此其市场活力呈现较为稳定的态势;在NewSQL领域,其数据管理能力高于OldSQL,又面向数据价值密度较高的行业大数据,促使其具备较高的市场活力,虽然其进入市场时间较晚,但是未来其市场活力必将超越OldSQL、NoSQL,成为在数据处理技术领域新的“王者”。
面对大数据,传统的行式存储数据库已经尽显颓态,数据库软件巨头也通过加强研发、收购等方式加强自己在大数据领域的影响力,纷纷推出自己的面向大数据库的新型数据库解决方案。而在新型数据库中,以列式存储为主的数据库如Sybase IQ,GBase 8a,Vertica等表现优异,成为NewSQL的典型代表。
三、应对大数据,国产数据库迎来新机遇
由于国家信息化建设的需求,电子政务正处于深化应用阶段,对数据的开发利用将成为新的方向,这样就给国产数据库发展带来非常好的市场机会。特别是由于政府、能源等关键行业比较注重信息安全保障,因此国产数据库软件获得政府青睐。
经过十多年的刻苦发展,国产数据库在技术研发方面取得了长足进步,产品日趋成熟。与国外数据库软件相比,国产数据库企业借助安全、本土化优势已在政府和行业领域击败国外竞争对手。作为国产数据库代表,南大通用以新型数据库研发作为其战略核心,成为第一家支持列式存储和MPP架构的国产数据库厂商。其GBASE系列数据库已经成功应用到电信、金融、政务等多个行业和领域。在新型数据库领域已经具备与世界主流厂商在大数据分析类应用中直接竞争的能力,跃升成为国内新型数据库领域的前三强厂商。
大数据给国产数据库厂商带来了“天时、地利、人和”三者同时齐备的三十年不遇的战略机遇期。国内数据库厂商应当充分认识到未来三年,将是决定国产数据库在大数据领域成败的关键时期。如果国内企业能抓住这一机遇,在技术、商业模式上主动突破,形成自己的优势,在某些行业率先开辟出应用示范案例,那么在大数据时代,国产数据库厂商就能有效应对国际大厂商的强势压力和竞争,在市场上取得突破性的发展。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据分析的江湖里,有两个阵营总是争论不休。一派信奉“大即是美”,认为数据越多越好;另一派坚守“小而精”,力挺质量胜于规 ...
2025-01-02数据分析是一个复杂且多维度的过程,从数据收集到分析结果应用,每一步都是对信息的提炼与升华。可视化分析结果,以图表的形式展 ...
2025-01-02在当今的数字化时代,数据分析师扮演着一个至关重要的角色。他们如同现代企业的“解密专家”,通过解析数据为企业提供决策支持。 ...
2025-01-02数据分析报告至关重要 一份高质量的数据分析报告不仅能够揭示数据背后的真相,还能为企业决策者提供有价值的洞察和建议。 年薪 ...
2024-12-31数据分析,听起来好像是技术大咖的专属技能,但其实是一项人人都能学会的职场硬核能力!今天,我们来聊聊数据分析的核心流程,拆 ...
2024-12-31提到数据分析,你脑海里可能会浮现出一群“数字控”抱着电脑,在海量数据里疯狂敲代码的画面。但事实是,数据分析并没有你想象的 ...
2024-12-31关于数据分析师是否会成为失业高危职业,近年来的讨论层出不穷。在这个快速变化的时代,技术进步让人既兴奋又不安。今天,我们从 ...
2024-12-30数据分析师在现代企业中扮演着关键角色,他们的工作内容不仅丰富多样,还对企业的决策和发展起着重要的作用。正如一个经验丰富的 ...
2024-12-29数据分析师的能力要求 在当今的数据主导时代,数据分析师的角色变得尤为重要。他们不仅需要具备深厚的技术背景,还需要拥有业务 ...
2024-12-29随着技术的飞速发展与行业的持续变革,不少人心中都存有疑问:到了 2025 年,数据分析师还有前途吗?给你分享一篇阿里P8大佬最近 ...
2024-12-29如何构建数据分析整体框架? 要让数据分析发挥其最大效能,建立一个清晰、完善的整体框架至关重要。今天,就让我们一同深入探讨 ...
2024-12-27AI来了,数分人也可以很省力,今天给大家介绍7个AI+数据分析工具,建议收藏。 01酷表 EXCEL 网址:https://chatexcel.com/ 这是 ...
2024-12-26一个好的数据分析模型不仅能使分析具备条理性和逻辑性,而且还更具备结构化和体系化,并保证分析结果的有效性和准确性。好的数据 ...
2024-12-26当下,AI 的发展堪称狂飙猛进。从 ChatGPT 横空出世到各种大语言模型(LLM)接连上线,似乎每个人的朋友圈都在讨论 AI 会不会“ ...
2024-12-26数据分析师这个职业已经成为了职场中的“香饽饽”,无论是互联网公司还是传统行业,都离不开数据支持。想成为一名优秀的数据分析 ...
2024-12-26在数据驱动决策成为商业常态的今天,数据分析师这一职业正迎来前所未有的机遇与挑战。很多希望转行或初入职场的人士不禁询问:数 ...
2024-12-25数据分析师,这一近年来炙手可热的职业,吸引了大量求职者的注意。凭借在大数据时代中的关键作用,数据分析师不仅需要具备处理数 ...
2024-12-25在当今数字化变革的浪潮中,数据分析师这一职业正迎来前所未有的发展机遇。回想我自己初入数据分析行业时,那种既兴奋又略显谨慎 ...
2024-12-25在当今信息爆炸的时代,数据已经像空气一样无处不在,而数据分析则是解锁这些信息宝藏的钥匙。数据分析的过程就像是一次探险,从 ...
2024-12-25在职场上,拍脑袋做决策的时代早已过去。数据分析正在成为每个职场人的核心竞争力,不仅能帮你找到问题,还能提供解决方案,提升 ...
2024-12-24