大数据之路不乏荆棘密布
随着生活越来越丰富,大数据也变得越来越难以处理;同时因为数据体积增大、数据类型繁多,技术人员在分析过程中不得不克服大量的挑战和障碍。本文将讨论为什么数据会变得越来越复杂及难以管理,以及在我们分析、整合及存储这些数据时又会面临哪些挑战及障碍,当然还有大数据又会给未来带来什么样的机遇。
大数据确实很大并且很复杂
大数据究竟有多大
举个简单的例子,去参加一个小朋友的生日派对。在出发时,你会发送一个tweet说明一下,数据随之产生。车在半路上,停车加油,付款时果断产生了数据。在超市购买生日卡片,扫描购物卡、结账同样产生了数据。在生日派对中,拍个照片,录段视频,当你在Facebook、Flickr以及Youtube上发布时同样产生了数据。在派对过程中发送的消息,同样产生了数据。贯穿整个过程,你的手机因不停的发送GPS位置而产生数据,你的车因为不停的追踪燃耗而产生数据。由此可见,我们在日常行为活动中产生了大量的数据。
通过IBM了解到,我们每天大约建立2.5 quintillion(1 000
0003)字节的数据,而在过去两年建立了总数据量的90%,同时数据体积以指数的方式增加。随着公司数据捕获能力的增强、多媒体变得流行、社交媒体会话的增加以及使用互联网做更多的事情,数据的体积也不可思议的速度激增。
大数据究竟有多复杂
大数据是复杂的。之所以复杂因为数据的多样性,其中包括结构化数据和非结构化数据。大数据的复杂还在于交付和使用的速度,比如“实时”。并且,大数据的复杂还在于数据的体积。以前家用存储说的是MB和GB,现在讲的已经是TB了,而企业早已跨入PB单元。
大数据市场
大数据增加了信息管理业务的需求,比如Software AG、Oracle
Corporation、IBM、Microsoft、SAP、EMC和HP已经支付150亿美元给专门从事数据管理和分析的软件公司。在2010年,这个产业自身的价值已经超过1000亿美元,并以每年10%的速度增长着——比整个软件业务快2倍。
发达经济体让大数据密集型技术得到更广泛的使用。世界范围内,有46亿的移动终端在产生数据,有10到20亿人在访问互联网。在1990到2005期间,超过10亿人进入了中产阶级,更多富起来的人同样导致了信息的增长。在1986年,世界电信网络有效的信息交互能力为281
PB,1993年为471 PB,2000年为2.2 EB,2007年为65EB,而在2013年,预计的通信总量为667 EB。
大数据分析
大数据需求在可容忍时间内对大体积数据进行处理特殊的技术,大数据分析实践者通常不喜欢共享储存,更倾向于直接连接存储(Direct Attached Storage,DAS),在并行的内部处理节点中混合使用了高速SSD与高容量SATA磁盘。而当下的共享储存架构SAN及NAS已被扣上缓慢、复杂及昂贵的头衔,该类型架构完全不符合现下大数据技术在性能、商用服务器及低成本上的标准。
实时及近实时的信息交付已成为大数据分析的界定特征,尽可能的避免延时同样成为大数据技术的首要挑战之一。数据更希望被存储在内存中,而不是其他终端FC SAN连接的机械硬盘上。同样在大数据情景下,SAN模式下对分析应用程序的要求上比其它类型存储要高得多。
当然,共享存储在大数据分析情景下也有着自己的优势,但是自2011年以后,已不为绝大多数大数据实践者所采纳。
大数据挑战及障碍
鉴于复杂性,大数据处理面临着一系列挑战:
1. 在类似文本或视频的非结构化数据上,我们要如何去理解及使用。
2. 我们该如何在数据产生时捕获最重要的部分,并实时的将它交付给正确的人。
3. 鉴于当下的数据体积和计算能力,该如何储存、分析及理解这些数据。
4. 缺乏人才
当下讨论最多的问题就是缺乏大数据人才,值得庆幸的是许多教育机构都针对此开设了相应的学术课程。而我们也看到一些更好的现象,企业和高校合作共同对抗这个人才稀缺问题,这也是最有效的人才培养途径。
5. 其它一些固有的挑战,隐私、访问安全以及部署
通过EIU(Economist Intelligence Unit)与Lyris(数字化营销软件提供商)最新的报告“Mind the Digital Marketing Gap”了解到,37%的营销主管发现大数据解析到决策制定的转换上存在着非常大的挑战,而45%认为他们不具备有效的大数据分析能力。
24%的营销人员表示他们一直在使用大数据技术来发现见解并制定市场策略,尽管其中大多数人只是偶尔使用数据做可行性分析及个性化客户通信。
其它一些障碍还包括缺乏资金(43%的受访者)、过于强调数字工具及社交媒体、渠道的增多以及人力资源的匮乏(33%左右的受访者)。
大数据机遇
尽管当下大数据技术的应用上还存在许多的挑战,但是其中存在的机遇却远超过这些挑战。大数据成为创新、竞争及生产力提升的绝对利器,我们可以使用大数据回答以前无法解决的问题。我们可以使用大数据获得真知和知识,确定趋势及提高生产力,取得竞争优势并为世界经济创造更多的价值。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11随着数字化转型的加速,企业积累了海量数据,如何从这些数据中挖掘有价值的信息,成为企业提升竞争力的关键。CDA认证考试体系应 ...
2025-03-10