大数据如何改变世界?不尽数据滚滚来
世纪之初,全球化概念大热,弗里德曼告诉人们,世界是平的。大数据来袭的今天,人们越来越感觉,世界是透明的。大数据让社会生活更便捷的同时,也把人们的生活痕迹印刻在互联网上。挑战与机遇并存,价值与风险同在,如何趋利避害用好这把双刃剑,将考验人类智慧。
凡有井水处,皆谈大数据。关于大数据,先说个段子。
必胜客店的电话铃响了,客服人员拿起电话,通过会员卡号,顾客的住址电话一目了然。客服婉拒了海鲜披萨的点餐要求,因为顾客的胆固醇偏高。客服接着又推荐了低脂健康食谱,因为顾客上周刚从图书馆借走一本书《低脂健康食谱》。
接下来的对话更有精彩,容我录下来——
顾客:可以刷卡吗?
客服:对不起,您的信用卡已经刷爆了,您现在还欠银行4807元,而且还不包括房贷利息。
顾客:那我先去附近的提款机提款。
客服:根据记录,您已经超过今日提款限额。
顾客:算了,你们直接把披萨送到我家吧,家里有现金。你们多久送到?
客服:大约30分钟。如果您不想等,可以自己骑车来。
顾客:为什么?
客服:根据全球定位系统的车辆行驶自动跟踪系统记录,您有一辆摩托车正行驶在我们店附近。
顾客当即晕倒。
希望读者不要晕倒。没错,这就是街谈巷议的大数据。在这个愈来愈讲究用数字说话的时代,大数据的概念始终如盛夏般火热。即使在冬季,仍会有“春运大数据”、“双12消费大数据”这样吸引眼睛的消息跳跃在媒体头条。
什么是大数据
大数据这个IT行业术语,通俗点来说,就是巨量数据集合。
再具体一点?那就是麦肯锡全球研究所给出的定义:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
大数据之前,人们喜欢抽样调查,随机抽取的捷径。有了大数据,就可以采用所有数据进行分析处理。
比如说,一张小小公交卡。北京公交一卡通每天产生4千万条刷卡记录,分析这些刷卡记录,可以清晰了解北京市民的出行规律,以有效改善城市交通。
再举个商铺选址的例子,对大数据概念的理解会更加一目了然。
南京路上的先施公司,是老上海永远无法抹去的风景。1914年,侨商黄焕南去上海选址时,南京路还比较冷清,他派人到各路口,用数豆子的办法测定人流量,最后决定在南京路北兴建先施公司。
黄焕南为新店选址的办法,当时堪称机智。后来,人们通过统计网站拉数据的方法,费时费力费钱,还未必十分精准。而且,如果选址的范围扩展到全国城市,个人和小团队仅凭商业直觉和有限的知识是远远不够的,这时候,就需要大数据登场了,利用商业地理数据进行商业选址及消费者地理细分让难题迎刃而解。
打开手机地图,我们在手机APP上的位置信息最后都进入了各大公司的后台,人流量、人流方向、人流随时间变化,通过实时路况或热力图,一目了然,这些数据,正好可以用来做新店选址。
除了地图,还有强大的搜索引擎。当将搜索+LBS技术打通后,倘若地处城乡结合部的上海闵行区频繁出现“火锅”关键词搜索后,海底捞、小天鹅们可以适时考虑开家分店了。
透过选址一件事,可以看出,大数据技术的战略意义不仅在于掌握庞大的数据信息,还在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
大数据的应用
“广西的人最爱点赞,河北人最爱看段子,最关心时政的是山西人,最关注八卦的是天津。”
这组有趣的数据,是今日头条根据用户习惯得出的。上线刚4年的今日头条,恰是一款基于数据化挖掘的个性化信息推荐引擎,目前已经累计用户5.5亿,日活跃用户超过了6000万,成为增长最快的资讯类客户端。
过去是依靠人总结知识,现在可以通过系统、学习用户的行为特征来储存智慧。当你拿着手机每看一篇文章,你的每一次点击和搜索,各种行为,都会被记录下来产生数据,形成推送——这是今日头条带来的启示。
还有比今日头条更精准的算法,发生在美国明尼苏达州。
在明州,一家塔吉特门店被客户投诉,原因是一位中年男子指控塔吉特将婴儿产品优惠券寄给他的女儿,一个高中生。但没多久男子来电道歉,因为女儿经他逼问后坦承自己真的怀孕了。塔吉特百货靠着分析用户所有的购物数据,然后通过相关关系分析得出事情的真实状况。
说到购物数据分析,太平洋西岸的义乌商人也毫不逊色。11月9日,美国总统选举结果揭晓,共和党总统候选人唐纳德·特朗普赢得总统选举,将成为美国第四十五任总统。这个多少有些出人意料的结果,其实精明的义乌人早就预测到了。
原来,美国大选大量竞选的旗帜都是浙江义乌制造的。川普和希拉里两种旗帜,谁的订单量大,说明谁的支持度高。旗帜工厂的小老板,根据双方竞选旗订单的大数据预测特朗普必胜,惊呆了一帮吃瓜群众。
上述三则案例,是再真实不过的大数据运用。大数据究竟给我们带来什么,答案不言自明。
我们就是生活在这样一个数据时代,阅读、购物、看病、旅游,打电话、刷微博、聊QQ、用微信,都在不断产生新数据。大数据已经与我们的工作生活息息相关、须臾难离。
没有人会否认,大数据时代已经来临,并将深刻地改变着人们的工作和生活。走进KTV,点歌机推荐的歌曲都是你的“拿手菜”;开车上路,可以避开“红蚯蚓”选择畅通路;网上购物,电商会预判用户的消费需求,提前在离用户最近的社区储备商品,大大缩短送货时间……细细一想,都是大数据在背后帮你。
放眼世界,洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生;google流感趋势利用搜索关键词预测禽流感的散布;麻省理工学院利用手机定位数据和交通数据建立城市规划。
有没有小小数据在手,世界尽在掌握的感觉?
大数据技术已在交通、医疗、金融、制造、通讯、推荐系统等行业中得到了广泛深度应用,大数据加速制造业转型,大数据助力交通更加便捷高效,大数据驱动金融精细化运营,大数据助推精准医疗快速发展……通过运用数据来催生新的服务,这是正在实现的改变,而不再是一张画饼。
大数据的发展趋势
种种迹象显示,从最初的大数据定义之争,到挖掘大数据应用价值、协商合作方向,大数据产业已经进入务实发展阶段。
务实发展也让人们对大数据的思考渐趋冷静:大数据尽管运用领域广阔,也没必要神话,它就是互联网发展到现今阶段的一种特征而已。在以云计算为代表的技术创新大幕的衬托下,这些原本看起来很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,为人类创造更多的价值。
简单来说一下云计算,这是个和大数据形影不离的“小伙伴”。
技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据无法用单台的计算机进行处理,必须采用
分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。可以说,大数据相当于海量数据的“数据库”,云计算相当于计算机和操作系统,将大量的硬件资源虚拟化后在进行分配使用。
整体来看,未来的趋势是,云计算作为计算资源的底层,支撑着上层的大数据处理,而大数据的发展趋势是,实时交互式的查询效率和分析能力,“动一下鼠标就可以在秒级操作PB级别的数据”。
科普一下,PB是较高级的存储单位。1PB=1024TB。1TB=1024G。
之所以提到云计算,是因为,大数据与云计算的深度结合在将来会更加紧密。
自2013年开始,大数据技术已开始和云计算技术紧密结合,预计未来两者关系将更为密切。除此之外,物联网、移动互联网等新兴计算形态,也将一齐助力大数据革命,让大数据营销发挥出更大的影响力。
大河奔涌,泥沙俱下,大数据的丰富,势必会带来大量低质量数据。想要成功,数据用户需要理解原始数据与数据分析之间的差距,从而消除低质量数据并通过商业智能获得更佳决策。所以,采用自助式商业智能工具进行大数据处理的企业将会脱颖而出。
大数据的野蛮成长,还会带来不少负面影响:未来几年数据泄露事件会接二连三,除非数据在源头就能够得到安全保障,企业需要从新的角度来确保自身以及客户数据的安全。
当然,数据泄露并不能阻拦数据科学成为一门专门学科的步伐。未来,各大高校将设立专门的数据科学类专业,也会催生一批与之相关的新的就业岗位。与此同时,基于数据这个基础平台,将建立起跨领域的数据共享平台,之后,数据共享将扩展到企业层面,并且成为未来产业的核心一环。
大数据让社会生活更智慧的同时,也把人们的生活痕迹印刻在互联网上。人们会担心,自己生活在四面透明的鱼缸里,难有秘密。网络安全,挑战与机遇并存,价值与风险同在,如何趋利避害用好这把双刃剑,将考验人类智慧。
大数据让世界更美好,这个时代愿景,随着防护手段的升级,会逐渐实现。
数据分析咨询请扫描二维码
数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21大数据技术专业主要学习计算机科学、数学、统计学和信息技术等领域的基础理论和技能,旨在培养具备大数据处理、分析和应用能力的 ...
2024-11-21《Python数据分析极简入门》 第2节 3 Pandas数据查看 这里我们创建一个DataFrame命名为df: importnumpyasnpi ...
2024-11-21越老越吃香的行业主要集中在需要长时间经验积累和专业知识的领域。这些行业通常知识更新换代较慢,因此随着年龄的增长,从业者能 ...
2024-11-20数据导入 使用pandas库的read_csv()函数读取CSV文件或使用read_excel()函数读取Excel文件。 支持处理不同格式数据,可指定分隔 ...
2024-11-20大数据与会计专业是一门结合了大数据分析技术和会计财务理论知识的新型复合型学科,旨在培养能够适应现代会计业务新特征的高层次 ...
2024-11-20要成为一名数据分析师,需要掌握一系列硬技能和软技能。以下是成为数据分析师所需的关键技能: 统计学基础 理解基本的统计概念 ...
2024-11-20是的,Python可以用于数据分析。Python在数据分析领域非常流行,因为它拥有丰富的库和工具,能够高效地处理从数据清洗到可视化的 ...
2024-11-20在这个数据驱动的时代,数据分析师的角色变得愈发不可或缺。他们承担着帮助企业从数据中提取有价值信息的责任,而这些信息可以大 ...
2024-11-20数据分析作为现代信息时代的支柱之一,已经成为各行业不可或缺的工具。无论是在商业、科研还是日常决策中,数据分析都扮演着至关 ...
2024-11-20数字化转型已成为当今商业世界的热点话题。它不仅代表着技术的提升,还涉及企业业务流程、组织结构和文化的深层次变革。理解数字 ...
2024-11-20在现代社会的快速变迁中,选择一个具有长期增长潜力的行业显得至关重要。了解未来发展前景好的行业不仅能帮助我们进行职业选择, ...
2024-11-20统计学专业的就业方向和前景非常广泛且充满机遇。随着大数据、人工智能等技术的快速发展,统计学的重要性进一步凸显,相关人才的 ...
2024-11-20