大数据的“真面目”及其利用_数据分析师培训
大数据的定义
近年来,人们对“大数据”的关注度日益提高。这都归因于麦肯锡全球研究院在2011年发布的研究报告。该报告认为人们即将迎来一个利用规模大到超出现有数据处理系统能力的巨量信息时代,并暗示战略性地利用这些信息数据,就有可能产生巨大的商业机会。
那么大数据到底是什么呢?从字面来看,它指的是以现有信息处理技术无法应对的庞大信息量。而实际上,当我们将储蓄了各种服务的使用信息数据与用户的属性信息相结合,并在这些信息数据发生时能够全量获取,就被称做大数据。
典型的是互联网服务的利用数据。另外还包括零售业销售数据(POS数据)、电力使用数据、来自加速度传感器和无线运动监控器等设备的传感器测量数据。
与抽样数据不同,大数据网罗了来自各种服务用户的所有利用数据,它积累的信息不是以一天、一小时,而是以每分、每秒的实际发生情况为基础的。从地区信息方面来看,它不是以市区町村或其他更小的单位来划分的,许多时候可以精确到6位、7位数的经纬度座标级别。
大数据的三个特性
人们通常以巨量(Volume)、多样(Variety)和高速(Velocity)三个词来概括大数据的特征,统称为“3V”。但诸如作为典型大数据的电力、加速度传感器等探测的数据就谈不上拥有搜索关键词这种“多样性”。从速度和巨量这些条件来看也是如此,未必总能符合3V标准。
从利用角度来看,大数据具有以下三个特性。
一是可获得的“属性深度”低于一般的行为观察和问卷调查数据。即使掌握了何时用过、用了多少等信息,但无法知晓“是在什么状况下,出于什么理由或目的进行了这些行为活动”等利用背景。用户的属性信息(有无幼年子女、职业、教育程度、收入等)也比较少。这可以说是将这些数据用于市场营销时的一个课题。
二是覆盖了所有的发生数据。可以找出抽样数据中无法看到、相当于发生频率较低的尾端部分的数据的独特类型。
三是信息利用的实时性。由于大数据可以实时读取、处理消费和利用过程中各个场合发生的情况,所以可用于捕捉特定行为和需求发生的瞬间。比如,当某位特别关注某种汽车的用户浏览了相关网页时,就可以立刻提供有关该汽车的信息。这是无法借助传统市场营销数据实现的。
大数据发挥优势的事例
下面,让我们以“为顾客提供价值”这种市场营销视角,从六个步骤上来观察一下数据的广泛利用。
第一步是“看清市场结构与需求”,这是制定各种商品开发与服务战略的基础;第二步是基于这种市场判断,设计所提供的核心价值、服务属性;第三是针对不同顾客的市场营销;第四是像前面提到那样,在需求发生时提供推销服务(广告、邮件、网站内容等);第五是检验实施前四步以后产生的效果;第六是从数值上预测未来情况。
大数据在上述后四个步骤方面尤其具有优势。比如,要提供符合个别用户特性的服务和信息,大数据是不可或缺的前提。在互联网上依据用户的网络记录过滤不恰当信息,提供有针对性的广告及符合个人消费行为的优惠券等,这都属于典型事例。
实时打广告或在搜索框中输入热门话题的部分字眼时,立刻就会自动提示话题相关词汇,这种现象源于积累了用户的使用数据后所产生的“机械学习”。通过这种机械学习利用大数据的特点,在于服务提供方即使不理解具体语境也无妨。
此外,越是要详细获取信息,就越是离不开大数据的帮助。比如,观察在特定的一周内,人们傍晚在某车站附近的店铺内集中购买鸡肉的变化情况这样的例子。
预测分析选举结果、景气动向等
另外,人们的一个强烈期望,是运用大数据对不大遥远的未来,也就是对当下或者近期做出准确的定量预测。我在雅虎实施过两个有趣的预测。一是预测了2013年7月的参议院选举结果。
最终发现,我们的预测大部分准确,预测结果的准确率超过了所有主要媒体。具体而言,我们发现互联网上关注度—搜索量和推特、Facebook上的原创发帖量等——与投票方式具有高度关联性,针对每个选举区进行了预测。历来的办法是通过专家学者的观察、选民的呼声和问卷调查结果等进行综合预测,而我们仅依据数据的类型和利用量进行预测,获得了准确性超越传统做法的结果。
另一个例子是经济情况的预测。内阁府公布的景气动向指数,通常在时间上要滞后1、2个月,但人们想知道的不是两个月前的景气好坏,更想知道现在的情况如何,于是我们开始了这个预测。我们首先从分析搜索词条入手。雅虎上全年大约会出现75亿种搜索词条。我们对其中经常被搜索的约60万个进行了全面分析后,筛选出了尤与经济指标密切相关的200个关键词。以此为基础,制作了用于推导当前景气指标的模式,预测结果也成功做到了基本准确。
如上所述,在对近期或当前的定量预测中,大数据发挥出巨大作用。实际上,它早已被用到了日常的供应链管理中,便利店一天三次发送数千件商品也没有出现赤字的一个理由就在于此。
妨碍利用的各种问题
然后,我想谈一谈利用大数据时可能出现的几种典型问题。第一,几乎所有企业实体根本就没有称得上大数据的数据。这是问题之前的问题。
第二,各种数据本身尚未得到充分完善,导致无法整合数据加以利用。比如,零售商品数据,通常按大类、中类、小类等多层次分类,但对这种商品管理数据结构,即使是在同一个零售集团内部,每个链条都各不相同。这样一来,整合利用就变得极为困难。如何将这些数据整合起来加以利用是一个重大课题。
即使解决了上述两个问题,另外还需要一种可以实时处理和利用庞大数据的机制。大多数企业既没有这种机制,而且也不具备基础,将不断涌入的数据存储到记忆装置中去。就算拥有存储基础,也没有运用维护的人才。
为了解决这些问题,公司迫切需要的是拥有综合技能的人才,运用信息科学和工程技术学,从海量的数据中找出解决商业课题的答案。
综上所述,缺乏数据、无法整合、不能建立读取处理和利用的机制、没有足够的储存保管基础、缺乏运用维护人才以及可以综合梳理并解决问题的人才——这就是现今大多数公司利用大数据的现状。
安全对策上的两极分化
在有关大数据的争论中,人们经常提到隐私保护问题,由于混杂了基于不同立场的论调,所以视角的不同会导致问题反映的层次不同。
关于安全问题,大多数主要的互联网运营商早已为此采取了有效的措施。比如雅虎,将可以锁定个人的信息与行为痕迹数据明确地分离开来,使用的数据都经过了匿名化处理。
另一方面,许多传统型企业对个人信息与日志文件都不加以区分,而是把它们整合起来进行管理;再加上许多这样的企业缺乏监控危险的完善机制,甚至难以发现数据是否已经外泄。
在数据的利用上,企业间出现了两极分化。为了保护使用者,各家企业在利用之前,必须首先针对数据管理制定规章指南。
日本面临的三个“障碍”
总体而言,与美国等一些国家相比,现今日本的数据利用环境存在三大障碍。一是创造大数据的企业较少。二是缺乏打造一个便于利用数据环境的基础。比如,日本的电费是美国的好几倍,导致数据中心的设立和运营成本高昂。这也是信息类主要企业始终没有涉足日本数据基础设施建设领域的一个原因。为了吸引数据产业落户,至少应该设置一些诸如提供特殊电价的例外措施。
第三是前述的人才不足问题。针对这一问题,需要兼备三种能力的人才,即“数据科学能力”、“数据工程技术能力”,以及在理解问题背景的基础上,梳理并解决这些问题的“商务能力”。
数据科学能力指的是理解和运用信息处理、人工智能、统计学等信息科学知识的能力。数据工程学能力指的是能以有意义的形式运用数据科学,组建并运用实际系统的能力。我认为,不一定非得要求一人多能,但能否有意识地集中培养一批各有所长的人才,将是决定未来大数据利用成功与否的关键。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
Excel是数据分析的重要工具,强大的内置功能使其成为许多分析师的首选。在日常工作中,启用Excel的数据分析工具库能够显著提升数 ...
2024-12-23在当今信息爆炸的时代,数据分析师如同一位现代社会的侦探,肩负着从海量数据中提炼出有价值信息的重任。在这个过程中,掌握一系 ...
2024-12-23在现代的职场中,制作吸引人的PPT已经成为展示信息的重要手段,而其中数据对比的有效呈现尤为关键。为了让数据在幻灯片上不仅准 ...
2024-12-23在信息泛滥的现代社会,数据分析师已成为企业决策过程中不可或缺的角色。他们的任务是从海量数据中提取有价值的洞察,帮助组织制 ...
2024-12-23在数据驱动时代,数据分析已成为各行各业的必需技能。无论是提升个人能力还是推动职业发展,选择一条适合自己的学习路线至关重要 ...
2024-12-23在准备数据分析师面试时,掌握高频考题及其解答是应对面试的关键。为了帮助大家轻松上岸,以下是10个高频考题及其详细解析,外加 ...
2024-12-20互联网数据分析师是一个热门且综合性的职业,他们通过数据挖掘和分析,为企业的业务决策和运营优化提供强有力的支持。尤其在如今 ...
2024-12-20在现代商业环境中,数据分析师是不可或缺的角色。他们的工作不仅仅是对数据进行深入分析,更是协助企业从复杂的数据信息中提炼出 ...
2024-12-20随着大数据时代的到来,数据驱动的决策方式开始受到越来越多企业的青睐。近年来,数据分析在人力资源管理中正在扮演着至关重要的 ...
2024-12-20在数据分析的世界里,表面上的技术操作只是“入门票”,而真正的高手则需要打破一些“看不见的墙”。这些“隐形天花板”限制了数 ...
2024-12-19在数据分析领域,尽管行业前景广阔、岗位需求旺盛,但实际的工作难度却远超很多人的想象。很多新手初入数据分析岗位时,常常被各 ...
2024-12-19入门数据分析,许多人都会感到“难”,但这“难”究竟难在哪儿?对于新手而言,往往不是技术不行,而是思维方式、业务理解和实践 ...
2024-12-19在如今的行业动荡背景下,数据分析师的职业前景虽然面临一些挑战,但也充满了许多新的机会。随着技术的不断发展和多领域需求的提 ...
2024-12-19在信息爆炸的时代,数据分析师如同探险家,在浩瀚的数据海洋中寻觅有价值的宝藏。这不仅需要技术上的过硬实力,还需要一种艺术家 ...
2024-12-19在当今信息化社会,大数据已成为各行各业不可或缺的宝贵资源。大数据专业应运而生,旨在培养具备扎实理论基础和实践能力,能够应 ...
2024-12-19阿里P8、P9失业都找不到工作?是我们孤陋寡闻还是世界真的已经“癫”成这样了? 案例一:本硕都是 985,所学的专业也是当红专业 ...
2024-12-19CDA持证人Louis CDA持证人基本情况 我大学是在一个二线城市的一所普通二本院校读的,专业是旅游管理,非计算机非统计学。毕业之 ...
2024-12-18最近,知乎上有个很火的话题:“一个人为何会陷入社会底层”? 有人说,这个世界上只有一个分水岭,就是“羊水”;还有人说,一 ...
2024-12-18在这个数据驱动的时代,数据分析师的技能需求快速增长。掌握适当的编程语言不仅能增强分析能力,还能帮助分析师从海量数据中提取 ...
2024-12-17在当今信息爆炸的时代,数据分析已经成为许多行业中不可或缺的一部分。想要在这个领域脱颖而出,除了热情和毅力外,你还需要掌握 ...
2024-12-17