机器学习中的许多数据挖掘方法主要是针对数值型数据的,算法也很偏向数理方法(例如支持向量机)。而分类数据(非数值型数据),其本质不过是简单的计数,针对这类数据的一个简单实用的方法就是关联规则挖掘法,谷歌的MapReduce也为这类算法提供了很好的软件构架。下面我们就来讨论一下应用关联规则法的有趣实例。
关联规则法的核心在于研究一些经常相伴发生的事件之间的关系,特别是当他们同时发生的频率远远超出预期时。它最早被用于超市销售,因此又被称为市场 购物篮分析法。举一个数据挖掘教科书中的关于啤酒和尿布关联性的经典案例-去超市买啤酒的男人同时也经常买尿布。假如超市销售量有如下数据:
总销售量:600000
尿布销售量:7500(1.25%)
啤酒销售量:60000(10%)
尿布和啤酒共同销售量:6000(1%)
如果啤酒和尿布之间没有关联的话(即他们之间是统计上独立的),那么按照啤酒在总销售量中的比例来计算,我们预计只有10%的尿布购买者也会买啤 酒。但实际情况却是80%(=6000/7500)的尿布购买者都购买了啤酒,是我们预计的8倍。这个值在关联规则法中被称作电梯值(Lift),即事件 X和Y实际同时发生的频率和预期同时发生的频率之间的比例(Lift=P(x,y)/[P(x)P(y)])。如果事件X和Y相互独立,那么 P(x,y)=P(x)P(y),相应的电梯值即为1。而如果X和Y是互斥事件,则会产生小于1 的电梯值。在这个案例中,关联规则的结论就是尿布购买者也会购买啤酒的电梯值是8。
以上是一个假设的案例,如此高的电梯值在实际生活中非常罕见,但也绝非不可能。2004年佛罗里达州经历了一系列飓风。第一场飓风之后,沃尔玛利用 了他们大量的销售数据来研究顾客在飓风来临之前会买什么。他们发现一个商品的销售量是平时的7倍,这个电梯值在现实生活中非常高的。这个商品既不是瓶装 水,也不是电池,啤酒,手电筒,发电机等等,而是草莓果酱吐司饼干!吐司饼干之所以在飓风来临之前销量大增也许是因为它不需要冰箱保存,不需要烹饪,而且 独立包装,保质期很长,同时本来大家也都很喜欢它。尽管这个发现有些出乎意料,但是沃尔玛利用关联规则的分析补货了大量的草莓吐司饼干,创造了一个双赢的 结果-沃尔玛大大增加了销量,顾客买到了满意的商品。
还有一个大型电子商品零售店也成功地利用关联规则法增加了商品销量。商家根据零售数据,发现许多购买播放器和录影机的顾客会在3-4个月后购买摄影机。于是利用这个关系,商家会给所有购买播放器或者录影机的顾客几个月后邮寄摄影机折扣券,由此来吸引更多顾客购买摄影机。
除了商业营销,关联规则法在科学研究上也有很多应用。乔治梅森大学的一位地质信息教授利用关联规则研究了飓风的内部风速,风眼气压,风切变,降雨 量,方向和速度等等因素和飓风最终等级之间的关系,最后成功建立了新的模型可以更精确地预测飓风的等级。还有一位在美国国家航天中心实习的高中生利用关联 规则法研究了太阳风暴之后太阳高能粒子到达地球的时间关系。他利用卫星收集到的太阳风暴之后太阳和地球磁场的一些特征因素数据,探究了两者之间关系随时间 的变化,即在太阳风暴一小时,两小时,三小时,四小时后,地球磁场的活跃度变化。结果发现在太阳风暴后2-3小时左右地球磁场最活跃,即太阳高能粒子到达 地球的时间。
研究非数值型数据时,我们在挖掘因果关系之前,可关注事件之间的关联性;
如果数据在随时间变化,注意事件之间的关联是否会在某个时间点达到最强。现今越来越多的数据被大量收集,科技平台也越来越发达,许多事物之间意想不到的关联正等待我们发现。那么就让我们从计数开始吧!
数据分析咨询请扫描二维码
在准备数据分析师面试时,掌握高频考题及其解答是应对面试的关键。为了帮助大家轻松上岸,以下是10个高频考题及其详细解析,外加 ...
2024-12-20互联网数据分析师是一个热门且综合性的职业,他们通过数据挖掘和分析,为企业的业务决策和运营优化提供强有力的支持。尤其在如今 ...
2024-12-20在现代商业环境中,数据分析师是不可或缺的角色。他们的工作不仅仅是对数据进行深入分析,更是协助企业从复杂的数据信息中提炼出 ...
2024-12-20随着大数据时代的到来,数据驱动的决策方式开始受到越来越多企业的青睐。近年来,数据分析在人力资源管理中正在扮演着至关重要的 ...
2024-12-20在数据分析的世界里,表面上的技术操作只是“入门票”,而真正的高手则需要打破一些“看不见的墙”。这些“隐形天花板”限制了数 ...
2024-12-19在数据分析领域,尽管行业前景广阔、岗位需求旺盛,但实际的工作难度却远超很多人的想象。很多新手初入数据分析岗位时,常常被各 ...
2024-12-19入门数据分析,许多人都会感到“难”,但这“难”究竟难在哪儿?对于新手而言,往往不是技术不行,而是思维方式、业务理解和实践 ...
2024-12-19在如今的行业动荡背景下,数据分析师的职业前景虽然面临一些挑战,但也充满了许多新的机会。随着技术的不断发展和多领域需求的提 ...
2024-12-19在信息爆炸的时代,数据分析师如同探险家,在浩瀚的数据海洋中寻觅有价值的宝藏。这不仅需要技术上的过硬实力,还需要一种艺术家 ...
2024-12-19在当今信息化社会,大数据已成为各行各业不可或缺的宝贵资源。大数据专业应运而生,旨在培养具备扎实理论基础和实践能力,能够应 ...
2024-12-19阿里P8、P9失业都找不到工作?是我们孤陋寡闻还是世界真的已经“癫”成这样了? 案例一:本硕都是 985,所学的专业也是当红专业 ...
2024-12-19CDA持证人Louis CDA持证人基本情况 我大学是在一个二线城市的一所普通二本院校读的,专业是旅游管理,非计算机非统计学。毕业之 ...
2024-12-18最近,知乎上有个很火的话题:“一个人为何会陷入社会底层”? 有人说,这个世界上只有一个分水岭,就是“羊水”;还有人说,一 ...
2024-12-18在这个数据驱动的时代,数据分析师的技能需求快速增长。掌握适当的编程语言不仅能增强分析能力,还能帮助分析师从海量数据中提取 ...
2024-12-17在当今信息爆炸的时代,数据分析已经成为许多行业中不可或缺的一部分。想要在这个领域脱颖而出,除了热情和毅力外,你还需要掌握 ...
2024-12-17数据分析,是一项通过科学方法处理数据以获取洞察并支持决策的艺术。无论是在商业环境中提升业绩,还是在科研领域推动创新,数据 ...
2024-12-17在数据分析领域,图表是我们表达数据故事的重要工具。它们不仅让数据变得更加直观,也帮助我们更好地理解数据中的趋势和模式。相 ...
2024-12-16在当今社会,我们身处着一个飞速发展、变化迅猛的时代。不同行业在科技进步、市场需求和政策支持的推动下蓬勃发展,呈现出令人瞩 ...
2024-12-16在现代商业世界中,数据分析师扮演着至关重要的角色。他们通过解析海量数据,为企业战略决策提供有力支持。要有效完成这项任务, ...
2024-12-16在当今数据爆炸的时代,数据分析师是组织中不可或缺的导航者。他们通过从大量数据中提取可操作的洞察力,帮助企业在竞争激烈的市 ...
2024-12-16