
1. 关联分析
1.1 定义
关联分析是一种在大规模数据上寻找物品间隐含关系的一种任务.这种关系有2种形式:频繁项集和关联规则.
(1) 频繁项集(frequent item sets): 经常出现在一起的物品的集合;
(2) 关联规则(association rules): 暗示两种物品之间可能存在很强的关系.
1.2 量化关联分析是否成功的算法
支持度和可信度是用来量化关联分析是否成功的方法.
(1)支持度(support) : 一个项集的支持度被定义为数据集中包含该项集的记录所占的比例. 支持度针对项集而言,可以设置最小支持度,只保留满足最小支持度的项集.以下图中的清 单为例, {豆奶}的支持度为4/5;{豆奶,尿布}的支持度为3/5.
(2) 可信度或置信度(confidence) : 针对关联规则定义的. 例如: 规则{尿布}->{葡萄酒}的可信度被定义为 "支持度{尿布,葡萄酒}/支持度{尿布}" . 支持度{尿布,葡萄酒}为3/5 , 支持度{尿布} 为4/5, 即这条规则可信度为3/4. 这意味着对于包含"尿布"的所有记录,我们的规则对其中75%的记录都适用.
2. Apriori
2.1 问题: 假设一家商店里只有4种商品:0,1,2,3. 下图显示了所有可能被购买的商品组合:
对于单个项集的支持度, 通过遍历每条记录并检查该记录是否包含该项集来计算.但是对于包含N种物品的数据集共有中项集组合,重复计算上述过程是不现实的.
2.2 Apriori原理
Apriori原理能够减少计算量.
其内容是: 若某个项集是频繁的, 那么它的子集也是频繁的; 则其逆否命题也是正确的,即 若一个项集是非频繁的, 则它的所有超集也是非频繁的.
举例说明: 已知阴影项集{2,3}是非频繁的。利用这个知识,我们就知道项集{0,2,3},{1,2,3}以及{0,1,2,3}也是非频繁的。也就是说,一旦计算出了{2,3}的支持度,知道它是非频繁的后,就可以紧接着排除{0,2,3}、{1,2,3}和{0,1,2,3}。使用该原理可以避免项集数目的指数增长,从而在合理时间内计算出频繁项集.
2.3 实现Apriori算法来发现频繁项集
(1) Apriori算法是发现频繁项集的一种方法. 其两个输入参数分别是数据集和最小支持度.
(2) Apriori算法流程:
首先生成所有单个物品的项集列表; 然后扫描交易记录查看哪些项集满足最小支持度要求,去掉不满足最小支持度的项集.
对剩下来的集合进行组合以生成包含两个元素的项集; 然后扫描交易记录查看哪些项集满足最小支持度要求,去掉不满足最小支持度的项集.
上述过程重复直到所有项集都被去掉
(3) Apriori算法生成频繁项集的伪代码
对数据集中的每条交易记录tran:
对每个候选项集can:
检查交易记录tran是否包含候选项集can:
若包含,则增加can的计数;
对每个候选项集:
若该候选项集的支持度不低于最小支持度, 则保留; 反之, 则去掉.
返回所有频繁项集列表
其具体实现代码如下:
<span style="font-size:18px;">#c1是所有单个物品的集合
def createC1(dataSet):
c1 = []
for transaction in dataSet:
for item in transaction:
if not [item] in c1:
c1.append([item])
c1.sort()
return map(frozenset,c1) #frozenset是不能改变的集合,用户不能修改
#由ck得到lk的过程,即从ck选出支持度不小于指定值的项构成lk
def scanD(data,ck,minSupport):
#统计每个候选项集及其对应的出现次数
ssCnt = {}
for transaction in data:
for can in ck:
if can.issubset(transaction):
if not ssCnt.has_key(can):
ssCnt[can] = 1
else:
ssCnt[can] += 1
#去掉不满足最小支持度的候选项集
numItems = float(len(data))
retList = [] #存储满足支持度不低于最小值的项集
supportData = {} #存储所有项集及其支持度
for key in ssCnt:
support = ssCnt[key]/numItems
if support >= minSupport:
retList.insert(0,key)
supportData[key] = support
return retList,supportData #返回的retlist是ck中满足最小支持度项集的集合</span>
(4) Apriori完整的实现
整个Apriori算法的伪代码如下:
当集合中项的个数大于0时:
构建一个k个项组成的候选项集的列表(k从1开始)
遍历数据集来筛选并保留候选项集列表中满足最小支持度的项集
构建由k+1个项组成的候选项集的列表
以下是实现代码:
<span style="font-size:18px;">#由频繁集lk和项集个数生成候选集ck,其中lk中每一项中含有元素k-1个,生成的ck中每一项中含有元素k个
def aprioriGen(lk,k):
retList = []
lenlk = len(lk)
#retList可能会为空
for i in range(lenlk):
for j in range(i+1,lenlk):
#只有在两项中前k-2个元素一样时,将这两个集合合并(这样合并得到的大小就为k)
l1 = list(lk[i])[:k-2]
l2 = list(lk[j])[:k-2]
l1.sort(); l2.sort()
if l1 == l2:
retList.append(lk[i] | lk[j])
return retList</span>
*** 在候选项集生成过程中, 只有在前k-2个项相同时才合并, 原始频繁项集中每一项含有k-1个元素, 为了合成得到每一项大小是k的候选项集列表,只有在前k-2项相同时,最后一项不同时,才有可能得到频繁项集.注意这里不是两两合并, 因为限制了候选项集的大小.
<span style="font-size:18px;">def apriori(dataSet,minSupport = 0.5):
#单独产生c1,l1
c1 = createC1(dataSet)
data = map(set,dataSet)
l1,supportData = scanD(data,c1,minSupport) #得到l1,大小为1的频繁项集集合
#由l1得到c2,c2得到l2,依次循环
l = [l1]
k = 2
#当lk为空时,退出循环
while (len(l[k-2]) > 0):
ck = aprioriGen(l[k-2],k)
lk,supportK = scanD(data,ck,minSupport)
supportData.update(supportK)
l.append(lk)
k += 1
return l,supportData #所有的频繁集及其支持度</span>
3. 从频繁项集中挖掘相关规则
3.1 关联规则的量化指标是可信度.
一条规则P?H的可信度定义为support(P | H)/support(P),其中“|”表示P和H的并集。可见可信度的计算是基于项集的支持度的。
下图给出一个频繁项集{0,1,2,3}产生的关联规则, 其中阴影区域给出的是低可信度的规则.可以发现如果{0,1,2}?{3}是一条低可信度规则,那么所有其他以3作为后件(箭头右部包含3)的规则均为低可信度的.因为{3}的支持度肯定比包含3的项集的支持度要高, 即分子没变,但是分母增加, 则得到的可信度就降低了.
结论:若某条规则不满足最小可信度要求, 则其规则的所有子集也不会满足最小可信度要求. 以图4为例,假设规则{0,1,2} ? {3}并不满足最小可信度要求,那么就知道任何左部为{0,1,2}子集的规则也不会满足最小可信度要求。
利用此结论可以大大减少需要测试的规则数目.
3.2 关联规则生成函数
函数generateRules()是主函数,调用另2个函数.其他两个函数是rulesFromConseq()和calcConf(),分别用于生成候选规则集合以及对规则进行评估(计算可信度)。
(1) 函数generateRules()有3个参数:频繁项集列表L、包含那些频繁项集支持数据的字典supportData、最小可信度阈值minConf。函数最后要生成一个包含可信度的规则列表bigRuleList,后面可以基于可信度对它们进行排序。L和supportData正好为函数apriori()的输出。该函数遍历L中的每一个频繁项集,并对每个频繁项集构建只包含单个元素集合的列表H1。代码中的i指示当前遍历的频繁项集包含的元素个数,freqSet为当前遍历的频繁项集(回忆L的组织结构是先把具有相同元素个数的频繁项集组织成列表,再将各个列表组成一个大列表,所以为遍历L中的频繁项集,需要使用两层for循环)。
<span style="font-size:18px;">#关联规则生成函数
def generateRules(L,supportData,minConf=0.7):
#存储所有关联规则
bigRuleList = []
for i in range(1,len(L)): #一条关联规则至少需要2个元素,故下标从1开始
for freqSet in L[i]: #frequent为大小为i的项集
H1 = [] #对每个频繁项集构了,建只包含单个元素的集合,即可以出现在规则右边
for item in freqSet:
H1.append(frozenset([item]))
if (i > 1):
H1 = calcConf(freqSet,H1,supportData,bigRuleList,minConf)
#包含三个及以上元素的频繁集
rulesFromConseq(freqSet,H1,supportData,bigRuleList,minConf)
else:
#包含两个元素的频繁集
calcConf(freqSet,H1,supportData,bigRuleList,minConf)
return bigRuleList</span>
(2)calcConf函数: 计算规则的可信度,并过滤出满足最小可信度要求的规则. 返回值prunedH保存规则列表的右部,这个值将在下一个函数rulesFromConseq()中用到。
函数实现代码如下:
<span style="font-size:18px;">#处理包含两个元素的频繁集,计算规则的可信度,并过滤出满足最小可信度要求的规则
def calcConf(freqSet,H,supportData,brl,minConf=0.7):
#保存关联规则的列表
prunedH = []
for conseq in H:
#对一个频繁集合,其分母都是一样的,supprot{1,2}/support{1},supprot{1,2}/support{2}
conf = supportData[freqSet]/supportData[freqSet-conseq]
if conf >= minConf:
print freqSet - conseq, '---->',conseq,' conf:',conf
brl.append((freqSet-conseq,conseq,conf))
prunedH.append(conseq)
return prunedH
</span>
(2) rulesFromConseq()函数; 根据当前候选规则集H生成下一层候选规则集 ;
H为规则右边可能出现的频繁项集, H中元素的长度逐渐增大; 比如 原频繁集包含3个元素,则出现在规则右边的元素可能有1个,2个; 假设规则{0,1,2} ? {3}并不满足最小可信度要求,那么就知道任何左部为{0,1,2}子集的规则也不会满足最小可信度要求,即不考虑{0,1} ? {2,3}。因此我们先从右边只有一个元素时开始,只有存在可以出现在规则右边的元素,右边才有可能出现元素个数为2的情况.数据分析师培训
代码如下:
<span style="font-size:18px;">#根据当前候选规则集H生成下一层候选规则集,H是可以出现在规则右边的元素列表
def rulesFromConseq(freqSet,H,supportData,brl,minConf=0.7):
#可以出现在规则右边的元素个数[1]=1,[1,2]=2,从1个元素增加直到小于freqSet的总个数都行
m = len(H[0])
if (len(freqSet) > (m+1)):
hmp1 = aprioriGen(H,m+1) #产生大小为m+1的频繁集列表,(1,2->3)->(1->2,3),生成下一层H
hmp1 = calcConf(freqSet,hmp1,supportData,brl,minConf)
if (len(hmp1) > 1):#规则右边的元素个数还可以增加
rulesFromConseq(freqSet,hmp1,supportData,brl,minConf)</span>
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA 数据分析师报考条件详解与准备指南 在数据驱动决策的时代浪潮下,CDA 数据分析师认证愈发受到瞩目,成为众多有志投身数 ...
2025-07-18刚入职场或是在职场正面临岗位替代、技能更新、人机协作等焦虑的打工人,想要找到一条破解职场焦虑和升职瓶颈的系统化学习提升 ...
2025-07-182025被称为“AI元年”,而AI,与数据密不可分。网易公司创始人丁磊在《AI思维:从数据中创造价值的炼金术 ...
2025-07-18CDA 数据分析师:数据时代的价值挖掘者 在大数据席卷全球的今天,数据已成为企业核心竞争力的重要组成部分。从海量数据中提取有 ...
2025-07-18SPSS 赋值后数据不显示?原因排查与解决指南 在 SPSS( Statistical Package for the Social Sciences)数据分析过程中,变量 ...
2025-07-18在 DBeaver 中利用 MySQL 实现表数据同步操作指南 在数据库管理工作中,将一张表的数据同步到另一张表是常见需求,这有助于 ...
2025-07-18数据分析师的技能图谱:从数据到价值的桥梁 在数据驱动决策的时代,数据分析师如同 “数据翻译官”,将冰冷的数字转化为清晰的 ...
2025-07-17Pandas 写入指定行数据:数据精细化管理的核心技能 在数据处理的日常工作中,我们常常需要面对这样的场景:在庞大的数据集里精 ...
2025-07-17解码 CDA:数据时代的通行证 在数字化浪潮席卷全球的今天,当企业决策者盯着屏幕上跳动的数据曲线寻找增长密码,当科研人员在 ...
2025-07-17CDA 精益业务数据分析:数据驱动业务增长的实战方法论 在企业数字化转型的浪潮中,“数据分析” 已从 “加分项” 成为 “必修课 ...
2025-07-16MySQL 中 ADD KEY 与 ADD INDEX 详解:用法、差异与优化实践 在 MySQL 数据库表结构设计中,索引是提升查询性能的核心手段。无论 ...
2025-07-16解析 MySQL Update 语句中 “query end” 状态:含义、成因与优化指南 在 MySQL 数据库的日常运维与开发中,开发者和 DBA 常会 ...
2025-07-16如何考取数据分析师证书:以 CDA 为例 在数字化浪潮席卷各行各业的当下,数据分析师已然成为企业挖掘数据价值、驱动决策的 ...
2025-07-15CDA 精益业务数据分析:驱动企业高效决策的核心引擎 在数字经济时代,企业面临着前所未有的数据洪流,如何从海量数据中提取有 ...
2025-07-15MySQL 无外键关联表的 JOIN 实战:数据整合的灵活之道 在 MySQL 数据库的日常操作中,我们经常会遇到需要整合多张表数据的场景 ...
2025-07-15Python Pandas:数据科学的瑞士军刀 在数据驱动的时代,面对海量、复杂的数据,如何高效地进行处理、分析和挖掘成为关键。 ...
2025-07-15用 SQL 生成逆向回滚 SQL:数据操作的 “后悔药” 指南 在数据库操作中,误删数据、错改字段或误执行批量更新等问题时有发生。 ...
2025-07-14t检验与Wilcoxon检验的选择:何时用t.test,何时用wilcox.test? t 检验与 Wilcoxon 检验的选择:何时用 t.test,何时用 wilcox. ...
2025-07-14AI 浪潮下的生存与进阶: CDA数据分析师—开启新时代职业生涯的钥匙(深度研究报告、发展指导白皮书) 发布机构:CDA数据科 ...
2025-07-13LSTM 模型输入长度选择技巧:提升序列建模效能的关键 在循环神经网络(RNN)家族中,长短期记忆网络(LSTM)凭借其解决长序列 ...
2025-07-11