大家可能听说过用于宣传数据挖掘的一个案例:啤酒和尿布;据说是沃尔玛超市在分析顾客的购买记录时,发现许多客户购买啤酒的同时也会购买婴儿尿布,于是超市调整了啤酒和尿布的货架摆放,让这两个品类摆放在一起;结果这两个品类的销量都有明显的增长;分析原因是很多刚生小孩的男士在购买的啤酒时,会顺手带一些婴幼儿用品。
不论这个案例是否是真实的,案例中分析顾客购买记录的方式就是关联规则分析法Association Rules。
关联规则分析也被称为购物篮分析,用于分析数据集各项之间的关联关系。
1.1 基本概念
1.2 关联规则Apriori算法
关联规则方法的步骤如下:
Apriori算法是经典的关联规则算法。Apriori算法的目标是找到最大的K项频繁集。Apriori算法从寻找1项集开始,通过最小支持度阈值进行剪枝,依次寻找2项集,3项集直到没有更过项集为止。
下面是一个案例图解:
关联规则目前在scikit-learn中并没有实现。这里介绍另一个python库mlxtend。
2.1 安装
- pip install mlxtend
2.2 简单的例子
- import pandas as pd
- item_list = [['牛奶','面包'],
- ['面包','尿布','啤酒','土豆'],
- ['牛奶','尿布','啤酒','可乐'],
- ['面包','牛奶','尿布','啤酒'],
- ['面包','牛奶','尿布','可乐']]
- item_df = pd.DataFrame(item_list)
- from mlxtend.preprocessing import TransactionEncode
- te = TransactionEncoder()
- df_tf = te.fit_transform(item_list)
- df = pd.DataFrame(df_tf,columns=te.columns_)
- from mlxtend.frequent_patterns import apriori
- # use_colnames=True表示使用元素名字,默认的False使用列名代表元素, 设置最小支持度min_support
- frequent_itemsets = apriori(df, min_support=0.05, use_colnames=True)
- frequent_itemsets.sort_values(by='support', ascending=False, inplace=True)
- # 选择2频繁项集
- print(frequent_itemsets[frequent_itemsets.itemsets.apply(lambda x: len(x)) == 2])
- from mlxtend.frequent_patterns import association_rules
- # metric可以有很多的度量选项,返回的表列名都可以作为参数
- association_rule = association_rules(frequent_itemsets,metric='confidence',min_threshold=0.9)
- #关联规则可以提升度排序
- association_rule.sort_values(by='lift',ascending=False,inplace=True)
- association_rule
- # 规则是:antecedents->consequents
选择出来关联规则之后,根据提升度排序后,可能最高提升度的规则是在我们常识范围内,那这个规则的价值就不高。所以我们要在产生的规则中根据业务特点进行筛选,像开篇提到(啤酒->尿布)完全不同的品类之间的关联。
笔者最近用关联规则分析用户的体检报告记录,也得出了关于各个病症的有意义的关联,如并发症,不同病症相互影响等。
本分介绍关联规则的基本概念和经典算法Apriori,以及python的实现库mlxtend使用。
总结如下:
只有 域名 能备案吗?不能的,备案是需要国内空间的, 虚拟主机 或者服务器的都...
作者 | 黄玉奇 来源 | 阿里巴巴云原生公众号 日前,在由全球分布式云联盟主办的...
随着云计算、物联网、移动互联网等互联网技术的快速发展,人们对于网络技术的依...
hk 域名 哪里注册? .hk域名 在国内是可以注册的,只要提供了.hk 域名注册 服务...
FFmpeg备忘清单 ffmpeg命令行工具的有用命令列表。 下载FFmpeg:https://www.ffm...
怎么升级 虚拟主机 ?当网站运营到一定阶段,虚拟主机配置跟不上网站发展,这时...
本文转载自微信公众号「脑子进煎鱼了」,作者陈煎鱼 。转载本文请联系脑子进煎鱼...
对于广大的 Flink 开发者同学来说, 什么内容是最期待的? 什么信息又是最有用的...
2020年,AWS的年收入规模已经超过450亿美元,营收增速和运营利润率超过30%。IDC...
深入浅出AbstractQueuedSynchronizer 在Java多线程编程中,重入锁(ReentrantLock...