一条SQL搞定卡方检验计算

原创

周东谕

修改于 2017-06-19 19:10:33

3.6K0

修改于 2017-06-19 19:10:33

文章被收录于专栏：周东谕的专栏周东谕的专栏

作者介绍 : 周东谕，2011年加入腾讯，现任职于腾讯互娱运营部数据中心，主要从事游戏相关的数据分析和挖掘工作。

引言

上一篇文章《一条SQL搞定信息增益的计算》介绍了在机器学习特征工程中，如何使用SQL来进行信息增益的计算。卡方检验作为一种数理统计中的假设检验方法，也常用于特征选择中。本文简单介绍了卡方检验的原理，并用Hive SQL实现卡方检验值的计算。

卡方检验原理

卡方检验最基本的思想就是通过观察实际值与理论值的偏差来确定理论的正确与否。对应到我们实际工作中，我们的理论假设是：假设某特征（如性别、年龄）分布与Target值（以二分类为例，是否流失、是否付费，通常用0,1表示）的分布相互独立，通常我们把这个理论假设叫做“原假设”，用一句通俗的话来解释就是“用户是不是流失跟他/她的性别没有关系”。

然后我们手上有一堆样本数据了，我们要通过观察样本数据来判断我们的“原假设”是否成立。如果不成立，我们就要推翻“原假设”，证明实际情况是“用户流失跟他/她的性别可能有关系”。卡方检验值就是用来上述假设的P值。它的计算公式如下：

为例便于理解，公式还是以“性别对于用户流失是否有影响”为例进行描述。其中et表示特征的枚举，ec是Target枚举。N表示特征和Target划分下的数据量，用SQL描述就是特征维度和Target维度进行group by后count的量。从这里可以看出，卡方检验要求特征值为离散型的。E表示期望值，以特征为male，Target为1为例，计算其期望值如下：

这样分别求出特征与Target各种组合下的期望以及该特征的卡方值。还是以上文的一个例子来描述这个计算的过程：

数据如下：

统计数据如下：

根据统计结果，我们可以计算得如下表：

一共10项，每一项表示特征与Target各种组合下卡方值，然后求和得每个特征的卡方值：

通过查卡方值的P值表，我们可以看出来，sex性别的卡方值小于P=0.1的较为宽泛假设卡方值，此时我们要支持原假设，认为性别和是否流失相互独立的，不存在关联。而活跃度act的卡方值11.4大于P=0.001，此时我们要否定原假设，支持活跃度和是否流失可能相互不独立。

从结果来看，活跃度的卡方值更大，所以我们得出的结论是用户活跃度的大小和他/她是否流失关系相对于性别特征来说更大。

SQL代码及说明：

SELECT
feature_name,SUM(chi_square) as chi_square
FROM
(
	SELECT
	t1.feature_name,
	t1.feature_value,
	t1.label,
	--推导以后
	(NVL(Nab,0)*N-Na*Nb)*(NVL(Nab,0)*N-Na*Nb)/(Na*Nb*N) as chi_square
	FROM
	(
		SELECT t1.feature_name,feature_value,label,Na,Nb 
		FROM
		(
			SELECT feature_name,feature_value,COUNT(1) as Na FROM chi_squre_test_caculate
			GROUP BY feature_name,feature_value
		)t1 join 
		(
			SELECT feature_name,label,COUNT(1) as Nb FROM chi_squre_test_caculate
			GROUP BY feature_name,label
		)t2 on t1.feature_name=t2.feature_name
	)t1 
	left join 
	(
	
		SELECT feature_name,feature_value,label,COUNT(1) as Nab FROM chi_squre_test_caculate
		GROUP BY feature_name,feature_value,label
	)t2 on t1.feature_name=t2.feature_name and t1.feature_value=t2.feature_value and t1.label=t2.label
	left join 
	(
		SELECT feature_name,COUNT(1) as N FROM chi_squre_test_caculate GROUP BY feature_name
	)t3 on t1.feature_name=t3.feature_name
)GROUP BY feature_name

参考文献：

1 机器学习特征选择之卡方检验与互信息

http://blog.csdn.net/yihucha166/article/details/50646615

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

人工智能

机器学习

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

人工智能

机器学习

登录后参与评论

0 条评论

热度