玩转Pandas透视表
数据透视表（Pivot Table）是常用的数据汇总工具，可以通过控制数据的排列灵活地进行数据分析，进而挖掘出数据中最有价值的信息。掌握数据透视表，已经成为数据分析从业者必备的一项技能。
在python中我们可以通过pandas.pivot_table函数来实现数据透视表的功能。本篇文章介绍了pandas.pivot_table具体的使用方法，在最后还准备了一个备忘单，希望能够帮助你记住如何使用pandas的pivot_table。
1. 实例数据加载及预处理
本文采用kaggle赛题”泰坦尼克号“中的数据，案例背景是，船要沉了，我们根据各种影响因素，判断船上成员的存活率，比如头等舱的人存活率是不是会更高呢？或者女人比男人活下来的概率更高呢？
# 加载数据
import numpy as np
import pandas as pd
import seaborn as sns
df = sns.load_dataset('titanic')
# 删除不重要的列
df.drop(columns =["who","adult_male","deck","embark_town","alive","alone","class"],inplace=True)
# 缺失值处理
df = df[df["embarked"].notnull()]
df["age"].fillna(df["age"].mean(),inplace=True)
# age离散化
df["age"] = pd.cut(df["age"], [0, 18, 90])
df.head()
主要字段的含义如下：
2. 第一个透视表
# 查看不同性别的存活率
table = pd.pivot_table(df, index=["sex"], values="survived")
print(table) survived
sex
female 0.740385
male 0.188908可见女性的存活率很高，说明当时船上的男人们还是很绅士的哈哈~~
参数说明：
- df是要传入的数据；
- index是 Values to group by in the rows，也就是透视表建立时要根据哪些字段进行分组，我们这里只依据性别分组；
- values是指对哪些字段进行聚合操作，因为我们只关心不同性别下的存活率情况，所以values只需要传入一个值"survived"；
- 将所有乘客按性别分为男、女两组后，对"survived"字段开始进行聚合，默认的聚合函数是"mean"，也就是求每个性别组下所有成员的"survived"的均值，即可分别求出男女两组各自的平均存活率。
3. 添加列索引
# 添加一个列级分组索引：pclass-客票级别，共有1,2,3三个级别，1级别最高。
table = pd.pivot_table(df, index=["sex"], columns=["pclass"], values="survived")
print(table)pclass 1 2 3
sex
female 0.967391 0.921053 0.500000
male 0.368852 0.157407 0.135447可以发现，无论是男性还是女性，客票级别越高的，存活率越高。
4. 多级行索引
# 添加一个行级分组索引：pclass-客票级别
table = pd.pivot_table(df, index=["sex","pclass"], values="survived")
print(table) survived
sex pclass
female 1 0.967391
2 0.921053
3 0.500000
male 1 0.368852
2 0.157407
3 0.135447添加一个行级索引"pclass"后，现在透视表具有二层行级索引，一层列级索引。仔细观察透视表发现，与上面【3】中的"添加一个列级索引"，在分组聚合效果上是一样的，都是将每个性别组中的成员再次按照客票级别划分为3个小组。
不同点就在于，看你是想让表格的行数多一点，还是想让列数多一点~~
5. 多级列索引
# 构造两层列级索引："pclass"和"age"
table = pd.pivot_table(df, index=["sex"], columns=["pclass","age"], values="survived")
print(table)pclass 1 2 3
age (0, 18] (18, 90] (0, 18] (18, 90] (0, 18] (18, 90]
sex
female 0.909091 0.975309 1.0 0.903226 0.511628 0.495050
male 0.800000 0.350427 0.6 0.086022 0.215686 0.121622添加两层列级索引后，分析透视表，可以发现，一级客票的成年女性存活率高达97.5%，存活率最低的是三级客票的未成年男孩。
当然，行索引和列索引都可以再设置为多层，不过，行索引和列索引在本质上是一样的，大家需要根据实际情况合理布局。
6. 添加多个聚合列
# 按客票级别分组，每组对两个列进行聚合：“是否存活”和“船票价”
table = pd.pivot_table(df, index=["pclass"], values=["survived","fare"])
print(table) fare survived
pclass
1 84.193516 0.626168
2 20.662183 0.472826
3 13.675550 0.242363可以发现，船票级别越高，票价越高，存活率也越高。。。
需要注意的是，如果不传入values参数，将对除index和columns之外的所有剩余列进行聚合。
# 不传入values参数，剩余的所有列均做聚合（默认是均值聚合）。
table = pd.pivot_table(df, index=["pclass"])
print(table)
# 因为没有指定聚合函数，离散列又不能求均值，因此离散列在下面不会列出。 fare parch sibsp survived
pclass
1 84.193516 0.359813 0.420561 0.626168
2 20.662183 0.380435 0.402174 0.472826
3 13.675550 0.393075 0.615071 0.2423637. 自定义聚合函数
# 指定聚合函数
table = pd.pivot_table(df, index=["pclass"], values=["survived", "fare"], aggfunc=["mean", sum, "count"])
print(table) mean sum count
fare survived fare survived fare survived
pclass
1 84.193516 0.626168 18017.4125 134 214 214
2 20.662183 0.472826 3801.8417 87 184 184
3 13.675550 0.242363 6714.6951 119 491 491聚合函数支持常见的统计函数，如"mean", "sum", count, np.mean, np.std, np.corr等，支持字符串等多种格式。
- 如果传入参数为list，则每个聚合函数对每个列都进行一次聚合。
- 如果传入参数为dict，则每个列仅对其指定的函数进行聚合,此时values参数可以不传。
示例如下：
# aggfunc传入字典类型，自定义每个列要适用的聚合函数
table = pd.pivot_table(df, index=["pclass"], aggfunc={"survived": ["mean", sum], "fare": ["count", np.std]})
print(table) fare survived
count std mean sum
pclass
1 214 78.746457 0.626168 134.0
2 184 13.417399 0.472826 87.0
3 491 11.778142 0.242363 119.08. 添加汇总项
# 按行、按列进行汇总，指定汇总列名为“Total”,默认名为“ALL”
table1 = pd.pivot_table(df, index="sex", columns="pclass", values="survived", aggfunc= "count", margins=True, margins_name="Total")
print(table1)pclass 1 2 3 Total
sex
female 92 76 144 312
male 122 108 347 577
Total 214 184 491 8899. 保存透视表
数据分析的劳动成果最后当然要保存下来了，我们一般将透视表保存为excel格式的文件，如果需要保存多个透视表，可以添加到多个sheet中进行保存。
save_file = "./titanic_analysis.xlsx"
with pd.ExcelWriter(save_file) as writer:
table.to_excel(writer, sheet_name='汇总-演示', encoding="utf-8")
table1.to_excel(writer, sheet_name='自定义聚合函数-演示', encoding="utf-8")excel保存格式如下：
10. 备忘单
为了试图总结所有这一切，本文创建了一个备忘单，希望它能够帮助你记住如何使用pandas的pivot_table。
