介绍

我很喜欢DataCamp上的“Seaborn中间数据可视化”(Intermediate Data Visualization with Seaborn)这个课程。它教给新手非常棒的图表和方法。但说到热图&＃xff0c;课程的老师不知怎么地引入了一个全新的pandas函数crosstab。然后&＃xff0c;很快说&＃xff1a;“crosstab是一个计算交叉表的有用函数…”

我就在那里不理解了。显然&＃xff0c;我的第一反应是查看函数的文档。我刚开始觉得我可以处理Matplotlib的任何文档&＃xff0c;但是…我错了。.

在本文的最后一部分中&＃xff0c;我讨论了为什么有些课程不教你像crosstab这样的高级函数。因为如果不在具体的环境下很难使用这样的函数&＃xff0c;同时又保持示例的初学者级别。

此外&＃xff0c;大多数课程使用小型或玩具数据集。在更复杂的数据科学环境中&＃xff0c;这些复杂函数的好处更为明显&＃xff0c;并且经常被更有经验的pandas用户使用。

在这篇文章中&＃xff0c;我将教你如何使用crosstab以及如何在其他类似函数中选择它。

目录

• 简介
• 设置
• crosstab基础知识
• Pandas crosstab()与pivot_table()和groupby()的比较
• Pandas crosstab()的进一步定制
• Pandas crosstab()&＃xff0c;多个组

设置

# 导入必要的库import pandas as pdimport matplotlib.pyplot as pltimport seaborn as snsimport numpy as np# 忽略警告import warningswarnings.filterwarnings(&＃39;ignore&＃39;)# 启用多单元输出from IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_interactivity &＃61; &＃39;all&＃39;

对于示例数据&＃xff0c;我将使用Seaborn内置的diamonds数据集。它足够大&＃xff0c;并且有一些可以用crosstab()的变量&＃xff1a;

diamonds &＃61; sns.load_dataset(&＃39;diamonds&＃39;)diamonds.head()

crosstab()基础知识

与许多计算分组汇总统计信息的函数一样&＃xff0c;crosstab()可以处理分类数据。它可用于将两个或多个变量分组&＃xff0c;并为每组的给定值执行计算。当然&＃xff0c;使用groupby()或pivot_table()可以执行此类操作&＃xff0c;但正如我们稍后将要看到的&＃xff0c;crosstab()为你的日常工作流程带来了许多好处。

函数接受两个或多个列表、pandas series 或dataframe&＃xff0c;默认情况下返回每个组合的频率。我总是喜欢从一个例子开始&＃xff0c;这样你可以更好地理解定义&＃xff0c;然后我将继续解释语法。

crosstab()总是返回一个数据帧&＃xff0c;下面是一个例子。dataframe是diamonds中两个变量的交叉表&＃xff1a;cut和color。交叉表表示取一个变量&＃xff0c;将其组显示为index&＃xff0c;取另一个变量&＃xff0c;将其组显示为columns。

pd.crosstab(index&＃61;diamonds[&＃39;cut&＃39;], columns&＃61;diamonds[&＃39;color&＃39;])

语法相当简单。index用于对变量进行分组&＃xff0c;并将其显示为index(行)&＃xff0c;对于列也是如此。如果没有给定聚合函数&＃xff0c;则每个单元格将计算每个组合中的观察数。例如&＃xff0c;左上角的单元格告诉我们&＃xff0c;有2834颗颜色代码为D而且是理想切割的钻石&＃xff0c;。

接下来&＃xff0c;我们要查看每个组合的平均价格。crosstab()提供values参数来引入第三个要聚合的数值变量&＃xff1a;

pd.crosstab(index&＃61;diamonds[&＃39;cut&＃39;], columns&＃61;diamonds[&＃39;color&＃39;], values&＃61;diamonds[&＃39;price&＃39;], aggfunc&＃61;np.mean).round(0)

现在&＃xff0c;每个单元格包含了cut和color组合的平均价格。为了说明我们要计算平均价格&＃xff0c;我们将price列传递给values。请注意&＃xff0c;始终必须同时使用values和aggfunc。否则&＃xff0c;你将得到一个错误。我还使用round()将答案四舍五入。

尽管它有点高级&＃xff0c;但是当你将crosstab()表传递到seaborn的热图中时&＃xff0c;你将充分利用crosstab()表的优点。让我们在热图中看到上表&＃xff1a;

cross &＃61; pd.crosstab(index&＃61;diamonds[&＃39;cut&＃39;], columns&＃61;diamonds[&＃39;color&＃39;], values&＃61;diamonds[&＃39;price&＃39;], aggfunc&＃61;np.mean).round(0)sns.heatmap(cross, cmap&＃61;&＃39;rocket_r&＃39;, annot&＃61;True, fmt&＃61;&＃39;g&＃39;);

seaborn可以自动将crosstab()表转换为热图。我将注释设置为True&＃xff0c;并用颜色条显示热图。seaborn还为列和索引名添加了样式(fmt&＃61;&＃39;g&＃39; 将数字显示为整数而不是科学计数)。

热图更容易解释。你不想让你的最终用户看到一张满是数字的表格。因此&＃xff0c;我将在需要时将每个crosstab()结果放入热图中。为了避免重复&＃xff0c;我创建了一个有用的函数&＃xff1a;

def plot_heatmap(cross_table, fmt&＃61;&＃39;g&＃39;): fig, ax &＃61; plt.subplots(figsize&＃61;(8, 5)) sns.heatmap(cross_table, annot&＃61;True, fmt&＃61;fmt, cmap&＃61;&＃39;rocket_r&＃39;, linewidths&＃61;.5, ax&＃61;ax) plt.show();

Pandas crosstab()与pivot_table()和groupby()的比较

在我们继续讨论更有趣的内容之前&＃xff0c;我想我需要澄清计算分组摘要统计的三个函数之间的区别。

我在本文的第一部分介绍了pivot_table()和groupby()的区别。对于crosstab()&＃xff0c;这三者之间的区别在于语法和结果的形状。让我们使用这三种方法计算&＃xff1a;

# 使用 groupby()>>> diamonds.groupby([&＃39;cut&＃39;, &＃39;color&＃39;])[&＃39;price&＃39;].mean().round(0)cut colorIdeal D 2629.0 E 2598.0 F 3375.0 G 3721.0 H 3889.0 I 4452.0 J 4918.0Premium D 3631.0 E 3539.0 F 4325.0 G 4501.0 H 5217.0 I 5946.0 J 6295.0Very Good D 3470.0 E 3215.0 F 3779.0 G 3873.0 H 4535.0 I 5256.0 J 5104.0Good D 3405.0 E 3424.0 F 3496.0 G 4123.0 H 4276.0 I 5079.0 J 4574.0Fair D 4291.0 E 3682.0 F 3827.0 G 4239.0 H 5136.0 I 4685.0 J 4976.0Name: price, dtype: float64# 使用 pivot_table()diamonds.pivot_table(values&＃61;&＃39;price&＃39;, index&＃61;&＃39;cut&＃39;, columns&＃61;&＃39;color&＃39;, aggfunc&＃61;np.mean).round(0)# 使用 crosstab()pd.crosstab(index&＃61;diamonds[&＃39;cut&＃39;], columns&＃61;diamonds[&＃39;color&＃39;], values&＃61;diamonds[&＃39;price&＃39;], aggfunc&＃61;np.mean).round(0)

以上是pivot_table的输出

以上是crosstab的输出

我想你已经知道你最喜欢的了。grouppy()返回一个序列&＃xff0c;而另两个返回相同的数据帧。但是&＃xff0c;可以将groupby系列转换为相同的数据帧&＃xff0c;如下所示&＃xff1a;

grouped &＃61; diamonds.groupby([&＃39;cut&＃39;, &＃39;color&＃39;])[&＃39;price&＃39;].mean().round(0)grouped.unstack()

如果你不了解pivot_table()和unstack()的语法&＃xff0c;我强烈建议你阅读本文的第一部分。

说到速度&＃xff0c;crosstab()比pivot_table()快&＃xff0c;但都比groupby()慢得多&＃xff1a;

%%timeitdiamonds.pivot_table(values&＃61;&＃39;price&＃39;, index&＃61;&＃39;cut&＃39;, columns&＃61;&＃39;color&＃39;, aggfunc&＃61;np.mean)11.5 ms ± 483 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)%%timeitpd.crosstab(index&＃61;diamonds[&＃39;cut&＃39;], columns&＃61;diamonds[&＃39;color&＃39;], values&＃61;diamonds[&＃39;price&＃39;], aggfunc&＃61;np.mean)10.8 ms ± 344 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)%%timeitdiamonds.groupby([&＃39;cut&＃39;, &＃39;color&＃39;])[&＃39;price&＃39;].mean().unstack()4.13 ms ± 39.8 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

如你所见&＃xff0c;即使使用unstack()链接&＃xff0c;groupby()也比其他两个快3倍。这说明如果你只想分组和计算摘要统计信息&＃xff0c;那么应该使用相同的groupby()。当我链接其他方法(如simple round()时&＃xff0c;速度差甚至更大。

其余的比较主要是关于pivot_table()和crosstab()。如你所见&＃xff0c;这两个函数的结果的形状是相同的。两者之间的第一个区别是crosstab()可以处理任何数据类型。

它可以接受任何类似数组的对象&＃xff0c;比如列表、numpy数组、数据帧列(pandas series)。但是&＃xff0c;pivot_table()只对dataframe有效。在一个很有帮助的StackOverflow中&＃xff0c;我发现如果在数据帧上使用crosstab()&＃xff0c;它会在后台调用pivot_table()。

接下来是参数。有些参数只存在于一个参数中&＃xff0c;反之亦然。第一个最流行的是crosstab()的normalize。normalize接受以下选项(来自文档)&＃xff1a;

• 如果传递了all或True&＃xff0c;则将规范化所有值。
• 如果传递index&＃xff0c;将规范化每一行。
• 如果传递columns&＃xff0c;将规范化每个列。

让我们看一个简单的例子&＃xff1a;

cross &＃61; pd.crosstab(index&＃61;diamonds[&＃39;cut&＃39;], columns&＃61;diamonds[&＃39;color&＃39;], normalize&＃61;&＃39;all&＃39;)plot_heatmap(cross, fmt&＃61;&＃39;.2%&＃39;)

如果传递all&＃xff0c;对于每个单元格&＃xff0c;pandas计算总金额的百分比&＃xff1a;

# 证明所有值加起来约等于1>>> pd.crosstab(diamonds[&＃39;cut&＃39;], diamonds[&＃39;color&＃39;], normalize&＃61;&＃39;all&＃39;).values.sum()1.0000000000000002

如果传递index或columns&＃xff0c;则按列或按行执行相同的操作&＃xff1a;

cross &＃61; pd.crosstab(diamonds[&＃39;cut&＃39;], diamonds[&＃39;color&＃39;], normalize&＃61;&＃39;index&＃39;)plot_heatmap(cross, fmt&＃61;&＃39;.2%&＃39;)

以上是按行规范化

cross &＃61; pd.crosstab(diamonds[&＃39;cut&＃39;], diamonds[&＃39;color&＃39;], normalize&＃61;&＃39;columns&＃39;)plot_heatmap(cross, fmt&＃61;&＃39;.2%&＃39;)

以上是按列规范化

在crosstab()中&＃xff0c;还可以使用行名和列名直接在函数内更改索引和列名。之后不必手动执行。当我们一次按多个变量分组时&＃xff0c;这两个参数非常有用&＃xff0c;你将在后面看到。

参数fill_value只存在于pivot_table()中。有时&＃xff0c;当你按许多变量分组时&＃xff0c;不可避免地会出现不一致。在pivot_table()中&＃xff0c;可以使用fill_value将它们更改为自定义值&＃xff1a;

diamonds.pivot_table(index&＃61;&＃39;color&＃39;, columns&＃61;&＃39;cut&＃39;, fill_value&＃61;0)

但是&＃xff0c;如果使用crosstab()&＃xff0c;则可以通过在dataframe上链接fillna()来实现相同的效果&＃xff1a;

pd.crosstab(diamonds[&＃39;cut&＃39;], diamonds[&＃39;color&＃39;]).fillna(0)

Pandas crosstab()的进一步定制

crosstab()的另外两个有用参数是margins和margins_name(两者都存在于pivot_table()中)。设置为True时&＃xff0c;边界计算每行和每列的和。我们来看一个例子&＃xff1a;

pd.crosstab(index&＃61;diamonds[&＃39;cut&＃39;], columns&＃61;diamonds[&＃39;clarity&＃39;], margins&＃61;True)

pandas自动添加最后一行和最后一列&＃xff0c;默认名称为All。margins_name可以控制名字&＃xff1a;

pd.crosstab(index&＃61;diamonds[&＃39;cut&＃39;], columns&＃61;diamonds[&＃39;clarity&＃39;], margins&＃61;True, margins_name&＃61;&＃39;Total Number&＃39;)

右下角的单元格将始终包含观察的总数&＃xff0c;或者如果“normalize”设置为True&＃xff0c;则为1&＃xff1a;

pd.crosstab(index&＃61;diamonds[&＃39;cut&＃39;], columns&＃61;diamonds[&＃39;clarity&＃39;], margins&＃61;True, margins_name&＃61;&＃39;Total Percentage&＃39;, normalize&＃61;True)

请注意&＃xff0c;如果将margins设置为True&＃xff0c;则热图是无用的。

Pandas crosstab()&＃xff0c;多组

对于index和columns参数&＃xff0c;可以传递多个变量。结果将是一个具有多级索引的数据帧。这次我们插入所有的分类变量&＃xff1a;

pd.crosstab(index&＃61;[diamonds[&＃39;cut&＃39;], diamonds[&＃39;clarity&＃39;]], columns&＃61;diamonds[&＃39;color&＃39;])

对于index&＃xff0c;我传递了color和cut。如果我把它们传递给列&＃xff0c;结果将是一个包含40列的数据帧。如果你注意的话&＃xff0c;多级索引如预期的那样命名为cut和clear。对于存在多级索引或列名的情况&＃xff0c;crosstab()有方便的参数来更改它们的名称&＃xff1a;

pd.crosstab(index&＃61;[diamonds[&＃39;cut&＃39;], diamonds[&＃39;clarity&＃39;]], columns&＃61;diamonds[&＃39;color&＃39;], rownames&＃61;[&＃39;Diamond Cut&＃39;, &＃39;Clarity&＃39;]).head()

传递相应名称的列表&＃xff0c;以将索引名称更改为行名称。这个过程对于控制列名的colnames是相同的。

有一件事让我很惊讶&＃xff0c;如果你把多个函数传递给aggfunc&＃xff0c;pandas就会抛出一个错误。同样&＃xff0c;StackOverflow上的伙计们认为这是一个bug&＃xff0c;而且已经有6年多没有解决过了。

最后要注意的是&＃xff0c;在pivot_table()和crosstab()中&＃xff0c;都有一个dropna参数&＃xff0c;如果设置为True&＃xff0c;则会删除包含所有nan的列或行。