python效率计算公式_Python:Pandas运算的效率探讨以及如何选择高效的运算方式

本文就Pandas的运行效率作一个对比的测试&＃xff0c;来探讨用哪些方式&＃xff0c;会使得运行效率较好。

测试环境如下&＃xff1a;

windows 7&＃xff0c; 64位

python 3.5

pandas 0.19.2

numpy 1.11.3

jupyter notebook

需要说明的是&＃xff0c;不同的系统&＃xff0c;不同的电脑配置&＃xff0c;不同的软件环境&＃xff0c;运行结果可能有些差异。就算是同一台电脑&＃xff0c;每次运行时&＃xff0c;运行结果也不完全一样。

1 测试内容

测试的内容为&＃xff0c;分别用三种方法来计算一个简单的运算过程&＃xff0c;即 a*a&＃43;b*b 。

三种方法分别是&＃xff1a;

python的for循环

Pandas的Series

Numpy的ndarray

首先构造一个DataFrame&＃xff0c;数据量的大小&＃xff0c;即DataFrame的行数&＃xff0c;分别为10&＃xff0c; 100&＃xff0c; 1000&＃xff0c; … &＃xff0c;直到10,000,000&＃xff08;一千万&＃xff09;。

然后在jupyter notebook中&＃xff0c;用下面的代码分别去测试&＃xff0c;来查看不同方法下的运行时间&＃xff0c;做一个对比。

import pandas as pd

import numpy as np

# 100分别用 10&＃xff0c;100&＃xff0c;...&＃xff0c;10,000,000来替换运行

list_a &＃61; list(range(100))

# 200分别用 20&＃xff0c;200&＃xff0c;...&＃xff0c;20,000,000来替换运行

list_b &＃61; list(range(100,200))

print(len(list_a))

print(len(list_b))

df &＃61; pd.DataFrame({&＃39;a&＃39;:list_a, &＃39;b&＃39;:list_b})

print(&＃39;数据维度为&＃xff1a;{}&＃39;.format(df.shape))

print(len(df))

print(df.head())

100

100

数据维度为&＃xff1a;(100, 2)

100

a b

0 0 100

1 1 101

2 2 102

3 3 103

4 4 104

执行运算&＃xff0c; a*a &＃43; b*b

Method 1: for循环

%%timeit

# 当DataFrame的行数大于等于1000000时&＃xff0c;请用 %%time 命令

for i in range(len(df)):

df[&＃39;a&＃39;][i]*df[&＃39;a&＃39;][i]&＃43;df[&＃39;b&＃39;][i]*df[&＃39;b&＃39;][i]

100 loops, best of 3: 12.8 ms per loop

Method 2: Series

type(df[&＃39;a&＃39;])

pandas.core.series.Series

%%timeit

df[&＃39;a&＃39;]*df[&＃39;a&＃39;]&＃43;df[&＃39;b&＃39;]*df[&＃39;b&＃39;]

The slowest run took 5.41 times longer than the fastest. This could mean that an intermediate result is being cached.

1000 loops, best of 3: 669 µs per loop

Method 3: ndarray

type(df[&＃39;a&＃39;].values)

numpy.ndarray

%%timeit

df[&＃39;a&＃39;].values*df[&＃39;a&＃39;].values&＃43;df[&＃39;b&＃39;].values*df[&＃39;b&＃39;].values

10000 loops, best of 3: 34.2 µs per loop

2 测试结果

运行结果如下&＃xff1a;

从运行结果可以看出&＃xff0c;for循环明显比Series和ndarray要慢很多&＃xff0c;并且数据量越大&＃xff0c;差异越明显。当数据量达到一千万行时&＃xff0c;for循环的表现也差一万倍以上。 而Series和ndarray之间的差异则没有那么大。

PS&＃xff1a; 1000万行时&＃xff0c;for循环运行耗时特别长&＃xff0c;各位如果要测试&＃xff0c;需要注意下&＃xff0c;请用 %%time 命令&＃xff08;只测试一次&＃xff09;。

下面通过图表来对比下Series和ndarray之间的表现。

从上图可以看出&＃xff0c;当数据小于10万行时&＃xff0c;ndarray的表现要比Series好些。而当数据行数大于100万行时&＃xff0c;Series的表现要稍微好于ndarray。当然&＃xff0c;两者的差异不是特别明显。

所以一般情况下&＃xff0c;个人建议&＃xff0c;for循环&＃xff0c;能不用则不用&＃xff0c;而当数量不是特别大时&＃xff0c;建议使用ndarray&＃xff08;即df[‘col’].values&＃xff09;来进行计算&＃xff0c;运行效率相对来说要好些。

​