Pandas 不擅长的结构化数据运算

Pandas 是 python 的一个数据分析包,是基于 NumPy 的一种数据分析工具,其中纳入了大量库和一些标准的数据模型,提供了快速便捷地处理数据的函数和方法,是高效地操作结构化数据集所需的工具,也是使 Python 成为强大而高效的数据分析环境的重要因素之一。

但是相信经常使用 Pandas 的同学在处理结构化数据运算时也会遇到一些麻烦,这些问题要么使得问题解决很复杂(代码难写),要么使得运行极其缓慢(效率低下),下面总结整理了一些 Pandas 的困难问题进行吐槽,如有谬误欢迎指正,也欢迎大家参加到这次的“Pandas 吐槽大会”。

切片赋值

切片赋值,指取数据中的某个值或某一块值,修改其中的值,如把第 3 行第 5 列的 x 值修改为 y 值。

使用员工信息数据作为案例进行介绍,数据片段如下:

EID

NAME

SURNAME

GENDER

STATE

BIRTHDAY

HIREDATE

DEPT

SALARY

1

Rebecca

Moore

F

California

1974/11/20

2005/3/11

R&D

7000

2

Ashley

Wilson

F

New York

1980/7/19

2008/3/16

Finance

11000

3

Rachel

Johnson

F

New   Mexico

1970/12/17

2010/12/1

Sales

9000

4

Emily

Smith

F

Texas

1985/3/7

2006/8/15

HR

7000

5

Ashley

Smith

F

Texas

1975/5/13

2004/7/30

R&D

16000

问题一:将R&D 部门员工的工资改成 20000

Python 代码

import pandas as   pd

data =   pd.read_csv('Employees.csv')

data[data['DEPT']=='R&D']['SALARY']=20000

print(data)

导入 Pandas

读取数据

找到 R&D 部门,修改工资值

运行结果:

SettingWithCopyWarning:

A value is trying to be set on a copy of a slice from a DataFrame.

Try using .loc[row_indexer,col_indexer] = value instead

..

可以看到,报了这个 SettingWithCopyWarning,而且修改的值并没有起作用。相信这个问题对于大多数的 Pandas 用户并不陌生,那么怎么修改呢?

就像 SettingWithCopyWarning 中提示的那样,使用 df.loc[row_indexer,col_indexer] = value 进行修改,这样不仅可以得到正确的结果,而且也可以解决报警的问题。

代码修改如下:

import pandas as   pd

data =   pd.read_csv('Employees.csv')

data.loc[data['DEPT']=='R&D','SALARY']=20000

print(data)

 

 

修改赋值

运行结果:

..

这才是 Pandas 解决问题的方案。

讨论:问题的实质是我们想通过修改视图修改源数据。而 data[data['DEPT']=='R&D']['SALARY']=2000 是将两个索引操作链接在一起,即直接使用了两次方括号的链式索引。

1.     data[data['DEPT']=='R&D']

2.     ['SALARY']=20000

以上两个链式操作一个接一个地独立执行。第一次链式操作是为了 Get,返回一个 DataFrame,其中包含所有 DEPT 等于 'R&D' 的行;第二次链式操作是为了 Set,是在这个新返回的 DataFrame 上运行的,并没有修改原始的 DataFrame。而此时使用 loc 函数获得原 DataFrame 的视图,在视图上赋值就可以修改原始 DataFrame 的值。

 

这种问题还是比较容易发现的,下面再来看一种情况:

问题二:修改 R&D 部门 5 号员工的工资为 19950

问题分析:在实际的工作中,经常把视图赋值给某个变量进行后续的计算,直到某一步,又想修改其中的某行的值,此时再使用 loc 函数时也会出现 SettingWithCopyWarning

Python 代码:

import pandas as   pd

data =   pd.read_csv('Employees.csv')

r_d =   data.loc[data['DEPT']=='R&D']

'''

...

n行代码运算

...

 

'''

r_d.loc[r_d['EID']==5,'SALARY']=19950

print(r_d)

 

 

获取视图并赋值给变量 r_d

 

 

 

 

 

 

修改 5 号员工的工资

运行结果:

SettingWithCopyWarning:

A value is trying to be set on a copy of a slice from a DataFrame.

Try using .loc[row_indexer,col_indexer] = value instead

..

观察发现,即使使用了 loc 函数,当再次使用 loc 函数时,还是会出现 SettingWithCopyWarning 的报警,其中的原因还是将两个索引操作链接在一起,第一次为 get,第二次为 set。这次所不同的是赋值结果起作用了,得到了我们期望的结果。但我们也不应该忽略此 Warning,而是应该明确的告诉 Pandas 变量 r_d 是 data 中截取视图的副本,然后再使用 loc 函数修改 5 号员工的工资。

代码如下:

import pandas as   pd

data =   pd.read_csv('Employees.csv')

r_d =   data.loc[data['DEPT']=='R&D'].copy()

'''

...

n行代码运算

...

 

'''

r_d.loc[r_d['EID']==5,'SALARY']=19950

print(r_d)

 

 

获取视图并赋值给变量 r_d

 

 

 

 

 

 

修改 5 号员工的工资

运行结果:

..

讨论:var=df.copy() 是明确的告知此 var 是 DataFrame 的副本,此时再使用 loc 函数赋值时,就避免了两次链式索引,也就避免了 SettingWithCopyWarning 的警告。

Pandas 针对 df 的操作冷不防就会产生视图,赋值时会错位,同时也会浪费时间。

集合运算

常见的集合运算,包括交集,差集,并集,异或集和和集运算,下面来看下 Pandas 两个集合间的运算。

问题三:求销售部门的员工与女员工的交集,差集,并集,异或集和和集。

Python 代码:

import pandas as   pd

data =   pd.read_csv('Employees.csv')

sales =   data.query('DEPT=="Sales"')

femals =   data.query('GENDER=="F"')

isect_idx =   sales.index.intersection(femals.index)

diff_idx =   sales.index.difference(femals.index)

union_idx =   sales.index.union(femals.index)

symmetric_diff_idx =   sales.index.symmetric_difference(femals.index)

isect =   data.loc[isect_idx]

diff =   data.loc[diff_idx]

union =   data.loc[union_idx]

symmetric_diff =   data.loc[symmetric_diff_idx]

union_all =   pd.concat([sales,femals])

print(isect,diff,union,symmetric_diff,union_all)

 

 

销售部门

女员工

交集索引

差集索引

并集索引

异或集索引

 

交集

差集

并集

异或集

和集

 

讨论:Pandas 集合运算时,只能对着索引进行,然后再从原始数据中按索引截取得到结果。DataFrame 不可以直接进行集合运算。而且当集合数多于两个时,需要通过循环两两计算得到结果,再从原始数据按索引截取。 当希望按照某列进行集合运算时,则还需要把该列转成索引,计算完成后还要重置索引,得到结果。对于简单的集合运算看起来就很麻烦,如果 Pandas 能支持集合 (set) 数据类型的集合运算,通过符号 (&-|^) 进行运算就好了。

聚合运算

Pandas 提供了很多聚合运算函数,比如求和 sum(),平均 mean(),计数 count(),方差 var(),标准差 std() 等等。但遇到稍微特殊一点聚合运算时就有点麻烦,请看以下两个问题。

问题四:查看所有工资最高的员工的信息

问题分析:首先找到最高工资,再筛选出等于最高工资的员工。

Python 代码:

import pandas as   pd

data =   pd.read_csv('Employees.csv')

max_salary =   data.SALARY.max()

max_salary_emp =   data.query('SALARY==%d'%max_salary)

print(max_salary_emp)

 

 

计算最高工资

找到最高工资的员工

讨论:这种方式需要遍历两边数据,计算最大值时一遍,过滤时一遍,效率比较低。有一种方式可以只遍历一遍。即找最大值的同时记录下最大值员工的索引,然后直接利用索引取数就可以了。可是 Pandas 的 idxmax() 函数只返回一个最大值的索引,不可以返回全部最大值的索引,因此就只能用上边的笨方法来解决这个问题。

 

问题五:找到年龄最大的 5 位员工,即 TOPN 问题。

问题分析:最大值是相当于 TOP1,因此 TOPN 问题也相当于聚合运算。

Python 代码:

import pandas as   pd

data =   pd.read_csv('Employees.csv')

data.sort_values('BIRTHDAY',inplace=True)

top_5_age_emp =   data.head(5)

print(top_5_age_emp)

 

 

排序

取前五

讨论:TOPN 问题并不需要大排序,只需要维护一个 N 长度的序列即可,保持序列中的 N 个数总是遍历过的数据中的最大值或者最小值即可。大家都知道大排序的效率是很低的,而且当数据量很大时,大排序复杂度和效率又会进一步恶化。但 Pandas 并没有提供高效的计算函数。即使是 nlargest()和 nsmallest() 函数底层也是大排序后取前五。

定位计算

Pandas 提供了索引功能,用户可以使用索引进行切片等操作,但当遇到需要计算指定索引(即位置)比前一行的行就比较麻烦,如下面这个问题:

问题六:计算股价超过 100 的交易日的当日涨幅

问题分析:需要筛选出股价超过 100 的交易日的交易信息,将数据提前一天,使用相同的索引截取两份数据,计算两者的涨幅。

Python 代码:

import pandas as   pd

data =   pd.read_csv('Stock_Price.txt',sep='\t')

gt100 =   data.query('CL>=100')

gt100_idx =   gt100.index

gt100_shift1 = data.shift(1).loc[gt100_idx]

raise_per =   (gt100.CL/gt100_shift1.CL-1).fillna(0)

print(raise_per)

 

 

筛选

记录索引

数据提前一天,按索引截取

计算涨幅

讨论:Python 并没有提供利用位置进行相关计算的函数,所以计算这类问题就略显麻烦。

分组运算

Pandas 提供了丰富的分组运算,既可以按照列名分组,也可以按照指定的数组分组,既可以对单列使用多种方式聚合,也可以对多列聚合,还可以循环各组,处理分组以后的集合。但有一些常见的分组运算使用 Pandas 做起来要么比较繁琐,要么效率低下。

比如按位置分组、值变化分组、条件变化分组都需要衍生出一个数组作为分组依据,对位分组则需要使用 left join 的方式来绕,枚举分组更是需要多次分组,筛选需要的分组再合并,这里有一篇文章详细介绍了 Pandas 分组运算的一些例子

Python 分组处理

大家可以通过具体的例子体会 Pandas 分组的不便之处。

并行运算

Pandas 并不提供并行计算的方法,这也是 Pandas 被诟病最多的一方面,而 Python 所谓的多线程对于 CPU 而言还是单线程。

 

大数据计算

Pandas 虽然可以使用分段读取的方式来获取数据,但想要实现一些复杂的运算,比如排序、分组、关联等等都会非常非常麻烦,而且对程序员的技术要求也会很高。详细论述可以查看另一篇文档。

Python 如何处理大文件

以下是广告时间

对润乾产品感兴趣的小伙伴,一定要知道软件还能这样卖哟性价比还不过瘾? 欢迎加入好多乾计划。
这里可以低价购买软件产品,让已经亲民的价格更加便宜!
这里可以销售产品获取佣金,赚满钱包成为土豪不再是梦!
这里还可以推荐分享抢红包,每次都是好几块钱的巨款哟!
来吧,现在就加入,拿起手机扫码,开始乾包之旅



嗯,还不太了解好多乾?
猛戳这里
玩转好多乾