首页 > 作文

pandas数据的合并与拼接的实现

更新时间:2023-04-04 01:25:27 阅读: 评论:0

目录
1. merge方法1.1 内连接1.2 外连接1.3 左连接1.4 右连接1.5 基于多列的连接算法1.6 基于index的连接方法2. join方法3. concat方法3.1 ries类型的拼接方法3.2 dataframe类型的拼接方法4. 小结

pandas包的merge、join、concat方法可以完成数据的合并和拼接,merge方法主要基于两个dataframe的共同列进行合并,join方法主要基于两个dataframe的索引进行合并,concat方法是对ries或dataframe进行行拼接或列拼接。

1. merge方法

pandas的merge方法是基于共同列,将两个dataframe连接起来。merge方法的主要参数:

left/right:左/右位置的dataframe。how:数据合并的方式。left:基于左dataframe列的数据合并;right:基于右dataframe列的数据合并;outer:基于列的数据外合并(取并集);inner:基于列的数据内合并(取交集);默认为’inner’。on:用来合并的列名,这个参数需要保证两个dataframe有相同的列名。left_on/right_on:左/右dataframe合并的列名,也可为索引,数组和列表。left_index/right_index:是否以index作为数据合并的列名,true表示是。sort:根据dataframe合并的keys排序,默认是。suffixes:若有相同列且该列没有作为合并的列,可通过suffixes设置该列的后缀名,一般为元组和列表类型。

merges通过设置how参数选择两个dataframe的连接方式,有内连接,外连接,左连接,右连接,下面通过例子介绍连接的含义。

1.1 内连接

  how=’inner’,dataframe的链接方式为内连接,我们可以理解基于共同列的交集进行连接,参数on设置连接的共有列名。

# 单列的内连接# 定义df1import pandas as pdimport numpy as npdf1 = pd.dataframe({'alpha':['a','b','b','c','d','e'],'feature1':[1,1,2,3,3,1],            'feature2':['low','medium','medium','high','low','high']})# 定义df2df2 = pd.dataframe({'alpha':['a','a','b','f'],'pazham':['apple','orange','pine','pear'],            'kilo':['high','low','high','medium'],'price':np.array([5,6,5,7])})# print(df1)# print(df2)# 基于共同列alpha的内连接df3 = pd.merge(df1,df2,how='inner',on='alpha')df3

  取共同列alpha值的交集进行连接。

1.2 外连接

  how=’outer’,dataframe的链接方式为外连接,我们可以理解基于共同列的并集进行连接,参数on设置连接的共有列名。

# 单列的外连接# 定义df1df1 = pd.dataframe({'alpha':['a','b','b','c','d','e'],'feature1':[1,1,2,3,3,1],                'feature2':['low','medium','medium','high','low','high']})# 定义df2df2 = pd.dataframe({'alpha':['a','a','b','f'],'pazham':['apple','orange','pine','pear'],                        'kilo':['high','low','high','medium'],'price':np.array([5,6,5,7])})#生源地是什么 基于共同列alpha的内连接df4 = pd.merge(df1,df2,how='outer',on='alpha')df4

  若两个dataframe间除了on设置的连接列外并无相同列,则该列的值置为nan。

1.3 左连接

  how=’left’,dataframe的链接方式为左连接,我们可以理解基于左边位置dataframe的列进行连接,参数on设置连接的共有列名。  

# 单列的左连接# 定义df1df1 = pd.dataframe({'alpha':['a','b','b','c','d','e'],'feature1':[1,1,2,3,3,1],    'feature2':['low','medium','medium','high','low','high']})# 定义df2df2 = pd.dataframe({'alphword文件a':['a','a','b','f'],'pazham':['apple','orange','pine','pear'],                        'kilo':['high','low','high','medium'],'price':np.array([5,6,5,7])})# 基于共同列alpha的左连接df5 = pd.merge(df1,df2,how='left',on='alpha')df5

  因为df2的连接列alpha有两个’a’值,所以左连接的df5有两个’即使是什么意思a’值,若两个dataframe间除了on设置的连接列外并无相同列,则该列的值置为nan。

1.4 右连接

  how=’right’,dataframe的链接方式为左连接,我们可以理解基于右边位置dataframe的列进行连接,参数on设置连接的共有列名。

# 单列的右连接# 定义df1df1 = pd.dataframe({'alpha':['a','b','b','c','d','e'],'feature1':[1,1,2,3,3,1],'feature2':['low','medium','medium','high','low','high']})# 定义df2df2 = pd.dataframe({'alpha':['a','a','b','f'],'pazham':['apple','orange','pine','pear'],                        'kilo':['high','low','high','medium'],'price':np.array([5,6,5,7])})# 基于共同列alpha的右连接df6 = pd.merge(df1,df2,how='right',on='alpha')df6

  因为df1的连接列alpha有两个’b’值,所以右连接的df6有两个’b’值。若两个dataframe间除了on设置的连接列外并无相同列,则该列的值置为nan。

1.5 基于多列的连接算法

  多列连接的算法与单列连接一致,本节只介绍基于多列的内连接和右连接,读者可自己编码并按照本文给出的图解方式去理解外连接和左连接。

多列的内连接:

# 多列的内连接# 定义df1df1 = pd.dataframe({'alpha':['a','b','b','c','d','e'],'beta':['a','a','b','c','c','e'],                    'feature1':[1,1,2,3,3,1],'feature2':['low','medium','medium','high','low','high']})# 定义df2df2 = pd.dataframe({'alpha':['a','a','b','f'],'beta':['d','d','b','f'],'pazham':['apple','orange','pine','pear'],                        'kilo':['high','low','high','medium'],'price':np.array([5,6,5,7])})# 基于共同列alpha和beta的内连接df7 = pd.merge(df1,df2,on=['alpha','beta'],how='inner')df7

多列的右连接:

# 多列的右连接# 定义df1df1 = pd.dataframe({'alpha':['a','b','b','c','d','e'],'beta':['a','a','b','c','c','e'],                    'feature1':[1,1,2,3,3,1],'feature2':['low','medium','medium','high','low','high']})# 定义df2df2 = pd.dataframe({'alpha':['a','a','b','f'],'beta':['d','d','b','f'],'pazham':['apple','orange','pine','pear'],                        'kilo':['high','low','high','medium'],'price':np.array([5,6,5,7])})print(df1)print(df2)# 基于共同列alpha和beta的右连接df8 = pd.merge(df1,df2,on=['alpha','beta'],how='right')df8

1.6 基于index的连接方法

前面介绍了基于column的连接方法,merge方法亦可基于index连接dataframe。

# 基于column和index的右连接# 定义df1df1 = pd.dataframe({'alpha':['a','b','b','c','d','e'],'beta':['a','a','b','c','c','e'],                    'feature1':[1,1,2,3,3,1],'feature2':['low','medium','medium','high','low','high']})# 定义df2df2 = pd.dataframe({'alpha':['a','a','b','f'],'pazham':['apple','能屈能伸orange','pine','pear'],                        'kilo':['high','low','high','medium'],'price':np.array([5,6,5,7])},index=['d','d','b','f'])print(df1)print(df2)# 基于df1的beta列和df2的index连接df9 = pd.merge(df1,df2,how='inner',left_on='beta',right_index=true)df9

图解index和cosuv哪款性价比高lumn的内连接方法:

设置参数suffixes以修改除连接列外相同列的后缀名。

# 基于df1的alpha列和df2的index内连接df9 = pd.merge(df1,df2,how='inner',left_on='beta',right_index=true,suffixes=('_df1','_df2'))df9

2. join方法

  join方法是基于index连接dataframe,merge方法是基于column连接,连接方法有内连接,外连接,左连接和右连接,与merge一致。

index与index的连接:

caller = pd.dataframe({'key': ['k0', 'k1', 'k2', 'k3', 'k4', 'k5'], 'a': ['a0', 'a1', 'a2', 'a3', 'a4', 'a5']})other = pd.dataframe({'key': ['k0', 'k1', 'k2'],'b': ['b0', 'b1', 'b2']})print(caller)print(other)# lsuffix和rsuffix设置连接的后缀名caller.join(other,lsuffix='_caller', rsuffix='_other',how='inner')

join也可以基于列进行连接:

caller = pd.dataframe({'key': ['k0', 'k1', 'k2', 'k3', 'k4', 'k5'], 'a': ['a0', 'a1', 'a2', 'a3', 'a4', 'a5']})other = pd.dataframe({'key': ['k0', 'k1', 'k2'],'b': ['b0', 'b1', 'b2']})print(caller)print(other)# 基于key列进行连接caller.t_index('key').join(other.t_index('key'),how='inner')

因此,join和merge的连接方法类似,这里就不展开join方法了,建议用merge方法。

3. concat方法

  concat方法是拼接函数,有行拼接和列拼接,默认是行拼接,拼接方法默认是外拼接(并集),拼接的对象是pandas数据类型。

3.1 ries类型的拼接方法

行拼接:

df1 = pd.ries([1.1,2.2,3.3],index=['i1','i2','i3'])df2 = pd.ries([4.4,5.5,6.6],index=['i2','i3','i4'])print(df1)print(df2)# 行拼接pd.concat([df1,df2])

行拼接若有相同的索引,为了区分索引,我们在最外层定义了索引的分组情况。

# 对行拼接分组pd.concat([df1,df2],keys=['fea1','fea2'])

列拼接:

默认以并集的方式拼接:

# 列拼接,默认是并集pd.concat([df1,df2],axis=1)

以交集的方式拼接:

# 列拼接的内连接(交)pd.concat([df1,df2],axis=1,join='inner')

设置列拼接的列名:

# 列拼接的内连接(交)pd.concat([df1,df2],axis=1,join='inner',keys=['fea1','fea2'])

对指定的索引拼接:

# 指定索引[i1,i2,i3]的列拼接pd.concat([df1,df2],axis=1,join_axes=[['i1','i2','i3']])

3.2 dataframe类型的拼接方法

行拼接:

df1 = pd.dataframe({'key': ['k0', 'k1', 'k2', 'k3', 'k4', 'k5'], 'a': ['a0', 'a1', 'a2', 'a3', 'a4', 'a5']})df2 = pd.dataframe({'key': ['k0', 'k1', 'k2'],'b': ['b0', 'b1', 'b2']})print(df1)print(df2)# 行拼接pd.concat([df1,df2])

列拼接:

# 列拼接pd.concat([df1,df2],axis=1)

若列拼接或行拼接有重复的列名和行名,则报错:

# 判断是否有重复的列名,若有则报错pd.concat([df1,df2],axis=1,verify_integrity = true)

valueerror: indexes have overlapping values: [‘key’]

4. 小结

merge和join方法基本上能实现相同的功能,建议用merge。

到此这篇关于pandas数据的合并与拼接的实现的文章就介绍到这了,更多相关pandas数据合并与拼接内容请搜索www.887551.com以前的文章或继续浏览下面的相关文章希望大家以后多多支持www.887551.com!

本文发布于:2023-04-04 01:25:26,感谢您对本站的认可!

本文链接:https://www.wtabcd.cn/fanwen/zuowen/8aee9bdc5663f702e3dfc255788de2d3.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

本文word下载地址:pandas数据的合并与拼接的实现.doc

本文 PDF 下载地址:pandas数据的合并与拼接的实现.pdf

标签:方法   定义   方式   数据
相关文章
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2022 Comsenz Inc.Powered by © 专利检索| 网站地图