文件数据去重示例


【摘要】
本文介绍小文件与大文件在进行数据去重时的几种处理办法,比如按整行或关键列去除重复数据或留下重复数据,并用 esProc SPL 举例实现。请点击文件数据去重示例了解详情

 

在数据处理业务中,有时需要清除文件中的重复数据或只留下重复数据,本文将从小文件、大文件两方面介绍整行去重、关键列去重的几种处理办法,并提供用 esProc SPL 编写的代码示例。esProc 是专业的数据计算引擎,SPL 中有一套完善的集合运算领域的函数库,很适合处理文件去重,写出的代码非常简洁。

 

1.   小文件

1.1  整行去重

有一个文本文件,其每一行是一个字符串,要将文件中的重复行只保留一行。处理此问题可以把文件的每一行读成一个字符串,组成一个集合,然后通过集合去重运算得出结果。

示例:报名绘画兴趣班的同学学号姓名记录在paint.txt中,可能有些同学报了多次,请删除文件中重复的报名后保存在paint1.txt中。原文件部分数据如下所示
    20121102-Joan
    20121107-Jack
    20121113-Mike
    20121107-Jack

esProc SPL脚本如下:


A

注释

1

=file("e:/txt/paint.txt").read@n()

读出paint.txt的每一行组成集合

2

=A1.id()

删除A1集合中重复的成员

3

=file("e:/txt/paint1.txt").write(A2)

将删除重复行后的A2写入文件paint1.txt

 

1.2  关键列比较

一个文件,有多列数据,第一行是列名,第二行开始是数据记录,要对文件中关键列的内容进行比较,对关键列内容重复的行进行删除或只保留重复的行。

现有2018年的销售订单表order_2018.xlsx,部分数据如下所示:

    ..

 

1.2.1.  去除重复

示例1:请求出2018年购买产品的所有不同的客户Id,保存在文件2018c.xlsx中。

esProc SPL脚本如下:


A

注释

1

=file("e:/txt/order_2018.xlsx").xlsimport@t()

读出2018订单表数据

2

=A1.id(CustomerId)

取出所有不重复的客户 Id

3

=file("e:/txt/2018c.xlsx").xlsexport(A2)

将客户Id保存到文件2018c.xlsx

 

示例2:请求出2018年各位客户购买了哪些不同产品,将CustomerIdProductId保存在文件2018c_p.xlsx中。

esProc SPL脚本如下:


A

注释

1

=file("e:/txt/order_2018.xlsx").xlsimport@t(CustomerId,ProductId)

读出2018订单表关键列数据

2

=A1.group@1(CustomerId,ProductId)

按关键列分组,@1表示只取分组中的一条记录

3

=file("e:/txt/2018c_p.xlsx").xlsexport@t(A2)

将结果A2保存到文件2018c_p.xlsx

 

1.2.2.   只保留重复

示例:请求出2018年回头客(即多次购买同种产品的客户)的订单情况,将结果保存在文件2018c_rebuy.xlsx中。

esProc SPL脚本如下:


A

注释

1

=file("e:/txt/order_2018.xlsx").xlsimport@t()

读出2018订单表数据

2

=A1.group(CustomerId,ProductId)

同一客户购买同种产品的订单分为一组

3

=A2.select(~.count()>1).conj()

选出订单数大于1的组,把各组的订单并集为一个数据表

4

=file("e:/txt/2018c_rebuy.xlsx").xlsexport@t(A3)

将结果A3保存到文件2018c_rebuy.xlsx

 

 

2.  大文件

大文件数据不能一次性全部装进内存,不能象小文件数据那样全部读出来再进行重复性比较,需要分批读出数据去比较。esProc SPL提供了游标来处理大文件运算,使大文件去重运算也变得十分方便。

2.1  整行去重

有大文本文件,其每一行是一个字符串,要将文件中的重复行只保留一行。处理此问题要把文件的每一行读成一个字符串,成为游标中的一条记录,然后通过游标的去重运算得出结果。

示例:现有全国房产产权人员登记表大文件all.txt,里面记录产权人的身份证及姓名,部分数据如下所示:
    510121198802213364-Joan
    110113199203259852-Jack
    201264197206271113-Mike

由于有些人员在多个州拥有房产,所以文件中会有重复的登记,请将重复的登记只保留一个,将结果保存在all2.txt中。esProc SPL脚本如下:


A

注释

1

=file("e:/txt/all.txt").cursor@s()

创建游标,@s表示用整行构成单字段串的序表

2

=A1.groupx(_1)

对游标中的单字段分组,就可去掉重复的行

3

=file("e:/txt/all2.txt").export(A2)

将去重后的结果写入文件all2.txt

 

2.2  关键列比对

本节仍用销售订单表为例,是所有年份的合并销售订单表orders.xlsx,是个大文件。

2.2.1.   去除重复

示例1:请找出购买产品的所有不同的客户Id,保存在文件customers.xlsx中。

esProc SPL脚本如下:


A

注释

1

=file("e:/txt/orders.xlsx").xlsimport@tc()

创建订单表数据游标

2

=A1.groupx(CustomerId)

CustomerId分组即得到不重复的客户Id

3

=file("e:/txt/customers.xlsx").xlsexport@t(A2)

将客户Id保存到文件customers.xlsx

 

示例2:请找出各位客户购买了哪些不同产品,将CustomerIdProductId保存在文件c_p.xlsx中。

esProc SPL脚本如下:


A

注释

1

=file("e:/txt/orders.xlsx").xlsimport@tc()

创建订单表数据游标

2

=A1.groupx(CustomerId,ProductId)

按关键列分组,即可取得不重复的客户Id和产品Id

3

=file("e:/txt/c_p.xlsx").xlsexport@t(A2)

将结果A2保存到文件c_p.xlsx

 

2.2.2.   只保留重复

示例:请找出回头客(即多次购买同种产品的客户)的订单情况,将结果保存在文件c_rebuy.xlsx中。

esProc SPL脚本如下:


A

注释

1

=file("e:/txt/orders.xlsx").xlsimport@tc().sortx(CustomerId,ProductId)

创建订单表数据游标,并按关键列排序

2

=A1.group(CustomerId,ProductId)

同一客户购买同种产品的订单分为一组

3

=A2.select(~.count()>1).conj()

选出订单数大于1的组,把各组的订单并集为一个数据表

4

=file("e:/txt/c_rebuy.xlsx").xlsexport@t(A3)

将结果A3保存到文件c_rebuy.xlsx

 

 

SPL CookBook》中还有更多相关计算示例。

 

 


以下是广告时间

对润乾产品感兴趣的小伙伴,一定要知道软件还能这样卖哟性价比还不过瘾? 欢迎加入好多乾计划。
这里可以低价购买软件产品,让已经亲民的价格更加便宜!
这里可以销售产品获取佣金,赚满钱包成为土豪不再是梦!
这里还可以推荐分享抢红包,每次都是好几块钱的巨款哟!
来吧,现在就加入,拿起手机扫码,开始乾包之旅



嗯,还不太了解好多乾?
猛戳这里
玩转好多乾