行式文本文件去重
1. 整行去重
有一个文本文件，其每一行是一个字符串，要将文件中的重复行只保留一行。处理此问题可以把文件的每一行读成一个字符串，组成一个集合，然后通过集合去重运算得出结果。
示例：报名绘画兴趣班的同学学号姓名记录在paint.txt中，可能有些同学报了多次，请删除文件中重复的报名后保存在paint1.txt中。原文件部分数据如下所示
20121102-Joan
20121107-Jack
20121113-Mike
20121107-Jack
esProc SPL脚本如下：
A |
|
1 |
=file("e:/txt/paint.txt").read@n() |
2 |
=A1.id() |
3 |
=file("e:/txt/paint1.txt").write(A2) |
A1 读出paint.txt的数据，选项@n表示每行读成一个字符串，所有行串组成一个集合返回
A2 删除A1中重复的行
A3 将删除重复行后的A2写入文件paint1.txt中
2. 关键列比较
一个文件，有多列数据，第一行是列名，第二行开始是数据记录，要对文件中关键列的内容进行比较，对关键列内容重复的行进行删除或只保留重复的行。
现有2018年的销售订单表order_2018.txt，部分数据如下所示：
2.1 删除重复
示例1：请求出2018年购买产品的所有不同的客户Id，保存在文件2018c.txt中。
esProc SPL脚本如下：
A |
|
1 |
=T("e:/txt/order_2018.txt") |
2 |
=A1.id(CustomerId) |
3 |
=T("e:/txt/2018c.txt",A2) |
A1 读入order_2018.txt中数据，T函数会自动根据文件扩展名选用适合的分隔符
A2 取出A1中所有不重复的CustomerId
A3 将A2中的数据写入文件2018c.txt中，T函数会自动根据文件扩展名选用适合的分隔符
示例2：请求出2018年各位客户购买了哪些不同产品，将CustomerId和ProductId保存在文件2018c_p.txt中。
esProc SPL脚本如下：
A |
|
1 |
=T("e:/txt/order_2018.txt";CustomerId,ProductId) |
2 |
=A1.group@1(CustomerId,ProductId) |
3 |
=T("e:/txt/2018c_p.txt",A2) |
A1 读入order_2018.txt中CustomerId,ProductId两列数据，T函数会自动根据文件扩展名选用适合的分隔符
A2 按关键列分组，@1表示只取分组中的一条记录
A3 将A2中的数据写入文件2018c_p.txt中，T函数会自动根据文件扩展名选用适合的分隔符
2.2 只保留重复
示例：请求出2018年回头客(即多次购买同种产品的客户)的订单情况，将结果保存在文件2018c_rebuy.txt中。
esProc SPL脚本如下：
A |
|
1 |
=T("e:/txt/order_2018.txt") |
2 |
=A1.group(CustomerId,ProductId) |
3 |
=A2.select(~.count()>1).conj() |
4 |
=T("e:/txt/2018c_rebuy.txt",A3) |
A1 读入order_2018.txt数据，T函数会自动根据文件扩展名选用适合的分隔符
A2 按关键列分组, 同一客户购买同种产品的订单分为一组
A3 选出订单数大于1的组，把各组的订单并集为一个数据表
A4 将A3中的数据写入文件2018c_rebuy.txt中，T函数会自动根据文件扩展名选用适合的分隔符
注：以上几例中，如果是csv格式的文本文件，除了文件扩展名不同，脚本的写法是完全一样。
