"postgreySQL 库表的第 1 列是 ID，用于排序；第 2 列是分类；第 3 列类似 json（非标准 json）, 并存在重复项。 id component_type compone .."

jinxing
乾学院 53 号会员
1 回帖 • 141 浏览 • 1 个月前

SQL，从每组中的 json 字段中提取唯一值

应用计算

postgreySQL 库表的第 1 列是 ID，用于排序；第 2 列是分类；第 3 列类似 json（非标准 json）, 并存在重复项。

id	component_type	component_names
1	INGESTION	{ingestiona,atul, ingestiona, ingestionb}
2	INGESTION	{test_s3_prerit, atul}
3	DQM	{testmigration}
4	SCRIPT	{scripta,scripta,scripta,testimportscript,testimportscript,b,c,c,x}
5	SCRIPT	{testimportscript, scripta,scripta,a,a,b,b,c}
6	SCRIPT	{Script_Python,scripta,x}
7	BUSINESS_RULES	{s3_testH_Graph}
8	EXPORT	{Export2}

要求：用 Java 提取每组的唯一值，并使其位于原记录的原位置；或者说，按照原分组每条记录的顺序，自上而下依次删掉重复的项，唯一值保持原位。

component_type	component_names
INGESTION	{ingestiona,atul,ingestionb}
INGESTION	{test_s3_prerit}
DQM	{testmigration}
SCRIPT	{scripta,testimportscript,b,c,x}
SCRIPT	{a}
SCRIPT	{Script_Python}
BUSINESS_RULES	{s3_testH_Graph}
EXPORT	{Export2}

编写SPL代码

	A
1	=post1.query("select component_type,component_names from tb order by id")
2	=A1.run(#2=mid(#2,2,len(#2)-2).split@tc() )
3	=A2.group@u(#1).(~.run( #2=(#2[-1]\|#2).id@u() ).rvs().run(#2=#2\#2[1]))
4	return A1.run(#2="{"+#2.concat@c()+"}")

A1：通过JDBC查询数据库。

A2：将每条记录的第 2 个字段拆分为多项。

A3：按第 1 列分组并保持原序，然后处理每组数据：按记录顺序累积各项，并去除重复；颠倒记录顺序；用本记录的累积结果和下条记录的累积结果求差集。

A4：恢复原字符串格式，并返回结果。