Java 有什么开源包能做类似 SQL 运算的?

 

所谓类似SQL的运算,专业点的说法是结构化数据运算,也就是过滤、分组、排序、连接等等。JAVA上做这种运算的开源包挺多的,但好用的真不多。Stream是亲儿子,但计算能力不行。Scala计算能力还行,但重点搞的是大数据,架构有点复杂,不容易被JAVA调用。还有一大堆模仿Python Pandas的开源包,以及对着文件写SQL的开源包,就没有一个成熟稳定的。

成熟稳定,计算能力强,架构简单,又能被方便调用的开源包,似乎就只有这个了:集算器 SPL

SPL实现这些结构化数据处理很方便,比如读取Orders.txt的全部记录:


Class.forName("com.esproc.jdbc.InternalDriver");
Connection connection =DriverManager.getConnection("jdbc:esproc:local://");
Statement statement = connection.createStatement();
String str="=T(\"D:/data/Orders.txt\")";
ResultSet result = statement.executeQuery(str);

一个T(…)就搞定了。

基本的结构化数据计算方面, SPL提供了大量函数,拿来就能直接用:

条件查询
str="=T(\"D:/data/Orders.txt\").select(Amount>1000 && Amount<=3000 && like(Client,\"*S*\"))";

排序
str ="=T(\"D:/data/Orders.txt\").sort(Client,-Amount)";

分组汇总
str ="=T(\"D:/data/Orders.txt\").groups(year(OrderDate);sum(Amount))";

关联
str ="=join(T (\"D:/data/Orders.txt\"):O,SellerId; T(\"D:/data/Employees.txt\"):E,EId).new(O.OrderID,O.Client,O.SellerId,O.Amount,O.OrderDate,   E.Name,E.Gender,E.Dept)";

这些是SPL自己的语法,对于熟悉SQL的程序员,集算器也提供了对应的SQL语法,比如分组汇总也可以写作下面这样:

str="$SELECT  year(OrderDate),sum(Amount) from Orders.txt group by year(OrderDate)"

这些例子都是以文件作为数据源,当然SPL也可以访问各种数据库以及NoSQL甚至Restful数据源。

 

SPL脚本可以像上面那样内嵌于JAVA代码(类似SQL);遇到步骤较多,可能频繁修改,需要降低耦合性的运算SPL脚本也可以外置于脚本文件(类似存储过程)。比如:找出销售额累计占到一半的前n个大客户,并按销售额从大到小排序。先将SPL脚本存为文件:


A

B

1

= T("D:/data/sales.csv").sort(amount:-1)

 取数并逆序排序

2

=A1.cumulate(amount)

计算累计序列

3

=A2.m(-1)/2

最后的累计值即是总和

4

=A2.pselect(~>=A3)

超过一半的位置

5

=A1(to(A4))

按位置取值

再在JAVA代码中以存储过程的方式调用脚本文件:

Class.forName("com.esproc.jdbc.InternalDriver");
Connection connection =DriverManager.getConnection("jdbc:esproc:local://");
Statement statement = connection.createStatement();

ResultSet result = statement.executeQuery("call bigCustomer ()");

...

 

有些运算逻辑比较复杂,用scala或数据库都比较难写,而SPL提供了更丰富的计算函数和语法,可以大幅简化复杂运算逻辑。比如:计算某支股票最长的连续上涨天数,SPL只需两行:


A

B

1

=T("d:/AAPL.xlsx")

Excel文件,首行为列名

2

=a=0,A1.max(a=if(price>price[-1],a+1,0))

求最长连续上涨天数

 

除了降低耦合性,脚本外置还允许程序员使用专用的IDE进行编辑调试。SPL IDE具备完整调试功能,可随时观察每一步的计算结果,擅长设计逻辑更复杂的计算:

IDEpng

在结构化数据运算方面,集算器SPL明显比其它开源包更胜一筹,在数据源种类、跨源计算、大数据和并行计算等方面,集算器SPL也均有出色表现,这里不再详细展开。