利用集算器实现分库汇总
当单台数据库的数据量太大而影响性能时，可以把数据拆分到多台服务器上，每台服务器只承担部分计算压力，再由SPL合并计算结果。特殊地，数据可拆分为历史数据库和当前实时数据库，由SPL实现T+0计算。下面用几个典型例子来说明分库汇总的用法。
过滤
订单表orders分库存储在两个Oracle数据库中，数据源名分别为orclA、orclB，请过滤出金额amount大于等于10000的订单。
SPL代码如下：
A |
B |
C |
|
1 |
=[connect("orclA"),connect("orclB")] |
/连接多个数据源 |
|
2 |
select * from orders where amount>=10000 |
/过滤SQL |
|
3 |
fork A1 |
=A3.query(A2) |
/并行计算 |
4 |
=A3.conj() |
/合并结果 |
排序
请过滤出金额大于等于10000的订单，并按订单金额顺序排序。
分库排序算法中，各线程的计算结果不能简单合并，而要用merge函数归并，SPL代码如下：
6 |
select * from orders where amount>=10000 order by amount |
/排序SQL |
|
7 |
fork A1 |
=A7.query(A2) |
|
8 |
=A7.merge(AMOUNT) |
/归并 |
|
分组汇总
请将订单表按年、月分组，对各组数据的amount字段求和。
分库分组汇总算法中，合并后的数据要做二次分组汇总，SPL代码如下：
10 |
select extract(year from orderTime)y,extract(month from orderTime)m,sum(amount) amount from orders group by extract(year from orderTime),extract(month from orderTime) |
/分组汇总SQL |
|
11 |
fork A1 |
=A11.query(A10) |
/各库分组汇总 |
12 |
=A11.conj() |
/合并 |
|
13 |
=A12.groups(Y,M;sum(AMOUNT):AMOUNT) |
/二次分组汇总 |
|
如果分组数较多，则应当利用有序来提高性能，具体做法是：在SQL中事先按分组字段排序，使SQL结果有序，之后使用归并算法合并数据，并用group@o分组汇总。SPL代码如下：
14 |
select extract(year from orderTime)y,extract(month from orderTime)m,sum(amount) amount from orders group by extract(year from orderTime),extract(month from orderTime) order by y,m |
/分组汇总SQL |
|
15 |
fork A1 |
=A15.query(A14) |
|
16 |
=A15.merge(Y,M) |
/归并 |
|
17 |
=A16.groups@o(Y,M;sum(AMOUNT):AMOUNT) |
/有序分组汇总 |
|
分组汇总后过滤
请将订单表按年、月分组，对各组数据的amount字段求和，再过滤出汇总值大于110000000的结果。
SQL实现本算法，通常在group by后带having语句，即：
select extract(year from orderTime)y,extract(month from orderTime)m,sum(amount) amt from orders group by extract(year from orderTime),extract(month from orderTime) having sum(amount)>=120000000 |
分库实现算法时，不能直接使用上述SQL，应该先实现分组汇总算法，再用SPL实现过滤。代码如下：
19 |
select extract(year from orderTime)y,extract(month from orderTime)m,sum(amount) amt from orders group by extract(year from orderTime),extract(month from orderTime) |
/无过滤的SQL |
|
20 |
fork A1 |
=A20.query(A19) |
/各库分组汇总 |
21 |
=A20.conj() |
/合并 |
|
22 |
=A21.groups(Y,M;sum(AMT):AMT) |
/二次分组汇总 |
|
23 |
=A22.select(AMT>=110000000) |
/最后过滤 |
|
24 |
=A1.(~.close()) |
/关闭多个连接 |
|
异构库分库
SPL除了支持同构库分库，也支持异构库分库。需要注意的是，不同数据库的SQL语法并不通用，比如数字截断函数，Oracle中写作trunc，在MySQL中写作truncate。为了正确处理不同的语法，应当先写出SPL标准SQL，再用SPL的sqltranslate函数翻译成不同的本地SQL。
比如：orders表分库存储在Oracle和mysql中，数据源名为orcl和my，请查询amount字段大于等于10000的记录，并将amount字段截断取整。
SPL代码如下：
A |
B |
C |
|
1 |
=[[connect("orcl"),"ORACLE"],[connect("my"),"MYSQL"]] |
/连接数据源，标记数据库类型 |
|
2 |
select ORDERID,ORDERTIME,truncate(AMOUNT,0),CLIENTID,SALESID from orders where amount>=10000 |
/标准SQL |
|
3 |
fork A1 |
=A2.sqltranslate(A3(2)) |
/转为本地SQL |
4 |
=A3.query(B3) |
/查询 |
|
5 |
=A3.conj() |
/合并结果 |
|
连接
除了单表分库计算，SPL也支持多表连接分库计算。这种情况下应对事实表和维表分别处理，事实表应当分库存放，每个数据库存放一部分数据，维表不分库，应当全量复制到每一个数据库中。
比如销售人员表sales是订单表orders的维表，两者以salesID为关联字段，请按sales表的部门字段dept分组，求各部门的销售额。假设sales表已全量存储于各数据库，则SPL代码如下：
A |
B |
C |
|
1 |
=[connect("orclA"),connect("orclB")] |
/连接多个数据源 |
|
2 |
select sales.dept,sum(orders.amount)amount from orders,sales where orders.salesID=sales.salesID group by sales.dept |
/分组汇总SQL |
|
3 |
fork A1 |
=A3.query(A2) |
/并行计算 |
4 |
=A3.conj() |
/合并结果 |
|
5 |
=A4.groups(DEPT;sum(AMOUNT):AMOUNT) |
/二次分组汇总 |
|
6 |
=A3.(~.close()) |
/关闭连接 |
|
英文版