跑批提速是SPL的一个主要优化场景，把跑批数据转储到SPL的高性能文件是优化过程中的重要环节。需要被转储的数据，通常包括两部分：历史冷数据和周期性增量数据（增删改）。下面介绍如何把历史与增量数据转储计算，以及周期性更新与定期重整。

一、历史数据转储

组表是SPL提供的高性能存储格式，其原理在于将数据事先排序并以压缩方式紧致存储，好处是占用空间更小，可利用有序进行快速定位。

以TPC-H的ORDERS表为例，从数据库中将历史数据转储为组表文件，代码如下：

执行后，生成按主键O_ORDERKEY 有序的hisdata.ctx历史数据组表文件。

二、增量数据仅追加

2.1增量数据与历史数据整体有序

当增量数据的主键只在历史数据的主键最大值后，可以直接在历史数据后追加。

例如，历史数据组表hisdata.ctx，主键O_ORDERKEY的最大值为6000000，增量数据newdata.csv的主键从6000001开始递增：

hisdata.ctx

newdata.csv

代码如下：

2.2增量数据与历史数据分别有序，但不整体有序

2.2.1数据较小的情况

历史数据不大，每次与原表归并即可。

例如，历史数据组表hisdata.ctx，主键O_ORDERKEY的最大值为6000000，增量数据newdata.csv中有主键小于6000000：

hisdata.ctx

newdata.csv

代码如下：

2.2.2数据量较大

历史数据随时间增涨，每次与原表归并需要的时间变得越来越久。这时可以将数据组表文件分为两部分：历史数据组表hisdata.ctx和增量数据组表newdata.ctx，每次追加只对增量数据组表，一段时间后，再将增量数据与历史数据归并。例如，增量数据需要每天更新、每月重整：

读数据时，需要将增量数据组表与历史数据组表归并后使用，例如：

=[file("newdata.ctx").open().cursor(),file("hisdata.ctx").open().cursor()].merge(#1)。

这里需要注意的是，游标序列中应按数据新旧顺序，即[增量数据,历史数据]。

如果数据量更大，可能还会涉及分区存储成复组表，可以参考：复组表定期维护例程

三、增量数据涉及修改与删除

这种情况，数据量不会非常大，我们这里只介绍单个组表上更新的方法。数据量巨大需要多个组表的情况可以使用复组表，参考：复组表定期维护例程

3.1只增加修改没有删除

当增量数据还涉及修改时，历史数据需要按主键更新。

例如，历史数据组表hisdata.ctx，主键O_ORDERKEY的最大值为6000000，另有增量数据newdata.csv：

hisdata.ctx

newdata.csv

代码如下：

3.2还有删除的情况

历史数据还是上面的一样，不同的是，增量数据newdata.csv在主键O_ORDERKEY后有状态列STATUS，记录状态分为4种：B（主键变更）、D（删除）、A（更新）、I（插入），B与I必定成对出现，例如：

这种情况，需要在最初设计组表时，维字段后加个删除标识列（字段名随意，这里用DEL），其值为false代表记录有效，true代表记录作废，默认设为false。历史组表hisdata.ctx，如下：

需要注意，在有删除标识的组表，建立时，需要用加上create@d参数，将维后的第一列作为删除标识列。

增量数据newdata.csv按状态描述，不难转为以下形式：

代码如下：

带有删除标识列的组表，归并后，删除标识列为true的记录将从组表中删除。读组表时，可以在cursor中不将删除标识列读出，例如：=file("hisdata.ctx").open().cursor(o_orderkey,o_custkey,o_orderstatus,…)