复组表定期维护例程
背景与方法
本例程适应场景：数据维护的实时性不高，可以在指定时刻定期执行，一般数小时或天为单位；总数据量很大，需要拆成多个分表存储；支持追加和更新两种模式。每次数据维护量可能较大，可以使用游标传入。
方法：
追加模式：传入的数据要求已经按时间字段有序，将接收到的数据按当前分表的时间区间拆成多个临时分表存储，然后将临时分表和对应的当前分表归并，写入新的分表。归并结束后，将当前分表指向新产生的分表，对外提供查询服务。原当前分表放入弃用列表，下次更新前删除。本例程支持数据补漏，传入之前遗漏的早期数据也可以正确插入到合适的分表中。
查询时根据查询时间参数，选出涵盖查询区间的分表号列表返回。
更新模式：传入的数据要求按组表的主键字段有序，将接收到的数据写入以当前时刻为标识的临时分表，然后将临时分表和对应时间段的当前分表归并，写入新的分表。其它动作和追加模式相同。
更新模式有个特殊的处理：设计了一个主分表用于存储很早期的历史数据，并提供一个手动调用模块，将某个时刻之前的分表归并入主分表。
查询时，返回主分表号和所有当前分表号列表。
约定与概念
1. 获得新数据时立即写入临时分表。
2. 写出数据采用复组表格式，由多个分表构成，每个分表一个时间区间内的数据。
3. 每隔一个时间区间会启用一个新的分表，一个分表对应一个时间区间。分表的时间区间目前仅支持 1月、1日两种，分别用字母m和d代表。
4. 写出线程：由外部程序主动调用本线程，以游标形式传入数据，先将数据写到临时分表；然后将临时分表归并到相应的当前分表。如为追加模式，要求传入的数据按时间字段有序；如为更新模式，则传入的数据按主键字段有序。
5. 手动归并线程：如为更新模式，将提供一个手动归并的程序，支持将指定时刻之前生成的分表归并到主分表。
6. 查询线程：如为追加模式，则根据时间段参数，选出符合时间段的分表号返回，以便生成复组表用于查询。如为更新模式，则返回主分表和所有的分表号。
7. 分表号的定义规则：如时间级别为月则yyMM00k 的格式；如为日则yyMMddk 的格式，其中k为交替位，取值为0或1
8. 交替位：如果目标分表存在，则和归并上来的数据一起归并写入新的分表，新的分表号和旧的分表号最末二进制位为0/1交替，即原目标分表号末位是0，则新分表号为1，反之为0，前面的所有位的值和原目标分表号一致。
配置文件说明
配置文件ubc.json
该文件缺省位于集算器的主目录下（如想存到别的目录，请自行修改代码为绝对路径），内容如下：
[{ "addOnly":true, "sortKey":"account,tdate", "timeField":"tdate", "deleteField":null, "otherFields":"ColName1,ColName2", "dataDir":"data/", "dataFilename":"data.ctx", "interval":"d", "currentZone":0, "backupZone":1, "discardZone":[] }] |
"addOnly": 是否仅追加，取值true/false。
"sortKey": 如为追加模式，则为排序字段名，一般要包含时间字段。如为更新模式，则为主键字段名，同时要求数据按主键字段排好序。多个英文逗号分隔。
"timeField":时间字段名，如果为追加模式，必须配置此字段，更新模式则置为null。
"deleteField": 删除标识字段，如果更新模式，需要删除则配上此字段，不需要删除就配置null
"otherFields":其它字段名，英文逗号分隔。
"dataDir":组表存储路径，相对于主目录。
"dataFilename":组表文件名，如"data.ctx"。
"interval":分表的时间区间，m表示1月，d表示1日。
"currentZone": 正在使用的主分表号，如0。如为追加模式，则不用配置。
"backupZone": 备份的主分表号，如1。如为追加模式，则不用配置。
"discardZone":被弃用的分表号列表，内容由代码自动产生，初始配置为[]。
存储结构
主目录下的文件及子目录：
data：组表存储路径，目录名在ubc.json中配置，参见前面介绍
ubc.json：配置文件
data目录下的文件如下所示：
文件名由"分表号.组表文件名.ctx"组成，其中组表文件名在ubc.json中配置，参见前面介绍，分表号由系统根据层级别自动计算，分表号的计算规则参见第2节介绍。
配置及存储举例
电商系统:
用户数在50-100万规模，每天记录数在50万-100万行。
这个例子数据量较小，时间区间设置为1月。
其配置文件如下：
[{ "sortKey":"uid,etime",
"timeField":"etime",
"otherFields":"eventID,eventType",
"dataDir":"data/",
"dataFilename":"data.ctx",
"interval":"m",
"currentZone":0,
"backupZone":1,
"addOnly":true,
"discardZone":[],
}]
全局变量
zones: 分表号列表。
current: 当前主分表号，更新模式才有此变量。
代码解析
init.splx
仅在服务器启动时执行一次，过程中不再执行，如果服务器是第一次启动，则需要初始化参数。
| A | B | C | |
| 1 | >config=json(file("ubc.json").read()) | ||
| 2 | if(!config.addOnly) | ||
| 3 | =file(config.dataDir/config.dataFilename:config.currentZone) | ||
| 4 | if(!B3.exists()) | ||
| 5 | =config.sortKey.split@c().("#"+trim(~)).concat@c() | ||
| 6 | =if(config.deleteField, B3.create@d(${C5},${config.deleteField},${config.otherFields}), B3.create(${C5},${config.otherFields}) ) | ||
| 7 | =C6.close() | ||
| 8 | >env(current,config.currentZone) | ||
| 9 | =file("zone.btx") | ||
| 10 | if(A9.exists()) | =A9.import@bi() | |
| 11 | else | >B10=[] | |
| 12 | =env(zones,B10) | ||
A1 读分表号存储文件
A2 如果是更新模式
B4 如果当前主分表不存在
C5-C7 构造一个空的主分表
B8 将当前主分表号设置为全局变量
A9-B11 如果分表号文件存在，则读出，否则构造一个空序列
A12 将分表号序列设为全局变量zones
write.splx
被外部程序调用执行，传入游标数据，先将数据写出到临时分表，再归并入正式分表。如为追加模式，要求传入的游标数据按时间字段排好序；如为更新模式，则传入的游标数据按主键字段排好序。
| A | B | C | D | |
| 1 | >config=json(file("ubc.json").read()) | |||
| 2 | =config.discardZone.run(movefile(config.dataDir/~/"."/config.dataFilename)) | |||
| 3 | >config.discardZone=[] | |||
| 4 | =[] | |||
| 5 | =config.sortKey.split@c().("#"+trim(~)).concat@c() | |||
| 6 | if(!config.addOnly) | |||
| 7 | =(year(now())%100)*10000+month(now())*100+day(now()) | |||
| 8 | =file(config.dataDir/config.dataFilename:B7) | |||
| 9 | =if(config.deleteField, B8.create@d(${A5},${config.deleteField},${config.otherFields}), B8.create(${A5},${config.otherFields}) ) | |||
| 10 | =B9.append(cs) | |||
| 11 | =B9.close() | |||
| 12 | >A4.insert(0,B7) | |||
| 13 | else | for | ||
| 14 | =cs.fetch@0(1).${config.timeField} | |||
| 15 | if(!C14) | break B13 | ||
| 16 | =func(A40,C14) | |||
| 17 | =(year(C14)%100)*10000+month(C14)*100+day(C14) | |||
| 18 | >data=cs.fetch(;${config.timeField}>=C16) | |||
| 19 | if(!data) | break B13 | ||
| 20 | =file(config.dataDir/config.dataFilename:[C17]) | |||
| 21 | >data=data.sort(${config.sortKey}) | |||
| 22 | =C20.create(${A5},${config.otherFields}) | |||
| 23 | =C22.append@i(data.cursor()) | |||
| 24 | =C22.close() | |||
| 25 | >A4.insert(0,C17) | |||
| 26 | =A4.group(if(config.interval=="m",(~\100)*1000,~*10):zu;~:zd) | |||
| 27 | =[] | =[] | ||
| 28 | for A26 | |||
| 29 | =zones.select@1(xor(~,A28.zu)<=1) | |||
| 30 | =if(B29,xor(B29,1),A28.zu) | |||
| 31 | =file(config.dataDir/config.dataFilename:(B29|A28.zd)) | |||
| 32 | =file(config.dataDir/config.dataFilename:B30) | |||
| 33 | =B31.reset${if(config.addOnly,"","@w")}(B32) | |||
| 34 | >A28.zd.run(movefile(config.dataDir/~/"."/config.dataFilename)) | |||
| 35 | >config.discardZone.insert(0,B29) | |||
| 36 | >A27=A27|B29,B27=B27|B30 | |||
| 37 | =file("ubc.json").write(json(config)) | |||
| 38 | >zones=((zones\A27)|B27).sort() | |||
| 39 | =file("zone.btx").export@b(zones) | |||
| 40 | func | |||
| 41 | =[year(A40),month(A40)-1,day(A40)-1,hour(A40),minute(A40),second(A40)] | |||
| 42 | =if(config.interval=="m",2,3) | |||
| 43 | =B41(B42)=B41(B42)+1 | |||
| 44 | >B41.run(if(#>B42,~=0) ) | |||
| 45 | =datetime(B41(1),B41(2)+1,B41(3)+1,B41(4),B41(5),B41(6)) | |||
| 46 | return B45 | |||
A1-A3 读配置文件，删除弃用分表
A4 用来存储临时分表号
A6 如果是更新模式
B7 用当前时刻算出临时分表号
B8-B11 将游标数据写入临时分表
B12 记录临时分表
A13 如果是追加模式
B13 循环
C14 获得第一条记录的时间
C15 如果读不到数据则结束循环
C16 根据第一条记录的时间算出其所属的分表的结束时间
C17 用第一条记录的时间算出临时分表号
C18 从游标中选出小于C16的记录存入data变量中
C20-C24 将data按sortKey排序后写入以C17为分表号的临时分表中
C25 将C17暂存到A4序列中
A26 将临时分表号按其所属的正式分表号分组
A28 按组循环
B29 从正式分表号列表中读出当前组所属的分表号
B30 如果B29存在，则使用交替尾号作为新的分表号
B31-B33 将临时分表和原目标分表（如果存在）归并后写入新的交替分表号中
B34 删除临时分表
B35 原分表号B29（如果存在）写入弃用分表号列表
B36 记录原分表号和新分表号
A38 从分表号列表中删除原分表号，增加新分表号
A40 计算传入时间所属的分表区间的结束时间
manualMerge
手动调用此程序，将分表归并入主分表号，仅适用于更新模式
输入参数：
t 将此时刻之前产生的分表归并入主分表
| A | B | |
| 1 | >config=json(file("ubc.json").read()) | |
| 2 | if t!=null | |
| 3 | =(year(t)%100)*100000+month(t)*1000+day(t)*10 | |
| 4 | =zones.select(~<B3) | |
| 5 | else | >B4=zones |
| 6 | =file(config.dataDir/config.dataFilename:(config.currentZone|B4)) | |
| 7 | =file(config.dataDir/config.dataFilename:config.backupZone) | |
| 8 | =A6.reset@w(A7) | |
| 9 | >config=json(file("ubc.json").read()) | |
| 10 | >config.discardZone.insert(0,(config.currentZone|B4)) | |
| 11 | >config.currentZone=config.backupZone,config.backupZone=current | |
| 12 | >current=config.currentZone | |
| 13 | =file("ubc.json").write(json(config)) | |
| 14 | >zones=zones\B4 | |
| 15 | =file("zone.btx").export@b(zones) | |
A2-B5 如果t不为空，则选出t时刻之前完成的分表号，否则选出全部分表号
A6-A8 把当前主分表和选出的分表归并后写入备份主分表
A10 把当前主分表号和选出的分表号写入弃用列表
A11-A12 将当前主分表号和备份分表号对调
A14-A15 更新分表号列表，并把之备份至文件
query.splx
查询数据时使用，返回复组表分表号
追加模式的输入参数：
start：起始时间
end：结束时间
更新模式无输入参数
| A | B | |
| 1 | if ifv(current) | return current|zones |
| 2 | >sz=((year(start)%100)*10000+month(start)*100+day(start))*10+1 | |
| 3 | >ez=((year(end)%100)*10000+month(end)*100+day(end))*10+1 | |
| 4 | >sp = ifn(zones.pselect@z( ~<=sz), 1 ) | |
| 5 | >ep = ifn(zones.pselect( ~>ez), zones.len()+1) | |
| 6 | =if (sp >= ep,null,zones.to( sp, ep-1)) | |
| 7 | return A6 | |
A1 如果存在current，说明是更新模式，则返回所有分表号
A2-A3 算出输入参数start\end所属的分表号，考虑到交替位的问题，末位置1可以方便写出查找代码
A4 从后往前找出第一个早于等于起始时间的分表号位置
A5 从前往后找出第一个晚于结束时间的分表号位置
A6 选出位于起止时间之间的分表号，左闭右开；没有则返回null
说明：
1、 使用复组表后必须关闭，否则归并操作后无法删除分表
2、 如为更新模式，则使用复组表产生游标时，必须使用@w选项，即cursor@w()，表示分表之间采用更新机制归并
英文版