【性能优化】4.4 [遍历技术] 数据库并行加载
4.4 数据库并行加载
有时我们需要从数据库中读出数据进行复杂运算，常常会发现数据库负载并不重的时候，读出数据的时间却很长。这主要是由于数据库的访问接口性能较差导致的，使用并行可以有效地缓解这个问题。
| A | B | |
| 1 | fork to(4) | =connect(…) |
| 2 | =range(MinID,MaxID+1,A1:4) | |
| 3 | =B1.query("select * from T where id>=? and id<?,B2(1),B2(2)) | |
| 4 | >B1.close() | |
| 5 | =A1.conj() | |
这段代码将并行取出 T 表中 id 值在 MinID 和 MaxID 范围之间的记录。将条件区间拆分成多段，每个线程取其中一段。注意数据库需要在每个线程内单独连接，否则数据库会强制同一个连接的请求串行执行，并行逻辑就无法实现了。
数据库没有接口实现分段拆分，只能使用 where 来拆分，可以根据对数据特征的了解使用更合理的拆分方案。where 计算会占用数据库资源，并行取数只能在数据库资源不紧张时应用（取数慢是由于接口慢而不是数据库计算慢），太复杂的 where 计算也会造成并行取数的效果变差。
如果取出数据量大要使用数据库游标，那要在每个线程内处理读出来的数据，才能起到并行的效果，不能在线程中返回延迟游标而没有实质计算。
| A | B | |
| 1 | fork to(4) | =connect(…) |
| 2 | =range(MinID,MaxID+1,A1:4) | |
| 3 | =B1.cursor("select * from T where id>=? and id<?,B2(1),B2(2)) | |
| 4 | =B3.groups(…) | |
| 5 | =A1.conj().groups(…) | |
使用多个不同 SQL 取数时也可以使用并行方案：
| A | B | |
| 1 | =["select …","select…",…] | |
| 2 | fork A1 | =connect(…) |
| 3 | =B2.query(A2) | |
| 4 | >B2.close() | |
多个 SQL 时可以使用更大的一些并行线程数，不同 SQL 执行速度不同，即使物理上没有更多的线程数，也能起到平衡负载的作用。有线程分配到可较快执行的 SQL 时，可以执行更多任务，以避免线程等待。
