Oracle 的 JDBC 写入有多慢?
在《Oracle 和 MySQL 的 JDBC 到底有多慢》中我们测试过 Oracle的JDBC读出性能，现在再来测试一下写入情况。
1. 数据来源
使用TPCH生成的数据，选用其中的part表来做测试，数据记录为2000万行，9个字段。它生成的原始文本文件名为part.tbl，文件大小为2.4G。
测试时先将文本读入内存形成内存对象，然后再写入，文本读入的时间不计在内。
2. 测试环境
CPU 2个Intel3014 ，主频1.7G，共12核，内存64G。
所有测试均在本机上完成，没有消耗网络传输时间。
3. JDBC写入测试
通过Oracle提供的JDBC接口，用SQL语句执行数据写入。
Java写起来麻烦，用SPL脚本执行测试：
A |
||
1 |
=file("/home1/tbl/part.tbl").import(;,"|") |
/获得要写入的数据 |
2 |
=now() |
/记录时间 |
3 |
=connect("oracle") |
/连接数据 |
4 |
=A3.execute(A1,"INSERT INTO PART (P_PARTKEY, P_NAME, P_MFGR, P_BRAND, P_TYPE, P_SIZE, P_CONTAINER, P_RETAILPRICE, P_COMMENT) VALUES (?,?,?,?,?,?,?,?,?)",#1,#2,#3,#4,#5,#6,#7,#8,#9) |
/把A1中的记录逐条用SQL写入part表 |
5 |
=A3.close() |
/关闭连接 |
6 |
=interval@s(A2,now()) |
/计算时长 |
测试结果（时间单位：秒）
写入时间 |
每秒行数 |
|
Oracle |
3631 |
5508 |
2000万行记录用了一个小时写入。
每秒写入行数和表的字段数及类型都有关（part表有9个字段），只是一种参考。
4. 文本文件对比
我们再看把同样规模的数据写成文本文件需要多长时间。
编写如下SPL脚本执行测试：
A |
||
1 |
=file("/home1/tbl/part.tbl").import(;,"|") |
/获得要写入的数据 |
2 |
=now() |
/记录时间 |
3 |
=file("/home1/txt/part.txt").export(A1; "|") |
/将A1中记录存到part.txt |
4 |
=interval@s(A2,now()) |
/计算时长 |
测试结果是72秒！
这意味着，存成文本文件要比用JDBC写入Oracle快3631/72=50.4倍！
通常，我们把数据写入数据库是为了做进一步计算的，而文本文件却没有计算能力，即使写入速度更快一般也没什么实际意义。不过，在集算器的支持下，可以让结构化文本也拥有和SQL类似的计算能力（可参考【SPL 结构化文本计算】）。这样，把数据写成文本文件，既有较快的写入速度，也不会丧失计算能力。在需要后续计算的场合时，性能会大大优于写入数据库。
5. sqlldr导入数据
Oracle提供了从命令行导入数据的程序工具sqlldr，可以将文本文件数据直接导入到数据表里，会比使用SQL的INSERT语句要快得多。上面我们测试了生成文本文件的速度还不错，如果先将要写入的数据(与本例不同，实际应用中可能是从各种数据源中计算后得到)写入到一个临时txt文件中，然后用sqlldr将其导入，即使多了一步生成临时文件，整个过程仍很可能比用INSERT要更快。
sqlldr需要一个控制文件来指定数据如何导入，编写part.ctl文件如下：
LOAD DATA APPEND INTO TABLE PART
( P_PARTKEY terminated by '|',
P_NAME terminated by '|',
P_MFGR terminated by '|',
P_BRAND terminated by '|',
P_TYPE terminated by '|',
P_SIZE terminated by '|',
P_CONTAINER terminated by '|',
P_RETAILPRICE terminated by '|',
P_COMMENT terminated by '|')
编写如下SPL脚本执行测试：
A |
||
1 |
=file("/home1/tbl/part.tbl").import(;,"|") |
/获得要写入的数据 |
2 |
=now() |
/记录时间 |
3 |
=file("/home1/txt/part.txt").export(A1; "|") |
/将A2游标中记录存到part.txt |
4 |
=system("sqlldr user/password@pdborcl control=/home1/ctl/part.ctl direct=true data=/home1/txt/part.txt") |
/执行sqlldr命令将part.txt数据导入到part表 |
5 |
=interval@s(A2,now()) |
/计算时长 |
测试结果是154秒！
这意味着，存成临时文本文件再用sqlldr导入要比直接JDBC写入快3631/154=23.6倍！
如果有大量数据需要写入数据库，那么建议采用先生成临时文件的办法。
6. 生成SPL集文件对比
我们知道，文本的解析较为复杂，在后续计算时性能不是很好，而且数据类型不严格，还有可能出错。所以，如果能生成二进制文件的话（有了集算器就可以让这些文件都拥有类似SQL的计算能力），对于后续计算的就会有较大的优势。
我们再看将数据存为SPL集文件的性能。
编写生成SPL集文件的脚本如下：
A |
||
1 |
=file("/home1/tbl/part.tbl ").import(; , "|").new(_1:P_PARTKEY, _2:P_NAME, _3:P_MFGR, _4:P_BRAND, _5:P_TYPE, _6:P_SIZE, _7:P_CONTAINER, _8:P_RETAILPRICE, _9:P_COMMENT) |
/获得要写入的数据，命名各列字段名 |
2 |
=now() |
/记录时间 |
3 |
=file("/home1/btx/part.btx").export@tb(A1) |
/写入集文件part.btx |
4 |
=interval@s(A2,now()) |
/计算时长 |
测试结果是76秒，和生成文本的速度差不多，但之后的计算性能将会大大优于文本文件，也不会有数据类型不严格的问题。
我们再简单测试一下集文件和文本文件的读入性能。
文本文件读入：
A |
||
1 |
=now() |
/记录时间 |
2 |
=file("/home1/txt/part.txt").cursor(; ,"|") |
/创建读数游标 |
3 |
=A2.fetch() |
/读入数据 |
4 |
=interval@s(A1,now()) |
/计算时长 |
集文件读入：
A |
||
1 |
=now() |
/记录时间 |
2 |
=file("/home1/btx/part.btx").cursor@b() |
/创建读数游标 |
3 |
=A2.fetch() |
/读入数据 |
4 |
=interval@s(A1,now()) |
/计算时长 |
测试结果文件文件读入是42秒，集文件读入是20秒！这可以确认使用二进制数据做后续计算的性能优势要大得多。
7. 结论
数据库的JDBC写入性能非常非常差！
如果要写入的数据量不大(比如在几十万条以内)，那么还可以忍受。若是数据量比较大，首先我们要分析一下数据是否必须要写入数据库？如果入库是为了进一步计算，那么可以不用入库了，存成文本文件都可以，用二进制文件当然更好（推荐使用SPL集文件，哈哈）。
如果有大量的数据必须要写入数据库，那么由前面的测试可知，推荐采用先将数据存为临时文本文件，再用数据库的导入数据工具将其导入，速度可以比JDBC快很多倍！
本文是以Oracle做测试，其它数据库大致也是类似，读者可以自行研究。
