报表有 100 多万条数据,展现太慢了怎么办?

 

关键词: 大数据量报表 百万数据报表 大数据量报表导出 大数据量报表打印 大数据量报表慢 大数据报表性能低

报表要展现 100 多万数据得用分页方式查询了,如果是自己写代码开发的报表就再实现一下分页查询就可以,不同的数据库实现机制不一样,具体网上资料很多。

如果是用报表工具开发的报表,要看工具本身是否支持异步的分页查询,很多报表工具提供的还是常规分页(假分页),即一次性把数据加载到内存,然后前端再分页展示。
好一点的方式是用数据库分页机制来做,利用行号来过滤,但这种方式也有很多弊端,比如你会发现翻到后面会越来越慢,还有这个里面 大清单报表应当怎么做? 提到的一些问题。

还有一种更好的方式,按照上面帖子里给出的思路。把取数和呈现做现两个异步线程,取数线程发出 SQL 后就不断取出数据后缓存到本地存储中,呈现线程根据页数计算出行数到本地缓存中去获取数据显示。这样,只要已经取过的数据就能快速呈现,不会有等待感,还没取到的数据需要等待一下也是正常可理解的;而取数线程只涉及一句 SQL,在数据库中是同一个事务,也不会有不一致的问题。这样,两个问题都能得到解决。不过这需要设计一种可以按行号随机访问记录的存储格式,不然要靠遍历把记录数出来,那反应仍然会很迟钝。

画个图感受感受:

imagepng
②和③分别是两个线程

看起来有点复杂,还是拿个做好的工具直接用吧: 海量清单与分组报表的实现
还能导出 Excel,也能打印。