报表连 MongoDB,数据量大报表慢,怎么做分页?

 

关键词: 大数据量报表 百万数据报表 大数据量报表导出 大数据量报表打印 大数据量报表慢 大数据报表性能低 MongoDB 报表分页 Mongo 报表分页查询

MongoDB 没有关系数据库之类的分页机制,要实现分页查询得硬编码,可以通过实现 Pageable 接口来自定义分页类,具体网上有很多介绍。

硬编码的缺点是实现太复杂了,也不好维护,对报表开发人员的要求有点高。简单一点的方式是使用支持 MongoDB 分批取数的报表工具,这样就可以解决大数据量查询的问题。可以参考这个: 海量清单与分组报表的实现

这里用了两个异步线程,取数线程通过封装好 MongoDB 接口返回查询游标将数据分批缓存到本地,呈现线程根据页数计算出行数到本地缓存中去获取数据显示,这样可以解决页码大时翻页慢问题。

画个图感受一下:
imagepng
②和③分别是两个线程,前者取数线程负责从 MongoDB 里分批取数缓存,后者呈现线程负责读缓存做报表呈现。

这样做以后,除了报表能异步查询外,还能支持导出 Excel 和打印。