集算器的使用疑惑
我理解集算器的使用思路是,数据的过滤查询通过 sql 语句实现,但是分组,求和,统计等此类的函数在集算器重实现;但是如果一个表的数据量上亿,过滤万后有 500 万,那么这 500 万的数据我们要想拿到集算器处理第一会导致堆内存溢出,第二会导致数据传输过慢; 那么大数据量的情况下如何解决上面的问题呢?
"我理解集算器的使用思路是,数据的过滤查询通过 sql 语句实现,但是分组,求和,统计等此类的函数在集算器重实现;但是如果一个表的数据量上亿,过滤万后有 500 万,那么这 500 万的数据我们 .."
我理解集算器的使用思路是,数据的过滤查询通过 sql 语句实现,但是分组,求和,统计等此类的函数在集算器重实现;但是如果一个表的数据量上亿,过滤万后有 500 万,那么这 500 万的数据我们要想拿到集算器处理第一会导致堆内存溢出,第二会导致数据传输过慢; 那么大数据量的情况下如何解决上面的问题呢?
1、用游标
2、jdbc 慢 SPL 解决不了,可以并行提速;如果是网慢,可以考虑数据库所在服务器上导出文本,压缩后拿给 SPL
其实回答的不太好,不解决根本,还是要学习下 SPL 的使用技巧,可以从这里入手 程序员学习 SPL 的路径
学完之后,这些问题想必也会迎刃而己