关于游标的一个小疑问
比如我有一个亿的数据,需要根据条件过滤后然后分组,统计某一个字段的和,然后我用游标取查询,每次 fetch 1 万条,然后在集算器里面去对这个字段求和;那么这种搞法感觉和我自己通过 sql 分页的方式没有区别啊?有人说游标适用大数据的处理,那这种场景游标感觉和传统分页是一样的啊;
"比如我有一个亿的数据,需要根据条件过滤后然后分组,统计某一个字段的和,然后我用游标取查询,每次 fetch 1 万条,然后在集算器里面去对这个字段求和;那么这种搞法感觉和我自己通过 sql 分 .."
比如我有一个亿的数据,需要根据条件过滤后然后分组,统计某一个字段的和,然后我用游标取查询,每次 fetch 1 万条,然后在集算器里面去对这个字段求和;那么这种搞法感觉和我自己通过 sql 分页的方式没有区别啊?有人说游标适用大数据的处理,那这种场景游标感觉和传统分页是一样的啊;
同学,去读一遍这里 程序员学习 SPL 的路径 开篇提到的那本面向非专业人员的书!里面有一章讲大数据。作为专业程序员,半天就能读完。
请按这个帖子的路径走一遍,再来问问题吧,不然,真地不好回答。
您说的应该是这个吧 【程序设计】11.1 [大数据] 大数据和游标 我现在就是这么做的,但是数据量大了的情况下你 fetch 就需要很久一样很慢啊,每次 fetch 一批然后统计一下,和 mysql 的区别是这种方式是增量统计的,mysql 只能一次统计出来。但是这种方式量大了,光数据传输就需要好久。完全解决不了我说的问题。
1 继续看,要相信 SPL 不会傻算个 sum 也这么麻烦。
2 传输速度只能问数据源自己,而且和游标不游标没关系。
3 忍受不了传输速度就别用这个数据源,至于还有别的什么可用的,也继续看。
多看多想再来问,出现的问题会在哪里,该找谁负责
一行代码是可以搞定:=A17.total(sum(a)) 问题是数据量大的情况下统计了 30 多分钟
那你试试 mongo 读这么多数据要多久?它的慢,在外部是没办法解决的,只能找它或者不用它