-
和传统的程序设计语言不同,SPL中集合的应用非常普遍,实际上最常见的序列和序表等本质上都是集合,可以对它们进行真正的集合运算,从而大幅度提高开发效率和代码性能。因此,在使用SPL时,需要特别重 ..
-
集算器实现 Birt 等报表工具中不规则月份统计 业务报表中,常常需要基于时间段进行分组统计,特别是按月份分组统计。一般情况如果按自然月就简单了,但有时候也会需要按不规则月份来分组。例如,某企 ..
-
报表是很多 web 应用系统不可缺少的模块,仍然是绝大多数 BI 项目的基础功能。随着数据时代的到来,数据来源越来越多样 (text,excel,monogdb,redis,es…),为报表数 ..
-
【摘要】 有了固定报表工具之后,这类格式复杂、指标参数任意组合的需求并不难实现,只是原始数据量一大,查询就会非常慢,用户体验变的极差,当多并发请求时,甚至还会对正常业务产生影响!而集算器面对这 ..
-
【摘要】 在线查询时,慢的问题经常让使用者抓狂,业务部门的不满会转换成技术团队的压力,但基于传统技术体系这类问题往往解决的不好。本文提出一种基于算法特性设计和使用专用的存储方案来大幅提升在线查 ..
-
【摘要】 随着数据量的增加,用普通数据库作为多维分析服务器的响应速度越来越差,用户等待时间越来越长。如果采用预汇总方案提速,又需要巨大的存储空间而且存在很多功能盲区。点击 ${article} ..
-
【摘要】 作为高性能计算数据库,SPL Base 可以在离线跑批、在线查询和多维分析 3 个方面提供高效的计算输出,帮助用户解决由于性能带来的这些问题: 1. 半夜跑批跑不完,出错了来不及再来 ..
-
测试环境说明 CPU:4颗,主频2.6G,每个CPU内核数8个。 硬盘:800G,15000转SAS硬盘,理论读写速度150m/s。 内存:64G。 操作系统:Linux cent os 6 ..
-
[图片] 我们在《多维分析预汇总的存储容量》中计算过,如果想做到 O(1) 的复杂度,至少要考虑界面用到的各种维度组合,这在维度总量稍多一点时就不可行了。 这样,我们就只能放弃 O(1) 复杂 ..
-
【摘要】 数据分析场景中,充斥着聚合运算,常见的有求和、计数、均值、最大最小值等等,想要得到正确的结果值,遍历技术必不可少,如何更加高效地对数据进行遍历?点击:性能优化技巧 - 遍历,来乾学院 ..
-
【摘要】 SPL 可将文本文件按体积大致分为 N 段,而不是按行号精确分段,如此可大幅提高并行计算性能。通过 JDBC 取数时,有时会遇到数据库负载虽然不重,但取数性能仍然较差的情况,这种情况 ..
-
【摘要】 对数据库进行批量更新时,使用 update 函数要比 execute 函数性能更好。数据库通常会提供同步 / 导入工具,这些工具通常具备更好的性能,也都支持命令行调用,SPL 可以调 ..
-
当单台数据库的数据量太大而影响性能时,可以把数据拆分到多台服务器上,每台服务器只承担部分计算压力,再由SPL合并计算结果。特殊地,数据可拆分为历史数据库和当前实时数据库,由SPL实现T+0计算 ..
-
在数据库应用开发中,我们经常需要面对各种复杂的SQL计算,多层固定分组就是其中一种。实现该算法的思路是用left join语句将源数据按照固定的依据对齐,但由于该算法往往涉及分组汇总、行间计算 ..
-
本节在数据量比较大的情况下,对比esproc和python。 数据量:7000多条万记录,5个字段分别是orderid,clientid,sellerid,amount,date。总大小超过3 ..
-
在前面几篇文章中,我们一起学习了行式填报表制作的相关内容,也了解了多源 SQL 和脚本两种数据处理方式,今天我们来研究一下如何制作分组填报表。 同样地,我们以 demo 示例库中的雇员表信息维 ..
-
【摘要】 内存计算的本质就是为了高性能 (包括一定的高并发),以此应对实时查询等问题!当前技术手段要么太贵、要么体系沉重;而集算器不仅算的更快,且体积更小、更轻!同时具备高度的集成性与灵活性! ..
-
概述 – 提示:指启示,提起注意或给予提醒和解释。 在 excel 中会经常用到给某个格子增加提醒信息,比如金额提示输入数值或最大长度值等等。设置方式也有多种,简单的,仅为单元格插入批注就可以 ..
-
SPL是一种面向结构化数据计算的程序设计语言,集算器是SPL语言的java实现,采用网格式编程 ..
-
在很多填报表项目的开发过程中,为了保证数据规范且有效,常会在报表中设置各种校验以达到目的,比如:工资金额最多只允许包含两位小数、邮政编码必须是全数字组成的 6 位数且首位数字不能是 0 ,等等 ..
-
1. 列出分期贷款明细 题目介绍:loan 表存储着贷款信息,包括贷款 ID,贷款总额、按月分期数、年利率。数据如下: [图片] 我们的目的是列出各期明细,包括:当期还款额、当期 ..
-
[图片] 在进一步讨论如何在有限空间内实现多维分析的预汇总之前,我们有必要再了解一下预汇总方案还有什么功能上的不足,也就是要搞清还有什么查询需求很可能无法通过预汇总数据获取。 1. 非常规聚合 ..
-
随着信息时代的快速发展,报表工具的应用也越来越普遍,其中难免会涉及到很多填报需求。 比如: 数据采集录入填报时如何只更新当前修改行、用报表工具实现树状层级结构的填报表、web 操作数据留痕等等 ..
-
润乾报表的统计图可以在图例 / 图形上设置超链接,从而实现钻取到明细报表的操作,钻取得到的报表可以在新窗口或者当前窗口中打开。关于如何在统计图的图形 / 图例上设置超链接,在用户手册中有常用示 ..
-
多维分析一般是交互式操作的,也就要求有极高的响应速度,而多维分析涉及的数据量常常很大,几千万上亿行甚至更大都有,临时统计很可能跟不上界面的操作。为了保证性能,一些多维分析产品采用了预汇总方案, ..