-
Java程序用JDBC连接数据库取数,查询的SQL很简单,数据库负担看起来也不重,也就十几万行数据,要执行十多秒,太慢了,有什么办法提速? JDBC的性能确实不高,经测试,Oracle的JDB ..
-
高并发帐户查询,是要在几千万甚至几亿的帐户历史数据中,快速找到某个帐户的几条到几千条明细。计算很简单,把数据查出来就可以了,关键是大并发时,响应速度要达到秒级甚至更快! 在数据库中,用索引查找 ..
-
报表热切换(热部署)是指修改后的报表无需重启应用就能生效。通常报表工具开发的模板(解释执行的)可以做到热切换,关键是报表数据准备环节。如果数据准备使用存储过程或 Java 因为需要编译才能运行 ..
-
所谓类似SQL的运算,专业点的说法是结构化数据运算,也就是过滤、分组、排序、连接等等。JAVA上做这种运算的开源包挺多的,但好用的真不多。Stream是亲儿子,但计算能力不行。Scala计算能 ..
-
T+0 查询是指实时数据查询,数据统计时可以查询到最新产生的数据。对应的还有非实时的 T+1、T+N 查询。直接使用业务库查询就可以实现 T+0,但数据量大了之后就会影响业务交易了。一般会拆分 ..
-
需求 [图片] 如上图,页面展现报表结果的同时,要求把每一页(共 31 页)的“订单 ID”、“雇员 ID”和“订单金额”3 个关键信息备份到其他地方(如入库,用于后期出回执单等使用)。 分析 ..
-
需求 用户输入两个日期(开始日期、结束日期)筛选,要求报表内按该时间段内的所有日期统计数据。 比如,选择参数值开始日期为“2021-09-27”,结束为“2021-10-04”,按如下格式,自 ..
-
除了数据库,报表工具本身通常也可以连接一些非关系数据库的数据源,包括 NoSQL、文件(CSV/Excel/JSON)、Hadoop、RESTful 等。但这类数据源的计算能力较弱,往往需要将 ..
-
目标 集算器能直接针对数据文件写SQL查询,也能写SPL脚本支持复杂计算,为了容易给外部程序提供计算结果,提供了嵌入式JDBC驱动。本篇介绍Kettle中通用JDBC集成SPL的方法,及不同的 ..
-
在数据库之间进行数据转储,需要先将源数据库的数据导出到某文件,再把该文件中的数据导入到目标数据库中。还会有些较复杂的场景,需要对导出的文件进行一些处理后再导入到目标库。本文将探讨几种数据库转储 ..
-
有些时候,数据的次序在分组时是有意义的。我们有时会把具有相同字段值或者同时满足某些条件的相邻记录分到同一组。比如蝉联奥运会金牌榜第一名届数最长的国家是哪个, ..
-
【摘要】 从原理上分析 SQL 语句慢的原因,用代码示例给出提速办法。点击了解 ${article} 问题描述 高并发帐户查询的应用场景有很多,例如:手机银行查流水、网上营业厅查明细、手游帐户 ..
-
T+0 查询是指实时数据查询,数据统计时可以查询到最新产生的数据。对应的还有 T+1、T+7 等,对应表示只能查询 1 天或 7 天以前的数据,显然这种 T+N 查询的数据是非实时的。本文将要 ..
-
在数据库外的结构化数据计算方面,Stream 迈出了从无到有的一步;Kotlin 稍稍加强了这种能力,但编译性语言的特性使它无法走得更远;要想真正解决库外结构化数据计算的难题,还需要 SPL ..
-
一个集合X中可能存在过大或过小的异常值,希望计算一个范围,剔除集合X中过大或过小的异常值,这个范围的上下限就是阈值,较大值称为阈值上限,记为threshold_up,较小值称为阈值下限,记为t ..
-
还在采购 BI,自己做一个不香吗? 这话乍一看,有标题党之嫌,但细思量,这何尝不是很多 BI 用户的心之所想,心之所向呢 数据信息化这么多年,业务系统积累了大量数据,建设一个 BI 系统,挖掘 ..
-
对于按照一定次序排列的数据进行计算,经常会遇到跨行引用的情况,比如股票价格相比前一天的涨幅是多少,求某支股票的 20 日均价等等。 ..
-
把集合中具有相同属性的成员分配到同一个组,这就是分组运算。比如员工表根据部门分组,每组的员工都具有相同的部门;销售表可以根据销售年份分组,每组都是同一个年份 ..
-
【摘要】 从原理上分析 SQL 语句慢的原因,用代码示例给出提速办法。点击了解 ${article} 问题描述 我们把用来实现某种标记的“是否”型数据称为二值标签。在二值标签总数不太多,只有几 ..
-
BI,买一套都要几万几十万的,开发成本岂不更高?零成本?还自有品牌?开玩笑,怎么拥有? 嘿嘿,用润乾报表的开源 BI,一毛钱不要,还给源代码随便改,分分钟变成自有品牌。 哦,原来是开源 BI, ..
-
概述 之前在乾学院上看到一篇文章润乾报表常用数据行变色操作方法,按照该文章对于仅有数据区的报表来说是完全可以使用的,但是当报表增加左表头后,页面就会出现点击行变色时,变色效果会被左表头分段,导 ..
-
不同类型数据库的函数语法或多或少有些差异,要想让功能相同的SQL查询语句在不同类型的数据库中都能被顺利执行,就要把各数据库都有的那些差异化函数语法进行翻译,即SQL移植。本文将探讨几种SQL移 ..
-
一个完整的微服务包括服务治理(注册 / 发现 / 注销)、服务网关、服务容错、服务通信、服务监控、服务安全、部署与编排等诸多内容。使用原生开发语言从头开发往往不太现实,因此在实现微服务时通常会 ..
-
Auto AI 顾名思义,就是将 AI 实现过程中,需要人工完成的部分交由工具来自动完成。以数据挖掘为例,要搭建一个 AI 模型,需要进行数据统计分析,数据预处理,算法选择和调参,模型评估等一 ..
-
当然不是 Python 只是一门程序设计语言,要做建模预测,还要了解各种统计学知识和算法。换句话说 Python 只是一个可以实现建模功能的工具,至于要如何处理数据,如何选择算法和参数,还需要 ..