-
报表业务的稳定性天生很差,业务开展过程中会催生出许多新的查询统计需求,报表就要随之不停增加、修改,这就造成了没完没了的报表。一般企业信息系统上线后主要功能模块都相对稳定不再变化,只有报表会随着 ..
-
报表开发主要有两部分工作,一是报表数据准备,将原始数据加工成报表能用的结果集,这步通常使用 SQL、存储过程、Java 等方式实现;二是报表数据呈现,将已加工好的数据以图表方式呈现出来,这步通 ..
-
随着业务增长报表查询的数据量越来越大,数据库容量和性能都会遭遇瓶颈。数据库本身体系比较封闭,执行效率也不够高,即使扩容也不能很好地解决大数据查询的性能问题,并且很容易达到扩容上限。不仅如此,数 ..
-
不同类型数据库的函数语法或多或少存在差异,当报表切换数据库时,报表中那些包含差异化函数语法的SQL也需要随之转换。而通常报表工具中的SQL数据集是写死的,需要把相应SQL手动修改后替换,无法实 ..
-
一个应用系统部署时可能连接不同的数据库,这时如果报表开发中使用了某种数据库独有的语法(数据库方言),那么报表的移植性就会很差。如何增强报表在面对不同数据库时的移植性呢? 要解决这个问题就要避免 ..
-
不同类型数据库的函数语法或多或少存在差异,要想让功能相同的 SQL 查询语句在不同类型的数据库中都能被顺利执行,就要把各数据库都有的那些差异化函数语法进行翻译。 使用 ORM 技术能够将程序 ..
-
有些报表的数据准备过程比较复杂,很难用 SQL 写出来,这时就可以使用存储过程来实现。存储过程支持多步运算,可以编写复杂的计算过程,同时库内计算可以充分利用数据库的计算能力。 不过,存储过程的 ..
-
在分组时经常会要求结果集必须按基准集合的次序出现,这种对齐分组在日常统计中是很常见的。比如按北上广深的顺序,统计某公司在这些城市的总销售额;按指定的部门顺序 ..
-
有边界的线性拟合算法 已知自变量矩阵X和因变量矩阵Y,两者存在线性关系,但系数被限制在一个范围内,这个范围称为边界,试求出该边界范围内的最佳系数矩阵。 [图片] 其中X是k*m矩阵,k是样本数 ..
-
Java有什么开源包能做查询统计的? 做查询统计的开源包,Python上著名的Pandas,JAVA上自然就有大批模仿者,其中Tablesaw和Joinery比较有名,但成熟度、计算能力、函数 ..
-
有些报表的数据准备动作比较复杂,不能简单地用 SQL 写出来,于是常常会用 Java 来完成报表的数据准备。这虽然很灵活,但缺点也十分明显。在实现难度上,Java 缺乏专门面向结构化数据计算的 ..
-
数据库之间搬动数据,需要先将源数据导出到中介文件后,或对文件中的数据进行修改,再导入到目标数据库。使用文本文件(txt/csv)最常见,其通用性强且没有内容大小的限制,但是会丢失数据类型,读数 ..
-
该用开源 BI 还是商用 BI? 如果开源 BI 好用,那一定是选开源 BI!!!!!!!! 开源 BI, 相对于商用 BI,有两大优势 1 免费,节省成本 商用 BI,国内的基本都是几十万一 ..
-
Java程序用JDBC连接数据库取数,查询的SQL很简单,数据库负担看起来也不重,也就十几万行数据,要执行十多秒,太慢了,有什么办法提速? JDBC的性能确实不高,经测试,Oracle的JDB ..
-
高并发帐户查询,是要在几千万甚至几亿的帐户历史数据中,快速找到某个帐户的几条到几千条明细。计算很简单,把数据查出来就可以了,关键是大并发时,响应速度要达到秒级甚至更快! 在数据库中,用索引查找 ..
-
报表热切换(热部署)是指修改后的报表无需重启应用就能生效。通常报表工具开发的模板(解释执行的)可以做到热切换,关键是报表数据准备环节。如果数据准备使用存储过程或 Java 因为需要编译才能运行 ..
-
所谓类似SQL的运算,专业点的说法是结构化数据运算,也就是过滤、分组、排序、连接等等。JAVA上做这种运算的开源包挺多的,但好用的真不多。Stream是亲儿子,但计算能力不行。Scala计算能 ..
-
T+0 查询是指实时数据查询,数据统计时可以查询到最新产生的数据。对应的还有非实时的 T+1、T+N 查询。直接使用业务库查询就可以实现 T+0,但数据量大了之后就会影响业务交易了。一般会拆分 ..
-
需求 [图片] 如上图,页面展现报表结果的同时,要求把每一页(共 31 页)的“订单 ID”、“雇员 ID”和“订单金额”3 个关键信息备份到其他地方(如入库,用于后期出回执单等使用)。 分析 ..
-
需求 用户输入两个日期(开始日期、结束日期)筛选,要求报表内按该时间段内的所有日期统计数据。 比如,选择参数值开始日期为“2021-09-27”,结束为“2021-10-04”,按如下格式,自 ..
-
除了数据库,报表工具本身通常也可以连接一些非关系数据库的数据源,包括 NoSQL、文件(CSV/Excel/JSON)、Hadoop、RESTful 等。但这类数据源的计算能力较弱,往往需要将 ..
-
目标 集算器能直接针对数据文件写SQL查询,也能写SPL脚本支持复杂计算,为了容易给外部程序提供计算结果,提供了嵌入式JDBC驱动。本篇介绍Kettle中通用JDBC集成SPL的方法,及不同的 ..
-
在数据库之间进行数据转储,需要先将源数据库的数据导出到某文件,再把该文件中的数据导入到目标数据库中。还会有些较复杂的场景,需要对导出的文件进行一些处理后再导入到目标库。本文将探讨几种数据库转储 ..
-
有些时候,数据的次序在分组时是有意义的。我们有时会把具有相同字段值或者同时满足某些条件的相邻记录分到同一组。比如蝉联奥运会金牌榜第一名届数最长的国家是哪个, ..
-
【摘要】 从原理上分析 SQL 语句慢的原因,用代码示例给出提速办法。点击了解 ${article} 问题描述 高并发帐户查询的应用场景有很多,例如:手机银行查流水、网上营业厅查明细、手游帐户 ..