-
我们之前做过一些性能优化的案例,不算很多,还没有失手过。少则提速数倍,多则数十倍,极端情况还有提速上千倍的。提速一个数量级基本上是常态。下面是一些案例材料: [链接] [链接] [链接] [链 ..
-
低代码这个词突然热闹起来,冒出一堆创业团队搞这东西。以前只知道代码有长短,现在才知道代码还有高低。 低代码是干吗的?说是用来做某种软件的开发平台,某种软件主要是指管理信息系统,俗称 MIS。M ..
-
[链接] [链接]八、有序归并 我们再来看同维表和主子表的 JOIN,这两种情况的优化提速手段是类似的。 我们前面讨论过,HASH JOIN 算法的计算复杂度(即关联键的比较次数)是 sum( ..
-
1. 需求 在进行数据查询时,一般是根据参数值不同展现不同的数据,但有时希望根据参数不同查看不同的报表模板,这时该怎么实现呢? [图片] 2. 实现思路 参数模板中,设置下拉框用来选择要查看的 ..
-
什么是自动建模? 自动建模也称为自动化机器学习,自动化 ML 或 AutoML,它是将机器学习模型开发过程中耗时的反复性任务自动化的过程。 业务人员、初学者、数据科学家、分析师和开发人员都可以 ..
-
[链接] [链接]七、进一步的外键关联 我们继续讨论外键 JOIN,并延用上一篇的例子。 当数据量大到无法全部放进内存时,前述的地址化方法就不再有效了,因为在外存无法保存事先算好的地址。 一般 ..
-
Json 比普通的二维数据计算起来更困难,这种情况下要用计算类库完成,本文将比较四类 Json 的计算库,包括 JsonPath、SQLite、Scala、集算器 SPL,重点考察这些工具在语 ..
-
[链接] 我们再来研究如何利用 JOIN 的特征实现性能优化,这些内容的细节较多,我们挑一些易于理解的情况来举例,更完善的连接提速算法可以参考乾学院上的《性能优化》图书及课程。 [链接]六、外 ..
-
http://c.raqsoft.com.cn/article/1620171465902 五. 解决关联查询 我们重新审视和定义了等值 JOIN 运算,并简化了语法。一个直接的效果显然是让语 ..
-
[链接] [链接]四. 维度对齐 我们再回顾前面的双子表例子的 SQL: SELECT Orders.id, Orders.customer, A.x, B.y FROM Orders LEF ..
-
[链接] [链接]三. JOIN 的简化 我们先看如何利用关联都涉及主键这个特征来简化 JOIN 的代码书写,分别讨论这三种情况。 1. 外键属性化 先看个例子,设有如下两个表: employ ..
-
[链接] [链接]二. 等值 JOIN 的剖析 我们来考察下面三种等值 JOIN: 1. 外键关联 表 A 的某个字段和表 B 的主键字段关联(所谓字段关联,就是前一节说过的在等值 JOIN ..
-
大报表导出因数据量巨大,导出 EXCEL 文件时间长。高并发导出请求会同时启动过多的线程执行导出服务,由于单次执行时间长,服务完不成堆积起来,对 cpu 的竞争非常激烈,可能原本要一分钟执行完 ..
-
需求 在流程流转中考虑让用户主动进行数据快照版本的保存,服务器端存储(不考虑数据库存储快照数据),支持可通过版本号和用户名称进行区分。另外,能够对历史快照版本的数据进行查询,查询后的数据可以各 ..
-
[链接] 连接运算(JOIN)一直是 SQL 中的老大难问题。在关联表稍多一点的时候,代码书写就变得很容易出错了。而且因为 JOIN 语句的复杂,导致关联查询也一向是 BI 软件的软肋,几乎没 ..
-
报表的业务稳定性天生很差,业务开展过程中会催生出许多新的查询统计需求,这就会造成了没完没了的报表,这也是许多行业软件开发商头疼的事情。投入很多人力依然搞得灰头土脸,也花了不少钱买了报表工具和 ..
-
SQL 可以说是在数据处理和分析领域最常用的程序语言了,有很多想从事这个数据业务但还没入门的同学都在问这个问题。但是,这个问题大概率是个无意义的问题。 且听我道来。 问这个问题的同学,要先问一 ..
-
MongoDB 内置的查询表达式有时不够方便,这种情况下就要用到第三方函数库完成计算,本文深度比较四类 MongoDB 上的计算库,包括 MongoDB Connectioin\Calcite ..
-
什么是雪花模型 在《多维分析中的数据模型之星型模型》中介绍到了星型模型的概念,星型模型中所有维表都直接和事实表关联,当有一个或多个维表没有直接连接到事实表上,而是通过其他维表连接到事实表上时, ..
-
当前市场上有不少基于 Hadoop 的商用数据仓库产品,大部分都是有投资背景的,通常来讲,投资这种东西主要是因为有某种技术门槛,指望有过人的技术来挣大钱。但是,仔细分析这个业务,却很难想出它的 ..
-
【摘要】 用实例、分步骤,详细讲解多维分析(OLAP)的实现。点击了解 ${article} 实践目标 本期目标,是在完成前几期优化的基础上,用有序归并或一体化存储来实现主子表及其并行多维分析 ..
-
完整数据有时会存储在多个数据库中,这种情况就要进行跨库的混合运算,本文深度对比了四类跨库手段,包括 DBLink\ 集算器 SPL\ Scala\Calcite,重点考察这些工具的跨库代码写法 ..
-
【摘要】 递归运算是指直接或者间接地调用自身的运算方法。比如我们熟悉的汉诺塔问题,就是典型的递归运算。SQL 和 SPL 是大家比较熟悉的程序语 ..
-
BI、多维分析中总会遇到两个概念:星型模型和雪花型模型,它俩是用来做什么的?多维分析一般分为两个过程,一是后端数据准备,也就是 cube 或者宽表的准备,二是前端的分析,它俩是属于哪个环节? ..
-
【摘要】 用实例、分步骤,详细讲解多维分析(OLAP)的实现。点击了解 ${article} 实践目标 本期目标,是在完成前几期优化的基础上(特别是上期的分支机构维度序号化),实现布尔维度和二 ..