-
需求: 带参数模板报表用户选择参数查询后,页面中增加一个保存参数按钮,点击后能将当前参数值保存下来,下次再次访问同一报表时,默认用上次保存的参数值查询展现结果。 解决方案: 思路:在页面上增加 ..
-
自从 Hadoop 兴起之后,业界好象就有了这么一种共识:不再关注单机的运算性能,全靠集群堆。大家都在比谁的集群能更大,至于单机能力是否被充分发挥了,那没人关心。Hadoop 体系的诸多技术都 ..
-
SPL?不是经常宣传来用于数据仓库计算的、叫板 SQL 的语言吗?还能做量化? 没错,SPL 不仅能做大数据高性能算法,还能做股票量化交易策略,不仅可以做,而且方便得很。 长话短说。近三两年来 ..
-
BI 和 AI 中都有个 I,对应的英文单词都是 Intelligence,看起来是同一个意思。 其实不然,即使我们只在商业领域中讨论问题,BI 和 AI 中的 I 也有很大的不同。 广义地来 ..
-
很多程序员尝试用 Stream 取代 SQL,但 Stream 缺乏专业的数据对象,在结构化计算方面远不如 SQL 专业。作为对比,SPL 有完善的结构化数据对象,且提供了不依赖于数据库的结构 ..
-
所谓低代码,直观来讲,就是让代码写起来更简单容易。完成同样的任务时,代码量(也就可以理解为工作量)会比其它技术更少;另外,还有个重要指标是要对开发人员的要求足够低,如果都要 N 年经验的高手来 ..
-
前几天听说 OceanBase 打榜了 TPCH 的第一名,之后又看到这样一个测试报告[链接]。 先点评一下这个测试报告: 1. 坦白地说,这个测试还不太专业,并不能比出分布式大数据计算的关键 ..
-
BI 中的多维分析要求前端有极高的响应速度,多维分析所涉及的数据量常常很大,几千万上亿行甚至更大的基础表都有,基于这样的表做汇总,性能基本无法保证,所以后台计算性能不好,前端交互感受也就很差了 ..
-
数据库可以说是通用软件领域中最挣钱的产品了,这些年的市场也是相当热闹。这个时刻说数据库会消失,是不是有点胡扯了? 且听我一家之言。 数据库的任务主要是解决数据的存储和计算,只要应用软件还在做, ..
-
XML 计算起来不够方便,通常要用计算类库完成,本文将比较四类 XML 的计算库,包括 dom4j、MySQL、Scala、集算器 SPL,重点考察这些工具在语法表达、部署配置、数据源方便的差 ..
-
我们之前做过一些性能优化的案例,不算很多,还没有失手过。少则提速数倍,多则数十倍,极端情况还有提速上千倍的。提速一个数量级基本上是常态。下面是一些案例材料: [链接] [链接] [链接] [链 ..
-
低代码这个词突然热闹起来,冒出一堆创业团队搞这东西。以前只知道代码有长短,现在才知道代码还有高低。 低代码是干吗的?说是用来做某种软件的开发平台,某种软件主要是指管理信息系统,俗称 MIS。M ..
-
[链接] [链接]八、有序归并 我们再来看同维表和主子表的 JOIN,这两种情况的优化提速手段是类似的。 我们前面讨论过,HASH JOIN 算法的计算复杂度(即关联键的比较次数)是 sum( ..
-
1. 需求 在进行数据查询时,一般是根据参数值不同展现不同的数据,但有时希望根据参数不同查看不同的报表模板,这时该怎么实现呢? [图片] 2. 实现思路 参数模板中,设置下拉框用来选择要查看的 ..
-
什么是自动建模? 自动建模也称为自动化机器学习,自动化 ML 或 AutoML,它是将机器学习模型开发过程中耗时的反复性任务自动化的过程。 业务人员、初学者、数据科学家、分析师和开发人员都可以 ..
-
[链接] [链接]七、进一步的外键关联 我们继续讨论外键 JOIN,并延用上一篇的例子。 当数据量大到无法全部放进内存时,前述的地址化方法就不再有效了,因为在外存无法保存事先算好的地址。 一般 ..
-
Json 比普通的二维数据计算起来更困难,这种情况下要用计算类库完成,本文将比较四类 Json 的计算库,包括 JsonPath、SQLite、Scala、集算器 SPL,重点考察这些工具在语 ..
-
[链接] 我们再来研究如何利用 JOIN 的特征实现性能优化,这些内容的细节较多,我们挑一些易于理解的情况来举例,更完善的连接提速算法可以参考乾学院上的《性能优化》图书及课程。 [链接]六、外 ..
-
http://c.raqsoft.com.cn/article/1620171465902 五. 解决关联查询 我们重新审视和定义了等值 JOIN 运算,并简化了语法。一个直接的效果显然是让语 ..
-
[链接] [链接]四. 维度对齐 我们再回顾前面的双子表例子的 SQL: SELECT Orders.id, Orders.customer, A.x, B.y FROM Orders LEF ..
-
[链接] [链接]三. JOIN 的简化 我们先看如何利用关联都涉及主键这个特征来简化 JOIN 的代码书写,分别讨论这三种情况。 1. 外键属性化 先看个例子,设有如下两个表: employ ..
-
[链接] [链接]二. 等值 JOIN 的剖析 我们来考察下面三种等值 JOIN: 1. 外键关联 表 A 的某个字段和表 B 的主键字段关联(所谓字段关联,就是前一节说过的在等值 JOIN ..
-
大报表导出因数据量巨大,导出 EXCEL 文件时间长。高并发导出请求会同时启动过多的线程执行导出服务,由于单次执行时间长,服务完不成堆积起来,对 cpu 的竞争非常激烈,可能原本要一分钟执行完 ..
-
需求 在流程流转中考虑让用户主动进行数据快照版本的保存,服务器端存储(不考虑数据库存储快照数据),支持可通过版本号和用户名称进行区分。另外,能够对历史快照版本的数据进行查询,查询后的数据可以各 ..
-
[链接] 连接运算(JOIN)一直是 SQL 中的老大难问题。在关联表稍多一点的时候,代码书写就变得很容易出错了。而且因为 JOIN 语句的复杂,导致关联查询也一向是 BI 软件的软肋,几乎没 ..