-
引言 边缘计算是随着物联网的发展而新兴起来的全新数据技术架构,由于业务需求和技术要求较以往有很大不同,本身也还在发展中,传统的技术框架和编程模式不再完全适用,很多企业在开发实施过程中遇到了很多 ..
-
【摘要】 随着数据量的不断增长和业务复杂度的不断增加,离线跑批任务量越来越繁重,耗时越来越长。众多项目出现了整晚都算不完、跑不完的情况。造成如此困境的原因是什么?如何破局?点击 ${artic ..
-
【摘要】 SQL 虽然可以对集合中的记录进行循环计算, 但在循环计算过程中利用中间变量、同时计算 ..
-
前言 访问多个异构数据源是大型企业应用软件非常常见的需求,人们也开发出了很多办法试图解决这个困难问题,但是这些办法往往都只是对某一种特定的场景,一直都没有异构特别理想的通用解决方案。今天,我们 ..
-
问题介绍 作为 java 程序员,用代码直接实现类似 SQL 中的交并补差的集合运算,总是要编写大量的代码,如果能有一个专门的外部数据工具,通过写简单类似 SQL 的脚本来实现,在 jav ..
-
【摘要】 传统关系型数据仓库的问题包括:成本高、计算封闭、性能差、管理难。那么,关系数据仓库问题多,为什么还要用呢?为什么不直接使用文件系统存储?我们为什么需要一种文件型数据仓库 / 集市!! ..
-
把 Excel 文件导入关系数据库是数据分析业务中经常要做的事情,但许多 Excel 文件的格式并不规整,需要事先将其中的数据结构化后再用 SQL 语句写入数据库。JAVA程序猿经常选择使用P ..
-
【摘要】 看起来很简单的集合运算放在大数据的场景下,如果还想获得高性能就需要充分了解数据特征和计算特征才能设计出高效算法 ..
-
【摘要】 报表性能对用户的影响十分恶劣,所有用户查报表时都希望立等可取,超过 5 秒钟用户就会很不满意,更别提要求毫秒级响应的情况了。引起报表性能的原因有很多(数据量大、计算复杂、报表格式混乱 ..
-
【摘要】 介绍了如何使用集算器的组表进一步优化 JOIN 运算的方法。${article} 上一篇《优化 Join 运算的系列方法》介绍了如何使用集算器优化JOIN性能,其中数据存储使用的是集 ..
-
【摘要】 MongoDB 在进行分组统计时如果面对一些比较复杂的计算情况,往往会遇到 shell 脚本过于复 ..
-
【摘要】 主子表是数据库最常见的关联关系之一,最典型的包括合同和合同条款、订单和订单明细、保险保单和保单明细、银行账户和账户流水、电商用户和订单、电信账户和计费清单或流量详单。当主子表的数据量 ..
-
【摘要】 由于数据量或计算复杂度原因,经常需要在数据库中创建中间表,但中间表会带来很多问题!若采用专业的数据计算引擎,又会带来怎样的好处呢?去乾学院看个究竟吧!${article} [图片][ ..
-
【摘要】 多样性数据源普遍存在,且本身没有计算能力,常规手段总是需要建设专门的数据仓库及 ETL 转入工作,增加额外工作量,且实时性也不好。若采用专业的数据计算引擎,这些不足将迎刃而解!去乾学 ..
-
【摘要】 基于数据库系统的 T+0 全量实时查询,在数据量很大时一般只能进行数据库扩容(包括分库手段),成本高昂;如果采用文件系统和生产数据库混合运算,就可以实现低成本高性能的 T+0 查询! ..
-
【摘要】 无论存储过程还是 JAVA 程序实现的数据计算层,都会存在很多不足和不方便!若采用专业的数据计算引擎,又会带来怎样的好处呢?去乾学院看个究竟吧!${article} [图片][图片] ..
-
【摘要】 报表做不完,客户总抱怨,老板一直催,报表没完没了怎么办? 投入很多技术力量做报表,还是疲于应付? 技术高手用来做报表,感觉很浪费? 缺少低成本高效率的报表开发应对方案? 如果你也面临 ..
-
【摘要】 报表或数据查询一次等的花儿都谢了; 晚上跑批跑不完,第二天影响业务; 数据库太慢,很多计算性能太低。 查询慢、跑批慢、数据库压力大怎么办?本文将介绍一种新的计算体系和开发工具,可以解 ..
-
Spark 是最流行的分布式数据计算工具,在当前大数据分析领域占据主导地位。在这一领域发挥的作用,集算器与 Spark 有不少交集,和 Spark 对比有哪些不同? 对于底层使用了不同技术、设 ..
-
【摘要】 使用 SQL 查询语言,你只能查询位于数据库里面的数据,但是当你面对的数据是一些 Ex ..
-
前言 大型企业的绩效考核系统一直是一个难于稳定的系统,总是面临着没完没了的需求变化。就其原因主要是软件架构僵化,业务逻辑与数据耦合度过高,造成需求的任何一点修改,都要对整个应用进行伤筋动骨的改 ..
-
1545702966257 【摘要】 MongoDB提供的 lookup 对多表关联实现了基本的 ..
-
【摘要】 SQL 虽然是针对记录的集合进行运算, 但在记录的多次利用以及有序运算却经常要重复计算 ..
-
按:在敏捷 BI 横行的年代,报表这个概念也有了更大的外延,很多用户甚至技术人员都会将由复杂格式报表与 BI 系统中拖拽出来的报表混为一谈。这是一篇 2004 年底写的老文,现在重读,对于理解 ..
-
大多数JAVA程序猿都选择使用POI或者HSSFWorkbook等第三方类库来实现Excel自动化合并,这样一来不仅需要噼里啪啦的敲好多代码,费事费力,而且用起来灵活度也不高,对Excel的格 ..