计算&AI •
928 引用 •
1047 回帖 •
458 关注
博客
关注
-
【摘要】 内存计算的本质就是为了高性能 (包括一定的高并发),以此应对实时查询等问题!当前技术手段要么太贵、要么体系沉重;而集算器不仅算的更快,且体积更小、更轻!同时具备高度的集成性与灵活性! ..
-
【摘要】 银行自助分析系统用户多,数据量大,系统速度还要求飞快。与此同时,后台数据仓库却已经负担了太多的应用,无法为大量连接提供高性能查询。点击 ${article},去乾学院看看集算器如何解 ..
-
【摘要】 ETL 常常做成 ELT 甚至 LET! 这样做带来的恶果是:1)数据库臃肿、负担重,数据管理混乱;2)性能低下,时间成本高( 数据库写入很慢),影响 ETL 窗口时间。 解决方案: ..
-
【摘要】 Java 是当前最为主流的企业应用开发语言,而开发企业应用又不可能不与数据、数据库打交道。虽然数据库提供了比较丰富的数据计算功能,但是还是会有很多情况下,需要在 Java 代码中对数 ..
-
【摘要】 某省车险每天新增保单 1-2 万,三年历史保单 2 亿条数据。跑批时要计算新增保单对应的历史保单,计算复杂、数据量大、耗时很长。点击 ${article},去乾学院看看集算器如何比存 ..
-
【摘要】 手机银行查流水、网上银行查收入、游戏账号查明细、手机营业厅查充值记录等等都属于海量账户查询场景。此场景的特点是:访问人数特别多,全量数据超大,而且不能让用户等待!点击 ${artic ..
-
【摘要】 日常数据处理中经常会发生一些临时数据计算需求。这种临时性计算具有相当的普遍性。那么,我们是用什么方法来处理这种具有普遍性的临时计算需求呢? 去乾学院看个究竟吧! ${article} ..
-
引言 边缘计算是随着物联网的发展而新兴起来的全新数据技术架构,由于业务需求和技术要求较以往有很大不同,本身也还在发展中,传统的技术框架和编程模式不再完全适用,很多企业在开发实施过程中遇到了很多 ..
-
【摘要】 随着数据量的不断增长和业务复杂度的不断增加,离线跑批任务量越来越繁重,耗时越来越长。众多项目出现了整晚都算不完、跑不完的情况。造成如此困境的原因是什么?如何破局?点击 ${artic ..
-
前言 访问多个异构数据源是大型企业应用软件非常常见的需求,人们也开发出了很多办法试图解决这个困难问题,但是这些办法往往都只是对某一种特定的场景,一直都没有异构特别理想的通用解决方案。今天,我们 ..
-
【摘要】 传统关系型数据仓库的问题包括:成本高、计算封闭、性能差、管理难。那么,关系数据仓库问题多,为什么还要用呢?为什么不直接使用文件系统存储?我们为什么需要一种文件型数据仓库 / 集市!! ..
-
【摘要】 报表性能对用户的影响十分恶劣,所有用户查报表时都希望立等可取,超过 5 秒钟用户就会很不满意,更别提要求毫秒级响应的情况了。引起报表性能的原因有很多(数据量大、计算复杂、报表格式混乱 ..
-
【摘要】 介绍了如何使用集算器的组表进一步优化 JOIN 运算的方法。${article} 上一篇《优化 Join 运算的系列方法》介绍了如何使用集算器优化JOIN性能,其中数据存储使用的是集 ..
-
【摘要】 由于数据量或计算复杂度原因,经常需要在数据库中创建中间表,但中间表会带来很多问题!若采用专业的数据计算引擎,又会带来怎样的好处呢?去乾学院看个究竟吧!${article} [图片][ ..
-
【摘要】 多样性数据源普遍存在,且本身没有计算能力,常规手段总是需要建设专门的数据仓库及 ETL 转入工作,增加额外工作量,且实时性也不好。若采用专业的数据计算引擎,这些不足将迎刃而解!去乾学 ..
-
【摘要】 报表做不完,客户总抱怨,老板一直催,报表没完没了怎么办? 投入很多技术力量做报表,还是疲于应付? 技术高手用来做报表,感觉很浪费? 缺少低成本高效率的报表开发应对方案? 如果你也面临 ..
-
【摘要】 报表或数据查询一次等的花儿都谢了; 晚上跑批跑不完,第二天影响业务; 数据库太慢,很多计算性能太低。 查询慢、跑批慢、数据库压力大怎么办?本文将介绍一种新的计算体系和开发工具,可以解 ..
-
【摘要】 使用 SQL 查询语言,你只能查询位于数据库里面的数据,但是当你面对的数据是一些 Ex ..
-
【摘要】 存在问题:跨库的数据汇总运算开发复杂、效率低。 产生的原因:单库的大表数据量巨大,条件限制又不能做分布式数据库,而大多数应用程序都严重依赖数据库的计算能力,但是跨库时数据库的计算能力 ..
-
【摘要】 关键词:集算器、SPL、数据脱敏、报表 1)、数据脱敏是“指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下,在 ..
-
【摘要】 许多程序员都头疼测试数据的模拟,一个是要逼真,另一个需要数据量,不逼真往往导致一些 bug 测不出来,数据量不够则无法发现性能问题,这篇文章给出了很好的解决办法。 1)、应用系统或软 ..
-
【摘要】 存在问题:BI 系统后台计算由中央分布式数据仓库(MPP)实现,性能不佳,导致交互式多维分析响应迟钝。 产生的原因:中央数据仓库上挂数十个应用,计算负担太重! 解决方案:数据前置计算 ..
-
【摘要】 基于数据库系统的 T+0 全量实时查询,在数据量很大时一般只能进行数据库扩容(包括分库手段),成本高昂;如果采用文件系统和生产数据库混合运算,就可以实现低成本高性能的 T+0 查询, ..
-
【摘要】 庖丁解牛,给人的深刻印象是技艺酷炫!然而酷炫并非是庖丁的原意追求。本质上是对一个复杂的结构进行大量练习后,把细节融入了自己的身体,成为一种本能;流畅自然的动作给观赏者造成酷炫的感受, ..
-
【摘要】 无需构建前置数据 (仓) 库,用更低的成本就可以轻松应对项目中各类大数据集报表查询的难题!让我们一起去乾学院看个究竟吧:${article}! 一 问题背景 绝大多数的应用系统中,一 ..