计算&AI •
872 引用 •
934 回帖 •
446 关注
博客
关注
-
【摘要】 只用了一天的时间,就把明细查询提速 2000 多倍,真的很香!点击了解 ${article} 问题描述 C保险公司业务系统中,团体保险明细查询速度很慢。查询时输入保单号,要返回团体保 ..
-
【摘要】 每个指标计算都涉及到千万数据量大表的关联、条件过滤、分组汇总、去重计数等多种混合运算,而 3 秒钟要计算 2000 个指标!究竟如何做到?点击了解 ${article} 问题描述 W ..
-
一、 问题背景与适用场景 在对数据集进行排序运算时,有时会遇到这样一种场景:数据集T已经按字段a有序,而字段b无序,现在我们要将T按a、b排序,我们称之为前半有序(a ..
-
一、 问题背景与适用场景 什么是后半有序?如果数据集T已经按字段a、b有序,现在我们要将T按b排序或分组时,因为在a值相同的段内,b都是有序的,这种要排序或分组的字段 ..
-
【摘要】 大表自己关联自己的情况是比较常见的需求,关系数据库实现起来性能不尽如人意。有没有更好的计算方法,可以快速计算大数据量明细表的自关联性能问题?点击 ${article} 了解集算器高性 ..
-
一、 问题背景与适用场景 通常分组计算都采用hash方案,即先计算分组字段的hash值,hash值相同的记录被分拣到一个小集合里,然后在这个小集合中遍历找分组字段值相 ..
-
集算器提供了标准的 JDBC\ODBC 驱动,实现了规范的元数据接口,支持常见的 JAVA\ 非 JAVA BI 工具。集算器以高性能文件存储和高效压缩存储为基础,支持宽表预汇总、关联表预关联 ..
-
一、 问题背景与适用场景 在《[链接]》中,我们尝试了小事实表与大维表关联时的性能优化方法,该方法利用了小事实表可以装入内存的特点,将关联键汇集排序后到大维表中查找, ..
-
一、 问题背景与适用场景 在主子表关联查询中,有时会遇到这样一种情况:按条件过滤后的事实表数据量很小,能够全部装载进内存或仅比内存略大一点;而要关联的维表数据量很大, ..
-
一、 问题背景与适用场景 在《[链接]》中我们见证了有序归并算法提升主子表的关联性能,在集算器中,还有进一步提高性能的办法—附表。集算器组表支持主子表保存在同一文件中 ..
-
【简介】 本文采用集算器集群架构,由浅入深,由繁化简,分别讲述了如何快速高效地实现多机并行,集群计算。 [图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片] ..
-
【摘要】 随着指标维度、标签的不断增加,组合出来的各种指标数量增长很快,甚至指标泛滥。海量的指标无法做到预先算好并存储,但实时计算又无法达到秒级响应的速度。如何破解指标实时计算的难题?点击 $ ..
-
【摘要】 内存数据库是高性能结构化数据计算的重要解决方案,但实际项目中总会存在诸多不足,比如内存占用大、硬件成本高、架构复杂、开发效率低、性能提升不明显。如何解决此类顽疾,请点击 ${arti ..
-
【摘要】 海量用户会带来高并发有关联查询,例如:网上银行、手机银行、手机营业厅、手游网游等等。数据量巨大,还要关联机构表等维表,如何保证秒级的查询速度?点击 ${article} 了解集算器高 ..
-
linux 打开数据文件的时间,实际测试要 10-20 毫秒。 主要原因是操作系统要按照目录去找文件。 所以性能要求非常严格的时候,要尽量减少文件的个数。 传统数据库比如 oracle,没有打 ..
-
【摘要】 用户客群(标签)多的可以达到几千个,每个客群可能包括几十万甚至上千万的用户。要统计几个客群共同用户,同时要按照客户维度过滤。以 SQL 为基础的数据库技术(包括 Hadoop)一直很 ..
-
【摘要】 多维分析是针对一个事先准备好的数据立方体实施旋转、切片(切块)、钻取等交互操作的过程,经常也被直接称为 OLAP(On-line Analysis Processing)。OLAP ..
-
在使用 Jasper 报表工具制作报表时,常常会遇到数据来自多个数据源的情况,通常的做法是使用主子报表或者使用javabean作为数据源。使用主子报表通常会增加报表设计的复杂度,而使用java ..
-
【摘要】 本章我们讨论了关系数据库中普通的键值索引存在的弱点,以及如何进行物理设计以提高性能,如 ..
-
【摘要】 遇到这些场景,慢的让人崩溃?集算器为您加速!点击 ${article} 获得极速体验! 本文预计阅读时间 3 分钟。 [图片] [图片] [图片] [图片] [图片] [图片] [图 ..
-
[链接] 1. 常规分组 当分组聚合的结果集不大时,可以使用groups。例如有学生成绩表存储在集文件中,表结构如下: Scores ..
-
【摘要】 有了固定报表工具之后,这类格式复杂、指标参数任意组合的需求并不难实现,只是原始数据量一大,查询就会非常慢,用户体验变的极差,当多并发请求时,甚至还会对正常业务产生影响!而集算器面对这 ..
-
【摘要】 在线查询时,慢的问题经常让使用者抓狂,业务部门的不满会转换成技术团队的压力,但基于传统技术体系这类问题往往解决的不好。本文提出一种基于算法特性设计和使用专用的存储方案来大幅提升在线查 ..
-
【摘要】 随着数据量的增加,用普通数据库作为多维分析服务器的响应速度越来越差,用户等待时间越来越长。如果采用预汇总方案提速,又需要巨大的存储空间而且存在很多功能盲区。点击 ${article} ..
-
【摘要】 作为高性能计算数据库,SPL Base 可以在离线跑批、在线查询和多维分析 3 个方面提供高效的计算输出,帮助用户解决由于性能带来的这些问题: 1. 半夜跑批跑不完,出错了来不及再来 ..