计算&AI •
796 引用 •
800 回帖 •
419 关注
博客
关注
-
一、 问题背景与适用场景 在主子表关联查询中,有时会遇到这样一种情况:按条件过滤后的事实表数据量很小,能够全部装载进内存或仅比内存略大一点;而要关联的维表数据量很大, ..
-
一、 问题背景与适用场景 在《[链接]》中我们见证了有序归并算法提升主子表的关联性能,在集算器中,还有进一步提高性能的办法—附表。集算器组表支持主子表保存在同一文件中 ..
-
【摘要】 在计算时,如果其中每一步都需要使用到前一步或者前几步的结果,这时就需要使用递归了。递归既常见又让人头疼,有什么简单的方法可以解决各种递 ..
-
【摘要】 对于建模,大家有很多刻板印象:既需要统计学专家,又要懂 IT 技术和业务专业知识,不同部门对模型的需求不同,建模周期长等等。易明智能建 ..
-
【摘要】 脚本可视化编辑面向为不熟悉 SPL 函数的程序员,以对话框方式编辑代码。看完本文,SP ..
-
【摘要】 在分组时经常会要求结果集必须按基准集合的次序出现,这种对齐分组在日常统计中是很常见的。我们还能把对齐分组推广成更一般的枚举分组。对于此 ..
-
[图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [ ..
-
一、 问题背景与适用场景 在《[链接]》中我们验证了有序归并算法提高关联性能的效果,那么还有没有进一步提升的空间呢?能不能再减少数据的读取量从而再提速呢? 通常主子关 ..
-
【摘要】 SQL 的分组聚合功能,使用起来非常不灵活。当你想要针对分组后的部分子集进行某些特殊的操作时,你可 ..
-
【摘要】 TopN 是常见的运算,SQL 的做法通常是先排序,然后再取前 N 行。这样不但效率不高,写起来也不直观。SPL 是如何解决 TopN ..
-
概要 通过调用java.sql.DatabaseMetaData 类中的各种方法,程序可以动态了解数据库,获取数据源连接到的数据库表结构等信息。 本文主要介绍如何在 JAVA 中使用 Data ..
-
【摘要】 XML 解析是常见需求,XML 一般特征包含:仅有元素内容、有元素有属性、元素结构不同等。Java 一般用 XPath 来解析 XML,由于不是集合性语言,写起来会比较长,且大量使用 ..
-
一、 问题背景与适用场景 在以前的文章中我们介绍过,关系数据库在进行表间关联时是使用HASH分段技术。设两个关联表的规模(记录数)分别是 N 和 M,则 HASH 分 ..
-
【简介】 本文采用集算器集群架构,由浅入深,由繁化简,分别讲述了如何快速高效地实现多机并行,集群计算。 [图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片] ..
-
【摘要】 随着指标维度、标签的不断增加,组合出来的各种指标数量增长很快,甚至指标泛滥。海量的指标无法做到预先算好并存储,但实时计算又无法达到秒级响应的速度。如何破解指标实时计算的难题?点击 $ ..
-
【摘要】 有时候我们需要用参数动态指定数据源,或将多数据源连接为单数据源,或向子报表、table 控件动态传入数据源名。对于此类需求,BITR 等报表工具经常要借助高级语言硬编码实现,或牺牲安 ..
-
【摘要】 应用开发中,我们会涉及多种不同类型的数据库,虽然 SQL 语法大体是相似的,但是不同数 ..
-
在事实表与维表的关联查询时,常常会遇到需要对维表的数据进行过滤或者针对维表做计算的情况,这时可以有两种处理方式: 1、先做关联(如果是内存则可以是预关联),再对关联后的事实表进行过滤。就象在《 ..
-
【摘要】 JSON 作为一种轻量级的数据交换格式,因其易于读写和交互的特点,已逐渐成为主流的数据类型之一。常见的编程语言大多都对 JSON 的读取与解析提供了接口,但是接下来如何把多层 JSO ..
-
【摘要】 内存数据库是高性能结构化数据计算的重要解决方案,但实际项目中总会存在诸多不足,比如内存占用大、硬件成本高、架构复杂、开发效率低、性能提升不明显。如何解决此类顽疾,请点击 ${arti ..
-
一、 问题背景与适用场景 在《[链接]》一文中,我们介绍了将维表内存化并预关联的技术,但事实表与维表关联时,仍需进行hash计算和比对,怎么提高这一步的性能呢?我们今 ..
-
背景 前一阵,润乾在线文档系统的全文检索变得非常慢,有时二十多秒才返回结果,甚至超时失败。全文检索服务是用的第三方服务 ..
-
【摘要】 海量用户会带来高并发有关联查询,例如:网上银行、手机银行、手机营业厅、手游网游等等。数据量巨大,还要关联机构表等维表,如何保证秒级的查询速度?点击 ${article} 了解集算器高 ..
-
一、 问题背景与适用场景 在《[链接]》中,我们测试了将数据表事先全部加载进内存并做好关联后的查询性能优化问题,但如果内存不够大,不能将维表和事实表全部装入,那怎么办 ..
-
简介: 目前大数据已经成为热词,但是如果真的获取了很多数据,是不是一头雾水,有一种淹死在数据海洋里面的感觉,这里我们介绍一系列在数据游泳的方法,让你畅游在数据的海洋里,体会大数据的乐趣! [图 ..