计算&AI •
877 引用 •
942 回帖 •
447 关注
博客
关注
-
【摘要】 TopN 是常见的运算,SQL 的做法通常是先排序,然后再取前 N 行。这样不但效率不高,写起来也不直观。SPL 是如何解决 TopN ..
-
概要 通过调用java.sql.DatabaseMetaData 类中的各种方法,程序可以动态了解数据库,获取数据源连接到的数据库表结构等信息。 本文主要介绍如何在 JAVA 中使用 Data ..
-
【摘要】 XML 解析是常见需求,XML 一般特征包含:仅有元素内容、有元素有属性、元素结构不同等。Java 一般用 XPath 来解析 XML,由于不是集合性语言,写起来会比较长,且大量使用 ..
-
一、 问题背景与适用场景 在以前的文章中我们介绍过,关系数据库在进行表间关联时是使用HASH分段技术。设两个关联表的规模(记录数)分别是 N 和 M,则 HASH 分 ..
-
[图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片] ..
-
【简介】 本文采用集算器集群架构,由浅入深,由繁化简,分别讲述了如何快速高效地实现多机并行,集群计算。 [图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片] ..
-
【摘要】 随着指标维度、标签的不断增加,组合出来的各种指标数量增长很快,甚至指标泛滥。海量的指标无法做到预先算好并存储,但实时计算又无法达到秒级响应的速度。如何破解指标实时计算的难题?点击 $ ..
-
【摘要】 有时候我们需要用参数动态指定数据源,或将多数据源连接为单数据源,或向子报表、table 控件动态传入数据源名。对于此类需求,BITR 等报表工具经常要借助高级语言硬编码实现,或牺牲安 ..
-
【摘要】 应用开发中,我们会涉及多种不同类型的数据库,虽然 SQL 语法大体是相似的,但是不同数 ..
-
在事实表与维表的关联查询时,常常会遇到需要对维表的数据进行过滤或者针对维表做计算的情况,这时可以有两种处理方式: 1、先做关联(如果是内存则可以是预关联),再对关联后的事实表进行过滤。就象在《 ..
-
【摘要】 JSON 作为一种轻量级的数据交换格式,因其易于读写和交互的特点,已逐渐成为主流的数据类型之一。常见的编程语言大多都对 JSON 的读取与解析提供了接口,但是接下来如何把多层 JSO ..
-
【摘要】 内存数据库是高性能结构化数据计算的重要解决方案,但实际项目中总会存在诸多不足,比如内存占用大、硬件成本高、架构复杂、开发效率低、性能提升不明显。如何解决此类顽疾,请点击 ${arti ..
-
一、 问题背景与适用场景 在《[链接]》一文中,我们介绍了将维表内存化并预关联的技术,但事实表与维表关联时,仍需进行hash计算和比对,怎么提高这一步的性能呢?我们今 ..
-
背景 前一阵,润乾在线文档系统的全文检索变得非常慢,有时二十多秒才返回结果,甚至超时失败。全文检索服务是用的第三方服务 ..
-
【摘要】 海量用户会带来高并发有关联查询,例如:网上银行、手机银行、手机营业厅、手游网游等等。数据量巨大,还要关联机构表等维表,如何保证秒级的查询速度?点击 ${article} 了解集算器高 ..
-
一、 问题背景与适用场景 在《[链接]》中,我们测试了将数据表事先全部加载进内存并做好关联后的查询性能优化问题,但如果内存不够大,不能将维表和事实表全部装入,那怎么办 ..
-
简介: 目前大数据已经成为热词,但是如果真的获取了很多数据,是不是一头雾水,有一种淹死在数据海洋里面的感觉,这里我们介绍一系列在数据游泳的方法,让你畅游在数据的海洋里,体会大数据的乐趣! [图 ..
-
【摘要】 “税收数据手册”主要工作是税务数据部门定期汇集各业务部门的发布表样及业务口径,要求运维公司等提供表中数据内容,由业务部门审核确认,并提交给印刷厂排版印制,最后获得纸质文档,通过分发、 ..
-
一、 问题背景与适用场景 SQL中JOIN的性能是个老大难问题,特别是关联表较多时,计算性能会急剧下降。 SQL实现JOIN一般是采用HASH分堆的办法,即先计算关联 ..
-
【摘要】 SQL 用起来虽然方便,但往往执行效率较差,且优化空间小;想用强大的 SPL,但学习需要时间,手头 ..
-
【摘要】 一些特殊的布局版面,很难通过报表工具本身提供的功能直接实现,但如果准备出合适的数据源,就能大大降低报表设计的难度!集算器就是这样的数据源准备工具,它可以很好的弥补这方面不足。其实还有 ..
-
【摘要】 定期将大数据导出到历史库以减轻生产库的压力,再基于分库计算技术,不难实现高性能的 T+0 查询报表。但如何导出却是个问题。 冷导出相对容易,但导出过程中必须停止服务。若要保证提供不间 ..
-
简介: 回归预测是指预测的目标是连续型的变量,数据探索和预处理时与分类预测有哪些相同,哪些不同,让我们用房价预测作为案例来实战分析这些问题。 [图片][图片][图片][图片][图片][图片][ ..
-
【摘要】 计算中间件是应用与数据之间,独立进行计算的可编程通用软件,常用以解决松耦合、高性能、特殊源计算、多源混算、复杂逻辑等问题。但传统计算中间件一般用硬编码实现,不仅开发效率低、维护难度大 ..
-
简介: 数据挖掘作为现在的热门词汇,那么什么是数据挖掘,它又是干什么的,它是怎么工作的,真的有那么神奇吗?这里我们用中学生能理解的语言告诉您这些问题的答案。 [图片][图片][图片][图片][ ..