计算&AI •
1062 引用 •
1118 回帖 •
475 关注
博客
关注
-
一、 问题背景与适用场景 在以前的文章中我们介绍过,关系数据库在进行表间关联时是使用HASH分段技术。设两个关联表的规模(记录数)分别是 N 和 M,则 HASH 分 ..
-
一、 问题背景与适用场景 SQL中JOIN的性能是个老大难问题,特别是关联表较多时,计算性能会急剧下降。 SQL实现JOIN一般是采用HASH分堆的办法,即先计算关联 ..
-
在事实表与维表的关联查询时,常常会遇到需要对维表的数据进行过滤或者针对维表做计算的情况,这时可以有两种处理方式: 1、先做关联(如果是内存则可以是预关联),再对关联后的事实表进行过滤。就象在《 ..
-
一、 问题背景与适用场景 在《[链接]》一文中,我们介绍了将维表内存化并预关联的技术,但事实表与维表关联时,仍需进行hash计算和比对,怎么提高这一步的性能呢?我们今 ..
-
一、 问题背景与适用场景 在《[链接]》中,我们测试了将数据表事先全部加载进内存并做好关联后的查询性能优化问题,但如果内存不够大,不能将维表和事实表全部装入,那怎么办 ..
-
【摘要】 XML 解析是常见需求,XML 一般特征包含:仅有元素内容、有元素有属性、元素结构不同等。Java 一般用 XPath 来解析 XML,由于不是集合性语言,写起来会比较长,且大量使用 ..
-
【摘要】 应用开发中,我们会涉及多种不同类型的数据库,虽然 SQL 语法大体是相似的,但是不同数 ..
-
【摘要】 有时候我们需要用参数动态指定数据源,或将多数据源连接为单数据源,或向子报表、table 控件动态传入数据源名。对于此类需求,BITR 等报表工具经常要借助高级语言硬编码实现,或牺牲安 ..
-
更新于 20191216 [链接]提效开发 [链接] 单向舍位平衡、双向舍位平衡 [链接] 行转列、列转行、双向转置、动态列转置、转置 & 列间计算 [链接] 分库汇总代码示例:多数据 ..
-
【摘要】 JSON 作为一种轻量级的数据交换格式,因其易于读写和交互的特点,已逐渐成为主流的数据类型之一。常见的编程语言大多都对 JSON 的读取与解析提供了接口,但是接下来如何把多层 JSO ..
-
在报表的数据统计中,常常会根据精度呈现或者单位换算等要求,需要对数据执行四舍五入的操作,这种操作称为舍位处理。简单直接的舍位处理有可能会带来隐患,原本平衡的数据关系可能会被打破。 为了保证报表 ..
-
【摘要】 对数据库进行批量更新时,使用 update 函数要比 execute 函数性能更好。数据库通常会提供同步 / 导入工具,这些工具通常具备更好的性能,也都支持命令行调用,SPL 可以调 ..
-
当单台数据库的数据量太大而影响性能时,可以把数据拆分到多台服务器上,每台服务器只承担部分计算压力,再由SPL合并计算结果。特殊地,数据可拆分为历史数据库和当前实时数据库,由SPL实现T+0计算 ..
-
【摘要】 SPL 可将文本文件按体积大致分为 N 段,而不是按行号精确分段,如此可大幅提高并行计算性能。通过 JDBC 取数时,有时会遇到数据库负载虽然不重,但取数性能仍然较差的情况,这种情况 ..
-
数据计算中,分组绝对是最常用的计算方式之一,相应的,在 SQL 语言中,自然会用到 group by 了。但是,不知道你想过没有,SQL 中的 group by 并不能算是“纯粹”的分组,它实 ..
-
SPL中的集合都是有序的,可以用序号来引用成员,灵活运用序号可以使运算更为简捷高效。 1 成员访问 SPL的某些函数中可以使用序号或序号数列作为参数,最简单的应用是直接用序号访问成员,这和一般 ..
-
在数据分析计算中,日期时间类数据是比较特殊的类型,这里我们就来研究一下如何在SPL中使用日期时间类数据。 1 日期时间数据的转换和生成 日期时间类数据,通常会用字符串来输入或显示。在使用集算器 ..
-
和传统的程序设计语言不同,SPL中集合的应用非常普遍,实际上最常见的序列和序表等本质上都是集合,可以对它们进行真正的集合运算,从而大幅度提高开发效率和代码性能。因此,在使用SPL时,需要特别重 ..
-
数独是一种老少皆宜的数学游戏,大家用零散的时间就可以玩上几局数独,有助于人们缓解压力,培养观察力和耐力,锻炼大脑。 数独游戏的规则也很简单,只需一支铅笔就能游戏,如: 7 8 8 4 6 8 ..
-
算 24 点,是一种常见的智力游戏。它可以使用抽去大小王的扑克牌来玩,随便抽出 4 张牌,要求通过加、减、乘、除等四则运算,并使用所有的这 4 个数,将结果算为 24。在玩这个游戏时,扑克牌中 ..
-
有关国际象棋的问题很多,八皇后问题就是其中相当著名的一个。在 8×8 的国际象棋棋盘中,放入 8 个皇后,使它们不互相攻击,共有多少种方法呢? [图片] [图片] 国际象棋中皇后的威力巨大,攻 ..
-
[图片] WordCount 差不多是最常用的分布式系统练习程序了,Hadoop 就经常用这个当例子。我们来看用集算器怎么做 wordcount。 先从 单线程开始。 例如,D:\files\ ..
-
来源:[链接] **【摘要】** 早期的 Mongodb 版本没有 $lookup 接口来实现连 ..
-
**【摘要】** 数据库 Mongodb 不能通过元素值来查询下标,在数组中实现排名次序,但可以利用集算器 SPL 语言 ..
-
来源:https://groups.google.com/forum/#!topic/mongodb-user/BpgEaRqrKsA **【摘要】** & ..