计算&AI •
796 引用 •
800 回帖 •
419 关注
博客
关注
-
一、 问题背景与适用场景 通常分组计算都采用hash方案,即先计算分组字段的hash值,hash值相同的记录被分拣到一个小集合里,然后在这个小集合中遍历找分组字段值相 ..
-
【摘要】 集算器 SPL 集成了对 python 程序的调用,也提供对建模算法接口支持。具体开发要求、使用详细情况,请前 ..
-
【摘要】 集算器产品中提供了 HTTP 服务,用户可以通过 url 的方式读取 SPL 的结果集 ${article} 实现思路如下: [图片] 部署服务 部署服务器操作可分为两步,首先是配置 ..
-
【摘要】 SPL 语言能够提高开发效率,进行高性能计算。作为 SPL 语言最基础的运算,序计算能够解决哪些问题呢?去乾学院看个究竟吧!${art ..
-
[图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片] ..
-
一、 问题背景与适用场景 在《[链接]》中,我们尝试了小事实表与大维表关联时的性能优化方法,该方法利用了小事实表可以装入内存的特点,将关联键汇集排序后到大维表中查找, ..
-
一、 问题背景与适用场景 在主子表关联查询中,有时会遇到这样一种情况:按条件过滤后的事实表数据量很小,能够全部装载进内存或仅比内存略大一点;而要关联的维表数据量很大, ..
-
一、 问题背景与适用场景 在《[链接]》中我们见证了有序归并算法提升主子表的关联性能,在集算器中,还有进一步提高性能的办法—附表。集算器组表支持主子表保存在同一文件中 ..
-
【摘要】 在计算时,如果其中每一步都需要使用到前一步或者前几步的结果,这时就需要使用递归了。递归既常见又让人头疼,有什么简单的方法可以解决各种递 ..
-
【摘要】 对于建模,大家有很多刻板印象:既需要统计学专家,又要懂 IT 技术和业务专业知识,不同部门对模型的需求不同,建模周期长等等。易明智能建 ..
-
【摘要】 在分组时经常会要求结果集必须按基准集合的次序出现,这种对齐分组在日常统计中是很常见的。我们还能把对齐分组推广成更一般的枚举分组。对于此 ..
-
[图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [ ..
-
一、 问题背景与适用场景 在《[链接]》中我们验证了有序归并算法提高关联性能的效果,那么还有没有进一步提升的空间呢?能不能再减少数据的读取量从而再提速呢? 通常主子关 ..
-
【摘要】 SQL 的分组聚合功能,使用起来非常不灵活。当你想要针对分组后的部分子集进行某些特殊的操作时,你可 ..
-
【摘要】 TopN 是常见的运算,SQL 的做法通常是先排序,然后再取前 N 行。这样不但效率不高,写起来也不直观。SPL 是如何解决 TopN ..
-
【摘要】 XML 解析是常见需求,XML 一般特征包含:仅有元素内容、有元素有属性、元素结构不同等。Java 一般用 XPath 来解析 XML,由于不是集合性语言,写起来会比较长,且大量使用 ..
-
一、 问题背景与适用场景 在以前的文章中我们介绍过,关系数据库在进行表间关联时是使用HASH分段技术。设两个关联表的规模(记录数)分别是 N 和 M,则 HASH 分 ..
-
【摘要】 有时候我们需要用参数动态指定数据源,或将多数据源连接为单数据源,或向子报表、table 控件动态传入数据源名。对于此类需求,BITR 等报表工具经常要借助高级语言硬编码实现,或牺牲安 ..
-
【摘要】 应用开发中,我们会涉及多种不同类型的数据库,虽然 SQL 语法大体是相似的,但是不同数 ..
-
在事实表与维表的关联查询时,常常会遇到需要对维表的数据进行过滤或者针对维表做计算的情况,这时可以有两种处理方式: 1、先做关联(如果是内存则可以是预关联),再对关联后的事实表进行过滤。就象在《 ..
-
【摘要】 JSON 作为一种轻量级的数据交换格式,因其易于读写和交互的特点,已逐渐成为主流的数据类型之一。常见的编程语言大多都对 JSON 的读取与解析提供了接口,但是接下来如何把多层 JSO ..
-
一、 问题背景与适用场景 在《[链接]》一文中,我们介绍了将维表内存化并预关联的技术,但事实表与维表关联时,仍需进行hash计算和比对,怎么提高这一步的性能呢?我们今 ..
-
一、 问题背景与适用场景 在《[链接]》中,我们测试了将数据表事先全部加载进内存并做好关联后的查询性能优化问题,但如果内存不够大,不能将维表和事实表全部装入,那怎么办 ..
-
一、 问题背景与适用场景 SQL中JOIN的性能是个老大难问题,特别是关联表较多时,计算性能会急剧下降。 SQL实现JOIN一般是采用HASH分堆的办法,即先计算关联 ..
-
【摘要】 一些特殊的布局版面,很难通过报表工具本身提供的功能直接实现,但如果准备出合适的数据源,就能大大降低报表设计的难度!集算器就是这样的数据源准备工具,它可以很好的弥补这方面不足。其实还有 ..