计算&AI •
994 引用 •
1074 回帖 •
474 关注
博客
关注
-
引言 边缘计算是随着物联网的发展而新兴起来的全新数据技术架构,由于业务需求和技术要求较以往有很大不同,本身也还在发展中,传统的技术框架和编程模式不再完全适用,很多企业在开发实施过程中遇到了很多 ..
-
在开发数据库应用时,经常在分组后需要对组内数据进行计算,例如:列出近3年每年都发表过论文的学生名单(按论文发表年分组后列出每年都出现的学生清单),统计全部参加了历次培训的员工(按培训分组后统计 ..
-
前言 访问多个异构数据源是大型企业应用软件非常常见的需求,人们也开发出了很多办法试图解决这个困难问题,但是这些办法往往都只是对某一种特定的场景,一直都没有异构特别理想的通用解决方案。今天,我们 ..
-
【摘要】 用户客群(标签)多的可以达到几千个,每个客群可能包括几十万甚至上千万的用户。要统计几个客群共同用户,同时要按照客户维度过滤。以 SQL 为基础的数据库技术(包括 Hadoop)一直很 ..
-
**【摘要】** 将 Mongodb 数据结构转换成结构化的数据需求,我们可利用集算器 SPL 语言来进行辅助实现。若 ..
-
一、 问题背景与适用场景 在《[链接]》中,我们尝试了小事实表与大维表关联时的性能优化方法,该方法利用了小事实表可以装入内存的特点,将关联键汇集排序后到大维表中查找, ..
-
【摘要】 内存数据库是高性能结构化数据计算的重要解决方案,但实际项目中总会存在诸多不足,比如内存占用大、硬件成本高、架构复杂、开发效率低、性能提升不明显。如何解决此类顽疾,请点击 ${arti ..
-
业务系统的数据绝大多数存储在关系数据库(RDB)中,SPL能便捷地读写数据库中的数据。下面以Mysql中MyCompany库的一个employees表为例解释SPL的相关用法。 [图片] 读取 ..
-
Excel文件是很常见的文件格式,读写时需要注意如下一些问题: 1、 标题行:此行是各列的名称,也可以没有标题行,第一行就是数据记录。 2、 大文件:文件数据很多,不能 ..
-
What?写在格子里的程序语言?! 是的!你没看错,写在格子里的程序语言 SPL(Structured Process Language),专门用于结构化数据处理。 我们知道,几乎所有编程语言 ..
-
【摘要】 数据分析时,难免会遇到内存装不下的大数据文件,如何对大文件进行查询计算?本文分析比较了几种常用办法的优缺点,集算器 SPL 是其中最适合数据分析师用于处理大文件的脚本。请点击 ${a ..
-
集算器实现 Birt 等报表工具中不规则月份统计 业务报表中,常常需要基于时间段进行分组统计,特别是按月份分组统计。一般情况如果按自然月就简单了,但有时候也会需要按不规则月份来分组。例如,某企 ..
-
我们知道,数据库的数据处理能力是封闭的。所谓封闭性,这里是指要被数据库计算和处理的数据,必须事先装入数据库之内,数据在数据库内部还是外部是很明确的。 数据库一般有 OLTP 和 OLAP 两个 ..
-
一、 问题背景与适用场景 在《[链接]》中我们验证了有序归并算法提高关联性能的效果,那么还有没有进一步提升的空间呢?能不能再减少数据的读取量从而再提速呢? 通常主子关 ..
-
【摘要】 应用系统软件项目中有一个普遍现象,就是报表总也做不完。不管是领导需要的宏观数据统计重点的变化,还是业务部门的计算口径的变化,都会造成报表需求的频繁变更。报表项目组就要不断修改现有报表 ..
-
简介: SPL 的集合是彻底的离散化集合,集合成员可以游离在集合之外,这让许多复杂的运算简单化,会让程序既写的简单,又跑得快。 [图片][图片][图片][图片][图片][图片][图片][图片] ..
-
【摘要】 当有了报表工具之后 (固定报表),一些中国式复杂样式、指标参数任意组合的报表并不难实现,只是当原始数据量一大,查询响应就会非常慢,用户体验变差,当多并发请求时,还会对正常业务产生影响 ..
-
【摘要】 集算器产品中提供了 HTTP 服务,用户可以通过 url 的方式读取 SPL 的结果集 ${article} 实现思路如下: [图片] 部署服务 部署服务器操作可分为两步,首先是配置 ..
-
一、 查询要求 Q1 语句提供了截止到给定运送日期前所有订单的价格摘要报告,查询列出了扩展价格、打折后的价格、打折且税后的价格、平均数量、平均 ..
-
【摘要】 大表自己关联自己的情况是比较常见的需求,关系数据库实现起来性能不尽如人意。有没有更好的计算方法,可以快速计算大数据量明细表的自关联性能问题?点击 ${article} 了解集算器高性 ..
-
【摘要】 一些特殊的布局版面,很难通过报表工具本身提供的功能直接实现,但如果准备出合适的数据源,就能大大降低报表设计的难度!集算器就是这样的数据源准备工具,它可以很好的弥补这方面不足。其实还有 ..
-
来源:[链接] **【摘要】** 早期的 Mongodb 版本没有 $lookup 接口来实现连 ..
-
在事实表与维表的关联查询时,常常会遇到需要对维表的数据进行过滤或者针对维表做计算的情况,这时可以有两种处理方式: 1、先做关联(如果是内存则可以是预关联),再对关联后的事实表进行过滤。就象在《 ..
-
[图片][图片][图片][图片][图片][图片][图片][图片][图片][图片] [链接]
-
[链接][链接]》介绍了 SPL 对关联计算的分类,以及内存关联计算的编程方法。 《[链接]》介绍了外存关联计算的编程方法。 本篇继续介绍 SPL 的新关联计算方法,包括:用于外键连接的fjo ..