计算&AI •
990 引用 •
1070 回帖 •
471 关注
博客
关注
-
8 多层 Json 的计算 这类任务是指对多层次多维度Json串的计算、生成和解析。大部分SQL只支持二维结构的记录集合,必须用函数把多层Json降为二维结构,才能进行计算,如果层级较多,代码 ..
-
7 各种行列转换和逆转换 这类任务经常在报表输出时出现,难点在于转换后的列名是动态未知的。大部分SQL转置时必须写出列名,通常要改用存储过程动态生成列名,再动态执行SQL,结构很复杂。 例1 ..
-
6 多层次的关联计算 这类任务是指多表关联、两表互关联、自关联等灵活性较高的计算。SQL用JOIN实现关联,碰到多层次关系时,常常要用嵌套结构和递归结构,表被关联多次时还要起别名,代码复杂易出 ..
-
5 对齐外部集合的成员并进行分组 这类任务是指分组依据是外部的另一个集合的成员,而不是记录集合自己的字段值及计算列组成的集合。SQL不能直接按照外部集合进行分组,要通过关联外部表或union多 ..
-
4 与成员次序有关的分组 与简单的等值分组不同,有序分组是指保持数据有序的情况下,比较相邻的数据以分组,或满足条件以分组的任务。SQL不支持有序分组,通常要用打标记的办法间接实现,代码很复杂, ..
-
前言 在数字化转型持续加速的背景下,企业越来越多地将业务逻辑以服务化方式部署至云端。阿里云函数计算(Function Compute,简称FC)作为一种无服务器计算平台,屏蔽了底层资源运维的复 ..
-
3 在有序情况下引用相邻的成员 这类任务是指在遍历或循环中,访问相对于当前成员的其他位置或区间的成员,属于较复杂的有序计算。SQL 要通过窗口函数(lag/lead)获取相对位置的成员,通常会 ..
-
2 和次序位置有关的运算 这类任务是指基于序号的、与位置相关的计算。SQL缺乏天然序号,一般要先造出序号再进行计算,代码比较难写,涉及分组后有序计算时,难度将会更大。 例1 :每隔N 个订单抽 ..
-
1 针对分组子集的运算和处理 对集合分组后,每组数据都是原集合的子集,也就是分组子集。这类难题是指分组后不需要立刻汇总,而是要保持分组子集继续计算。SQL分组后必须立刻汇总,不能直接保持分组子 ..
-
基本常规运算 这类任务是指查询、排序、关联、分组汇总等基本运算,可以以此了解SPL的基础知识,供初次接触SPL的用户快速入门,已经了解过SPL的用户可以跳过这部分。 例1 :列出所有不重复的部 ..
-
准备工作 先下载并安装 esProc,推荐标准版:https://www.raqsoft.com.cn/download/download-jsq [图片] 安完 esProc 后,试一下 e ..
-
微服务架构作为现代企业应用系统的主流趋势,常因其部署灵活、可扩展性强而备受推崇。然而,在实际落地中却面临“叫好不叫座”的尴尬局面。根源在于传统Java实现方式下,微服务代码冗长、业务逻辑难以解 ..
-
前言 查询和报表应用中常常涉及较复杂的运算,因为数据通常在数据库中,所以运算也通常用SQL来实施,但SQL有不少缺点,比如集合化不彻底,数据无序,难以分步计算,调试不便等,导致代码相当繁琐甚至 ..
-
枚举字段的取值是有限几种值,针对枚举字段 f 的过滤条件写成 f =v1 or f=v2 or…或者 f !=v1 and f !=v2 and…,也可能写成 in 或者 not in。数据库 ..
-
大主子表之间进行 EXISTS 计算往往会导致较差的性能。这样的计算本质上是在做主键关联,如果能预先将主子表都按照主键有序存储,也可以使用有序归并算法有效提速。 esProc SPL 可以把主 ..
-
这一篇介绍主键关联的提速。 主表订单表和子表明细表的关联就是主键关联。SQL 中,这种关联仍用 JOIN 实现,在两个表都很大的情况下,常常出现计算速度非常慢的现象。 如果预先将主子表都按照主 ..
-
SQL 对关联的定义过于简单,就是两个表做笛卡尔积后再过滤,在语法上写成 A JOIN B ON …的形式。这样笼统处理多种关联,不体现关联运算本质,书写和优化都困难。 SPL 重新定义了关联 ..
-
SQL 中的去重计数 COUNT DISTINCT 一直比较慢。去重本质上是分组运算,需要把遍历过的分组字段值都保持住,用于后续的比对。结果集太大时,还要把数据写到硬盘上做缓存,性能低下。 如 ..
-
我们以订单表为例实现 esProc SPL 数据外置,提速常规过滤及分组汇总计算。 [图片] 我们使用 SPL 的 ETL 工具来生成脚本,实现数据的转储。在 [SPL 安装目录]\esPro ..
-
应用程序可能要基于不同数据库工作,各种数据库的 SQL 语法大体一致,但仍有些差别,结果就要改造这些 SQL,而这事通常只能手工调整,工作量大还容易出错。 完全自动改造 SQL 几乎是无法做到 ..
-
数据结构不一样的多源混合计算会更常见,比如不同业务系统混合分析。 数据结构说明 车辆管理系统(DB_Vehicle)保存了车辆与车主等相关信息,其中车主信息表 owner_info 表结构简化 ..
-
相同结构的数据按照年份存储到不同数据库时,要进行数据统计就会涉及多库混合计算。事实上,不管是数据库还是其他任何存储介质,相同结构数据合并都是类似的,只是读取数据这一步有所不同(不同数据源有不同 ..
-
除了以上常见数据源,还有 NoSQL、MQ 等数据源,其中以 MongoDB 最为常用。我们用 SPL 连接 MongoDB 做计算。 导入 MongoDB 数据。 外部库 SPL 支持的多种 ..
-
Restful 数据源也很常见,而且 Restful 的数据几乎都是 json 格式的,所以这两个放在一起来讲。 Rest 服务和数据格式 访问http://192.168.2.52:8503 ..
-
用 SPL 查文件也很简单,而且能处理各种文件格式。 计算用例 查询目标 基于 orders1.csv(有标题),统计 2024 年各类订单状态的订单金额 SPL 语法 编写脚本 A 1 =T ..