计算&AI •
990 引用 •
1070 回帖 •
471 关注
博客
关注
-
6 多层次的关联计算 这类任务是指多表关联、两表互关联、自关联等灵活性较高的计算。SQL用JOIN实现关联,碰到多层次关系时,常常要用嵌套结构和递归结构,表被关联多次时还要起别名,代码复杂易出 ..
-
5 对齐外部集合的成员并进行分组 这类任务是指分组依据是外部的另一个集合的成员,而不是记录集合自己的字段值及计算列组成的集合。SQL不能直接按照外部集合进行分组,要通过关联外部表或union多 ..
-
4 与成员次序有关的分组 与简单的等值分组不同,有序分组是指保持数据有序的情况下,比较相邻的数据以分组,或满足条件以分组的任务。SQL不支持有序分组,通常要用打标记的办法间接实现,代码很复杂, ..
-
3 在有序情况下引用相邻的成员 这类任务是指在遍历或循环中,访问相对于当前成员的其他位置或区间的成员,属于较复杂的有序计算。SQL 要通过窗口函数(lag/lead)获取相对位置的成员,通常会 ..
-
2 和次序位置有关的运算 这类任务是指基于序号的、与位置相关的计算。SQL缺乏天然序号,一般要先造出序号再进行计算,代码比较难写,涉及分组后有序计算时,难度将会更大。 例1 :每隔N 个订单抽 ..
-
1 针对分组子集的运算和处理 对集合分组后,每组数据都是原集合的子集,也就是分组子集。这类难题是指分组后不需要立刻汇总,而是要保持分组子集继续计算。SQL分组后必须立刻汇总,不能直接保持分组子 ..
-
基本常规运算 这类任务是指查询、排序、关联、分组汇总等基本运算,可以以此了解SPL的基础知识,供初次接触SPL的用户快速入门,已经了解过SPL的用户可以跳过这部分。 例1 :列出所有不重复的部 ..
-
准备工作 先下载并安装 esProc,推荐标准版:https://www.raqsoft.com.cn/download/download-jsq [图片] 安完 esProc 后,试一下 e ..
-
前言 查询和报表应用中常常涉及较复杂的运算,因为数据通常在数据库中,所以运算也通常用SQL来实施,但SQL有不少缺点,比如集合化不彻底,数据无序,难以分步计算,调试不便等,导致代码相当繁琐甚至 ..
-
某些数据库 SQL 缺失必要的能力,通常要编写大段的代码,才能间接实现类似的功能,有些情况甚至要改用存储过程,连结构都变了。常见的比如:生成时间序列、保持分组子集、动态行列转换、自然序号、相对 ..
-
逻辑数仓可以实现多源混算,但需要配置视图、预处理数据,结构太沉重。duckdb 是轻量级的方案,但没有内置 Oracle 的 connector,自己开发难度又太高。同为轻量级方案,esPro ..
-
MongoDB 自带的查询语法功能比较繁琐,简单的任务也要写很长代码,复杂计算更难实现,比如: SPL assists MongoDB: Only keep the running total ..
-
数据分析或报表类应用中有时会遇到各类复杂的 SQL,嵌套了多层的、关联了自己的、动态转置的,比如: From SQL to SPL:Create columns from distinct v ..
-
Java 计算 csv 文件的代码太麻烦,借助数据库又会导致架构复杂。esProc 提供了 JDBC 驱动和计算类库,可以在 Java 中嵌入 SPL 语句,将 csv 文件当数据表直接查询, ..
-
esProc SPL 提供了游标运算,可以用非常简单的代码操作大 csv 文件,稍加改动就能变成并行计算,还有图形化界面,比 Pyhton 方便多了。 先去这里下载 esProc SPL:ht ..
-
esProc SPL 支持简单 SQL,可以直接在 csv 等结构化文本文件上执行 SQL 语句,这样,不用数据库也可以用 SQL 计算了。 先下载 esProc SPL:https://ww ..
-
在现代商业环境中,数据分析已成为企业决策的重要工具。通过数据分析,企业可以更好地了解市场趋势、客户行为以及内部运营情况,从而制定出更科学的策略,提高竞争力。然而,数据分析并不是一项简单的任务, ..
-
esProc 弹性计算是运行在局域网或私有云的企业内通用计算软件,分成三个部分,服务端由 QVA 和 QVM 构成,应用端由应用程序(以下简称 APP)和 QVS 组成,存储端是 NFS、HD ..
-
全局变量 在 SSC 环境中,有时需要在多个 QVM 上的计算任务(QVM 脚本)之间共享信息,这时可以使用 SSC 全局变量(以下简称全局变量)。全局变量由 QVS 管理,通过 QVS 申请 ..
-
基于 SSC 上的应用程序可以分成两个部分,服务端由 QVA 和 QVM 构成,应用端由应用程序(以下简称 APP)和 QVS 组成。这两部分都有会涉及 SPL 脚本。服务端的 SPL 脚本在 ..
-
计算框架五花八门,有用于流式计算的Flink,用于边缘计算的eKuiper、用于大规模分布式计算的MapReduce,还有Spark、Samza、Storm、Omega、Kubernetes、 ..
-
流数据源通常是动态、无界的,看起来与静态、有限的批数据源区别较大,传统的数据库技术在架构上难以直接处理流数据源,只能让位于后来者。heron\samza\storm\spark\flink等计 ..
-
SPL 变量有三种作用域:局部变量、全局变量、任务变量。默认变量都是局部变量,作用域在同一个 SPL 脚本的范围内(不含主子线程代码),用法比较简单,本文不涉及。下面重点讲另两种变量,以及与之 ..
-
Web 上的数据接口以 restful 和 WebService 为主,格式通常是多层的 Json 和 XML。多层数据可承载更通用更丰富的信息,但结构上比传统的二维数据复杂,计算难度也更大。 ..
-
txt\csv\json\xml\xls 等公共格式的文件在工作中经常会用到,有时候需要对这些文件进行计算处理。能实现这一目标的工具表面看不少,但实际都有各自的缺陷。OpenCSV\JsonP ..