计算&AI •
979 引用 •
1069 回帖 •
466 关注
博客
关注
-
应用程序可能要基于不同数据库工作,各种数据库的 SQL 语法大体一致,但仍有些差别,结果就要改造这些 SQL,而这事通常只能手工调整,工作量大还容易出错。 完全自动改造 SQL 几乎是无法做到 ..
-
数据结构不一样的多源混合计算会更常见,比如不同业务系统混合分析。 数据结构说明 车辆管理系统(DB_Vehicle)保存了车辆与车主等相关信息,其中车主信息表 owner_info 表结构简化 ..
-
相同结构的数据按照年份存储到不同数据库时,要进行数据统计就会涉及多库混合计算。事实上,不管是数据库还是其他任何存储介质,相同结构数据合并都是类似的,只是读取数据这一步有所不同(不同数据源有不同 ..
-
除了以上常见数据源,还有 NoSQL、MQ 等数据源,其中以 MongoDB 最为常用。我们用 SPL 连接 MongoDB 做计算。 导入 MongoDB 数据。 外部库 SPL 支持的多种 ..
-
Restful 数据源也很常见,而且 Restful 的数据几乎都是 json 格式的,所以这两个放在一起来讲。 Rest 服务和数据格式 访问http://192.168.2.52:8503 ..
-
用 SPL 查文件也很简单,而且能处理各种文件格式。 计算用例 查询目标 基于 orders1.csv(有标题),统计 2024 年各类订单状态的订单金额 SPL 语法 编写脚本 A 1 =T ..
-
RDB 是 SPL 的 Native 数据源,SPL 通过 JDBC 与数据库交互,可以动态生成 / 拼接 SQL,也可以为 SQL 传递参数,原来在 Java 等语言与 SQL 结合的场景都 ..
-
0 准备篇 背景 多样性数据源混合计算是常态需求,同构或异构数据库之间、文件与数据库、NoSQL 与文件等,理论上任何数据存储之间都涉及数据混合计算和分析。但混算目前技术解决的并不好,同构库之 ..
-
润乾报表可以通过esProc数据集,直接调用非企业版集算器脚本文件,如果需要调用企业版集算器脚本文件,则需要部署内嵌的QJDBC,具体步骤如下: 1. 部署企业版 jar 从 官网下载安装集算 ..
-
在远程服务器192.168.2.12上有一个集算器企业版脚本文件,本机192.168.2.4的报表想要远程调用这个脚本文件,那就需要通过企业版的分机服务器和集算器jdbc来完成,具体步骤如下: ..
-
数据分析涉及不同业务系统时就要做跨库计算,而表间 JOIN 是最麻烦的,很多数据库都不具备这样的能力,用 Java 取数再计算又太复杂。用 esProc 完成跨库 JOIN 会简单很多。 数据 ..
-
由于业务需要将数据按年存储在两个结构相同的数据库中,要进行数据统计就会涉及多库混合计算。通过数据库或硬编码实现都比较麻烦,借助 esProc 可以简化这类运算。 数据 orders 表结构: ..
-
数据表枚举字段的取值是有限几种值,针对枚举字段 f 的过滤条件写成 f =v1 or f=v2 or…或者 f !=v1 and f !=v2 and…,也可能写成 in 或者 not in。 ..
-
数据库中,大主子表之间进行 EXISTS 计算往往会导致较差的性能。这样的计算本质上是在做连接,如果能预先将主子表都按照主键有序存储,就可以使用有序归并算法有效提速。这种算法只需要对两个表依次 ..
-
类似订单和明细表这样的主子表关联比较常见,在 SQL 中,这种关联用 JOIN 实现,在两个表都很大的情况下,常常出现计算速度非常慢的现象。 [图片] 如果预先将主子表都按照主键有序存储,就可 ..
-
接收 Restful 的 json 数据后经常还要计算,用 Java 处理会比较麻烦。用 esProc 会简单很多,不仅能对接 Restful 接口,擅长处理多层数据,还能嵌入 Java 应用 ..
-
某些数据库 SQL 缺失必要的能力,通常要编写大段的代码,才能间接实现类似的功能,有些情况甚至要改用存储过程,连结构都变了。常见的比如:生成时间序列、保持分组子集、动态行列转换、自然序号、相对 ..
-
QVS SRV 简称 QSRV,是独立 WebServer 进程运行,可单独部署 QSRV 管理 QVS 的资源文件,进行读取、上传、下载远程存储数据文件等操作。 安装集算器企业版 部署 QS ..
-
数据量大或者数据库繁忙都会导致数据库查询变慢,这时将数据用 esProc 导出存成文件再计算可以大幅提升性能。 数据与用例 MySQL 数据库有 orders_30m 表存储着历年的订单数据, ..
-
逻辑数仓可以实现多源混算,但需要配置视图、预处理数据,结构太沉重。duckdb 是轻量级的方案,但没有内置 Oracle 的 connector,自己开发难度又太高。同为轻量级方案,esPro ..
-
MongoDB 自带的查询语法功能比较繁琐,简单的任务也要写很长代码,复杂计算更难实现,比如: SPL assists MongoDB: Only keep the running total ..
-
数据分析或报表类应用中有时会遇到各类复杂的 SQL,嵌套了多层的、关联了自己的、动态转置的,比如: From SQL to SPL:Create columns from distinct v ..
-
Java 计算 csv 文件的代码太麻烦,借助数据库又会导致架构复杂。esProc 提供了 JDBC 驱动和计算类库,可以在 Java 中嵌入 SPL 语句,将 csv 文件当数据表直接查询, ..
-
esProc SPL 提供了游标运算,可以用非常简单的代码操作大 csv 文件,稍加改动就能变成并行计算,还有图形化界面,比 Pyhton 方便多了。 先去这里下载 esProc SPL:ht ..
-
esProc SPL 支持简单 SQL,可以直接在 csv 等结构化文本文件上执行 SQL 语句,这样,不用数据库也可以用 SQL 计算了。 先下载 esProc SPL:https://ww ..