计算＆AI •
982 引用 •
1070 回帖 •
467 关注
博客
关注
-
大主子表之间进行 EXISTS 计算往往会导致较差的性能。这样的计算本质上是在做主键关联，如果能预先将主子表都按照主键有序存储，也可以使用有序归并算法有效提速。 esProc SPL 可以把主 ..
-
这一篇介绍主键关联的提速。 主表订单表和子表明细表的关联就是主键关联。SQL 中，这种关联仍用 JOIN 实现，在两个表都很大的情况下，常常出现计算速度非常慢的现象。 如果预先将主子表都按照主 ..
-
SQL 对关联的定义过于简单，就是两个表做笛卡尔积后再过滤，在语法上写成 A JOIN B ON …的形式。这样笼统处理多种关联，不体现关联运算本质，书写和优化都困难。 SPL 重新定义了关联 ..
-
SQL 中的去重计数 COUNT DISTINCT 一直比较慢。去重本质上是分组运算，需要把遍历过的分组字段值都保持住，用于后续的比对。结果集太大时，还要把数据写到硬盘上做缓存，性能低下。 如 ..
-
我们以订单表为例实现 esProc SPL 数据外置，提速常规过滤及分组汇总计算。 [图片] 我们使用 SPL 的 ETL 工具来生成脚本，实现数据的转储。在 [SPL 安装目录]\esPro ..
-
应用程序可能要基于不同数据库工作，各种数据库的 SQL 语法大体一致，但仍有些差别，结果就要改造这些 SQL，而这事通常只能手工调整，工作量大还容易出错。 完全自动改造 SQL 几乎是无法做到 ..
-
数据结构不一样的多源混合计算会更常见，比如不同业务系统混合分析。 数据结构说明 车辆管理系统（DB_Vehicle）保存了车辆与车主等相关信息，其中车主信息表 owner_info 表结构简化 ..
-
相同结构的数据按照年份存储到不同数据库时，要进行数据统计就会涉及多库混合计算。事实上，不管是数据库还是其他任何存储介质，相同结构数据合并都是类似的，只是读取数据这一步有所不同（不同数据源有不同 ..
-
除了以上常见数据源，还有 NoSQL、MQ 等数据源，其中以 MongoDB 最为常用。我们用 SPL 连接 MongoDB 做计算。 导入 MongoDB 数据。 外部库 SPL 支持的多种 ..
-
Restful 数据源也很常见，而且 Restful 的数据几乎都是 json 格式的，所以这两个放在一起来讲。 Rest 服务和数据格式 访问http://192.168.2.52:8503 ..
-
用 SPL 查文件也很简单，而且能处理各种文件格式。 计算用例 查询目标 基于 orders1.csv（有标题），统计 2024 年各类订单状态的订单金额 SPL 语法 编写脚本 A 1 =T ..
-
RDB 是 SPL 的 Native 数据源，SPL 通过 JDBC 与数据库交互，可以动态生成 / 拼接 SQL，也可以为 SQL 传递参数，原来在 Java 等语言与 SQL 结合的场景都 ..
-
0 准备篇 背景 多样性数据源混合计算是常态需求，同构或异构数据库之间、文件与数据库、NoSQL 与文件等，理论上任何数据存储之间都涉及数据混合计算和分析。但混算目前技术解决的并不好，同构库之 ..
-
润乾报表可以通过esProc数据集，直接调用非企业版集算器脚本文件，如果需要调用企业版集算器脚本文件，则需要部署内嵌的QJDBC，具体步骤如下： 1. 部署企业版 jar 从 官网下载安装集算 ..
-
在远程服务器192.168.2.12上有一个集算器企业版脚本文件，本机192.168.2.4的报表想要远程调用这个脚本文件，那就需要通过企业版的分机服务器和集算器jdbc来完成，具体步骤如下： ..
-
数据分析涉及不同业务系统时就要做跨库计算，而表间 JOIN 是最麻烦的，很多数据库都不具备这样的能力，用 Java 取数再计算又太复杂。用 esProc 完成跨库 JOIN 会简单很多。 数据 ..
-
由于业务需要将数据按年存储在两个结构相同的数据库中，要进行数据统计就会涉及多库混合计算。通过数据库或硬编码实现都比较麻烦，借助 esProc 可以简化这类运算。 数据 orders 表结构： ..
-
数据表枚举字段的取值是有限几种值，针对枚举字段 f 的过滤条件写成 f =v1 or f=v2 or…或者 f !=v1 and f !=v2 and…，也可能写成 in 或者 not in。 ..
-
数据库中，大主子表之间进行 EXISTS 计算往往会导致较差的性能。这样的计算本质上是在做连接，如果能预先将主子表都按照主键有序存储，就可以使用有序归并算法有效提速。这种算法只需要对两个表依次 ..
-
类似订单和明细表这样的主子表关联比较常见，在 SQL 中，这种关联用 JOIN 实现，在两个表都很大的情况下，常常出现计算速度非常慢的现象。 [图片] 如果预先将主子表都按照主键有序存储，就可 ..
-
接收 Restful 的 json 数据后经常还要计算，用 Java 处理会比较麻烦。用 esProc 会简单很多，不仅能对接 Restful 接口，擅长处理多层数据，还能嵌入 Java 应用 ..
-
某些数据库 SQL 缺失必要的能力，通常要编写大段的代码，才能间接实现类似的功能，有些情况甚至要改用存储过程，连结构都变了。常见的比如：生成时间序列、保持分组子集、动态行列转换、自然序号、相对 ..
-
QVS SRV 简称 QSRV，是独立 WebServer 进程运行，可单独部署 QSRV 管理 QVS 的资源文件，进行读取、上传、下载远程存储数据文件等操作。 安装集算器企业版 部署 QS ..
-
数据量大或者数据库繁忙都会导致数据库查询变慢，这时将数据用 esProc 导出存成文件再计算可以大幅提升性能。 数据与用例 MySQL 数据库有 orders_30m 表存储着历年的订单数据， ..
-
在数据分析应用中，数据库多表关联的 SQL 语句很复杂，JOIN 性能也不理想，多表往往会被整合成宽表。比如图中订单表和多个维表就可能会被转换为宽表： [图片] 但是，宽表也存在很多问题，比如 ..
