计算＆AI •
944 引用 •
1066 回帖 •
463 关注
博客
关注
-
[链接]编程学习 从[链接]开始，还有个[链接]。 这本书就是面向非专业人员编写的，不需要编程经验，有高中数学基础就可以了。 第 1-4 章介绍基本的程序逻辑（变量、分支、循环等），也是大多数 ..
-
[链接]概念与语法 先从[链接]开始。 第 1-4 章介绍基本的程序逻辑，这部分主要面向没有编程经验的初学者，专业程序员可以用十几分钟时间迅速过一遍，了解 SPL 编程的基本风格和语法，需要注 ..
-
数据分析涉及不同业务系统时就要做跨库计算，而表间 JOIN 是最麻烦的，很多数据库都不具备这样的能力，用 Java 取数再计算又太复杂。用 esProc 完成跨库 JOIN 会简单很多。 数据 ..
-
由于业务需要将数据按年存储在两个结构相同的数据库中，要进行数据统计就会涉及多库混合计算。通过数据库或硬编码实现都比较麻烦，借助 esProc 可以简化这类运算。 数据 orders 表结构： ..
-
数据表枚举字段的取值是有限几种值，针对枚举字段 f 的过滤条件写成 f =v1 or f=v2 or…或者 f !=v1 and f !=v2 and…，也可能写成 in 或者 not in。 ..
-
数据库中，大主子表之间进行 EXISTS 计算往往会导致较差的性能。这样的计算本质上是在做连接，如果能预先将主子表都按照主键有序存储，就可以使用有序归并算法有效提速。这种算法只需要对两个表依次 ..
-
类似订单和明细表这样的主子表关联比较常见，在 SQL 中，这种关联用 JOIN 实现，在两个表都很大的情况下，常常出现计算速度非常慢的现象。 [图片] 如果预先将主子表都按照主键有序存储，就可 ..
-
接收 Restful 的 json 数据后经常还要计算，用 Java 处理会比较麻烦。用 esProc 会简单很多，不仅能对接 Restful 接口，擅长处理多层数据，还能嵌入 Java 应用 ..
-
某些数据库 SQL 缺失必要的能力，通常要编写大段的代码，才能间接实现类似的功能，有些情况甚至要改用存储过程，连结构都变了。常见的比如：生成时间序列、保持分组子集、动态行列转换、自然序号、相对 ..
-
QVS SRV 简称 QSRV，是独立 WebServer 进程运行，可单独部署 QSRV 管理 QVS 的资源文件，进行读取、上传、下载远程存储数据文件等操作。 安装集算器企业版 部署 QS ..
-
数据量大或者数据库繁忙都会导致数据库查询变慢，这时将数据用 esProc 导出存成文件再计算可以大幅提升性能。 数据与用例 MySQL 数据库有 orders_30m 表存储着历年的订单数据， ..
-
在数据分析应用中，数据库多表关联的 SQL 语句很复杂，JOIN 性能也不理想，多表往往会被整合成宽表。比如图中订单表和多个维表就可能会被转换为宽表： [图片] 但是，宽表也存在很多问题，比如 ..
-
逻辑数仓可以实现多源混算，但需要配置视图、预处理数据，结构太沉重。duckdb 是轻量级的方案，但没有内置 Oracle 的 connector，自己开发难度又太高。同为轻量级方案，esPro ..
-
今天，企业的数据来源已经从原来的“就几张表”发展到数据库、文件、接口、流式数据、对象存储、NoSQL……五花八门。能不能搞定“多数据源混算”，已经成了数据计算技术的重要标准之一。 说起多源混算 ..
-
SQL 中的去重计数 COUNT DISTINCT 一直比较慢。 去重本质上是分组运算，需要把遍历过的分组字段值都保持住，用于后续的比对。结果集太大时，还要把数据写到硬盘上做缓存，性能低下。 ..
-
学生成绩表 score 的示例数据如下： [图片] 《下载测试数据》 1、统计各科前 3 名 统计结果要如下展示，每个名次一行，每个学科一列，并列名次的多人用逗号连结： [图片] 计算结果的格 ..
-
MongoDB 自带的查询语法功能比较繁琐，简单的任务也要写很长代码，复杂计算更难实现，比如： SPL assists MongoDB: Only keep the running total ..
-
SQL 对关联的定义过于简单，关联就是两个表做笛卡尔积后再过滤，在语法上写成 A JOIN B ON …的形式。Python 关联基本上是延用 SQL 的方式，概念和方法都差不多。 esPro ..
-
数据分析或报表类应用中有时会遇到各类复杂的 SQL，嵌套了多层的、关联了自己的、动态转置的，比如： From SQL to SPL：Create columns from distinct v ..
-
业务数据经常存在层次关系，比如订单包含日期、客户和订单明细，订单明细又包含价格、数量、产品，产品则包含名称和分类。 json 的可嵌套结构很适合描述这种关系，比如订单数据： [ { 'orde ..
-
Java 计算 csv 文件的代码太麻烦，借助数据库又会导致架构复杂。esProc 提供了 JDBC 驱动和计算类库，可以在 Java 中嵌入 SPL 语句，将 csv 文件当数据表直接查询， ..
-
数据分析经常出现跨行计算，比如比上期、比同期、移动平均等等。针对有序数据集实现跨行计算，会涉及集合相邻成员引用的问题。 比如某商家某年 12 个月的销售额已经按月份次序准备好，现在要计算最大月 ..
-
esProc SPL 提供了游标运算，可以用非常简单的代码操作大 csv 文件，稍加改动就能变成并行计算，还有图形化界面，比 Pyhton 方便多了。 先去这里下载 esProc SPL：ht ..
-
esProc SPL 支持简单 SQL，可以直接在 csv 等结构化文本文件上执行 SQL 语句，这样，不用数据库也可以用 SQL 计算了。 先下载 esProc SPL：https://ww ..
-
针对数据集合的每个成员进行计算是很常见的任务，用循环语句当然能实现，但比较麻烦，算个简单的求和都要写很多句代码。 编程语言经常把这些运算封装成函数，比如 Python 的 sum 函数，求订单 ..
