计算&AI •
979 引用 •
1069 回帖 •
466 关注
博客
关注
-
数据表枚举字段的取值是有限几种值,针对枚举字段 f 的过滤条件写成 f =v1 or f=v2 or…或者 f !=v1 and f !=v2 and…,也可能写成 in 或者 not in。 ..
-
类似订单和明细表这样的主子表关联比较常见,在 SQL 中,这种关联用 JOIN 实现,在两个表都很大的情况下,常常出现计算速度非常慢的现象。 [图片] 如果预先将主子表都按照主键有序存储,就可 ..
-
接收 Restful 的 json 数据后经常还要计算,用 Java 处理会比较麻烦。用 esProc 会简单很多,不仅能对接 Restful 接口,擅长处理多层数据,还能嵌入 Java 应用 ..
-
QVS SRV 简称 QSRV,是独立 WebServer 进程运行,可单独部署 QSRV 管理 QVS 的资源文件,进行读取、上传、下载远程存储数据文件等操作。 安装集算器企业版 部署 QS ..
-
数据量大或者数据库繁忙都会导致数据库查询变慢,这时将数据用 esProc 导出存成文件再计算可以大幅提升性能。 数据与用例 MySQL 数据库有 orders_30m 表存储着历年的订单数据, ..
-
在数据分析应用中,数据库多表关联的 SQL 语句很复杂,JOIN 性能也不理想,多表往往会被整合成宽表。比如图中订单表和多个维表就可能会被转换为宽表: [图片] 但是,宽表也存在很多问题,比如 ..
-
今天,企业的数据来源已经从原来的“就几张表”发展到数据库、文件、接口、流式数据、对象存储、NoSQL……五花八门。能不能搞定“多数据源混算”,已经成了数据计算技术的重要标准之一。 说起多源混算 ..
-
SQL 中的去重计数 COUNT DISTINCT 一直比较慢。 去重本质上是分组运算,需要把遍历过的分组字段值都保持住,用于后续的比对。结果集太大时,还要把数据写到硬盘上做缓存,性能低下。 ..
-
SQL 对关联的定义过于简单,关联就是两个表做笛卡尔积后再过滤,在语法上写成 A JOIN B ON …的形式。Python 关联基本上是延用 SQL 的方式,概念和方法都差不多。 esPro ..
-
业务数据经常存在层次关系,比如订单包含日期、客户和订单明细,订单明细又包含价格、数量、产品,产品则包含名称和分类。 json 的可嵌套结构很适合描述这种关系,比如订单数据: [ { 'orde ..
-
数据分析经常出现跨行计算,比如比上期、比同期、移动平均等等。针对有序数据集实现跨行计算,会涉及集合相邻成员引用的问题。 比如某商家某年 12 个月的销售额已经按月份次序准备好,现在要计算最大月 ..
-
针对数据集合的每个成员进行计算是很常见的任务,用循环语句当然能实现,但比较麻烦,算个简单的求和都要写很多句代码。 编程语言经常把这些运算封装成函数,比如 Python 的 sum 函数,求订单 ..
-
集合在计算机中一般都存储为数组形式,其成员天然会有个位置。数据表本质上是记录的集合,也会被存储成数组,作为成员的记录也有位置的概念。而实际应用中确实有很多分析计算都是位置相关的,但 SQL 把 ..
-
标准 SQL 中提供了五种最常用的聚合运算:SUM/COUNT/AVG/MIN/MAX,都是对集合计算出单值。 比如日志表中找出用户 1001 第一次登录的时间,SQL 很简单: SELECT ..
-
在很多业务场景中需要在 word 文档中嵌入报表。比如下图这个报告: .. [图片] [图片] 这是一个某大学年度毕业生就业报告,报告中的表格和统计图的数据来自数据库,如果通过报表工具,制作这 ..
-
早期 SQL 对有序计算极端不适应,理论上可以写,但实际的麻烦程度基本上等同于不能用。 在引入窗口函数后,有序计算得到了一定的改善,但 SQL 的基础还是无序集合,即使打了窗口函数这样的补丁也 ..
-
背景 报表作为业务决策的重要依据却有着不稳定的特点,随时需要根据新的需求进行调整和优化。这种频繁的调整和更新要求报表系统具备极高的灵活性和响应速度。换句话说,报表应用能够在不停止服务的情况下, ..
-
为一个销售管理系统准备模拟数据进行测试。要求生成4张表,数据的要求分别是: 销售员表,要求有50名销售员,5个地区:NorthChina, SouthChina, CentralChina, ..
-
esProc SPL在结构化文本文件上的常规运算 结构化文本文件是指以tab分隔的TXT文件或是逗号分隔的csv文件,这类文件可以看成是数据表。使用esProc SPL能够很方便地对这类文件进 ..
-
简化后的进货表 purchases、销售表 sales 的部分数据如下: sales: [图片] purchases: [图片] 《下载测试数据》 1、统计各产品多少周发生过断货 这里只统计断 ..
-
相关性分析是数据分析和挖掘中经常用的方法,通过对特征和目标之间的关系分析可以发现业务运营中的影响因素,并对业务的发展进行预测。 两个变量之间的关系有以下几种: (1) 完全正线性相关:一个值随 ..
-
条形码扫描后是一个 13 位的数字字符串。为应对扫描错误的情况,条形码有“检查和校验”的方法,用于校验条形码是否有错。具体的计算规则为: 取出 13 位字符串的前 12 位数字,将每个奇数位的 ..
-
八皇后问题是一个古老而著名的问题。具体为:在 8X8 格的国际象棋上摆放八个皇后,使其不能互相攻击,即任意两个皇后都不能处于同一行、同一列或同一斜线上,请问有多少种摆法。 A B C D 1 ..
-
请给出指定的某年(如 2020)的全年日历。使用字符串输出,仿照常见日历的格式,按月分隔,包含日期和星期信息。 循环十二个月,首先计算月标题和星期标题添加到万年历,然后循环月中的所有天,按周拼 ..
-
请编写程序解答下面 10 个问题: 1、第一个答案是 b 的问题是哪一个? (a)2;(b) 3;(c)4;(d)5;(e)6 2、唯一的连续两个具有相同答案的问题是: (a)2,3;(b)3 ..