计算＆AI •
874 引用 •
936 回帖 •
446 关注
博客
关注
-
ETL 是将数据从来源端经过清洗（extract）、转换（transform）、加载（load）至目的端的过程。正常的 ETL 过程应当是 E、T、L 这三个步骤逐步进行，也就是先清洗转换之后 ..
-
本节在数据量比较大的情况下，对比esproc和python。 数据量：7000多条万记录，5个字段分别是orderid，clientid，sellerid，amount，date。总大小超过3 ..
-
组表是SPL重要的文件存储格式。组表文件不支持在读取时同时写入，为保证高性能，组表还常常要求数据有序存储。数据不是一成不变的，还需要持续追加或更新，新产生数据的次序通常和组表要求的次序也不同。 ..
-
SPL 中的关联计算和 SQL 有很大不同，SQL 把连接定义为笛卡尔积后再过滤。SPL 也提供了这种运算，但在绝大多数场景下都有更好的替代方法，因而并不推荐使用。 应用 SPL 编程实现关联 ..
-
在电商系统中，漏斗转化分析是很重要的数据分析计算。电商的用户在系统中会进行多个操作事件，例如页面浏览、搜索、加购物车、下单、付款等。这些事件有一定的先后顺序，事件顺序越靠后，完成该事件的用户数 ..
-
一、 测试任务 基于位置计算两个实体之间的距离，进而决定是否建立关联关系。这是典型的非等值关联运算，此时不能再使用 HASH 方法来优化。 任务原型来自国家天文台的星体聚类运算，经过简化后描述 ..
-
异构库的数据比对是指分别在不同类型数据库中的两张逻辑结构相同的数据表，进行数据比较，找出差异。 问题描述 数据对比的难点在于异构数据库间的数据类型和数据库本身在处理数据上存在的差异，这会导致同 ..
-
上一篇《[链接]》（简称“内存篇”）介绍了 SPL 对关联计算的分类，以及内存关联计算的编程方法。 当一个或者多个关联表数据量很大需要外存时，就不能使用内存连接算法了，SPL 专门提供了外存连 ..
-
【摘要】 SQL 用起来虽然方便，但往往执行效率较差，且优化空间小；想用强大的 SPL，但学习需要时间，手头 ..
-
一、 SQL 及分析 查询SQL语句如下： select * from ( select s_name, count(*) as numwait from supplier,lineitem ..
-
[图片] [图片] [图片] 概述 [图片] 应用结构 [图片] 减轻代码量 [图片] 多样性数据源 [图片] 热切换 [图片] 文件计算 [图片] 常规计算 [图片] 使用SQL [图片] ..
-
Q1 运行环境 esProc 目前是纯 Java 软件，只要有 JDK1.8 及以上版本的 JVM 环境的任何操作系统都可以运行，包括常见的 VM 和 Container。 esProc 正常 ..
-
一、 测试任务 多维分析中常见的事实表和多个及多层维表的关联后按维度的汇总统计，以及宽表按维度的统计。 基于TPCH 100G数据集，设计大事实表和多个维表关联的运算： 1. 一个事实表和一个 ..
-
把集合中具有相同属性的成员分配到同一个组，这就是分组运算。比如员工表根据部门分组，每组的员工都具有相同的部门；销售表可以根据销售年份分组，每组都是同一个年份 ..
-
【摘要】 转置功能常用报表等前端展现，将查询出来的数据转置成指定的显示格式。比如行转列，列转行，以及比较复杂的动态转置等等。SQL 和 SPL ..
-
1 应用场景 和【实时追加例程】的应用场景类似，所不同的是需要对数据进行更新。本例程适用于具有如下特征的数据表的更新： 对数据更新的实时性要求很高、数据更新周期很短、任意时刻均有可能更新；单次 ..
-
中间表是数据库中专门存放中间计算结果的数据表，往往是为了前端查询统计更快或更方便而在数据库中建立的汇总表，由于是由原始数据加工而成的中间结果，因此被称为中间表。在某些大型机构中，多年积累出来中 ..
-
1，下载并安装 Java 环境 使用集算器要求有可运行的java环境，且jre版本不低于1.8。 熟悉Java的读者可以自行安装并跳过这一节。 以下安装方式仅供用户参考，OpenJRE下载地址 ..
-
部分预汇总 多维分析后台的运算本质是分组汇总，可以直接对数据执行这个计算。但是，当数据量非常大的时候，很难做到即时响应。 预汇总是个容易想到的办法，即事先把各种汇总结果计算好，保存为中间结果（ ..
-
问题描述 在SQL 提速：高并发帐户查询（下面简称前文）中讨论过单表高并发查询方案。有时情况复杂，查询还会涉及关联运算。比如：帐户查询时，明细数据还要与网点表等维表做关联计算，最终结果中要包含 ..
-
【摘要】 高效率数据计算中间件（Data Computing Middleware，简称：DCM）可以为应用提供数据计算服务，从而实现数据计算高效开发、高效运行、应用解耦；DCM 可用于以下场 ..
-
从 2015 年阿里提出“大中台”的数据中台战略，到 2019 年大厂及中台服务商“大兴”数据中台，再到 2021 年大厂又开始拆中台。数据中台从小甜甜变成牛夫人仅仅用了 2 年时间，为什么这 ..
-
外存索引是在原表之外建立的，被查找字段值和原表记录物理位置的关联表。在查找时，用指定值从这个关联表中迅速获得原表物理位置，再去读取原表记录。 这样，索引中会存储很多被查找字段值。要在其中找到指 ..
-
【摘要】 从原理上分析 SQL 语句慢的原因，用代码示例给出提速办法。点击了解 ${article} 问题描述 主键连接是非常常见的情况，如订单和订单明细。但数据库并不区分关联的字段是什么，一 ..
-
一、 SQL 及分析 查询SQL语句如下： select * from ( select l_orderkey, sum(l_extendedprice * (1 - l_discount)) ..
