计算&AI •
994 引用 •
1074 回帖 •
474 关注
博客
关注
-
一、数据搬出 当TP数据库太撑时,采用SPL来承担AP任务。首先需要将TP数据库的数据搬出来。 关系型数据库通常使用jdbc连接数据库取数。以oracle为例,数据结构参考TPC-H。 将OR ..
-
一、 SQL 及分析 查询SQL语句如下: select n_name, sum(l_extendedprice * (1 - l_discount)) as revenue from cus ..
-
序列是被排成一列的对象(或事件),这样每个元素不是在其他元素之前,就是在其他元素之后,元素之间的顺序非常重要。 集合是具有某种特定性质的具体的或抽象的对象汇总而成的集体。构成集合的这些对象则称 ..
-
有序存储是指将数据按照某些字段排序后再存储。在此基础上,我们可以实现某些高性能算法,利用数据有序的特征来降低计算复杂度,从而大幅提高计算性能。 免索引直接找 在查找计算中,我们常常要按某字段的 ..
-
一、 SQL 及分析 查询SQL语句如下: select s_name,s_address from supplier,nation where s_suppkey in ( select p ..
-
一、 SQL 及分析 查询SQL语句如下: select supp_nation, cust_nation, l_year, sum(volume) as revenue from ( sel ..
-
数据计算上云可以帮助企业降本增效,常见的方式是选用云数据仓库。当前几乎所有云数仓都是从传统数据仓库演变而来的,数据仓库诞生之初并没有上云的考虑,云数仓会面临存算分离、弹性扩展、Serverle ..
-
在分组时经常会要求结果集必须按基准集合的次序出现,这种对齐分组在日常统计中是很常见的。比如按北上广深的顺序,统计某公司在这些城市的总销售额;按指定的部门顺序 ..
-
一、 SQL 及分析 查询SQL语句如下: select l_shipmode, sum(case when o_orderpriority = '1-URGENT' or o_orderpr ..
-
在 JAVA 应用中经常要处理 txt\csv\json\xml\xls 这类公共格式的数据文件,直接用 JAVA 硬写会非常麻烦,通常要借助一些现成的开源包,但这些开源包也都有各自的不足。 ..
-
本文讨论股票连涨问题,为了避免歧义,这里约定:股票连涨天数包括起始的 1 天,比如连涨 5 天意味着这 5 天内股票都在上涨,实际上只有从第 2 天开始的 4 次上涨。 数据结构和样例数据: ..
-
目标任务 用户事件表T结构和部分数据示例如下: Time UserID EventType OS Browser … f1 f2 f3 f4 f5 … 2022/6/1 10:20 10727 ..
-
逻辑数据仓库技术允许用户在不搬迁原始数据的前提下将多种异构数据源进行逻辑上的融合,对外表现成数据仓库。逻辑数仓可以解决传统数仓数据搬迁导致的数据链路过长无法响应实时数据处理需求的问题,能够很好 ..
-
目标任务 用户事件表T结构和部分数据示例如下: Time UserID EventType … 2022/6/1 10:20 1072755 Search … 2022/6/1 12:12 1 ..
-
目标任务 用户事件表T结构和部分数据示例如下: Time UserID EventTypeID EventType 2022/6/1 10:20 1072755 3 Search 2022/6 ..
-
大数据计算场景下,很多比较复杂的算法都会产生落地的中间结果,出现对外存的读写,从而影响性能。 例如,帐户交易表 trades 包含帐号 id,交易日期 dt 和交易金额 amou ..
-
Hadoop分布式文件系统(HDFS)提供了Java API读写其文件,集算器把实现读写HDFS文件的JAVA代码做了封装,形成更易用的SPL函数。通过这些函数,直接把HDFS文件数据加载到集 ..
-
有时候我们会按照序号顺序将数据进行分组和排序,把序号相同的成员分到同一组。比如按 1 到 12 月的顺序统计上一年每个月的销售总额,按照周一到周日的顺序统计 ..
-
使用SPL进行性能优化,在数据转存时将字符串等数据类型转换成整数,可以减少存储空间并提升计算性能,下面我们通过一个实际例子学习如何实现整数化。 问题描述 某时空碰撞问题的数据结构如下 字段名称 ..
-
《Python和 SPL对比系列 10——一对 N关联》介绍了关联关系中的一对一和一对 N 关联,本文对比 Python 和 SPL 多对一关联的运算能 ..
-
目标任务 用户事件表T结构和部分数据示例如下: Time UserID EventTypeID EventType Product Quantity Unit Price … 2022/6/1 ..
-
目标任务 用户事件表T结构和部分数据示例如下: Time UserID ProductID Quantity … 2022/6/1 10:20 1072755 1 7 … 2022/6/1 1 ..
-
一、 SQL 及分析 查询SQL语句如下: select o_orderpriority, count(*) as order_count from orders where o_orderd ..
-
我们工作中写 SQL 处理数据是家常便饭,不管是应用内数据处理还是临时查询分析都可以用 SQL 完成,相对其他技术(如 Java 等高级语言)也更简单。不过,SQL 的简单只限于简单需求,有些 ..
-
一、 SQL 及分析 查询SQL语句如下: select sum(l_extendedprice) / 7.0 as avg_yearly from lineitem,part where p ..