计算&AI •
995 引用 •
1077 回帖 •
471 关注
博客
关注
-
宽表经常是 BI 系统的标配,很多 BI 项目在建设之初首先就会准备宽表。宽表是将有一定关联关系的多个表连接成一个表,结果集不符合范式要求,会存在大量数据冗余。同时宽表由于需要事先建立,在使用 ..
-
有序存储是指将数据按照某些字段排序后再存储。在此基础上,我们可以实现某些高性能算法,利用数据有序的特征来降低计算复杂度,从而大幅提高计算性能。 免索引直接找 在查找计算中,我们常常要按某字段的 ..
-
在 JAVA 应用中经常要处理 txt\csv\json\xml\xls 这类公共格式的数据文件,直接用 JAVA 硬写会非常麻烦,通常要借助一些现成的开源包,但这些开源包也都有各自的不足。 ..
-
一、 SQL 及分析 查询SQL语句如下: select n_name, sum(l_extendedprice * (1 - l_discount)) as revenue from cus ..
-
本文档适用于已经掌握了云服务部署的知识,希望进一步学习 QVS 其他用法的用户。 使用 QVS 服务时,除了可以部署 QVS 服务器,还可使用内嵌 QVS 方式。相对于部署 QVS 服务器,内 ..
-
索引类似于原表的 '目录',是在原表之外,另外建立的存储结构。在做查找计算时,先查索引,在 '目录' 中找到原表的位置,再去原表找到对应的记录。查索引比查原表快的越多,索引提速的效果越明显。 ..
-
一、 SQL 及分析 查询SQL语句如下: select supp_nation, cust_nation, l_year, sum(volume) as revenue from ( sel ..
-
有些时候,我们并不关心最大值具体是多少,而是关心最大值所在记录。比如查询数学成绩最高的学生 ID, 选出每个月销售额最高的订单信息等等。 1. 取最大值所在记录 取最大值所在记录,需要找到最大 ..
-
一、 SQL 及分析 查询SQL语句如下: select * from ( select s_acctbal,s_name,n_name,p_partkey,p_mfgr,s_address, ..
-
目标任务 用户事件表T结构和部分数据示例如下: Time UserID EventTypeID EventType 2022/6/1 10:20 1072755 3 Search 2022/6 ..
-
一、数据搬出 当TP数据库太撑时,采用SPL来承担AP任务。首先需要将TP数据库的数据搬出来。 关系型数据库通常使用jdbc连接数据库取数。以oracle为例,数据结构参考TPC-H。 将OR ..
-
逻辑数据仓库技术允许用户在不搬迁原始数据的前提下将多种异构数据源进行逻辑上的融合,对外表现成数据仓库。逻辑数仓可以解决传统数仓数据搬迁导致的数据链路过长无法响应实时数据处理需求的问题,能够很好 ..
-
序列是被排成一列的对象(或事件),这样每个元素不是在其他元素之前,就是在其他元素之后,元素之间的顺序非常重要。 集合是具有某种特定性质的具体的或抽象的对象汇总而成的集体。构成集合的这些对象则称 ..
-
一、 SQL 及分析 查询SQL语句如下: select s_name,s_address from supplier,nation where s_suppkey in ( select p ..
-
一、 SQL 及分析 查询SQL语句如下: select l_shipmode, sum(case when o_orderpriority = '1-URGENT' or o_orderpr ..
-
目标任务 用户事件表T结构和部分数据示例如下: Time UserID EventType … 2022/6/1 10:20 1072755 Search … 2022/6/1 12:12 1 ..
-
大数据计算场景下,很多比较复杂的算法都会产生落地的中间结果,出现对外存的读写,从而影响性能。 例如,帐户交易表 trades 包含帐号 id,交易日期 dt 和交易金额 amou ..
-
一个完整的微服务包括服务治理(注册 / 发现 / 注销)、服务网关、服务容错、服务通信、服务监控、服务安全、部署与编排等诸多内容。使用原生开发语言从头开发往往不太现实,因此在实现微服务时通常会 ..
-
目标任务 用户事件表T结构和部分数据示例如下: Time UserID EventType OS Browser … f1 f2 f3 f4 f5 … 2022/6/1 10:20 10727 ..
-
有时候我们会按照序号顺序将数据进行分组和排序,把序号相同的成员分到同一组。比如按 1 到 12 月的顺序统计上一年每个月的销售总额,按照周一到周日的顺序统计 ..
-
问题描述 在 A 电商公司,漏斗转化率分析是常用且重要的统计需求。 用户使用智能设备购物时,系统会建立连接形成会话 session。每个会话又包含很多个操作事件 event,比如:访问网站,浏 ..
-
目标任务 用户事件表T结构和部分数据示例如下: Time UserID EventTypeID EventType Product Quantity Unit Price … 2022/6/1 ..
-
背景 关系数据库是最常见的数据存储方案,SQL自然也成为数据处理的第一选择。但随着企业级应用越来越复杂,使用SQL实现数据运算和处理也开始面临许多架构层面的严重问题。复杂的SQL(存储过程)很 ..
-
使用SPL进行性能优化,在数据转存时将字符串等数据类型转换成整数,可以减少存储空间并提升计算性能,下面我们通过一个实际例子学习如何实现整数化。 问题描述 某时空碰撞问题的数据结构如下 字段名称 ..
-
所有时间单位均为秒。 环境配置 CPU 2 颗 KunPeng 920-4826,共 96 核 CPU 2 颗 LongXin 3C5000,共 32 核 CPU 2 颗 Phytium S2 ..