计算＆AI •
902 引用 •
973 回帖 •
449 关注
博客
关注
-
两个大表做关联，常常会出现性能问题。其中比较常见的一种情况，是用一个大表的非主键字段，去关联另一个大表的主键。例如：订单表 orders 和客户表 customer 都很大，内存无法装下。订单 ..
-
有序存储是将数据按照某些字段（通常是主键或部分主键）排序后，连续写入外存（主要是硬盘）。有序存储能实现低成本的数据压缩，能够避免频繁跳跃的读取硬盘。而且，计算时从硬盘中连续读出的就是排好序的数 ..
-
大数据通常是需要外存的，要实现外存并行计算必须有较好的数据分段技术。也就是能方便的把数据拆分成若干部分，让每个线程或进程分别处理。 SPL 采用倍增分段技术，实现了单文件可追加分 ..
-
现实中绝大多数 JOIN 都是字段相等的等值连接，非等值 JOIN 很少见，而且大多数可以转换成等值 JOIN 处理，我们在这里主要讨论等值 JOIN。 与 SQL 不同，SPL ..
-
问题描述 在SQL 提速：高并发帐户查询（下面简称前文）中讨论过单表高并发查询方案。有时情况复杂，查询还会涉及关联运算。比如：帐户查询时，明细数据还要与网点表等维表做关联计算，最终结果中要包含 ..
-
很多大数据计算都是用 SQL 实现的，跑得慢时就要去优化 SQL，但常常碰到让人干瞪眼的情况。 比如，存储过程中有三条大概形如这样的语句执行得很慢： select a,b,sum(x) fro ..
-
【摘要】 从原理上分析 SQL 语句慢的原因，用代码示例给出提速办法。点击了解 ${article} 问题描述 高并发帐户查询的应用场景有很多，例如：手机银行查流水、网上营业厅查明细、手游帐户 ..
-
【摘要】 从原理上分析 SQL 语句慢的原因，用代码示例给出提速办法。点击了解 ${article} 问题描述 我们把用来实现某种标记的“是否”型数据称为二值标签。在二值标签总数不太多，只有几 ..
-
【摘要】 从原理上分析 SQL 语句慢的原因，用代码示例给出提速办法。点击了解 ${article} 问题描述 漏斗转化分析属于分组时序计算，其应用场景很多，电商购买转化分析就是其中之一。在用 ..
-
【摘要】 从原理上分析 SQL 语句慢的原因，用代码示例给出提速办法。点击了解 ${article}问题描述 组内最早的 N 个事件统计属于分组时序计算，要统计的数据中一般都有分组字段、事件的 ..
-
【摘要】 从原理上分析 SQL 语句慢的原因，用代码示例给出提速办法。点击了解 ${article} 问题描述 组内取时间最早的记录属于分组时序计算。比如用户行为分析要取出每个用户 ID、会话 ..
-
【摘要】 从原理上分析 SQL 语句慢的原因，用代码示例给出提速办法。点击了解 ${article} 问题描述 主键连接是非常常见的情况，如订单和订单明细。但数据库并不区分关联的字段是什么，一 ..
-
【摘要】 从原理上分析 SQL 语句慢的原因，用代码示例给出提速办法。点击了解 ${article} 问题描述 对数据表做分组汇总时要全表遍历。如果要做 n 种不同的分组，就要对数据表遍历 n ..
-
【摘要】 从原理上分析 SQL 语句慢的原因，用代码示例给出提速办法。点击了解 ${article} 问题描述 数据表 T 的字段 x 按照集合 X={X1=Xn。分段之后，按照段号分组汇总。 ..
-
【摘要】 从原理上分析 SQL 语句慢的原因，用代码示例给出提速办法。点击了解 ${article} 问题描述 TopN 是指从数据中查找前 N 名 / 后 N 名。以 Oracle 为例，S ..
-
【摘要】 从原理上分析 SQL 语句慢的原因，用代码示例给出提速办法。点击了解 ${article} 问题描述 去重本质上是分组运算，需要遍历原数据。计算时要一直保持一个去重后的结果集，每一条 ..
-
【摘要】 从原理上分析 SQL 语句慢的原因，用代码示例给出提速办法。点击了解 ${article} 问题描述 WHERE 子句中出现 IN 比较常见，比如：按照客户年龄段枚举值过滤，还有地区 ..
-
【摘要】 用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解 ${article} 实践目标 本期目标，是在完成前几期优化的基础上，用有序归并或一体化存储来实现主子表及其并行多维分析 ..
-
【摘要】 用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解 ${article} 实践目标 本期目标，是在完成前几期优化的基础上（特别是上期的分支机构维度序号化），实现布尔维度和二 ..
-
【摘要】 用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解 ${article} 实践目标 本期目标是在上期基础上，将客户宽表全部数据与分支机构等多个维表关联，并通过维表字段进行切 ..
-
【摘要】 用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解 ${article} 实践目标 本期目标，是在前期基础上实现预汇总和冗余排序，继续提升计算速度。 实践的步骤： 1、 预 ..
-
【摘要】 用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解 ${article} 实践目标 本期目标是在前面几期基础上，将客户宽表中最近一天的新客户数据与分支机构等多个维表关联，并 ..
-
【摘要】 用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解 ${article} 实践目标 本期目标，是在完成数据类型转化基础上，实现维度排序压缩，进一步提升计算速度。 实践的步骤 ..
-
【摘要】 用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解 ${article} 实践目标 本期目标是练习将数据库读出的数据，尽可能转换为有利于性能优化的数据类型，例如：小整数和浮 ..
-
【摘要】 用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解 ${article} 实践目标 本期目标是练习如何搭建多维分析后台的基础宽表，并通过 SPL 和 SQL 访问基础宽表。 ..
