计算＆AI •
872 引用 •
934 回帖 •
446 关注
博客
关注
-
目标任务 用户事件表T结构和部分数据示例如下： Time UserID EventTypeID EventType 2022/6/1 10:20 1072755 3 Search 2022/6 ..
-
目标任务 用户事件表T结构和部分数据示例如下： Time UserID EventTypeID EventType 2022/6/1 10:20 1072755 3 Search 2022/6 ..
-
目标任务 用户事件表T结构和部分数据示例如下： Time UserID EventType 2022/6/1 10:20 1072755 Search 2022/6/1 12:12 10780 ..
-
用户分析（或帐户分析），是指对用户、帐户明细数据进行统计分析计算。常见的有：用户行为分析、银行帐户统计、漏斗转化率、保险单分析等等。 这类场景涉及众多用户的历史数据，总数据量巨大（几千万甚至上 ..
-
依据用户、帐户明细数据做统计分析的场景比较常见。比如：用户行为分析、银行帐户统计、漏斗转化率、保险单分析等等，我们统称为帐户分析。这类场景的特征是：总数据量巨大但单个帐户数据量相对很小；数据涉 ..
-
很多数据仓库产品都采用了列式存储。如果数据表的总列数很多而计算涉及的列很少，采用列存就只读取需要的列即可，能够减少硬盘访问量，提高性能。特别是数据量非常大时，硬盘扫描和读取的时间占比很大，这时 ..
-
与以磁盘存储为主的普通数据库相比，内存数据库的数据访问速度可以高出几个数量级，能大幅提高运算性能，更适合高并发、低延时的业务场景。 不过，当前大部分内存数据库仍然采用 SQL 模型，而 SQL ..
-
JOIN 一直是数据库性能优化的老大难问题，本来挺快的查询，一旦涉及了几个 JOIN，性能就会陡降。而且，参与 JOIN 的表越大越多，性能就越难提上来。 其实，让 JOIN 跑得快的关键是要 ..
-
部分预汇总 多维分析后台的运算本质是分组汇总，可以直接对数据执行这个计算。但是，当数据量非常大的时候，很难做到即时响应。 预汇总是个容易想到的办法，即事先把各种汇总结果计算好，保存为中间结果（ ..
-
大数据表关联时，有时会先对关联表做条件过滤。对于关联字段是主键或者部分主键的情况，SPL 在有序归并关联算法（参考这里）的基础上提供关联定位算法，来提升过滤后关联的计算性能。 先来看关联表按照 ..
-
在大数据表关联场景中，如果各个表按照主键或部分主键关联，我们可以采用 SPL 附表机制来做性能优化。 附表机制是将上述要关联的表绑在一起存储。以客户表 customer 和联系方式表 cont ..
-
大表关联常常会出现性能问题。对于关联字段是主键或者部分主键的情况，SPL 提供有序归并算法来计算。 有序关联算法，要事先把这些关联表的数据按其主键排序。排序的成本虽然较高，但是一次性的。一旦完 ..
-
大数据计算场景下，很多比较复杂的算法都会产生落地的中间结果，出现对外存的读写，从而影响性能。 例如，帐户交易表 trades 包含帐号 id，交易日期 dt 和交易金额 amou ..
-
遍历复用的原理 对外存数据表做遍历计算时，大部分时间都用来从硬盘上读取数据了。所以我们会希望一次读取能做尽量多的事情，也就是尽量做到能复用遍历过程中读出来的数据。 比如我们对订单 ..
-
外存索引是在原表之外建立的，被查找字段值和原表记录物理位置的关联表。在查找时，用指定值从这个关联表中迅速获得原表物理位置，再去读取原表记录。 这样，索引中会存储很多被查找字段值。要在其中找到指 ..
-
两个大表做关联，常常会出现性能问题。其中比较常见的一种情况，是用一个大表的非主键字段，去关联另一个大表的主键。例如：订单表 orders 和客户表 customer 都很大，内存无法装下。订单 ..
-
有序存储是将数据按照某些字段（通常是主键或部分主键）排序后，连续写入外存（主要是硬盘）。有序存储能实现低成本的数据压缩，能够避免频繁跳跃的读取硬盘。而且，计算时从硬盘中连续读出的就是排好序的数 ..
-
问题描述 在SQL 提速：高并发帐户查询（下面简称前文）中讨论过单表高并发查询方案。有时情况复杂，查询还会涉及关联运算。比如：帐户查询时，明细数据还要与网点表等维表做关联计算，最终结果中要包含 ..
-
【摘要】 从原理上分析 SQL 语句慢的原因，用代码示例给出提速办法。点击了解 ${article} 问题描述 高并发帐户查询的应用场景有很多，例如：手机银行查流水、网上营业厅查明细、手游帐户 ..
-
【摘要】 从原理上分析 SQL 语句慢的原因，用代码示例给出提速办法。点击了解 ${article} 问题描述 我们把用来实现某种标记的“是否”型数据称为二值标签。在二值标签总数不太多，只有几 ..
-
【摘要】 从原理上分析 SQL 语句慢的原因，用代码示例给出提速办法。点击了解 ${article} 问题描述 漏斗转化分析属于分组时序计算，其应用场景很多，电商购买转化分析就是其中之一。在用 ..
-
【摘要】 从原理上分析 SQL 语句慢的原因，用代码示例给出提速办法。点击了解 ${article}问题描述 组内最早的 N 个事件统计属于分组时序计算，要统计的数据中一般都有分组字段、事件的 ..
-
【摘要】 从原理上分析 SQL 语句慢的原因，用代码示例给出提速办法。点击了解 ${article} 问题描述 组内取时间最早的记录属于分组时序计算。比如用户行为分析要取出每个用户 ID、会话 ..
-
【摘要】 从原理上分析 SQL 语句慢的原因，用代码示例给出提速办法。点击了解 ${article} 问题描述 主键连接是非常常见的情况，如订单和订单明细。但数据库并不区分关联的字段是什么，一 ..
-
【摘要】 从原理上分析 SQL 语句慢的原因，用代码示例给出提速办法。点击了解 ${article} 问题描述 对数据表做分组汇总时要全表遍历。如果要做 n 种不同的分组，就要对数据表遍历 n ..
