图书 •
783 引用 •
157 回帖 •
3 关注
博客
关注
-
数据中远离其他点的数据是不常见数据,比较数据中的每个点与其他所有点的距离(绝对差)之和,以最小距离和作为基准,超过该基准一定倍数的点就是异常值。 找出距离其他点都“不远”的数据,可以认为这些是 ..
-
标准的正态分布,三个标准差(σ)覆盖的范围内,可以覆盖99.7%的数据,那么在 3σ 以外的数据就可以认定为异常点。 [图片] 1个标准差内可以覆盖68%的数据。 [图片] 2个标准差内可以覆 ..
-
箱线图(Box Plot)是由一组或多组连续型定量数据的「最小观测值」、第一四分位数、中位数、第三分位数和「最大观测值」来反映数据的分布情况的统计图,因外形似箱子而得名。 箱线图的外形组成: ..
-
时间序列是指某个观察指标的数值按其发生的时间先后顺序排列而成的数列。如工业上电表每秒测出的电压、每个小时油料的流量、产品每天的产量等,这些都是时间序列。 在统计研究中,常用按时间顺序排列的一组 ..
-
第1 章 时间序列的异常发现 1.1 [链接] 1.2 [链接] 1.3 [链接] 1.4 [链接] 1.5 [链接] 1.6 [链接] 1.7 [链接] 第2 章 衍生时间序列 2.1 [链 ..
-
[链接]后记 本书共 60 节,讲述了几十种结构化大数据的基础高性能算法或存储方案。我们已经在较多实际场景灵活应用过这些方法,使用 SPL 实现的算法,和传统关系数据库上的 SQL 相比,经常 ..
-
[链接] [链接]9.7 多作业负载均衡 和单机上的多线程并行类似,第一节中讲述的多机并行框架也会等待最慢的分机返回结果后才会继续。我们可以尽量使分机计算的数据量更均衡,但并不能保证各分机执行 ..
-
[链接] [链接]9.6 备胎式容错 事先把数据加载进内存,能够获得比外存好得多的性能。数据量太大超出单机内存时,也可以利用集群的分机分段加载,同时分担计算量。我们前述的多机并行框架以及集群表 ..
-
[链接] [链接]9.5 冗余式容错 做集群运算时必须要考虑容错。单机时如果发生机器失效,那运算也就失效了。而集群时仅有少量几个分机失效仍然可能让集群继续有工作能力。 要容错必须要用冗余。如果 ..
-
[链接] [链接]9.4 分段维表 维表需要被随机访问,而外存不具备这样的能力,所以我们尽量要把维表装入内存。如果维表大到一台分机的内存装不下时,我们就试图在多个分机的内存中加载它。 较大的维 ..
-
[链接] [链接]9.3 复写维表 我们来讨论外键关联,先看小维表的情况,也就是可以把维表装入分机内存的情况。 那么,把维表装入哪个分机的内存呢? 在所有分机都装入一份。 集群下的事实表很大, ..
-
[链接] [链接]9.2 集群复组表 对于数据表上的常规运算,使用 fork 写起来有些麻烦,SPL 也提供了集群表和集群游标来简化代码,但情况要比单机复杂一些。 回顾第二章出现的复组表概念。 ..
-
[链接] [链接]9.1 计算与数据分布 数据量很大时,可以采用多台机器来分担计算任务,也就是集群。参与计算的机器称为分机,通常还会有个控制程序,负责管理分配各分机的计算任务并汇总计算结果,称 ..
-
[链接] [链接]8.6 内存标签异动 标签数据可能随时间变化,比如可能每个月会对客户重新贴一次标签,而我们还希望能针对过去某个月的标签情况进行查询,就需要保存住每个时间点的标签信息。而多维分 ..
-
[链接] [链接]8.5 标签位维度 标签维度是指取值只有是与否(或 true/false)两种的枚举维度,比如人员是否结婚、是否上过大学、是否拥有信用卡、…,也称二值维度。标签维度很常见,对 ..
-
[链接] [链接]8.4 布尔维序列 我们在前面使用对位序列提高维表过滤后的关联,这种技术还可以用于提高枚举型维度的切片性能。 所谓枚举型维度,是指维度的取值是事先已经确定的有限的几种值,如性 ..
-
[链接] [链接]8.3 冗余排序 无切片条件的汇总运算总要涉及全量数据。如果没有预先汇总,也没什么办法减少计算量了。但有切片条件时,如果数据能合理组织,就未必要遍历所有数据了。 简单在维度上 ..
-
[链接] [链接]8.2 时间段预汇总 对于时间段上的统计,使用一些技巧后就可以利用预汇总数据了。 假如原始数据表是按日存储的数据,那么我们可以按月做好预预汇总数据,当需要针对一个时间段统计时 ..
-
[链接] [链接]8.1 部分预汇总 多维分析后台的运算本质上就是个分组汇总,前面讲过的分组方法都可以利用。但当数据量非常大的时候,想做到即时响应也不是很容易的事。 预汇总是个容易想到的方法, ..
-
[链接] [链接]7.4 附表 某个事实表可能随意和多个维表建立外键关联,甚至和同一个维表建立多个外键关联,但基于双方主键建立的同维关联和主子关联就没有这么随意。 同维关联是一种等价关系(A ..
-
[链接] [链接]7.3 关联定位 前两节讨论的都是全表遍历。现实的任务中常常会还会关联表做条件过滤,当然我们可以在关联之后再做过滤,但这样会将所有关联表都遍历一次,表很大时就会耗时很多。有时 ..
-
[链接] [链接]7.2 分段归并 面向大数据的有序归并算法有个不太方便的地方,数据要一条条从两个(或更多)游标中读出后比对,这种逻辑下无法直接实现分段并行。因为无法保证两个表的关联键值是在对 ..
-
[链接] [链接]7.1 有序归并 我们已经多次提到过有序归并,比如第二章中讲有序组表的追加时就用到这个算法,它可以用于实现大集合的交并差运算。以并集为例写出来的算法逻辑大体如下: A B C ..
-
[链接] [链接]6.8 单边分堆 我们最后来处理维表和事实表都很大的情况,通常事实表会更大。这种情况无论如何都很难高速计算出来,但仍然要想办法尽量做得快。 是否可以把事实表用游标读出来,分批 ..
-
[链接] [链接]6.7 大维表查找 遍历事实表时用外键查找维表记录,每次只取一条记录;而事实表通常不会按外键字段有序(事实表可能有多个外键,对某一个外键有序就不会对另一个有序,大部分情况是对 ..