图书 •
851 引用 •
238 回帖 •
4 关注
博客
关注
-
[链接] [链接]9.6 备胎式容错 事先把数据加载进内存,能够获得比外存好得多的性能。数据量太大超出单机内存时,也可以利用集群的分机分段加载,同时分担计算量。我们前述的多机并行框架以及集群表 ..
-
WVAD(Williams’s Variable Accumulation/Distribution) 是一种加权的量价动量指标,由 Larry Williams 所设计,其作用在于测量从开盘 ..
-
[链接] [链接]9.3 复写维表 我们来讨论外键关联,先看小维表的情况,也就是可以把维表装入分机内存的情况。 那么,把维表装入哪个分机的内存呢? 在所有分机都装入一份。 集群下的事实表很大, ..
-
[链接] [链接]8.3 冗余排序 无切片条件的汇总运算总要涉及全量数据。如果没有预先汇总,也没什么办法减少计算量了。但有切片条件时,如果数据能合理组织,就未必要遍历所有数据了。 简单在维度上 ..
-
1.4.1 T 函数和 E 函数 使用 import()/xlsimport 函数需要先定义文件对象,而读写结构化文件的操作很常见,SPL 提供了更简单的 T() 函数,可以自动根据文件扩展名 ..
-
[链接] [链接]3.2 哈希索引 使用二分法去查找时,还是需要多次读取原文件才能定位到目标值,而且过程中还有不少读取是多余的。如果我们有办法高效地获得目标值的物理位置,那就可以直接读出目标值 ..
-
这种方法基于原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。经过处理的数据符合标准正态分布,即均值为0,标准差为1。 转化函数为: Z=(x−[图片 ..
-
5.1 集合运算 1. 看代码写结果 A B 1 =to(10,1) 2 =A1.to(2,6) =A1.to(9,3) 3 =A2|B2 =B2|A2 4 =A2&B2 =B2&am ..
-
mmean(A, n) 对矩阵 A 在 n 层维度求均值 A 1 [[1,0,2,3],[0,71,5,6],[0,0,6,5],[35,53,2,3],[35,8,4,2]] 2 =mmea ..
-
[图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片]
-
[链接] [链接]9.1 计算与数据分布 数据量很大时,可以采用多台机器来分担计算任务,也就是集群。参与计算的机器称为分机,通常还会有个控制程序,负责管理分配各分机的计算任务并汇总计算结果,称 ..
-
动力指数表示的是股票价格的涨跌速度,如果股票价格能始终不渝地上升则动力指数继续向上发展,就说明股票几个上升的速度在加快。反之,如果股票价格始终在下降, 则动力指数始终保持在 0 线的下方。如果 ..
-
[链接] [链接]3.4 行存和带值索引 上一章讲过,列式存储是提高性能的常用手段。然而,对于大多数查找任务来讲,列存却会导致更差的性能。 即使已经有序存储了,通常的列存也可以认为就无法执行不 ..
-
[图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [ ..
-
有各年月的水表用水量数据,部分数据如下所示: [图片] 另有每年的漏水量统计表如下图所示: [图片] 把每年的漏水量按照各年月用水量占当年总用水量的比例,按漏水量分配到各年月的 Water l ..
-
[链接] [链接]6.8 大维表查找 遍历事实表时用外键查找维表记录,每次只取一条记录;而事实表通常不会按外键字段有序(事实表可能有多个外键,对某一个外键有序就不会对另一个有序,大部分情况是对 ..
-
[图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [ ..
-
[链接] [链接]9.5 冗余式容错 做集群运算时必须要考虑容错。单机时如果发生机器失效,那运算也就失效了。而集群时仅有少量几个分机失效仍然可能让集群继续有工作能力。 要容错必须要用冗余。如果 ..
-
[链接] [链接]5.4 程序游标 继续帐户交易表,现在我们希望找出每月内连续 n 天都有交易的那些交易记录,然后按发生日期的星期几统计交易额度。 后半任务很简单,就是个普通的分组汇总。但找出 ..
-
SPL(Structured Process Language) 是专业数据计算引擎 esProc 所用的程序语言,SPL 中固化了大量结构化数据运算类库,使用 SPL 编写数据计算处理代码要 ..
-
[链接] [链接]8.1 部分预汇总 多维分析后台的运算本质上就是个分组汇总,前面讲过的分组方法都可以利用。但当数据量非常大的时候,想做到即时响应也不是很容易的事。 预汇总是个容易想到的方法, ..
-
[链接] [链接]7.4 附表 某个事实表可能随意和多个维表建立外键关联,甚至和同一个维表建立多个外键关联,但基于双方主键建立的同维关联和主子关联就没有这么随意。 同维关联是一种等价关系(A ..
-
问题 下面是某企业的历史销售合同记录: [图片] 去年有销售额而今年没有的客户称为今年的“流失客户”,“流失客户”的数量除以去年的总客户数量为今年“客户流失率”,请找出 1998 年的“流失客 ..
-
[链接] [链接]3.7 返回集合的查找 有时需要针对一个查找值可能查找多个目标值,比如通过用户 ID 查找出该用户的交易记录。 在用户 ID 上建立索引可以避免全遍历而提高查找性能,但仍然不 ..
-
[图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片]