-
对于大多数数据来说,百分比阈值调整法都可以满足需求,但有一些特殊数据是它无能为力的,如下图这个时间序列: [图片] 图中时间序列前半段数据都在80附近,后半段突然下降,调整后稳定在73附近,直 ..
-
无论使用上述哪种方法,阈值上限tu、阈值下限td都是学习区间中的某一个数,这就会有一个问题,当xi大于其中的最大值或小于最小值时,xi就一定会被认为是异常。 有时我们希望当xi超限不多时,不认 ..
-
SQL SELECT * FROM Customers WHERE CustomerID like '%ANA%' SPL A 1 =file(“Customers.ctx”).open() ..
-
在电商系统中,漏斗转化分析是很重要的数据分析计算。电商的用户在系统中会进行多个操作事件,例如页面浏览、搜索、加购物车、下单、付款等。这些事件有一定的先后顺序,事件顺序越靠后,完成该事件的用户数 ..
-
SQL SELECT * FROM Customers WHERE CustomerID in ( SELECT DISTINCT CustomerID FROM Orders WHERE O ..
-
箱线图法、正态统计法、距离法都是用X[-k]i的全部数据学习tu、td,计算复杂多相对高,尤其是距离法,计算复杂度是O(n2)。tu、td是数据中除异常点外的最大和最小值,我们可以用较大的一部 ..
-
SQL SELECT * FROM Orders WHERE OrderDate>='2021-12-29' and OrderDate<='2021-12-31' SPL 对于数 ..
-
数据中远离其他点的数据是不常见数据,比较数据中的每个点与其他所有点的距离(绝对差)之和,以最小距离和作为基准,超过该基准一定倍数的点就是异常值。 找出距离其他点都“不远”的数据,可以认为这些是 ..
-
SQL SELECT * FROM Orders WHERE CustomerID='MAISD' SPL 像 CustomerID 这种字符串 ID 类的主键字段,一般常用的查找方式都是等值 ..
-
标准的正态分布,三个标准差(σ)覆盖的范围内,可以覆盖99.7%的数据,那么在 3σ 以外的数据就可以认定为异常点。 [图片] 1个标准差内可以覆盖68%的数据。 [图片] 2个标准差内可以覆 ..
-
箱线图(Box Plot)是由一组或多组连续型定量数据的「最小观测值」、第一四分位数、中位数、第三分位数和「最大观测值」来反映数据的分布情况的统计图,因外形似箱子而得名。 箱线图的外形组成: ..
-
SQL WITH a AS( SELECT sum(Amount) Amount FROM Orders2021 WHERE Amount>500 or Quantity>50) ..
-
SQL SELECT ShipVia,sum(Quantity) Quantity FROM Orders2021 GROUP BY ShipVia ORDER BY ShipVia SELE ..
-
SQL SELECT City,sum(Amount) Amount FROM Customers INNER JOIN Orders2021 ON Orders2021.CustomerID ..
-
时间序列是指某个观察指标的数值按其发生的时间先后顺序排列而成的数列。如工业上电表每秒测出的电压、每个小时油料的流量、产品每天的产量等,这些都是时间序列。 在统计研究中,常用按时间顺序排列的一组 ..
-
第1 章 时间序列的异常发现 1.1 [链接] 1.2 [链接] 1.3 [链接] 1.4 [链接] 1.5 [链接] 1.6 [链接] 1.7 [链接] 第2 章 衍生时间序列 2.1 [链 ..
-
SQL SELECT City,ProductID, sum(Amount) Amount FROM Customers INNER JOIN Orders2021 ON Orders2021 ..
-
SQL SELECT Distinct CustomerID FROM Orders2020 UNION SELECT Distinct CustomerID FROM Orders2021 ..
-
在统计分析应用中,从明细数据计算出来的各种指标是支撑业务的重要数据。但是,要做到快速而且灵活的多指标计算,后台数据源面临多个难题。 多指标计算的一个难题是涉及的明细数据量非常大。政府、金融、能 ..
-
市场上绝大多数(甚至可以说是全部)云数据仓库都是基于 SQL 的,毕竟数据仓库的主要功能是分析计算,其它 NoSQL 技术的优势主要在 TP,在 AP 方面远远不敌 SQL。参与竞争的云服务商 ..
-
本章中要尝试更大数据量,将订单表按年分别存储成不同的表,表名为 Orders+ 年份,如 Orders2021,Orders2022,依此类推,表结构均和 Orders 相同 SQL SELE ..
-
无监督实时异常发现算法 算法背景 实际生产中会定时产生一些数据(比如:炼油设备的压力、液位、电气设备的电流、电压等),称为时间序列。生产活动发生异常时,很可能会有前兆反映在这些时间序列中,也就 ..
-
算法背景 之前介绍了有边界的线性拟合算法,《有边界的线性拟合算法》,它的约束条件是所有系数都须在[0,1]范围内,但实际生产环境不仅仅是这个基本的限制。 已知条件 自变量矩阵X,在生产环境中称 ..
-
有边界的线性拟合算法 已知自变量矩阵X和因变量矩阵Y,两者存在线性关系,但系数被限制在一个范围内,这个范围称为边界,试求出该边界范围内的最佳系数矩阵。 [图片] 其中X是k*m矩阵,k是样本数 ..
-
一个集合X中可能存在过大或过小的异常值,希望计算一个范围,剔除集合X中过大或过小的异常值,这个范围的上下限就是阈值,较大值称为阈值上限,记为threshold_up,较小值称为阈值下限,记为t ..