剔除集合中过大过小的异常值
一个集合X中可能存在过大或过小的异常值，希望计算一个范围，剔除集合X中过大或过小的异常值，这个范围的上下限就是阈值，较大值称为阈值上限，记为threshold_up，较小值称为阈值下限，记为threshold_down。
X=[x1,x2,…,xn]
算法原理
集合中只有少数是异常值，如果把X中的点看作空间中的点，则某个点距离其他点都很远时认为该点是异常值，正常值取值范围就是正常值中最小值到最大值的范围。
计算过程
1. 计算每个xi与其他所有值的绝对差的和，称为半径，记为R。
其中ri是半径序列R的第i个元素。
2. 记录下R中的元素从小到大排序后的索引序列，记为R_psort。
3. 最小半径min_r和最大半径max_r
min_r=RR_psort(1)
max_r= RR_psort (-1)
其中R_psort(1)是R_psort序列中的第一个（同R_psort1），R_psort(-1) 是R_psort序列中的最后一个。
4. 如果max_r比min_r大一个数量级(max_r≥min_r*10)则把大于min_r*5以上的半径对应的xi剔除。
(1) 大于min_r*5的索引min_r5_pos
min_r5_pos=j,RR_psort(j)≥min_r*5
(2) 按索引剔除X序列中的数，得到X_new
X_new=X\XR_psort(j≥min_r5_pos)
其中R_psort(j≥min_r5_pos)是R_psort中所有不小于min_r5_pos的索引集合。
(3) 用X_new重复1,2,3,4，直到不满足max_r≥min_r*10。
5. 设最小半径的倍数为n(默认n=2,n≤5)，称为半径倍数，找到半径大于min_r*n的索引min_rn_pos
min_rn_pos= j,RR_psort(j)>min_r*n
6. min_rn_pos之前的xi为正常值序列，称为阈值序列，记为X_normal
X_normal=XR_psort (j≤min_rn_pos-1)
7. 计算阈值上下限threshold_up和threshold_down
threshold_up= max(X_normal)
threshold_down= min(X_normal)
写出代码：
| A | B | C | D | |
| 1 | =seq | /集合X | ||
| 2 | =up_down | /上限或下限 | ||
| 3 | =n | /半径倍数n | ||
| 4 | =func(A7,seq,up_down,n) | |||
| 5 | return A4 | /返回结果 | ||
| 6 | /计算阈值，参数：序列，上限或下限，半径 | |||
| 7 | func | |||
| 8 | =if(B7=="up",func(A10,A7,C7),func(A15,A7,C7)) | /如果取上限就取阈值序列的最大值，下限就取阈值序列的最小值 | ||
| 9 | /计算阈值上限 | |||
| 10 | func | |||
| 11 | =A10.select(~) | /过滤 null | ||
| 12 | if B11==[] | return null | ||
| 13 | =func(A20,B11,B10).max() | /X_normal.max() | ||
| 14 | /计算阈值下限 | |||
| 15 | func | |||
| 16 | =A15.select(~) | /过滤 null | ||
| 17 | if B16==[] | return null | ||
| 18 | =func(A20,B16,B15).min() | / X_normal.min() | ||
| 19 | /计算阈值序列，参数：序列，半径倍数 | |||
| 20 | func | |||
| 21 | =A20.((v=~,A20.(abs(v-~))).sum()) | /R | ||
| 22 | =B21.psort() | /R_psort | ||
| 23 | if B21(B22(1))*10<B21(B22.m(-1)) | =B22.pselect(B21(~)>=B21(B22(1))*5) | /如果 max_r>min_r*10 min_r5_pos |
|
| 24 | =A20\(A20(B22.m(C23:))) | /去掉大于 min_r*5 的值 | ||
| 25 | return func(A20,C24,B20) | |||
| 26 | else | =B21(B22(1))*B20 | /min_r*n | |
| 27 | =(gt_min=B22.pselect(B21(~)>C26),if(!gt_min,A20.len(),gt_min-1)) | /min_rn_pos | ||
| 28 | =A20(B22.to(C27)) | /X_normal | ||
输入参数说明：
1. A1中的seq是输入集合X；
2. A2中的up_down是计算上限还是下限的参数。
up_down=“up”时，计算阈值上限；
up_down=“down”时，计算阈值下限。
3. A3中的n是半径倍数n；
2≤n≤5
n越大正常值的取值范围越大，即阈值上限越大，阈值下限越小。
算法效果实例
1. 把集合X和不同半径倍数n条件下的阈值上下限画在图上如下：
图中横轴是每个值的索引，纵轴是X中值的大小。图右侧的图例说明
X：集合X
X_n2_up：n=2时的阈值上限
X_n2_down：n=2时的阈值下限
X_n2.5_up：n=2.5时的阈值上限
X_n2.5_down：n=2.5时的阈值下限
X_n3_up：n=3时的阈值上限
X_n3_down：n=3时的阈值下限
不大于阈值上限且不小于阈值下限的值就是X中的正常值。
