北京
润乾公司大数据计算专家
1 回帖  •  363 浏览  • 
     ...

用户行为分析系列实践 9 – 枚举和标签维度

 
集算器(456) 性能优化(158) 枚举维度(1) 标签维度(1) 二值维度(1)

目标任务

用户事件表T结构和部分数据示例如下：

Time

UserID

EventType

OS

Browser

…

f1

f2

f3

f4

f5

…

2022/6/1 10:20

1072755

Search

Android

IE

…

true

false

false

true

false

…

2022/6/1 12:12

1078030

Browse

IOS

Safari

…

false

false

true

true

true

…

2022/6/1 12:36

1005093

Submit

Android

Chrome

…

true

true

true

false

false

…

2022/6/1 13:21

1048655

Login

Windows

Chrome

…

false

false

true

true

true

…

2022/6/1 14:46

1037824

Logout

Android

Edge

…

false

false

false

true

true

…

2022/6/1 15:19

1049626

AddtoCart

Windows

Edge

…

true

true

false

true

false

…

2022/6/1 16:00

1009296

Submit

IOS

Firefox

…

false

true

false

false

true

…

2022/6/1 16:39

1070713

Browse

IOS

Sogou

…

true

true

true

false

false

…

2022/6/1 17:40

1090884

Search

Windows

IE

…

true

false

true

true

false

…

T表字段说明：

字段名

数据类型

字段含义

Time

日期时间

事件发生的时间戳，精确到毫秒

UserID

字符串

用户ID

EventType

字符串

事件类型

OS

字符串

操作系统，取值为Android,IOS,Windows,……,Unknown

Browser

字符串

浏览器，取值为IE,Safari,Edge,Firefox,Chrome,Sogou,……,Unknown

…

字符串

更多其它取值为枚举值的字段

f1

布尔值

是否异地发生，取值为真和假

f2

布尔值

是否惯用设备，取值为真和假

f3

布尔值

是否惯用浏览器，取值为真和假

f4

布尔值

是否是手机，取值为真和假

f5

布尔值

是否首次操作，取值为真和假

…

布尔值

更多其它取值为真和假的字段

计算任务：

统计指定时间段内，本地使用安卓/苹果手机，使用Safari/ Edge/ Chrome，且非首次操作的用户，在每种事件类型下的发生次数，以及去重用户数。

实践技能

关于枚举和标签维度的相关知识可参考：

多标签用户画像分析跑得快的关键在哪里？

多维分析后台实践 7：布尔维度和二值维度

1. 将枚举维度值转换成序号

根据OS和Browser字段的取值列表，把事件表T中相应字段值转换成在此列表中的序号

2. 将二值维度值转成为位

将事件表T中的f1,…这些取值为true/false的二值字段，每16个拼成一组，用一个整数字段的位来存储，一个整数字段存储16个原字段。说明：SPL对16位整数做了优化，读取速度更快，所以一般用16位整数来存储，如果二值维度超出16个，则用多个整数字段。

经过1，2动作转换后的T表结构如下：

字段名

数据类型

字段含义

Time

日期时间

事件发生的时间戳，精确到毫秒

UserID

字符串

用户ID

EventType

字符串

事件类型

OS

整数

操作系统，取值为枚举序列中的序号

Browser

整数

浏览器，取值为枚举序列中的序号

…

…

…

b1

整数

整数字段，用位存储二值字段

b2

整数

整数字段，用位存储二值字段

…

…

…

3. 使用转换后的T表进行数据统计

采用SPL提供的序号引用和位式运算实现统计。

示例代码

1、 转储T表的基本方法

A

10

=connect("demo").cursor@x("select * from T order by Time")

11

=file("OS.txt").import@i()

12

=file("Browser.txt").import@i()

13

=A10.new(Time,UserID,EventType,A11.pos(OS):OS,A12.pos(Browser):Browser,……,bits@n(f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f11,f12,f13,f14,f15,f16):b1,bits@n(f17,…..,f32):b2,……)

14

=file("T.ctx").create(#Time,UserID,EventType,OS,Browser,……,b1,b2,……)

15

=A14.append(A13)

16

>A14.close()

A10 读事实表，按Time排序

A11 读入OS字段可能取值的列表

undefined

A12 读入Browser字段可能取值的列表

undefined

A13 将OS字段值转换成其在A11中的序号，将Browser字段值转换成其在A12中的序号，如果取列表是有序的，可以在pos时加@b选项用二分法定位，速度更快。

依次将取值为true/false的二值字段每16个一组按位存储成一个整数字段，1代表true，0代表false。bits@n表示将true/false变成1/0

A14 产生组表文件的结构

A15 把A13输出到A14组表文件中

2、 任意多个枚举维度

如果枚举字段数较多，可以让列表值文件名和字段名相同，自动生成相应的表达式，如：

A

6

[OS,Browser]

7

=A6.(file(~/".txt").import@i())

8

=A6.("A7("/#/").pos("/~/"):"/~).concat@c()

A6 枚举字段名序列

A7 读取枚举字段取值列表，返回结果是：

undefined

A8 生成将枚举字段值转换成其在枚举序列中的序号的表达式，其返回结果是：

A7(1).pos(OS):OS,A7(2).pos(Browser):Browser

把A8生成的表达式，用宏替换符号${A8}的形式插入到前面的A13表达式，即：

=A10.new(Time,UserID,EventType, ${A8}, bits@n(f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f11,f12,f13,f14,f15,f16):b1, bits@n(f17,…..,f32):b2,……)

3、 任意多个二值维度

如果二值字段数很多，且字段命名很有规律，假设都是fn，可以自动生成bits表达式，如：

A

1

>n=50

2

=n\16

3

=A2.((a=(#-1)*16,"bits@n("+16.("f"/(~+a)).concat@c()+"):b"/#))

4

="bits@n("+to(A2*16+1,n).("f"/~).concat@c()+"):b"/(A2+1)

5

=(A3|A4).concat@c()

A1 二值字段数

A2 计算需要几个整数来存储

A3 自动拼接生成bits@n表达式

A4 把末尾不足16个的字段作为最后一个整数字段生成对应表达式

A5的返回结果是：

bits@n(f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f11,f12,f13,f14,f15,f16):b1,bits@n(f17,f18,f19,f20,f21,f22,f23,f24,f25,f26,f27,f28,f29,f30,f31,f32):b2,bits@n(f33,f34,f35,f36,f37,f38,f39,f40,f41,f42,f43,f44,f45,f46,f47,f48):b3,bits@n(f49,f50):b4

把A5生成的表达式，用宏替换符号${A5}的形式插入到前面的A13表达式，即：

=A10.new(Time,UserID,EventType, ${A8}, ${A5})

4、 完整的转储代码

A

1

>n=50

2

=n\16

3

=A2.((a=(#-1)*16,"bits@n("+16.("f"/(~+a)).concat@c()+"):b"/#))

4

="bits@n("+to(A2*16+1,n).("f"/~).concat@c()+"):b"/(A2+1)

5

=(A3|A4).concat@c()

6

[OS,Browser]

7

=A6.(file(~/".txt").import@i())

8

=A6.("A7("/#/").pos("/~/"):"/~).concat@c()

9

=connect("demo").cursor@x("select * from T order by Time")

10

=A9.new(Time,UserID,EventType, ${A8}, ${A5})

11

=file("T.ctx").create(#Time,UserID,EventType,OS,Browser,……,b1,b2,……)

12

=A11.append(A10)

13

>A11.close()

5、 对转换后的事实表统计的基本方法

“本地使用安卓/苹果手机，使用Safari/ Edge/ Chrome，且非首次操作的用户”这个过滤条件对应的是f1为0，f4为1，f5为0，OS取值为Android/IOS，Browser取值为Safari/ Edge/ Chrome

A

12

=bits(0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0)

13

=bits(1,0,0,1,1,0,0,0,0,0,0,0,0,0,0,0)

14

=file("OS.txt").import@i()

15

=A14.(["Android","IOS"].contain@b(~))

16

=file("Browser.txt").import@i()

17

=A16.(["Chrome","Edge","Safari"].contain@b(~))

18

>start=date("2022-03-15","yyyy-MM-dd"),end=date("2022-06-16","yyyy-MM-dd")

19

=file("T.ctx").open().cursor(UserID, EventType;Time>=start && Time<=end && A15(OS) && A17(Browser) && and(b1,A13)==A12).groups(EventType; count(1):Num, icount(UserID):iNum)

A12 根据过滤条件，将条件为真的第四位置为1其它位置为0

A13 根据过滤条件，将有条件的第一位、第四位、第五位置为1其它位置为0

A14 读入OS字段的可能取值序列

A15 根据过滤条件，生成一个与A14同长度的序列，其成员值为对应成员是否满足过滤条件。

A16 读入Browser字段的可能取值序列

A17 根据过滤条件，生成一个与A16同长度的序列，其成员值为对应成员是否满足过滤条件。

A19 在游标中对T表进行过滤，然后再分组汇总。这里用到的位运算，and(b1,A13)==A12表示满足第四位为1、第一位和第五位为0的过滤条件。

运行结果：

EventType

Num

iNum

AddtoCart

945674

85476

Browse

1778901

178791

Login

2033000

193400

Logout

2033000

193400

Search

1547931

127539

Submit

467345

43375

6、 任意多个枚举维度过滤的统计

当需要过滤的枚举维度比较多时，同样的可以自动生成表达式，如：

A

12

="{OS:[Android,IOS],Browser:[Chrome,Edge,Safari]}"

13

=json(A12)

14

=A13.fname()

15

=A14.(file(~/".txt").import@i().(A13.field(A14.~).contain(~)))

16

=A14.("A15("/#/")("/~/")")

17

=A16.concat("&&")

A12 需要过滤的枚举字段名和过滤值组成的json串

A13 把A12中的json串转成序表

A14 获得A13中的字段名序列

A15 生成枚举字段的对位布尔值序列，如果A12中传入的枚举值序列是有序的，contain可以加@b选项速度更快

undefined

A16 生成过滤表达式序列

undefined

A17 生成过滤表达式串：A15(1)(OS) && A15(2)(Browser)

把A17生成的表达式，用宏替换符号${A17}的形式插入到前面的A19表达式，即：

=file("T.ctx").open().cursor(UserID, EventType;Time>=start && Time<=end && ${A17} && and(b1,A13)==A12).groups(EventType; count(1):Num, icount(UserID):iNum)

7、 任意多个二值维度过滤的统计

如果需要过滤的二值维度比较多，可以自动生成表达式，如：

A

1

[1,5,22]

2

[4,20]

3

50

4

=[0]*A3

5

>A4(A1)=1

6

=[0]*A3

7

>A6(A1|A2)=1

8

=A4.group((#-1)\16)

9

=A6.group((#-1)\16)

10

=A8.len().("and(A9("/~/"),b"/~/")==A8("/~/")")

11

=A10.concat("&&")

A1 过滤条件中要求为真的二值字段序号

A2 过滤条件中要求为假的二值字段序号

A3 二值字段的总个数

A4 产生一个值为0长度为A3的序列

A5 把A4中对应需要为真的成员赋值1

A6 产生一个值为0长度为A3的序列

A7 把A6中对应需要过滤的成员赋值1

A8 把A4拆成16个一组

undefined

A9 把A6拆成16个一组

undefined

A10 生成过滤表达式序列

A11 生成过滤表达式串

and(A9(1),b1)==A8(1) && and(A9(2),b2)==A8(2) && and(A9(3),b3)==A8(3) && and(A9(4),b4)==A8(4)

把A11生成的表达式，用宏替换符号${A11}的形式插入到前面的A19表达式，即：

=file("T.ctx").open().cursor(UserID, EventType;Time>=start && Time<=end && ${A17} && ${A11}).groups(EventType; count(1):Num, icount(UserID):iNum)

8、 完整的代码

A

1

[1,5,22]

2

[4,20]

3

50

4

=[0]*A3

5

>A4(A1)=1

6

=[0]*A3

7

>A6(A1|A2)=1

8

=A4.group((#-1)\16)

9

=A6.group((#-1)\16)

10

=A8.len().("and(A9("/~/"),b"/~/")==A8("/~/")")

11

=A10.concat("&&")

12

="{OS:[Android,IOS],Browser:[Chrome,Edge,Safari]}"

13

=json(A12)

14

=A13.fname()

15

=A14.(file(~/".txt").import@i().(A13.field(A14.~).contain(~)))

16

=A14.("A15("/#/")("/~/")")

17

=A16.concat("&&")

18

>start=date("2022-03-15","yyyy-MM-dd"),end=date("2022-06-16","yyyy-MM-dd")

19

=file("T.ctx").open().cursor(UserID, EventType;Time>=start && Time<=end && ${A17} && ${A11}).groups(EventType; count(1):Num, icount(UserID):iNum)


以下是广告时间

对润乾产品感兴趣的小伙伴，一定要知道软件还能这样卖哟
润乾软件年买断模式
性价比还不过瘾？ 欢迎加入好多乾计划。
这里可以低价购买软件产品，让已经亲民的价格更加便宜！
这里可以销售产品获取佣金，赚满钱包成为土豪不再是梦！
这里还可以推荐分享抢红包，每次都是好几块钱的巨款哟！
来吧，现在就加入，拿起手机扫码，开始乾包之旅



嗯，还不太了解好多乾？
猛戳这里
玩转好多乾
集算器(456) 性能优化(158) 枚举维度(1) 标签维度(1) 二值维度(1)