"各位贴吧的大佬,请教个问题,场景如下: 一个亿级数据量的交易数据(txt 文件格式,数据无序)以及一个五六千万数据量的客户数据(数据库表,数据无序)。然后通过游标读取两者数据,并使用 sele .."
各位贴吧的大佬,请教个问题,场景如下:一个亿级数据量的交易数据(txt 文件格式,数据无序)以及一个五六千万数据量的客户数据(数据库表,数据无序)。然后通过游标读取两者数据,并使用 select 对交易数据进行筛选,筛选后的交易数据还剩下五六千万,接着用交易数据与客户数据进行关联,拿到客户的信息,再按照交易金额进行赠送积分的计算,最后将计算结果插入到数据库中。请问这个场景的 SPL 脚本怎么写更加的高效呢?
程序员学习 SPL 的路径先学习理解 SPL 对关联运算的定义,再根据情况决定采用的手段。
具体到上面描述的情况,如果数据还存在于数据库的,用 SPL 也不会有什么作用(也就是比数据库直接 JOIN 更慢)。性能优化一半以上因素是存储问题,不改变存储时,只有较少的场景有可能解决性能问题,目前的问题应该不在这个范围内。数据库及其存储本身就是慢的根源。
程序员学习 SPL 的路径
先学习理解 SPL 对关联运算的定义,再根据情况决定采用的手段。
具体到上面描述的情况,如果数据还存在于数据库的,用 SPL 也不会有什么作用(也就是比数据库直接 JOIN 更慢)。性能优化一半以上因素是存储问题,不改变存储时,只有较少的场景有可能解决性能问题,目前的问题应该不在这个范围内。
数据库及其存储本身就是慢的根源。