集算器性能优化汇总

 

更新于 20191216

技术方案

优化实例

优化技巧

  • 复杂计算之多层递归案例

  • TopN 测试与分析不需要全排序计算 TopN

  • 遍历复用提速多次分组 SPL 支持遍历复用的语法,一次遍历计算出多个结果,从而提高了性能

  • 查找 键值查找、索引查找、索引缓存、带值索引、批量键值

  • 遍历 存储方案、并行遍历、过滤条件、预先过滤、遍历复用

  • 内存关联计算 SPL 可以通过预关联来提升关联动作的性能, 详解预关联超出 ORACLE 临时关联

  • 位置利用 适当地利用位置,可以显著提高快速查询、快速对齐等操作

  • 集群维表 维表需要频繁的随机访问,尽量放在内存中,如果维表较大单机放不下,可以采用集群方式

  • 程序游标 程序游标能有效避免计算中间结果落地,从而大幅提升性能

  • 多层排号键 排号键常用于优化多层次、各层不连续键值的查询和关联,比如身份证号、合同编号等

  • 组表数据更新 如何破解高性能存储格式因新旧数据一起排序压缩中遇到的麻烦

  • SPL 组表进一步优化 JOIN 性能 组表特点、组表使用、综合案例

  • 外键序号化 验证采用序号化关联对性能提升的效果 New!
  • 预关联 SQL 多表关联与 SPL 预关联的差距对比 New!

  • 部分预关联 不能将维表和事实表全部装入内存的预关联该怎么做 New!

  • 先维表关联,还是维表过滤? 孰优孰劣,一概而论,应当和维表与事实表的数据规模有关 New!