集算器应用场景汇总
更新于 20191216
A.高性能在线计算
【方案说明】海量数据下的高并发查询、多维分析、自助分析等在线应用，需要及时响应才能到达极速体验。传统经验是扩充数据库节点，摆放前置数据库或 ES 服务，采用这些方法将会承担昂贵的软硬件成本，承担前置数据库因数据不全无法胜任全量查询或 ES 无法关联查询的风险。集算器将数据冷热分离、按列压缩存储热数据，可编程路由结合 SPL 高效算法，只需少量硬件，就能实现各种关联和复杂条件的快速查询。
【技术案例】
1. 海量账户大并发实时查询解决方案
2. 产权交易所统一数据集市案例
3. 银行业自助分析前置服务器方案
4. 实时报表 T+0 的实现方案
5. SAP 系统大数据量资产负债表的性能优化案例
6. 生产制造业库龄计算案例
【代码示例】
1. 用计算路由的方法优化 BI 后台性能
2. 超大数据下大批量随机键值的查询优化方案
3. SPL 组表进一步优化 JOIN 性能
4. 批量随机键值查询测试
5. 漏斗转换计算
6. 集算器组表实现轻量级全文检索服务 New!
【案例讲解】
1. 大批量 - 大客群交集统计 New!
2. 高并发 - 有关联查询 New!
B.高性能离线跑批
【方案说明】纯粹为了使用 SQL 和存储过程，将大量数据导入数据库跑批，往往速度太慢、耗时过长。为了给数据更新留有空间，数据库中数据存储的不够紧密，制约了数据库的读写效率，而离线跑批的数据都是不需要更新的，加上 SQL 很难控制执行路径和实现高效算法，存储过程在核心引擎之外，性能较差，用数据库跑批总不理想。数据存储成压缩文件可以更紧实，不仅遍历效率更高，而且能灵活分布、并行计算也更加方便，采用集算器 SPL 又可以根据数据特征实现高效算法，集算器在历次跑批性能对比中总能大幅胜出。
【技术案例】
1. 保险行业历史保单关联业务跑批性能优化
【代码示例】
1. 车险往年保单关联计算的性能优化
2. 从 TPCH 测试看 SPL 性能优化
C.高性能多维分析
【方案说明】用 CUBE 预汇总的方式做 OLAP 查询，降低了复杂度，保障了及时性，但当数据庞大、维度众多，存储空间也需非常巨大，大量无法通过预汇总的查询，只能放弃。用数据库支持 OLAP 查询，因库内数据间隙大，读取慢；Join 每次都要现算，浪费大量资源，屏蔽 Join 放入宽表，又失去了灵活性；集算器会根据数据的特征，采取列式压缩明细数据、一次性预关联维度数据、部分预汇总数据等手段，平衡空间与时间的矛盾，不仅大幅提高了性能，还能在 SPL 支持下实现更多的复杂计算。
【技术案例】
1.银行业自助分析前置服务器方案
【代码示例】
1. 轻量级可嵌入多维分析后台
D.报表数据源
【方案说明】解决痛点：SQL/ 存储过程过于复杂，开发效率低；涉及文本 /XLS/HTTP 等无计算能力的数据源，开发繁琐；Java 计算，与应用耦合性过高，维护困难；大数据报表导出内存溢出，访问速度慢；T+0 实时报表，跨库实现难度高；数据库中间表繁多难以管理，大量耗用数据库资源。
【技术案例】
1.银行业大数据量清单报表案例
2. 银行可视化大屏后端计算案例
3. 银行业离线报表订阅系统案例
【代码示例】
1. 如何处理报表中的舍位平衡
2. 如何优化多数据集关联报表
3. 百万级分组大报表开发与呈现
4. 秒级展现的百万级大清单报表
5. 多层科目任意组合汇总报表的性能优化
6. 实现报表的可控缓存
7. 集算器助力 ireport
8. Birt 如何实现交叉表的动态分组
9. Birt 如何实现不规则月份统计
【汇总讲解】
1. 多层科目任意组合汇总表的性能优化 New!
2. 解决 BIRT 报表特殊布局的若干示例 New!
E.Java 计算
【方案说明】解决痛点：直接 Java 计算，代码冗长且很难复用；实现开发周期长，性能不确定，质量不可控；应用耦合过高，算法修改会导致整个应用重新编译部署，缺乏敏捷性。
【代码示例】
1. Java 嵌入 SPL 轻松实现数据分组
2. Java 嵌入 SPL 轻松实现 Excel 文件合并
F.数据整理
【方案说明】解决痛点：专业 ETL 工具环境复杂，使用不灵活，对人员要求高，难以随时随地准备数据；过程计算复杂，SQL/ 存储过程难写、难调试；多样性数据源处理困难，经常需要事先数据入库，步骤多效率低。
【技术案例】
1. 银行柜员绩效考核案例
2. 大型企业绩效考核系统的应用方案
3. 某税务局数据手册流程自动化案例 New!
【代码示例】
1. 数据脱敏的处理方法及查询
G.中台应用
【方案说明】解决痛点：缺乏简捷的开发技术，开发效率低，应变能力差；缺乏良好的可管理性、集成性、扩展性、开放性；体系结构笨重，需要昂贵的硬件成本与软件授权。
【技术案例】
1. 通信服务业报表中台案例
2. 木槿生活数据平台案例
【代码示例】
1. 基于文件系统实现可追加的数据集市
【汇总讲解】
高性能不停机 T+0 的实现 New!
轻量级高性能文件型数据仓库 New!
敏捷数据计算中间件 New!
H.数据微服务
【方案说明】解决痛点：算法编写繁琐、不易维护、扩展性差；多源跨库计算，跨多种类型数据源计算，比如，Oracle+MSSQL；系统集成困难，计算框架或语言和项目工程语言集成困难，比如，Java 集成 Python。
【技术案例】
1. 微服务快速开发案例
I.边缘计算
【方案说明】解决痛点：跨平台兼容性差、依赖众多、集成性差；端设备计算能力弱，导致传输量大，服务器或云端存储庞大、计算任务繁重；
【技术案例】
1. 工业传感器标准化采集案例 New!
J.跨库计算
【方案说明】集算器可以使用多线程向各数据库同时发出 SQL 语句，由这些数据库并行执行，将各自的运算结果返回到集算器再汇总计算后，通过 JDBC 接口提供给应用。如果用 Java 等高级语言实现，不仅并行代码难以书写，由于缺乏即专业又精简的描述能力，汇总计算工作量将会巨大且不易维护。
【代码示例】
1. 利用集算器实现分库汇总
2. 跨库数据表的运算
3. 跨库多维分析后台的实现
【汇总讲解】
1. 如何让应用中的 SQL 适应不同类型数据库 New!
K.多样数据源
【方案说明】许多业务计算的数据源并不只来源于关系数据库，还可能是 NoSQL 数据库、本地文件、WebService 数据等。集算器自有的计算能力可以使这些计算能力不一的多样性数据获得通用一致的计算能力，而这将意味着更低的移植成本以及学习难度。
【代码示例】
1. 实现 MongoDB 外键关联
2. 协助 MongoDB 计算之本地化排序
3. 协助 mongodb 计算之子查询
4. MongoDB 分组统计
5. Mongodb 分组 topN
6. 简化 MongoDB 关联运算
7. 轻松应对多层 JSON 数据计算与入库
【汇总讲解】
1. 辅助 MongoDB 计算 New!
2. SPL 结构化文本计算
3. SPL 解析及导出 Excel New!
4. Excel 集成集算器 New!
5. SPL 实现 txt 和 Excel 数据入库 New!
6. JSON 数据计算与入库 New!
L.算法外置
【方案说明】有些数据库缺乏高级功能（如窗口函数），有些数据库即便有高级功能，用 SQL 实现也并不容易，存储过程编写麻烦、调试繁琐、可移植性差，通常可以借助外部程序来辅助解决上述问题，集算器 SPL 用法简单、调试方便，轻松解决各种计算难题。
【代码示例】
1. SQL 难点解决：直观分组
2. SQL 难点解决：序列生成
3. SQL 难点解决：集合及行号
4. SQL 难点解决：记录的引用
5. SQL 难点解决：循环计算
6. SQL 难点解决：特殊示例
7. SPL 简化 SQL ：多级关联
8. SPL 简化 SQL ：分组关联
9. SPL 简化 SQL ：行间计算
10.SPL 简化 SQL ：各组前 N 行
11.SPL 简化 SQL ：多层固定分组
12. 优化 Join 运算的系列方法
13. 协助 MySQL 实现 Oracle 高级分析函数
14. 用外部程序优化 SQL 语句中的 IN 和 EXISTS
15. 用简单程序协助 MySQL 实现窗口函数
M.临时计算
【方案说明】集算器即装即用，适应各种数据源，专为结构化数据计算设计，语法简洁，学习成本低，简单培训后就能轻松解决各类复杂问题，自带 JDBC、ODBC、REST 标准接口，将临时性计算成果集成到常规性工程应用非常便利，是比 Python、R 更理想的桌面计算工具。
【代码示例】
1. 比较 csv 文件中数据差异
2. 比 python 更称手的兵器
3. Excel 行列转换
4. 提取复杂 Excel 数据
5. 自动导出 Excel
6. 模拟测试数据的生成方法
7. 多行日志合并处理
8. 在数据文件使用 SQL
9. 结构化日志 SQL 查询
【汇总讲解】
集算器抓取 HTML 中的内容 New!
更新于 20191216