计算＆AI •
1062 引用 •
1118 回帖 •
475 关注
博客
关注
-
数据结构不一样的多源混合计算会更常见，比如不同业务系统混合分析。 数据结构说明 车辆管理系统（DB_Vehicle）保存了车辆与车主等相关信息，其中车主信息表 owner_info 表结构简化 ..
-
相同结构的数据按照年份存储到不同数据库时，要进行数据统计就会涉及多库混合计算。事实上，不管是数据库还是其他任何存储介质，相同结构数据合并都是类似的，只是读取数据这一步有所不同（不同数据源有不同 ..
-
除了以上常见数据源，还有 NoSQL、MQ 等数据源，其中以 MongoDB 最为常用。我们用 SPL 连接 MongoDB 做计算。 导入 MongoDB 数据。 外部库 SPL 支持的多种 ..
-
Restful 数据源也很常见，而且 Restful 的数据几乎都是 json 格式的，所以这两个放在一起来讲。 Rest 服务和数据格式 访问http://192.168.2.52:8503 ..
-
用 SPL 查文件也很简单，而且能处理各种文件格式。 计算用例 查询目标 基于 orders1.csv（有标题），统计 2024 年各类订单状态的订单金额 SPL 语法 编写脚本 A 1 =T ..
-
RDB 是 SPL 的 Native 数据源，SPL 通过 JDBC 与数据库交互，可以动态生成 / 拼接 SQL，也可以为 SQL 传递参数，原来在 Java 等语言与 SQL 结合的场景都 ..
-
0 准备篇 背景 多样性数据源混合计算是常态需求，同构或异构数据库之间、文件与数据库、NoSQL 与文件等，理论上任何数据存储之间都涉及数据混合计算和分析。但混算目前技术解决的并不好，同构库之 ..
-
数据分析涉及不同业务系统时就要做跨库计算，而表间 JOIN 是最麻烦的，很多数据库都不具备这样的能力，用 Java 取数再计算又太复杂。用 esProc 完成跨库 JOIN 会简单很多。 数据 ..
-
由于业务需要将数据按年存储在两个结构相同的数据库中，要进行数据统计就会涉及多库混合计算。通过数据库或硬编码实现都比较麻烦，借助 esProc 可以简化这类运算。 数据 orders 表结构： ..
-
接收 Restful 的 json 数据后经常还要计算，用 Java 处理会比较麻烦。用 esProc 会简单很多，不仅能对接 Restful 接口，擅长处理多层数据，还能嵌入 Java 应用 ..
-
这两年 DuckDB 已经成了不少数据分析场景下的热门选择，轻量、好上手、易集成，也适合搞本地分析的程序员，直接用 SQL，省心省力。 不过光“写着舒服”还不够，跑得快，优化智能，也是决定体验 ..
-
数据量大或者数据库繁忙都会导致数据库查询变慢，这时将数据用 esProc 导出存成文件再计算可以大幅提升性能。 数据与用例 MySQL 数据库有 orders_30m 表存储着历年的订单数据， ..
-
今天，企业的数据来源已经从原来的“就几张表”发展到数据库、文件、接口、流式数据、对象存储、NoSQL……五花八门。能不能搞定“多数据源混算”，已经成了数据计算技术的重要标准之一。 说起多源混算 ..
-
数据存储本质上是在灵活性、性能、易用性之间找平衡。DuckDB 和 esProc SPL 都提供自有的二进制存储形式，但在数据组织上有很大不同。 DuckDB 仍然是常规数据库机制，数据组织在 ..
-
DuckDB 和 esProc SPL 都能嵌入到应用作为计算引擎，这里比较一下哪个更轻量一些。“轻量”不仅指体积大小，也体现在开发维护的简洁性上。 DuckDB 用起来确实方便，Python ..
-
DuckDB 和 esProc SPL 都支持多样数据源处理，这里比较一下两者的差异。 支持的数据源种类 DuckDB 支持的数据源类型覆盖了常见的文件格式（如 CSV、Parquet、JSO ..
-
esProc SPL 处理多层 JSON 数据要比 DuckDB 方便很多，尤其需要保留 JSON 层次以及进行复杂计算时。 DuckDB 的 JSON 处理能力还是不错的，read_json ..
-
DuckDB 可以直接读取 CSV、Parquet、JSON 等常见文件，只用一句 SQL 就能完成文件加载和查询，例如SELECT * FROM 'data.csv' WHERE price ..
-
DuckDB 风头正劲，这不是没道理的。作为桌面分析工具的当红明星，它把 SQL 玩得贼溜，CTE 递归查询、窗口函数套三层、复杂 JOIN，样样拿得出手。甚至跑个亿级数据的聚合统计，甩个SE ..
-
对于桌面数据分析用户，如果说 DuckDB 是轻巧灵活的 'SQL 瑞士军刀'，那 esProc SPL 简直就是自带 Python 技能的 '全能工具箱'，既保留 SQL 的便捷，又突破 S ..
-
背景 报表作为业务决策的重要依据却有着不稳定的特点，随时需要根据新的需求进行调整和优化。这种频繁的调整和更新要求报表系统具备极高的灵活性和响应速度。换句话说，报表应用能够在不停止服务的情况下， ..
-
现代数据分析业务（如常见的报表应用）经常要从不同系统中提取数据，这些数据分散在各个地方，格式和存储形式也不一样，更新速度也不统一。CRM 里的销售数据、财务系统里的财务数据，ERP 里的库存数 ..
-
SQL 用于数据分析其实会很浅 SQL 被广泛用于数据分析，经常会被当成数据分析师的默认技能。的确，数据库环境下会写 SQL 是很方便，想查什么写句 SQL 似乎就能搞定。比如，查个用户分组销 ..
-
实时热数据报表，是指能够实时查询全量冷热数据的报表。早期业务只基于单个 TP 数据库时，这种报表并不是什么问题。但数据量大了，要拆分到专门的 AP 数据库后，就不一样了。因为冷热数据分离后，再 ..
-
背景 报表经常会基于多种数据源，如 RDB、NoSQL、文本、Excel、MQ 等。 [图片] 借助逻辑数据仓库可以一定程度上实现多源混算，但其架构往往过于复杂和沉重，需要繁琐的预处理过程以运 ..
