计算＆AI •
1002 引用 •
1079 回帖 •
472 关注
博客
关注
-
应用计算困境 顾开发还是顾架构？ Java 是当前应用开发最常用的语言，但是 Java 写数据处理的代码并不简单，比如针对两个字段的分组汇总要写成这样： Map> summary = n ..
-
esProc SPL 作为数据计算引擎，具备低代码、高性能、轻架构、全场景4 个主要特点，后面的内容我们会详细讲解。 esProc 是什么？ 首先我们来了解一下 esProc 是什么？ [图片 ..
-
实践背景 通过 RESTful 交换数据很方便，但接收数据后如何继续计算会有点麻烦。SPL 提供了 HTTP 接口，可以直接读取 RESTful 的数据后进行计算。 如下例，电商业务中订单数据 ..
-
Download PDF [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片 ..
-
提到数据库首先想到的会是 Oracle、DB2、SQL Server、MySQL、PostgreSQL 等大名鼎鼎的产品，这些数据库都采用独立进程的方式运行，即独立部署数据库服务通过接口与应用 ..
-
在报表、BI、跑批等数据分析业务中，性能不足时经常会想到内存数据库。所谓内存数据库是指全量数据永驻内存，计算时不需要从外存（硬盘）读取，避免磁盘 IO，可以有效提升数据处理性能。 内存数据库被 ..
-
关联查询一直是 BI 的老大难，为了解决关联问题，采用宽表（CUBE）是一种常见的手段，即通过事先构建宽表消除多表关联来绕过关联查询的难题。 但这样做会导致 BI 的灵活性变差。 我们来考察 ..
-
宽表经常是 BI 系统的标配，很多 BI 项目在建设之初首先就会准备宽表。宽表是将有一定关联关系的多个表连接成一个表，结果集不符合范式要求，会存在大量数据冗余。同时宽表由于需要事先建立，在使用 ..
-
数据计算上云可以帮助企业降本增效，常见的方式是选用云数据仓库。当前几乎所有云数仓都是从传统数据仓库演变而来的，数据仓库诞生之初并没有上云的考虑，云数仓会面临存算分离、弹性扩展、Serverle ..
-
逻辑数据仓库技术允许用户在不搬迁原始数据的前提下将多种异构数据源进行逻辑上的融合，对外表现成数据仓库。逻辑数仓可以解决传统数仓数据搬迁导致的数据链路过长无法响应实时数据处理需求的问题，能够很好 ..
-
信息系统建设之初通常只有一个数据库，TP（交易）和 AP（分析）一把抓。随着业务和数据的不断增长，原来的数据库压力变得越来越大。为了不影响交易，业界常用的办法是把数据（通常是冷数据）迁出，把 ..
-
为了获得更好的数据库计算性能，经常会采用 MPP 数据库，如 Greenplum、Vertica、IQ、TD Aster Data 等。MPP 有较好的性能，但应用成本很高。MPP 的硬件资源 ..
-
我们知道，早期数据库并不区分 TP 和 AP，所有任务都在一个数据库中完成。做 TP 业务时，要保证数据的一致性，而一致性要限定在一个范围内才有意义，这也就有了“库”的概念。数据入库是有门槛的 ..
-
当前绝大部分数据仓库都会采用 SQL，SQL 发展了几十年已经成为数据库界的标准语言，用户量巨大，所以支持 SQL 对于数据仓库来讲也是很正常的。但是，在当代大数据背景下，业务复杂度节节攀升， ..
-
SQL 应用很广，数据科学家（分析师）们在日常工作中经常需要用到 SQL 语言进行数据查询和处理。很多企业也认为只要 IT 部门建好数据仓库（数据平台），提供了 SQL 功能，数据科学家们就能 ..
-
使用存储过程跑批一直是常态，存储过程将 SQL 过程化可以满足相对复杂的跑批场景，同时在数据库内运行（数据不出库）性能相对较好。不过，存储过程的缺点也很多。编辑调试困难，缺乏有效的开发环境；移 ..
-
结构化数据的计算处理一直以 SQL 为主。不过随着技术的不断发展，现在经常为了满足扩展性的需要而使用 Java 来处理数据。这样可以显著降低数据库与应用的耦合性（数据库仅用于存储），整体架构更 ..
-
几乎所有行业的核心数据都是结构化的，结构化数据是这个时代最重要的数据资产。那么如何利用处理好这些核心数据自然成了企业经营中的重中之重。当然，结构化数据处理技术也由来已久，SQL、Java、Py ..
-
What？写在格子里的程序语言？！ 是的！你没看错，写在格子里的程序语言 SPL（Structured Process Language），专门用于结构化数据处理。 我们知道，几乎所有编程语言 ..
-
封闭的传统数据仓库 我们知道数据仓库是晚于数据库出现的，当 TP 数据库无法满足日益增长的数据分析需要时，人们便通过架设单独的数据库把 AP 业务独立出来就形成了数据仓库（逻辑概念）。后续出现 ..
-
现代大数据应用的结构大概是这样的： [图片] 作为数据中心（中间部分）处于各种应用与数据源之间，对下对接多种数据源处理分析所有数据，对上要为各个应用提供数据服务，其重要性不言而喻。数据中心由于 ..
-
随着数据量不断增长和业务复杂度逐渐攀升，数据处理效率面临巨大挑战。最典型的表现是面向分析型场景的数据仓库性能问题越来越突出，压力大、性能低，查询时间长甚至查不出来，跑批跑不完造成生产事故等问题 ..
-
【本篇可结合 https://c.raqsoft.com.cn/article/1699245988919 阅读】 目前网上有很多涉及 esProc SPL 的帖子，有方案介绍、测试报告、案例 ..
-
SQL 和 SPL 都是面向结构化数据的通用处理技术。SQL 普及率高受众广，很多用户天生就会用 SQL 查询数据，如果数据引擎支持 SQL 就会很容易上手，而且历史程序也相对容易迁移；SPL ..
-
使用分布式集群来处理大数据是当前的主流，将一个大任务拆分成多个子任务分布到多个节点进行处理通常能获得显著的性能提升。因此，只要发现处理能力不足就可以通过增加节点的方式进行扩容，这也是很多拥趸者 ..
