计算&AI •
902 引用 •
973 回帖 •
449 关注
博客
关注
-
【摘要】 随着信息化建设的快速发展,可视化大屏需求越来越普及,然而大屏的背后意味着多样性数据源,传统的解决办法总是需要如下一些工作:ETL 工具先抽取清洗 DW 中的数据;文本文件需导入数据库 ..
-
【摘要】 随着数据量的持续增长,并发访问越来越密集;以及业务种类的不断丰富,报表需求还在不断增加,数据库需要不断扩容来应对这些变化。然而,仅仅对数据库本身扩容难免陷入高成本低成效的窘境,企业应 ..
-
【摘要】 银行数据查询业务中,经常会碰到数据量很大的清单报表。由于用户输入的查询条件可能很宽泛,因此会从数据库中查出几百上千万甚至过亿行的记录,比如银行流水记录;为了避免内存溢出,一般都会使用 ..
-
【摘要】 应用系统软件项目中有一个普遍现象,就是报表总也做不完。不管是领导需要的宏观数据统计重点的变化,还是业务部门的计算口径的变化,都会造成报表需求的频繁变更。报表项目组就要不断修改现有报表 ..
-
【摘要】 随着产权交易所业务的发展和 IT 系统的建设,出现了多个系统同时运行,互不连通的问题。由于新老系统采用独立的数据库存储,数据格式、标准、规范都不相同,跨源计算变成了一大难题,常见办法 ..
-
【摘要】 商业银行对员工的绩效考核标准一般分为 4 个方面:柜员的销售业务量、客户服务、内部流程、学习成长等。一般本质上具有如下特征:多样性数据源,数据来自银行的多个业务系统定时推送的文件数据 ..
-
【摘要】 零售行业门店多、客户多、库存多,经常面临的问题:1、各个业务系统之间彼此不相关联,造成信息孤岛,很难从数据中发现隐藏的问题或商机。2、日积月累,报表查询越来越慢,甚至影响业务,如市场 ..
-
【摘要】 有了固定报表工具之后,这类格式复杂、指标参数任意组合的需求并不难实现,只是原始数据量一大,查询就会非常慢,用户体验变的极差,当多并发请求时,甚至还会对正常业务产生影响!而集算器面对这 ..
-
【摘要】 内存计算的本质就是为了高性能 (包括一定的高并发),以此应对实时查询等问题!当前技术手段要么太贵、要么体系沉重;而集算器不仅算的更快,且体积更小、更轻!同时具备高度的集成性与灵活性! ..
-
【摘要】 由于数据量或计算复杂度原因,经常需要在数据库中创建中间表,但中间表会带来很多问题!若采用专业的数据计算引擎,又会带来怎样的好处呢?去乾学院看个究竟吧!${article} [图片][ ..
-
【摘要】 多样性数据源普遍存在,且本身没有计算能力,常规手段总是需要建设专门的数据仓库及 ETL 转入工作,增加额外工作量,且实时性也不好。若采用专业的数据计算引擎,这些不足将迎刃而解!去乾学 ..
-
【摘要】 基于数据库系统的 T+0 全量实时查询,在数据量很大时一般只能进行数据库扩容(包括分库手段),成本高昂;如果采用文件系统和生产数据库混合运算,就可以实现低成本高性能的 T+0 查询! ..
-
【摘要】 无论存储过程还是 JAVA 程序实现的数据计算层,都会存在很多不足和不方便!若采用专业的数据计算引擎,又会带来怎样的好处呢?去乾学院看个究竟吧!${article} [图片][图片] ..
-
【摘要】 基于数据库系统的 T+0 全量实时查询,在数据量很大时一般只能进行数据库扩容(包括分库手段),成本高昂;如果采用文件系统和生产数据库混合运算,就可以实现低成本高性能的 T+0 查询, ..
-
【摘要】 无需构建前置数据 (仓) 库,用更低的成本就可以轻松应对项目中各类大数据集报表查询的难题!让我们一起去乾学院看个究竟吧:${article}! 一 问题背景 绝大多数的应用系统中,一 ..
-
【摘要】 当有了报表工具之后 (固定报表),一些中国式复杂样式、指标参数任意组合的报表并不难实现,只是当原始数据量一大,查询响应就会非常慢,用户体验变差,当多并发请求时,还会对正常业务产生影响 ..
-
【摘要】 当有了报表工具之后 (固定报表),一些中国式复杂样式、指标参数任意组合的报表并不难实现,只是当原始数据量一大,查询响应就会非常慢,用户体验变差,当多并发请求时,还会对正常业务产生影响 ..
-
在现代商业环境中,数据分析已成为企业决策的重要工具。通过数据分析,企业可以更好地了解市场趋势、客户行为以及内部运营情况,从而制定出更科学的策略,提高竞争力。然而,数据分析并不是一项简单的任务, ..
-
esProc 弹性计算是运行在局域网或私有云的企业内通用计算软件,分成三个部分,服务端由 QVA 和 QVM 构成,应用端由应用程序(以下简称 APP)和 QVS 组成,存储端是 NFS、HD ..
-
全局变量 在 SSC 环境中,有时需要在多个 QVM 上的计算任务(QVM 脚本)之间共享信息,这时可以使用 SSC 全局变量(以下简称全局变量)。全局变量由 QVS 管理,通过 QVS 申请 ..
-
基于 SSC 上的应用程序可以分成两个部分,服务端由 QVA 和 QVM 构成,应用端由应用程序(以下简称 APP)和 QVS 组成。这两部分都有会涉及 SPL 脚本。服务端的 SPL 脚本在 ..
-
计算框架五花八门,有用于流式计算的Flink,用于边缘计算的eKuiper、用于大规模分布式计算的MapReduce,还有Spark、Samza、Storm、Omega、Kubernetes、 ..
-
流数据源通常是动态、无界的,看起来与静态、有限的批数据源区别较大,传统的数据库技术在架构上难以直接处理流数据源,只能让位于后来者。heron\samza\storm\spark\flink等计 ..
-
SPL 变量有三种作用域:局部变量、全局变量、任务变量。默认变量都是局部变量,作用域在同一个 SPL 脚本的范围内(不含主子线程代码),用法比较简单,本文不涉及。下面重点讲另两种变量,以及与之 ..
-
Web 上的数据接口以 restful 和 WebService 为主,格式通常是多层的 Json 和 XML。多层数据可承载更通用更丰富的信息,但结构上比传统的二维数据复杂,计算难度也更大。 ..