计算&AI •
990 引用 •
1070 回帖 •
471 关注
博客
关注
-
【摘要】 随着数据量的持续增长,并发访问越来越密集;以及业务种类的不断丰富,报表需求还在不断增加,数据库需要不断扩容来应对这些变化。然而,仅仅对数据库本身扩容难免陷入高成本低成效的窘境,企业应 ..
-
伴随信息时代的发展,新技术、新框架、新语言层出不穷,解决问题的技术视角其实从来没有改变。所有应用都需要和存储系统相关联,无论存储是 SQL 还是 NOSQL 的。业务系统和数据库遵循不同的开发 ..
-
【摘要】 银行数据查询业务中,经常会碰到数据量很大的清单报表。由于用户输入的查询条件可能很宽泛,因此会从数据库中查出几百上千万甚至过亿行的记录,比如银行流水记录;为了避免内存溢出,一般都会使用 ..
-
【摘要】 应用系统软件项目中有一个普遍现象,就是报表总也做不完。不管是领导需要的宏观数据统计重点的变化,还是业务部门的计算口径的变化,都会造成报表需求的频繁变更。报表项目组就要不断修改现有报表 ..
-
【摘要】 随着产权交易所业务的发展和 IT 系统的建设,出现了多个系统同时运行,互不连通的问题。由于新老系统采用独立的数据库存储,数据格式、标准、规范都不相同,跨源计算变成了一大难题,常见办法 ..
-
【摘要】 商业银行对员工的绩效考核标准一般分为 4 个方面:柜员的销售业务量、客户服务、内部流程、学习成长等。一般本质上具有如下特征:多样性数据源,数据来自银行的多个业务系统定时推送的文件数据 ..
-
【摘要】 零售行业门店多、客户多、库存多,经常面临的问题:1、各个业务系统之间彼此不相关联,造成信息孤岛,很难从数据中发现隐藏的问题或商机。2、日积月累,报表查询越来越慢,甚至影响业务,如市场 ..
-
什么是轻量级?抛开技术术语,从效果上看就是为了实现操作目的,使用更轻便、更省时的方法;那么什么是高性能呢?最直接的说法就是比常用方法更加高效、更快。 下面就来介绍润乾提供的这一套轻量级、高性能 ..
-
【摘要】鉴于热更新、松耦合、语言无关等特性,微服务已广泛应用于互联网行业。但也带来了新问题:框架更复杂、开发周期更长、维护更困难。点击《微服务快速开发案例》,去乾学院看看集算器如何解决矛盾,大 ..
-
报表是很多 web 应用系统不可缺少的模块,仍然是绝大多数 BI 项目的基础功能。随着数据时代的到来,数据来源越来越多样 (text,excel,monogdb,redis,es…),为报表数 ..
-
【摘要】 有了固定报表工具之后,这类格式复杂、指标参数任意组合的需求并不难实现,只是原始数据量一大,查询就会非常慢,用户体验变的极差,当多并发请求时,甚至还会对正常业务产生影响!而集算器面对这 ..
-
【摘要】 在线查询时,慢的问题经常让使用者抓狂,业务部门的不满会转换成技术团队的压力,但基于传统技术体系这类问题往往解决的不好。本文提出一种基于算法特性设计和使用专用的存储方案来大幅提升在线查 ..
-
测试环境说明 CPU:4颗,主频2.6G,每个CPU内核数8个。 硬盘:800G,15000转SAS硬盘,理论读写速度150m/s。 内存:64G。 操作系统:Linux cent os 6 ..
-
组表是集算器提供的高性能存储格式,其原理在于将数据事先排序并以压缩方式紧致存储,好处是占用空间更小,可利用有序进行快速定位。 但这种存储方式在数据更新时会遇到麻烦,这是因为新数据也要和历史数据 ..
-
【摘要】 一般的报表工具或 BI 系统都是怎么实现大清单报表的呢? •数据全部读出,直接报表呈现 •游标方式逐步读入呈现 •使用数据库的分页机制按页读出 传统模式实现问题: 1)全量读模式,全 ..
-
【摘要】 事实表和维表进行关联计算时,需要对维表进行频繁的随机访问,因此维表要尽量放在内存中,才能提高关联计算的性能。如果维表较大,单机内存放不下,就应该考虑用集群方式,将维表分段读入多台机器 ..
-
1. 采样( 随机的将数据分成30% 和70%) esProc A 1 =now() 2 =file('C:\\Users\\Sean\\Desktop\\esProc_vs_p ..
-
1. 添加Age 、Fullname 字段 esProc: A 1 =now() 2 =file('C:\\Users\\Sean\\Desktop\\esProc_vs_pyt ..
-
1. 增加记录:在第二的位置增加一条记录 esProc A 1 =now() 2 =file('C:\\Users\\Sean\\Desktop\\esProc_vs_pytho ..
-
【摘要】 银行自助分析系统用户多,数据量大,系统速度还要求飞快。与此同时,后台数据仓库却已经负担了太多的应用,无法为大量连接提供高性能查询。点击 ${article},去乾学院看看集算器如何解 ..
-
【摘要】 ETL 常常做成 ELT 甚至 LET! 这样做带来的恶果是:1)数据库臃肿、负担重,数据管理混乱;2)性能低下,时间成本高( 数据库写入很慢),影响 ETL 窗口时间。 解决方案: ..
-
【摘要】 某省车险每天新增保单 1-2 万,三年历史保单 2 亿条数据。跑批时要计算新增保单对应的历史保单,计算复杂、数据量大、耗时很长。点击 ${article},去乾学院看看集算器如何比存 ..
-
【摘要】 手机银行查流水、网上银行查收入、游戏账号查明细、手机营业厅查充值记录等等都属于海量账户查询场景。此场景的特点是:访问人数特别多,全量数据超大,而且不能让用户等待!点击 ${artic ..
-
【摘要】 日常数据处理中经常会发生一些临时数据计算需求。这种临时性计算具有相当的普遍性。那么,我们是用什么方法来处理这种具有普遍性的临时计算需求呢? 去乾学院看个究竟吧! ${article} ..
-
引言 边缘计算是随着物联网的发展而新兴起来的全新数据技术架构,由于业务需求和技术要求较以往有很大不同,本身也还在发展中,传统的技术框架和编程模式不再完全适用,很多企业在开发实施过程中遇到了很多 ..