-
全局变量 在 SSC 环境中,有时需要在多个 QVM 上的计算任务(QVM 脚本)之间共享信息,这时可以使用 SSC 全局变量(以下简称全局变量)。全局变量由 QVS 管理,通过 QVS 申请 ..
-
客户画像在当前商业分析中很时髦。说白了也简单,就是给客户打上各种标签,再用这些标签定义出不同的客群分类(所谓画像),然后统计各类客群的成员数量(以及变化情况)。 逻辑上看,标签也就是维度,或者 ..
-
json 是个好东西,它可以使用公共的文本形式承载了丰富的结构化数据的信息。现代很多技术都在喜欢使用 json 作为数据传输格式,比如 Elastic Search,Restful,Kafka ..
-
需求描述 行业软件公司的解决方案会面对不同的用户,开发的报表也要适应不同的用户,而不同用户的数据库可能不同,这就需要报表能够在不同数据库上移植 比如下面的报表,统计自起始日起,各个员工一个月内 ..
-
TP 太撑上 AP,这几乎是业界的通识,而且也有了多年的成功实践,这还有什么可讨论的吗? 上了 AP 库确实能缓存 TP 库的计算压力,而且 AP 库通常计算性能更好,还能给用户带来更优的体验 ..
-
没错,就是著名的 JOIN。 JOIN 一直是数据库计算的老大难问题,业界想了很多办法来计算它。如果不做任何优化,那就是两个关联表循环遍历,这是个乘法级的复杂度,数据量稍大一点就受不了。成熟的 ..
-
手头有些 csv/xls 文件,比如这样的: [图片] [图片] 这种数据很适合用 SQL 做查询,但可惜 SQL 只能用在数据库,要安装个数据库并把这些文件导入,为这么个目标搞的整个应用系统 ..
-
Java 很长时间都没有提供直接的数据集运算语法,写个简单的 SUM 都要很多行,更不要说分组、排序等复杂运算了。完全同样数据处理功能的代码远比 SQL 长,开发效率低下。 从 Java8 开 ..
-
就是非常不起眼的帐号去重计数,用 SQL 写就是 COUNT(DISTINCT …)。 帐号去重计数在商业分析中很常见也有重要的业务意义。这里的帐号可能是用户 ID、银行帐户、手机号、车牌号、 ..
-
实时追加例程—用内存避免小分表 背景与方法 参考下面文章 [链接] 该文章中采用多层分表的方式存储实时数据,对于数据追加频繁的场景,为了保证新数据能快速及时写出,采用了较短时间区间的小分表,这 ..
-
很多小微型应用程序也需要一些数据处理和计算能力,如果集成一个数据库就显得太沉重了,小巧轻量的 SQLite 是个不错的选择,因而被广泛应用。 不过,SQLite 也有些不方便的地方。SQLit ..
-
问题描述 时空碰撞定义 某时间区间(例如7天)被分成多个固定时长(如15分钟)的时间切片,对象a和对象b在同一时间切片内的相同位置出现过,称为一次碰撞。 规则1:相同时间切片内,多次碰撞只记一 ..
-
Oracle 是普遍使用的数据库,它不是专业的分析型数据库,在数据量较大时常常会计算性能不佳,影响用户体验。现在有不少新的分析型数据库在性能上比 Oracle 更快,甚至可以说远超。那么在 O ..
-
Download PDF [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片 ..
-
Hibernate,Mybatis 以及新兴的 JOOQ 等 ORM 技术能够方便地将数据库表映射成 Java 对象,并提供自动读写能力。ORM 技术使得用 Java 开发数据库应用变得更为高 ..
-
内存列式计算 什么是列式存储 内存中的序表,一般是采用行式存储。例如员工表包含字段 id、name、birthday,在内存中大致是这样存储的: [图片] 每行(也就是每条记录)存成一个 Ob ..
-
提到数据库首先想到的会是 Oracle、DB2、SQL Server、MySQL、PostgreSQL 等大名鼎鼎的产品,这些数据库都采用独立进程的方式运行,即独立部署数据库服务通过接口与应用 ..
-
大数据时代的分布式数仓(如 MPP)是个热门技术,甚至到了提到数据仓库言必称分布式的地步。 但是,分布式数仓真有必要吗?毕竟这些分布式数仓产品都不便宜,无论是采购成本还是运维成本都很高。是不是 ..
-
在报表、BI、跑批等数据分析业务中,性能不足时经常会想到内存数据库。所谓内存数据库是指全量数据永驻内存,计算时不需要从外存(硬盘)读取,避免磁盘 IO,可以有效提升数据处理性能。 内存数据库被 ..
-
年代久远的数据使用频率通常会变低,这时候怎么存储和计算就是个问题。 使用频率低并不等于完全不再使用。如果把这些数据都从数据库中归档出去,再查询统计时又要再次导入数据库,费时费力。经常会发生查询 ..
-
本文档适用于已经掌握了云服务部署的知识,希望进一步学习 QVS 其他用法的用户。 使用 QVS 服务时,除了可以部署 QVS 服务器,还可使用内嵌 QVS 方式。相对于部署 QVS 服务器,内 ..
-
基于 SSC 上的应用程序可以分成两个部分,服务端由 QVA 和 QVM 构成,应用端由应用程序(以下简称 APP)和 QVS 组成。这两部分都有会涉及 SPL 脚本。服务端的 SPL 脚本在 ..
-
微服务这些年比较时髦,用 Java 取代 SQL 及存储过程开发业务逻辑,确实能获得架构上的优势,细节这里就不展开了,微服务能流行当然有它的道理。 但微服务真地“微”吗? 我们知道,面对同样业 ..
-
存储过程是个让人爱恨交加的东西。 它的意义自不必提,各大老牌数据库都支持,而且经常以此来挤兑一些还不支持存储过程的新数据库。反过来,它的缺点也很明显,能见到很多开发团队在努力拆除存储过程,在应 ..
-
异构库的数据比对是指分别在不同类型数据库中的两张逻辑结构相同的数据表,进行数据比较,找出差异。 问题描述 数据对比的难点在于异构数据库间的数据类型和数据库本身在处理数据上存在的差异,这会导致同 ..