计算＆AI •
874 引用 •
936 回帖 •
446 关注
博客
关注
-
实时追加例程—用内存避免小分表 背景与方法 参考下面文章 [链接] 该文章中采用多层分表的方式存储实时数据，对于数据追加频繁的场景，为了保证新数据能快速及时写出，采用了较短时间区间的小分表，这 ..
-
在报表、BI、跑批等数据分析业务中，性能不足时经常会想到内存数据库。所谓内存数据库是指全量数据永驻内存，计算时不需要从外存（硬盘）读取，避免磁盘 IO，可以有效提升数据处理性能。 内存数据库被 ..
-
1 应用场景 和【实时追加例程】的应用场景类似，所不同的是需要对数据进行更新。本例程适用于具有如下特征的数据表的更新： 对数据更新的实时性要求很高、数据更新周期很短、任意时刻均有可能更新；单次 ..
-
1. 应用场景 本例程适用于具有如下特征的数据表的追加： 对数据追加的实时性要求很高、数据追加周期很短、任意时刻均有可能追加；数据只有追加无删除修改的需求；单次追加的数据量比较小，可以全内存存 ..
-
宽表经常是 BI 系统的标配，很多 BI 项目在建设之初首先就会准备宽表。宽表是将有一定关联关系的多个表连接成一个表，结果集不符合范式要求，会存在大量数据冗余。同时宽表由于需要事先建立，在使用 ..
-
全局变量 在 SSC 环境中，有时需要在多个 QVM 上的计算任务（QVM 脚本）之间共享信息，这时可以使用 SSC 全局变量（以下简称全局变量）。全局变量由 QVS 管理，通过 QVS 申请 ..
-
背景与方法 本例程适应场景：数据维护的实时性不高，可以在指定时刻定期执行，一般数小时或天为单位；总数据量很大，需要拆成多个分表存储；支持追加和更新两种模式。每次数据维护量可能较大，可以使用游标 ..
-
基于 SSC 上的应用程序可以分成两个部分，服务端由 QVA 和 QVM 构成，应用端由应用程序（以下简称 APP）和 QVS 组成。这两部分都有会涉及 SPL 脚本。服务端的 SPL 脚本在 ..
-
背景与方法 本例程适应场景：数据维护的实时性不高，可以在特定时刻定期执行，一般以数小时或天为单位；总数据量不大，可以单组表存储；支持追加和更新两种模式。每次数据维护量可能较大，可以使用游标传入 ..
-
内存列式计算 什么是列式存储 内存中的序表，一般是采用行式存储。例如员工表包含字段 id、name、birthday，在内存中大致是这样存储的： [图片] 每行（也就是每条记录）存成一个 Ob ..
-
时间键介绍 维表的数据相对比较固定，但仍然也会有变动。比如某客户的所在城市发生了变化：2020 年 5 月 15 日，city 从 New York 变更为 Chicago。 在订单表关联客户 ..
-
组表是SPL重要的文件存储格式。组表文件不支持在读取时同时写入，为保证高性能，组表还常常要求数据有序存储。数据不是一成不变的，还需要持续追加或更新，新产生数据的次序通常和组表要求的次序也不同。 ..
-
[链接][链接]》介绍了 SPL 对关联计算的分类，以及内存关联计算的编程方法。 《[链接]》介绍了外存关联计算的编程方法。 本篇继续介绍 SPL 的新关联计算方法，包括：用于外键连接的fjo ..
-
使用SPL进行性能优化，在数据转存时将字符串等数据类型转换成整数，可以减少存储空间并提升计算性能，下面我们通过一个实际例子学习如何实现整数化。 问题描述 某时空碰撞问题的数据结构如下 字段名称 ..
-
跑批提速是SPL的一个主要优化场景，把跑批数据转储到SPL的高性能文件是优化过程中的重要环节。需要被转储的数据，通常包括两部分：历史冷数据和周期性增量数据（增删改）。下面介绍如何把历史与增量数 ..
-
SPL 有集文件和组表两种文件格式，后缀分别是 btx 和 ctx。本文介绍 SPL 在这两种文件上的常规计算，类似于 SQL 可以表达的简单计算（不包含子查询）。 这两种文件相关的基本概念和 ..
-
上一篇《[链接]》（简称“内存篇”）介绍了 SPL 对关联计算的分类，以及内存关联计算的编程方法。 当一个或者多个关联表数据量很大需要外存时，就不能使用内存连接算法了，SPL 专门提供了外存连 ..
-
ChatGPT带火了大模型，也带火了向量数据库。大模型训练成本高，学习新知识的周期太长，而向量数据库刚好可以充当大模型的“记忆”模块，找到与新问题相似的旧问题交给大模型处理，极大地扩展了大模型 ..
-
信息系统建设之初通常只有一个数据库，TP（交易）和 AP（分析）一把抓。随着业务和数据的不断增长，原来的数据库压力变得越来越大。为了不影响交易，业界常用的办法是把数据（通常是冷数据）迁出，把 ..
-
作为结构化计算引擎，SPL 带来了很多全新的概念，其内容远远超出以关系代数为基础的传统体系。熟悉 SQL 或者 Java 的同学，初次接触 SPL 时对此比较陌生，参考本文可以准确理解这些新概 ..
-
SPL 作为专门用于结构化和半结构化数据的处理技术，在实际应用时经常能比 SQL 快几倍到几百倍，同时代码还会短很多，尤其在处理复杂计算时优势非常明显。用户在看到这些应用效果后对 SPL 往往 ..
-
SPL 中的关联计算和 SQL 有很大不同，SQL 把连接定义为笛卡尔积后再过滤。SPL 也提供了这种运算，但在绝大多数场景下都有更好的替代方法，因而并不推荐使用。 应用 SPL 编程实现关联 ..
-
[链接]数据库语言的目标 要说清这个目标，先要理解数据库是做什么的。 数据库这个软件，名字中有个“库”字，会让人觉得它主要是为了存储的。其实不然，数据库实现的重要功能有两条：计算、事务！也就是 ..
-
一、数据搬出 当TP数据库太撑时，采用SPL来承担AP任务。首先需要将TP数据库的数据搬出来。 关系型数据库通常使用jdbc连接数据库取数。以oracle为例，数据结构参考TPC-H。 将OR ..
-
本次实践的目标是从大量的高维（比如 512 维）二值向量中找到与目标向量最相似的成员。二值向量即各维度取值均为 0 或 1 的向量，“相似”指在高维空间中距离近，而距离有很多种，如欧式距离，马 ..
