计算＆AI •
921 引用 •
1039 回帖 •
455 关注
博客
关注
-
[链接][链接]》介绍了 SPL 对关联计算的分类，以及内存关联计算的编程方法。 《[链接]》介绍了外存关联计算的编程方法。 本篇继续介绍 SPL 的新关联计算方法，包括：用于外键连接的fjo ..
-
一、 准备数据 我们选用1G规模的TPCH数据来实践DQL查询，TPCH生成如下8个表的数据文件(*.tbl)： [图片] 文件内容是文本格式，第一行是字段名，之后是数据行，行内数据以|分隔， ..
-
ChatGPT带火了大模型，也带火了向量数据库。大模型训练成本高，学习新知识的周期太长，而向量数据库刚好可以充当大模型的“记忆”模块，找到与新问题相似的旧问题交给大模型处理，极大地扩展了大模型 ..
-
关联查询一直是 BI 的老大难，为了解决关联问题，采用宽表（CUBE）是一种常见的手段，即通过事先构建宽表消除多表关联来绕过关联查询的难题。 但这样做会导致 BI 的灵活性变差。 我们来考察 ..
-
跑批提速是SPL的一个主要优化场景，把跑批数据转储到SPL的高性能文件是优化过程中的重要环节。需要被转储的数据，通常包括两部分：历史冷数据和周期性增量数据（增删改）。下面介绍如何把历史与增量数 ..
-
数据计算上云可以帮助企业降本增效，常见的方式是选用云数据仓库。当前几乎所有云数仓都是从传统数据仓库演变而来的，数据仓库诞生之初并没有上云的考虑，云数仓会面临存算分离、弹性扩展、Serverle ..
-
本次实践的目标是从大量的高维（比如 512 维）二值向量中找到与目标向量最相似的成员。二值向量即各维度取值均为 0 或 1 的向量，“相似”指在高维空间中距离近，而距离有很多种，如欧式距离，马 ..
-
逻辑数据仓库技术允许用户在不搬迁原始数据的前提下将多种异构数据源进行逻辑上的融合，对外表现成数据仓库。逻辑数仓可以解决传统数仓数据搬迁导致的数据链路过长无法响应实时数据处理需求的问题，能够很好 ..
-
一、数据搬出 当TP数据库太撑时，采用SPL来承担AP任务。首先需要将TP数据库的数据搬出来。 关系型数据库通常使用jdbc连接数据库取数。以oracle为例，数据结构参考TPC-H。 将OR ..
-
SPL 中的关联计算和 SQL 有很大不同，SQL 把连接定义为笛卡尔积后再过滤。SPL 也提供了这种运算，但在绝大多数场景下都有更好的替代方法，因而并不推荐使用。 应用 SPL 编程实现关联 ..
-
流数据源通常是动态、无界的，看起来与静态、有限的批数据源区别较大，传统的数据库技术在架构上难以直接处理流数据源，只能让位于后来者。heron\samza\storm\spark\flink等计 ..
-
问题描述 灵活数据结构的意思是指数据表的每条记录的数据结构不相同。所有字段通常能分成为两部分，一部分是所有记录的共同字段，另一部分是各自不同的字段，其总数量可能多达数百种，但每条记录只占少数几 ..
-
背景与方法 本例程适应场景：数据维护的实时性不高，可以在指定时刻定期执行，一般数小时或天为单位；总数据量很大，需要拆成多个分表存储；支持追加和更新两种模式。每次数据维护量可能较大，可以使用游标 ..
-
背景与方法 本例程适应场景：数据维护的实时性不高，可以在特定时刻定期执行，一般以数小时或天为单位；总数据量不大，可以单组表存储；支持追加和更新两种模式。每次数据维护量可能较大，可以使用游标传入 ..
-
新出现的数据库产品通常会标榜自己的运算速度“最快”、“更快”，但在实际应用中却常常达不到让人满意的性能。因此，事先做好运算性能测试，是数据库选型成功的关键。很多用户对性能测试不熟悉，容易出现一 ..
-
为了获得更好的数据库计算性能，经常会采用 MPP 数据库，如 Greenplum、Vertica、IQ、TD Aster Data 等。MPP 有较好的性能，但应用成本很高。MPP 的硬件资源 ..
-
客户信息标签化，即客户画像，是指通过收集客户的社会属性、消费习惯、偏好特征等各个维度的数据，进而对客户或者产品特征属性进行刻画，并对这些特征进行分析、统计，挖掘潜在价值信息，从而抽象出客户的信 ..
-
DT时代，数据作为一种资产越来越受到重视，各行各业都积累了不少的历史数据。然而沉淀的数据只是资源，只有用起来，数据的价值才能释放。如何盘活数据资产，让历史数据中的价值充分发挥显得尤为重要。 数 ..
-
SPL提供了两种方式连接数据库：JDBC/ODBC直连方式；JNDI连接池方式。 在Mysql中有一个MyCompany库，库里有employees表，下面尝试各种方式连接它。 [图片] 直连 ..
-
1 应用场景 和【实时追加例程】的应用场景类似，所不同的是需要对数据进行更新。本例程适用于具有如下特征的数据表的更新： 对数据更新的实时性要求很高、数据更新周期很短、任意时刻均有可能更新；单次 ..
-
自从 AlphaGo 赢了之后，人工智能就变得非常热门了，ChatGPT的出现，更是将人工智能的热度推上了一个新高度。不过，大家在关注“智能”时，却很少把注意力放在“人工”上，似乎感觉上了人工 ..
-
今年以来最热门的的话题，莫过于ChatGPT，它吹响了AI大模型的号角，多家企业和机构以加速度扎堆冲入被ChatGPT轰炸出来的大模型赛道。然而这终究是属于科技巨头们的竞赛，开发大模型需要具备 ..
-
组表是SPL重要的文件存储格式。组表文件不支持在读取时同时写入，为保证高性能，组表还常常要求数据有序存储。数据不是一成不变的，还需要持续追加或更新，新产生数据的次序通常和组表要求的次序也不同。 ..
-
一、 测试任务 现代商业智能中，指标分析的页面常常会同时呈现出很多个统计指标，这些指标大都从同一个数据集（比如宽表）中计算出来，使用相同的过滤条件，对关心的测度字段按多个（可能几十个）不同维度 ..
-
一、 测试任务 基于位置计算两个实体之间的距离，进而决定是否建立关联关系。这是典型的非等值关联运算，此时不能再使用 HASH 方法来优化。 任务原型来自国家天文台的星体聚类运算，经过简化后描述 ..
