计算＆AI •
783 引用 •
769 回帖 •
402 关注
博客
关注
-
[链接]一 语法学习先从读此书开始 [链接] 第 1-4 章，介绍基本的程序逻辑，这部分主要是面向没有编程经验的初学者，有经验者迅速过一遍即可，但要注意 4.4 节的对象理解。 第 5 章，对 ..
-
问题描述 时空碰撞定义 数据集A中有n个源对象A1,…,An的时空信息，每条信息有三个属性，分别是ID（iA）、位置（lA）、时间（tA），可以认为同一个Ai在A中不会同时出现两次，即没有两条 ..
-
实践背景 通过 RESTful 交换数据很方便，但接收数据后如何继续计算会有点麻烦。SPL 提供了 HTTP 接口，可以直接读取 RESTful 的数据后进行计算。 如下例，电商业务中订单数据 ..
-
问题描述 系统结构 前端应用是 BI 系统，主要实现条件过滤查询，后台是某 MPP 数据库。前端根据用户在页面上的选择、操作来生成针对宽表 ordes（订单表）的 SQL 提交给后台，并展现后 ..
-
问题描述 数据结构与规模 帐户明细表 T 数据结构： 字段名称 字段类型 字段注释 示例数据 Id String 帐号 28 位数字 Tdate Date 日期 2023-10-22 Tamt ..
-
全局变量 在 SSC 环境中，有时需要在多个 QVM 上的计算任务（QVM 脚本）之间共享信息，这时可以使用 SSC 全局变量（以下简称全局变量）。全局变量由 QVS 管理，通过 QVS 申请 ..
-
实时追加例程—用内存避免小分表 背景与方法 参考下面文章 [链接] 该文章中采用多层分表的方式存储实时数据，对于数据追加频繁的场景，为了保证新数据能快速及时写出，采用了较短时间区间的小分表，这 ..
-
问题描述 时空碰撞定义 某时间区间（例如7天）被分成多个固定时长（如15分钟）的时间切片，对象a和对象b在同一时间切片内的相同位置出现过，称为一次碰撞。 规则1：相同时间切片内，多次碰撞只记一 ..
-
Download PDF [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片 ..
-
内存列式计算 什么是列式存储 内存中的序表，一般是采用行式存储。例如员工表包含字段 id、name、birthday，在内存中大致是这样存储的： [图片] 每行（也就是每条记录）存成一个 Ob ..
-
提到数据库首先想到的会是 Oracle、DB2、SQL Server、MySQL、PostgreSQL 等大名鼎鼎的产品，这些数据库都采用独立进程的方式运行，即独立部署数据库服务通过接口与应用 ..
-
在报表、BI、跑批等数据分析业务中，性能不足时经常会想到内存数据库。所谓内存数据库是指全量数据永驻内存，计算时不需要从外存（硬盘）读取，避免磁盘 IO，可以有效提升数据处理性能。 内存数据库被 ..
-
本文档适用于已经掌握了云服务部署的知识，希望进一步学习 qvs 其他用法的用户。 使用 qvs 服务时，除了可以部署 qvs 服务器，还可使用内嵌 qvs 方式。相对于部署 qvs 服务器，内 ..
-
基于 SSC 上的应用程序可以分成两个部分，服务端由 QVA 和 QVM 构成，应用端由应用程序（以下简称 APP）和 QVS 组成。这两部分都有会涉及 SPL 脚本。服务端的 SPL 脚本在 ..
-
异构库的数据比对是指分别在不同类型数据库中的两张逻辑结构相同的数据表，进行数据比较，找出差异。 问题描述 数据对比的难点在于异构数据库间的数据类型和数据库本身在处理数据上存在的差异，这会导致同 ..
-
计算框架五花八门，有用于流式计算的Flink，用于边缘计算的eKuiper、用于大规模分布式计算的MapReduce，还有Spark、Samza、Storm、Omega、Kubernetes、 ..
-
使用SPL进行性能优化，在数据转存时将字符串等数据类型转换成整数，可以减少存储空间并提升计算性能，下面我们通过一个实际例子学习如何实现整数化。 问题描述 某时空碰撞问题的数据结构如下 字段名称 ..
-
时间键介绍 维表的数据相对比较固定，但仍然也会有变动。比如某客户的所在城市发生了变化：2020 年 5 月 15 日，city 从 New York 变更为 Chicago。 在订单表关联客户 ..
-
一、元数据权限( 控制表和字段) WEB系统经常是多用户的，要控制不同用户看到不同范围的元数据信息，有两种实现方式，一是给每种用户创建独立的元数据，部署成多个DQL服务，然后根据当前用户用JD ..
-
一、 部署DQL 服务 DQL服务器的启动程序是{安装目录}/esProc/bin/startDQLSERVER.bat(linux下是……startDQLSERVER.sh)，运行它之前，先 ..
-
[链接][链接]》介绍了 SPL 对关联计算的分类，以及内存关联计算的编程方法。 《[链接]》介绍了外存关联计算的编程方法。 本篇继续介绍 SPL 的新关联计算方法，包括：用于外键连接的fjo ..
-
一、 准备数据 我们选用1G规模的TPCH数据来实践DQL查询，TPCH生成如下8个表的数据文件(*.tbl)： [图片] 文件内容是文本格式，第一行是字段名，之后是数据行，行内数据以|分隔， ..
-
上一篇《[链接]》（简称“内存篇”）介绍了 SPL 对关联计算的分类，以及内存关联计算的编程方法。 当一个或者多个关联表数据量很大需要外存时，就不能使用内存连接算法了，SPL 专门提供了外存连 ..
-
ChatGPT带火了大模型，也带火了向量数据库。大模型训练成本高，学习新知识的周期太长，而向量数据库刚好可以充当大模型的“记忆”模块，找到与新问题相似的旧问题交给大模型处理，极大地扩展了大模型 ..
-
关联查询一直是 BI 的老大难，为了解决关联问题，采用宽表（CUBE）是一种常见的手段，即通过事先构建宽表消除多表关联来绕过关联查询的难题。 但这样做会导致 BI 的灵活性变差。 我们来考察 ..
