计算&AI •
796 引用 •
800 回帖 •
419 关注
博客
关注
-
转置功能常用报表等前端展现,将查询出来的数据转置成指定的显示格式。比如行转列,列转行,以及比较复杂的动态转置等等。动态行转列,是指转置时生成的字段不能事先指 ..
-
Kafka是一种分布式的信息流平台,它的客户端分为生产者、消费者两种,生产者提交数据,消费者读取数据。Kafka中传递的事件消息没有固定格式,消费者、生产者自由约定一些个性化格式,比如是JSO ..
-
报表查询分析都要涉及数据准备,就是把原始数据加工成可以呈现或分析的形式(如常见的报表数据集)。不过,数据准备经常并不轻松,可能面临各种复杂的情况。 数据准备面临的挑战 多样性数据源 当前业务的 ..
-
TopN 查询,即从数据中查找前 N 名 / 后 N 名。TopN 查询除了直接取值,还有查询 TopN 所在记录的详细信息,有时候还要查询 TopN 所在 ..
-
问题描述 数据结构与规模 帐户明细表 T 数据结构: 字段名称 字段类型 字段注释 示例数据 Id String 帐号 28 位数字 Tdate Date 日期 2023-10-22 Tamt ..
-
做数据分析和人工智能运算前常常需要大量的数据准备工作,也就是把各种数据源以及各种规格的数据整理成统一的格式。因为情况非常复杂多样,很难有某种可视化工具来完成此项工作,常常需要编程才能实现。 业 ..
-
背景 关系数据库是最常见的数据存储方案,SQL自然也成为数据处理的第一选择。但随着企业级应用越来越复杂,使用SQL实现数据运算和处理也开始面临许多架构层面的严重问题。复杂的SQL(存储过程)很 ..
-
人们对序运算天然是感兴趣的,分组运算也会涉及到次序。本文对比 Python 和 SPL 在有序分组的运算能力。 位置分组 成员的位置信息可能参与分组计算 ..
-
不同类型数据库的函数语法或多或少有些差异,要想让功能相同的SQL查询语句在不同类型的数据库中都能被顺利执行,就要把各数据库都有的那些差异化函数语法进行翻译,即SQL移植。本文将探讨几种SQL移 ..
-
结构化数据查询中,常常会遇到全文检索的需求。比如,在国家表中,查找 Ch 开头的国家;或者在“帖子”表中,查找“内容”字段包含 water 的记录。 面向搜索的全文检索虽然能解决这个问题,但不 ..
-
实时追加例程—用内存避免小分表 背景与方法 参考下面文章 [链接] 该文章中采用多层分表的方式存储实时数据,对于数据追加频繁的场景,为了保证新数据能快速及时写出,采用了较短时间区间的小分表,这 ..
-
问题描述 数据结构与规模 存款明细表 deposit 字段名称 字段类型 字段注释 示例数据 dt Date 日期 2023-11-23 curr String 币种 1 人民币,0 其他 c ..
-
XML和Json不仅是结构化文本,而且擅长表示多层数据,可承载足够通用和足够丰富的信息,因此常被用于各种数据交换和信息传递事务,比如WebService/Restful,微服务等。但多层数据要 ..
-
目标任务 用户事件表T结构和部分数据示例如下: Time UserID EventType … 2022/6/1 10:20 1072755 Search … 2022/6/1 12:12 1 ..
-
关系数据库提供了 SQL,因而有较强的计算能力,但很遗憾的是,这个计算能力是封闭的。所谓计算封闭性,是指要被数据库计算和处理的数据,必须事先装入数据库之内,数据在数据库内部还是外部是很明确的。 ..
-
SQL计算能力较强,在JAVA开发中广泛应用于结构化数据计算,但SQL深度绑定数据库,存在架构性缺陷,包括计算代码难以移植、业务逻辑不支持热切换、计算性能无法低成本扩展等。现代应用架构更推崇在 ..
-
HBase是基于HDFS的K-V数据库,有关系数据库中类似的概念:库(namespace)、表、行、列、字段值、主键等。 HBase存取数据和关系数据库大不相同,不支持SQL,提供了get、s ..
-
很多程序员尝试用 ORM 技术实现 SQL 在不同数据库间的移植,但 ORM 技术只适合 OLTP 场景下的简单 SQL,难以实现 OLAP 场景下较复杂 SQL 的移植。作为对比,集算器 S ..
-
可以在 Java 应用中嵌入的数据引擎看起来比较丰富,但其实并不容易选择。Redis 计算能力很差,只适合简单查询的场景。Spark 架构复杂沉重,部署维护很是麻烦。H2\HSQLDB\Der ..
-
SQL 应用很广,数据科学家(分析师)们在日常工作中经常需要用到 SQL 语言进行数据查询和处理。很多企业也认为只要 IT 部门建好数据仓库(数据平台),提供了 SQL 功能,数据科学家们就能 ..
-
除了常见的二维数据表,我们也会用到有着多层结构的数据文件。比如用来存储销售记录的 JSON 数据文件,可能按照时间、地点等维度分为多层数据结构,但是每层结构 ..
-
数据准备 使用到的数据表结构如下: 表 字段名 含义 Categories [CategoryID] [int] NOT NULL, [CategoryName] [nvarchar](50) ..
-
目标任务 用户事件表T结构和部分数据示例如下: Time UserID EventType OS Browser … f1 f2 f3 f4 f5 … 2022/6/1 10:20 10727 ..
-
目标任务 用户事件表T结构和部分数据示例如下: Time UserID EventType 2022/6/1 10:20 1072755 Search 2022/6/1 12:12 10780 ..
-
问题描述 发电设备中会放置传感器(DCS)来采集数据以监控设备运转的状况,某集团设计的电力监控统计系统,需要按固定频率实时采集多个传感器(以下称为测点)上测量的数据后保存,然后提供按任意时间区 ..