计算&AI •
902 引用 •
973 回帖 •
449 关注
博客
关注
-
基于对象-事件模式的数据计算,是一种常见的数据分析任务。这里说的对象可以是手机银行用户,一个唯一的ID,对象涉及的事件都记录在这个ID下,例如手机银行用户的行为记录。 有了事件数据后,我们就可 ..
-
问题描述 发电设备中会放置传感器(DCS)来采集数据以监控设备运转的状况,某集团设计的电力监控统计系统,需要按固定频率实时采集多个传感器(以下称为测点)上测量的数据后保存,然后提供按任意时间区 ..
-
问题描述 时空碰撞定义 数据集A中有n个源对象A1,…,An的时空信息,每条信息有三个属性,分别是ID(iA)、位置(lA)、时间(tA),可以认为同一个Ai在A中不会同时出现两次,即没有两条 ..
-
问题描述 时空碰撞定义 某时间区间(例如7天)被分成多个固定时长(如15分钟)的时间切片,对象a和对象b在同一时间切片内的相同位置出现过,称为一次碰撞。 规则1:相同时间切片内,多次碰撞只记一 ..
-
异构库的数据比对是指分别在不同类型数据库中的两张逻辑结构相同的数据表,进行数据比较,找出差异。 问题描述 数据对比的难点在于异构数据库间的数据类型和数据库本身在处理数据上存在的差异,这会导致同 ..
-
使用SPL进行性能优化,在数据转存时将字符串等数据类型转换成整数,可以减少存储空间并提升计算性能,下面我们通过一个实际例子学习如何实现整数化。 问题描述 某时空碰撞问题的数据结构如下 字段名称 ..
-
跑批提速是SPL的一个主要优化场景,把跑批数据转储到SPL的高性能文件是优化过程中的重要环节。需要被转储的数据,通常包括两部分:历史冷数据和周期性增量数据(增删改)。下面介绍如何把历史与增量数 ..
-
一、数据搬出 当TP数据库太撑时,采用SPL来承担AP任务。首先需要将TP数据库的数据搬出来。 关系型数据库通常使用jdbc连接数据库取数。以oracle为例,数据结构参考TPC-H。 将OR ..
-
问题描述 灵活数据结构的意思是指数据表的每条记录的数据结构不相同。所有字段通常能分成为两部分,一部分是所有记录的共同字段,另一部分是各自不同的字段,其总数量可能多达数百种,但每条记录只占少数几 ..
-
一、问题提出 时间序列数据主要由电力行业、化工行业、气象行业、地理信息等各类型实时监测、检查与分析设备所采集、产生的数据,这些工业数据的典型特点是:产生频率快(每一个监测点一秒钟内可产生多条数 ..
-
问题背景 发电设备中常常会放置传感器(DCS)来采集数据以监控设备运转的状况,某集团设计的电力监控统计系统,需要实时采集传感器的数据后保存,然后提供按时段的实时查询统计功能。 系统设计规模将支 ..
-
在数据库之间进行数据转储,需要先将源数据库的数据导出到某文件,再把该文件中的数据导入到目标数据库中。还会有些较复杂的场景,需要对导出的文件进行一些处理后再导入到目标库。本文将探讨几种数据库转储 ..
-
不同类型数据库的函数语法或多或少有些差异,要想让功能相同的SQL查询语句在不同类型的数据库中都能被顺利执行,就要把各数据库都有的那些差异化函数语法进行翻译,即SQL移植。本文将探讨几种SQL移 ..
-
【摘要】 JAVA 应用必须通过 JDBC 从数据库中取数,有时候我们会发现,数据库的负担一点也不重而且 SQL 很简单,但取数的速度仍然很慢 ..
-
一、 问题描述 键值查询是很常见的查询场景,在数据表上建有索引后,即使表中数据记录数巨大(几亿甚至几十亿行),用键值查询出单条记录也会很快,因为建立索引后的复杂度只有 ..
-
问题描述 X 公司资产负债表,访问人员众多,访问频次很高,明细数据约 6000 万,业务人员要等待 60 秒以上才能看到结果,响应速度严重影响业务,急需优化。 报表表样如下: [图片] 解决过 ..
-
相关性分析是数据分析和挖掘中经常用的方法,通过对特征和目标之间的关系分析可以发现业务运营中的影响因素,并对业务的发展进行预测。 两个变量之间的关系有以下几种: (1) 完全正线性相关:一个值随 ..
-
Excel 是日常工作不可或缺的工具,处理数据快捷方便,深受欢迎。然而,它的数据处理能力并非无限制,当遇到大数据时,Excel 的能力就不行了。 拿几十万行的数据来说,光是在 Excel 里打 ..
-
日常工作中,涉及到数据的计算分析,Excel 一定是使用最多的。但是也有不少小伙伴困惑于 Excel 的深入学习难度大,复杂问题不好做,相同问题重复烦,大数据跑不了等问题。这里我们就来聊一聊 ..
-
有销售数据表,记录了销售员每年的销售金额。 [图片] 1. 找出 5 号销售员销售额实现增长的年份 用 Excel 先筛选出 SELLERID 为 5 的数据,然后再判断每年销售额是否增长。 ..
-
本文讨论股票连涨问题,为了避免歧义,这里约定:股票连涨天数包括起始的 1 天,比如连涨 5 天意味着这 5 天内股票都在上涨,实际上只有从第 2 天开始的 4 次上涨。 数据结构和样例数据: ..
-
订单数据表记录了近几年的销售订单信息。 [图片] 员工信息表记录了所有员工的基本信息。 [图片] 1. 汇总并关联成宽表 将原始的订单数据汇总到年。然后再和员工信息表进行关联,做成这样一张表格 ..
-
在很多商业场景中,存在一种数据不平衡的现象。比如银行贷款违约,违约的人只是很小一部分人;保险欺诈,欺诈者也是个别现象;还有产品质量中不良品的比例、工业生产中非计划停车现象等等……。这些罕见现象 ..
-
1. 准备历史数据。 在营销场景中,要预测的目标是客户的购买行为,需要搜集一些可能会影响购买行为的信息字段,比如客户的年龄、学历、工作、收入、家庭结构、生活习惯、购物偏好,以及产品的特点、促销 ..
-
明确目标,准备数据 首先要明确目标,知道要预测什么东西。 比如银行放贷款时,希望预测出贷款人违约的可能性,从而判定是否放贷以及贷款利率。 保险公司制定保费时,希望预测出客户的理赔风险,从而制定 ..