计算&AI •
991 引用 •
1070 回帖 •
471 关注
博客
关注
-
MongoDB 内置的查询表达式有时不够方便,这种情况下就要用到第三方函数库完成计算,本文深度比较四类 MongoDB 上的计算库,包括 MongoDB Connectioin\Calcite ..
-
在电商系统中,漏斗转化分析是很重要的数据分析计算。电商的用户在系统中会进行多个操作事件,例如页面浏览、搜索、加购物车、下单、付款等。这些事件有一定的先后顺序,事件顺序越靠后,完成该事件的用户数 ..
-
我们知道一个完整的数据挖掘项目通常包含以下流程(1)业务理解、(2)数据理解、(3)数据准备、(4)数据预处理和建模、(5)模型评估、(6)模型部署应用。而要完成一个数据挖掘任务,必须要具备两 ..
-
问题描述 发电设备中会放置传感器(DCS)来采集数据以监控设备运转的状况,某集团设计的电力监控统计系统,需要按固定频率实时采集多个传感器(以下称为测点)上测量的数据后保存,然后提供按任意时间区 ..
-
一、 查询要求 Q10语句是查询每个国家在某时刻起的三个月内货运存在问题的客户和造成的损失。 Q10语句的特点是:带有分组、排序、聚集操作并存 ..
-
1. 采样( 随机的将数据分成30% 和70%) esProc A 1 =now() 2 =file('C:\\Users\\Sean\\Desktop\\esProc_vs_p ..
-
组表是SPL重要的文件存储格式。组表文件不支持在读取时同时写入,为保证高性能,组表还常常要求数据有序存储。数据不是一成不变的,还需要持续追加或更新,新产生数据的次序通常和组表要求的次序也不同。 ..
-
1 应用场景 和【实时追加例程】的应用场景类似,所不同的是需要对数据进行更新。本例程适用于具有如下特征的数据表的更新: 对数据更新的实时性要求很高、数据更新周期很短、任意时刻均有可能更新;单次 ..
-
一、 测试任务 多维分析中常见的事实表和多个及多层维表的关联后按维度的汇总统计,以及宽表按维度的统计。 基于TPCH 100G数据集,设计大事实表和多个维表关联的运算: 1. 一个事实表和一个 ..
-
集合运算是指集合间的和、交、并、差、异或、包含等基本运算。结构化数据经常是以集合形式出现的,为了方便地计算这类数据,SPL 提供了丰富的集合运算方法和函数。 ..
-
一、 查询要求 Q19语句查询得到对一些空运或人工运输零件三个不同种类的所有订单的总折扣收入。零件的选择考虑特定品牌、包装和尺寸范围。 Q19 ..
-
文字处理在任何一门程序语言中都是必不可少的,SPL提供了十分丰富的文字处理函数,分为字符处理、简单串处理、与序列相关、复杂分析等几大类,囊括字符串子串、判断、转换、字符编码、数据类型解析、查找 ..
-
一、问题提出 时间序列数据主要由电力行业、化工行业、气象行业、地理信息等各类型实时监测、检查与分析设备所采集、产生的数据,这些工业数据的典型特点是:产生频率快(每一个监测点一秒钟内可产生多条数 ..
-
部分预汇总 多维分析后台的运算本质是分组汇总,可以直接对数据执行这个计算。但是,当数据量非常大的时候,很难做到即时响应。 预汇总是个容易想到的办法,即事先把各种汇总结果计算好,保存为中间结果( ..
-
WebService/Restful 的数据格式采用了 JSON 或 XML 这类通用、多层的结构化文本,但多层格式要比传统的二维格式复杂,取数后再处理的难度也大,本文比较五类 WebServ ..
-
一、 查询要求 Q6语句查询得到某一年中通过变换折扣带来的增量收入。这是典型的'what-if'判断,用来寻找增加收入的途径。预测收入变化查询 ..
-
Elasticsearch 是一个分布式搜索服务器,它提供了Restful API更新数据、搜索数据。提交的数据、搜索结果都是JSON格式,计算引擎语言SPL有json()函数解析JSON字符 ..
-
【摘要】 从原理上分析 SQL 语句慢的原因,用代码示例给出提速办法。点击了解 ${article} 问题描述 主键连接是非常常见的情况,如订单和订单明细。但数据库并不区分关联的字段是什么,一 ..
-
伴随信息时代的发展,新技术、新框架、新语言层出不穷,解决问题的技术视角其实从来没有改变。所有应用都需要和存储系统相关联,无论存储是 SQL 还是 NOSQL 的。业务系统和数据库遵循不同的开发 ..
-
遍历复用的原理 对外存数据表做遍历计算时,大部分时间都用来从硬盘上读取数据了。所以我们会希望一次读取能做尽量多的事情,也就是尽量做到能复用遍历过程中读出来的数据。 比如我们对订单 ..
-
量化交易一个绕不开的步骤就是回测,任何策略都要在历史数据中验证后才可能用于模拟盘甚至是实盘进行交易,本文就来介绍 SPL 怎么完成回测。 话不多说,直接上干货。 假设现在已经有了某个策略生成的 ..
-
SPL 提供了丰富的针对文件系统的函数,能方便地处理目录以及文件。 1 目录 SPL 用 directory 函数列出文件目录或者文件,并以序列形式返回。 ..
-
XML 计算起来不够方便,通常要用计算类库完成,本文将比较四类 XML 的计算库,包括 dom4j、MySQL、Scala、集算器 SPL,重点考察这些工具在语法表达、部署配置、数据源方便的差 ..
-
在大数据表关联场景中,如果各个表按照主键或部分主键关联,我们可以采用 SPL 附表机制来做性能优化。 附表机制是将上述要关联的表绑在一起存储。以客户表 customer 和联系方式表 cont ..
-
一、 查询要求 Q4 语句查询计算给定的某一年的某一季度的按优先权分组的各组订单数量,在每个订单中至少有一行由顾客在它的提交日期之后收到。查询 ..