计算&AI •
796 引用 •
800 回帖 •
419 关注
博客
关注
-
问题描述 时空碰撞定义 某时间区间(例如7天)被分成多个固定时长(如15分钟)的时间切片,对象a和对象b在同一时间切片内的相同位置出现过,称为一次碰撞。 规则1:相同时间切片内,多次碰撞只记一 ..
-
为了获得更好的数据库计算性能,经常会采用 MPP 数据库,如 Greenplum、Vertica、IQ、TD Aster Data 等。MPP 有较好的性能,但应用成本很高。MPP 的硬件资源 ..
-
我们知道,早期数据库并不区分 TP 和 AP,所有任务都在一个数据库中完成。做 TP 业务时,要保证数据的一致性,而一致性要限定在一个范围内才有意义,这也就有了“库”的概念。数据入库是有门槛的 ..
-
What?写在格子里的程序语言?! 是的!你没看错,写在格子里的程序语言 SPL(Structured Process Language),专门用于结构化数据处理。 我们知道,几乎所有编程语言 ..
-
SPL 作为专门用于结构化和半结构化数据的处理技术,在实际应用时经常能比 SQL 快几倍到几百倍,同时代码还会短很多,尤其在处理复杂计算时优势非常明显。用户在看到这些应用效果后对 SPL 往往 ..
-
业务系统产生的明细数据通常要经过加工处理,按照一定逻辑计算成需要的结果,用以支持企业的经营活动。这类数据加工任务一般会有很多个,需要批量完成计算,在银行和保险行业常常被称为跑批,其它像石油、电 ..
-
随着大数据时代的来临,数据量不断增长,传统小机上跑数据库的模式扩容困难且成本高昂,难以支撑业务发展。很多用户开始转向分布式计算路线,用多台廉价的 PC 服务器组成集群来完成大数据计算任务。Ha ..
-
先说观点:因为还没找到更好的。 接下来说原因,首先来看看大数据平台都在干什么。 原因 结构化数据计算仍是重中之重 大数据平台主要是为了应对海量数据存储和分析的需求,海量数据存储的确不假,除了生 ..
-
SQL语法接近自然语言,上手学习门槛低,再加上先发优势的加成,很快就在数据库厂商和用户间流行开来。经过多年的发展,SQL已经成为应用最广、用户最多、最成熟的结构化数据计算语言。 但是,SQL必 ..
-
很多大数据计算都是用 SQL 实现的,跑得慢时就要去优化 SQL,但常常碰到让人干瞪眼的情况。 比如,存储过程中有三条大概形如这样的语句执行得很慢: select a,b,sum(x) fro ..
-
一、 测试背景 由于众所周知的世界经贸形势,拥有全面自主可控的IT解决方案成为摆在国家面前的一项重要任务。但是,由于目前 ..
-
SQL,在数据处理和分析领域基本上类似“普通话”的地位,几乎是一项必备的能力,但是要使用 SQL,又离不开关系数据库系统,也就是 RDBMS,这就好比普通话主要还是得在中国说才管用。当然,如果 ..
-
概述 数据维护例程可以实现数据的定期维护和更新,对于实时热数据,只能在查询的时候临时读取,再和历史数据归并后返回。 这就要求实时热数据的查询能快速返回结果,且能接受频繁的并发访问,这对业务系统 ..
-
MACD从均线指标EMA衍化而来,对把握趋势性行情有着很好的应用效果,它的顶底背离是一种经过检验的“抄底逃顶”方法,是不少中长期投资者在实战中都会考虑的指标。本文就以SPL来实现MACD背离策 ..
-
海龟策略:在股价超过过去N个交易日的股价最高点时买入,在股价低于过去N个交易日的股价最低点时卖出(N通常设为20)。上述的若干个最高点和最低点会组成一个通道,称为“唐奇安通道(Donchian ..
-
量化交易一个绕不开的步骤就是回测,任何策略都要在历史数据中验证后才可能用于模拟盘甚至是实盘进行交易,本文就来介绍 SPL 怎么完成回测。 话不多说,直接上干货。 假设现在已经有了某个策略生成的 ..
-
早期还有些人使用C++,Java开发量化交易的策略模型,但目前这个领域几乎被Python垄断了,原因大概有以下两点: Python的语法便捷,操作界面也简单易学,毕竟量化分析师还不是职业的程序 ..
-
概述 组表是SPL重要的文件存储格式。为保证高性能,组表常常要求数据有序存储,但数据的产生次序通常和组表要求的次序不同,在维护组表数据时需要调整数据的次序。另外,组表在写入时不能同时读取,而有 ..
-
问题描述 在 A 电商公司,漏斗转化率分析是常用且重要的统计需求。 用户使用智能设备购物时,系统会建立连接形成会话 session。每个会话又包含很多个操作事件 event,比如:访问网站,浏 ..
-
问题描述 发电设备中会放置传感器(DCS)来采集数据以监控设备运转的状况,某集团设计的电力监控统计系统,需要按固定频率实时采集多个传感器(以下称为测点)上测量的数据后保存,然后提供按任意时间区 ..
-
esProc 弹性计算是运行在局域网或私有云的企业内通用计算软件,分成三个部分,服务端由 QVA 和 QVM 构成,应用端由应用程序(以下简称 APP)和 QVS 组成,存储端是 NFS、HD ..
-
-
问题描述 漏斗分析定义 电商业务中漏斗分析是常见的统计需求。用户使用智能设备购物时,系统会建立连接形成会话 session。每个会话又包含很多个操作事件 event,比如:访问(visit)类 ..
-
问题描述 数据结构与规模 客户 - 维度表 cust_dim 字段名称 字段类型 字段注释 示例数据 id Number 客户号 18765 d1 Number 维度 1 12 … … … … ..
-
[链接]一 语法学习先从读此书开始 [链接] 第 1-4 章,介绍基本的程序逻辑,这部分主要是面向没有编程经验的初学者,有经验者迅速过一遍即可,但要注意 4.4 节的对象理解。 第 5 章,对 ..