计算&AI •
874 引用 •
936 回帖 •
446 关注
博客
关注
-
esProc 弹性计算是运行在局域网或私有云的企业内通用计算软件,分成三个部分,服务端由 QVA 和 QVM 构成,应用端由应用程序(以下简称 APP)和 QVS 组成,存储端是 NFS、HD ..
-
OLAP 业务的数据一般不会出现大量频繁地更新动作。数据变动主要是:1、新增数据的追加,2、数据插入、修改和删除。 SPL 提供了复组表,可以有效缩短数据变动的处理时间,同时保证数据计算的性能 ..
-
1. 前言 利用AWS Lambda函数,可以运行代码而无需预置或管理服务器,可以直接从任何Web或移动应用程序调用函数获得运算结果,是非常便利的函数服务。在函数代码中可以读取业务数据,进行复 ..
-
概述 数据维护例程可以实现数据的定期维护和更新,对于实时热数据,只能在查询的时候临时读取,再和历史数据归并后返回。 这就要求实时热数据的查询能快速返回结果,且能接受频繁的并发访问,这对业务系统 ..
-
量化交易一个绕不开的步骤就是回测,任何策略都要在历史数据中验证后才可能用于模拟盘甚至是实盘进行交易,本文就来介绍 SPL 怎么完成回测。 话不多说,直接上干货。 假设现在已经有了某个策略生成的 ..
-
早期还有些人使用C++,Java开发量化交易的策略模型,但目前这个领域几乎被Python垄断了,原因大概有以下两点: Python的语法便捷,操作界面也简单易学,毕竟量化分析师还不是职业的程序 ..
-
概述 组表是SPL重要的文件存储格式。为保证高性能,组表常常要求数据有序存储,但数据的产生次序通常和组表要求的次序不同,在维护组表数据时需要调整数据的次序。另外,组表在写入时不能同时读取,而有 ..
-
问题描述 在 A 电商公司,漏斗转化率分析是常用且重要的统计需求。 用户使用智能设备购物时,系统会建立连接形成会话 session。每个会话又包含很多个操作事件 event,比如:访问网站,浏 ..
-
本文档适用于已经掌握了云服务部署的知识,希望进一步学习 QVS 其他用法的用户。 使用 QVS 服务时,除了可以部署 QVS 服务器,还可使用内嵌 QVS 方式。相对于部署 QVS 服务器,内 ..
-
问题描述 发电设备中会放置传感器(DCS)来采集数据以监控设备运转的状况,某集团设计的电力监控统计系统,需要按固定频率实时采集多个传感器(以下称为测点)上测量的数据后保存,然后提供按任意时间区 ..
-
前面的例子均使用 switch 做维表的关联,能获得很好的性能,但还有几个问题: 1) 关联后,外键字段的本身值失去了,必须到维表中取主键才能获得,速度会变慢。 如上例:如果还想取得 Empl ..
-
组表支持列存,在遍历时能获得更好的性能。 [链接]1.2.1 把数据表转储成组表 文本转储 A 1 =file(“Orders.txt”).cursor@t(CustomerID:string ..
-
数据准备 使用到的数据表结构如下: 表 字段名 含义 Categories [CategoryID] [int] NOT NULL, [CategoryName] [nvarchar](50) ..
-
问题描述 漏斗分析定义 电商业务中漏斗分析是常见的统计需求。用户使用智能设备购物时,系统会建立连接形成会话 session。每个会话又包含很多个操作事件 event,比如:访问(visit)类 ..
-
问题描述 数据结构与规模 客户 - 维度表 cust_dim 字段名称 字段类型 字段注释 示例数据 id Number 客户号 18765 d1 Number 维度 1 12 … … … … ..
-
问题描述 系统结构 前端应用是 BI 系统,主要实现条件过滤查询,后台是某 MPP 数据库。前端根据用户在页面上的选择、操作来生成针对宽表 ordes(订单表)的 SQL 提交给后台,并展现后 ..
-
问题描述 数据结构与规模 存款明细表 deposit 字段名称 字段类型 字段注释 示例数据 dt Date 日期 2023-11-23 curr String 币种 1 人民币,0 其他 c ..
-
问题描述 数据结构与规模 帐户明细表 T 数据结构: 字段名称 字段类型 字段注释 示例数据 Id String 帐号 28 位数字 Tdate Date 日期 2023-10-22 Tamt ..
-
异构库的数据比对是指分别在不同类型数据库中的两张逻辑结构相同的数据表,进行数据比较,找出差异。 问题描述 数据对比的难点在于异构数据库间的数据类型和数据库本身在处理数据上存在的差异,这会导致同 ..
-
问题描述 时空碰撞定义 数据集A中有n个源对象A1,…,An的时空信息,每条信息有三个属性,分别是ID(iA)、位置(lA)、时间(tA),可以认为同一个Ai在A中不会同时出现两次,即没有两条 ..
-
实践背景 通过 RESTful 交换数据很方便,但接收数据后如何继续计算会有点麻烦。SPL 提供了 HTTP 接口,可以直接读取 RESTful 的数据后进行计算。 如下例,电商业务中订单数据 ..
-
【摘要】 本文介绍如何将各种结构的 Excel 文件解析成结构化数据,如普通行式、复杂表头、自由格式、交叉表、主子表、大文件等,并用 esProc SPL 举例实现。请点击 ${article ..
-
问题描述 时空碰撞定义 某时间区间(例如7天)被分成多个固定时长(如15分钟)的时间切片,对象a和对象b在同一时间切片内的相同位置出现过,称为一次碰撞。 规则1:相同时间切片内,多次碰撞只记一 ..
-
关联查询一直是 BI 的老大难,为了解决关联问题,采用宽表(CUBE)是一种常见的手段,即通过事先构建宽表消除多表关联来绕过关联查询的难题。 但这样做会导致 BI 的灵活性变差。 我们来考察 ..
-
1544598466585 1. 问题背景 在日常工作中我们经常遇到具有相同表头的 Excel 文件,需要将它们合并到同一个工作表中再进行分析。当文件比较多时,手工合并表 ..