-
kmeans的聚类结果受随机初始化的类心影响较大,有可能两次聚类的结果会因为初始类心的不同而不同,这会造成一种奇怪的现象,同一天的数据,因为两次聚类而属于两条生产路线,这是工业生产中不能接受的 ..
-
工业上,某些装置的出料收率波动比较大,其中的一些出料量还需要特别关注,这些需要关注的出料往往与生产路线对应,比如催化装置中,汽油的收率大时,认为是汽油路线,柴油的收率大时,认为是柴油路线…现在 ..
-
基本面选股条件: 1. 毛利润率不低于30%; 毛利润率=(营业收入-营业成本)/营业收入 2. 净利润率不低于15%; 净利润率=净利润/营业总收入 3. 优化净资产收益率大于等于20%; ..
-
行业财务指标非常多,本文只是抛砖引玉,以四个常用的行业财务指标为例介绍SPL计算财务指标的方法,其他财务指标可以用类似的方法计算出来。 1. 行业毛利润率 行业毛利润率=(营业收入-营业成本) ..
-
DQL 重要的作用是解决表间关联,有了上一期配置好的元数据,我们就可以来操练一些 DQL 语句,下面看几种不同关联方式的例子,看看它是如何简化关联的。 多级关联 先跑出界面,仔细观察其中的元数 ..
-
esProc SPL 作为数据计算引擎,具备低代码、高性能、轻架构、全场景4 个主要特点,后面的内容我们会详细讲解。 esProc 是什么? 首先我们来了解一下 esProc 是什么? [图片 ..
-
OLAP 业务的数据一般不会出现大量频繁地更新动作。数据变动主要是:1、新增数据的追加,2、数据插入、修改和删除。 SPL 提供了复组表,可以有效缩短数据变动的处理时间,同时保证数据计算的性能 ..
-
股价在上涨时通常会形成趋势,如果能抓住这些趋势,通常会带来不错的收益,本文就介绍一种常见的趋势交易策略。 在介绍买入策略之前先定义一些名词: 1. 最近的波谷:股价低于之前和之后 N 天的股价 ..
-
1. 前言 利用AWS Lambda函数,可以运行代码而无需预置或管理服务器,可以直接从任何Web或移动应用程序调用函数获得运算结果,是非常便利的函数服务。在函数代码中可以读取业务数据,进行复 ..
-
股市中,当天的股价和前几天的股价可能存在线性关系,据此我们制定策略如下: 1. 把当天之前100天的数据作为训练数据; 2. 训练数据中,每天的后一天的收盘价作为目标变量; 3. 训练数据中, ..
-
实际项目中可能可能会有一种需求,不需要在浏览器端展示报表组文件,直接通过访问某个 url,直接将报表组转换成 excel 进行下载,这种需求有多种方式实现,可以通过 api 计算,这个在乾学院 ..
-
交易策略如下: 1. 把第二天是否上涨作为目标(target),收盘价大于前一天,target为1,否则target为-1。 2. 增加两个特征,最高价减最低价(max_dif),收盘价减开盘 ..
-
八、有序归并 我们再来看同维表和主子表的 JOIN,这两种情况的优化提速手段是类似的。 我们前面讨论过,HASH JOIN 算法的计算复杂度(即关联键的比较次数)是 sum(ni*mi),比全 ..
-
做报表时经常会一些有自定义统计区间的汇总,按时间段、数值段等汇总数据,比如要根据员工信息数据按照部门统计不同年龄段的人数,员工信息数据放在 xls 中,如下: [图片] 要做到如下结果: [图 ..
-
七、进一步的外键关联 我们继续讨论外键 JOIN,并延用上一篇的例子。 当数据量大到无法全部放进内存时,前述的地址化方法就不再有效了,因为在外存无法保存事先算好的地址。 一般来讲,外键指向的维 ..
-
前面讲过的用数据文件、手写 SQL 都只是针对一个数据集做分析,但 BI 用户常常需要自由的分析,数据库里有很多表,要能够随意选取来做分析。 DQL 服务通过 JDBC 方式能够提供全库多表查 ..
-
我们再来研究如何利用 JOIN 的特征实现性能优化,这些内容的细节较多,我们挑一些易于理解的情况来举例,更完善的连接提速算法可以参考乾学院上的《性能优化》图书及课程。 六、外键预关联 先看全内 ..
-
五. 解决关联查询 我们重新审视和定义了等值 JOIN 运算,并简化了语法。一个直接的效果显然是让语句书写和理解更容易。外键属性化、同维表等同化和子表集合化方案直接消除了 JOIN 关键字,也 ..
-
四. 维度对齐 我们再回顾前面的双子表例子的 SQL: SELECT Orders.id, Orders.customer, A.x, B.y FROM Orders LEFT JOIN (S ..
-
三. JOIN 的语法简化 我们先看如何利用关联都涉及主键这个特征来简化 JOIN 的代码书写,分别讨论这三种情况。 1. 外键属性化 先看个例子,设有如下两个表: employee 员工表 ..
-
二. 等值 JOIN 的分类 我们来考察下面三种等值 JOIN: 1. 外键关联 表 A 的某个字段和表 B 的主键字段关联(所谓字段关联,就是前一节说过的在等值 JOIN 的过滤条件中要对应 ..
-
[链接]JOIN 系列 [链接] [链接] [链接] [链接] [链接] [链接] [链接] [链接] 连接运算(JOIN)一直是 SQL 中的老大难问题。在关联表稍多一点的时候,代码书写就变 ..
-
BI 和 AI 中都有个 I,对应的英文单词都是 Intelligence,看起来是同一个意思。 其实不然,即使我们只限定商业决策领域中讨论问题,BI 和 AI 中的 I 也有很大的不同。 广 ..
-
某机构上了一套分布式数据仓库,历史数据逐步装进了仓库,然后,基于数据仓库构建了 BI 系统(主要是多维分析)。刚开始,一切都顺利,但随着时间推移,基于中央数据仓库的应用越来越多,几年下来积累了 ..
-
概述 数据维护例程可以实现数据的定期维护和更新,对于实时热数据,只能在查询的时候临时读取,再和历史数据归并后返回。 这就要求实时热数据的查询能快速返回结果,且能接受频繁的并发访问,这对业务系统 ..