计算&AI •
1062 引用 •
1118 回帖 •
475 关注
博客
关注
-
简介: 分组运算的本质是将一个集合按照某种规则拆分成若干个子集,也就是说,返回值应当是一个由集合构成的集合,然后应用这些子集进行计算。下面来看下 SPL 的分组运算。 [图片][图片][图片] ..
-
简介: 人们对序运算是天然有兴趣的,一个数据总是不变,那看一次就行了,变化的数据才更让人关心,比上期、同期比、移动平均等等,都是有序运算。下面就让我们开始 SPL 有序的学习之旅吧。 [图片] ..
-
简介: SPL 的集合是彻底的离散化集合,集合成员可以游离在集合之外,这让许多复杂的运算简单化,会让程序既写的简单,又跑得快。 [图片][图片][图片][图片][图片][图片][图片][图片] ..
-
本节在数据量比较大的情况下,对比esProc和python。 数据量:7000多条万记录,5个字段分别是orderid,clientid,sellerid,amount,date。总大小超过3 ..
-
1. 列出分期贷款明细 题目介绍:loan 表存储着贷款信息,包括贷款 ID,贷款总额、按月分期数、年利率。数据如下: [图片] 我们的目的是列出各期明细,包括:当期还款额、当期 ..
-
1. 计算每年同月份增长比 esproc A 1 =now() 2 =file('C:\\Users\\Sean\\Desktop\\kaggle_data\\music_pro ..
-
1. 采样( 随机的将数据分成30% 和70%) esProc A 1 =now() 2 =file('C:\\Users\\Sean\\Desktop\\esProc_vs_p ..
-
1. 添加Age 、Fullname 字段 esProc: A 1 =now() 2 =file('C:\\Users\\Sean\\Desktop\\esProc_vs_pyt ..
-
1. 增加记录:在第二的位置增加一条记录 esProc A 1 =now() 2 =file('C:\\Users\\Sean\\Desktop\\esProc_vs_pytho ..
-
测试环境说明 CPU:4颗,主频2.6G,每个CPU内核数8个。 硬盘:800G,15000转SAS硬盘,理论读写速度150m/s。 内存:64G。 操作系统:Linux cent os 6 ..
-
【摘要】 为了应对业务需求的快速变化和发展,软件开发的理论和框架也在不断发展。在这个背景下,微服务近年来收到了越来越多的关注,大量企业已经或正在计划采用微服务架构,而数据应用也是其中一环。如何 ..
-
【摘要】 Java 是当前最为主流的企业应用开发语言,而开发企业应用又不可能不与数据、数据库打交道。虽然数据库提供了比较丰富的数据计算功能,但是还是会有很多情况下,需要在 Java 代码中对数 ..
-
引言 边缘计算是随着物联网的发展而新兴起来的全新数据技术架构,由于业务需求和技术要求较以往有很大不同,本身也还在发展中,传统的技术框架和编程模式不再完全适用,很多企业在开发实施过程中遇到了很多 ..
-
前言 访问多个异构数据源是大型企业应用软件非常常见的需求,人们也开发出了很多办法试图解决这个困难问题,但是这些办法往往都只是对某一种特定的场景,一直都没有异构特别理想的通用解决方案。今天,我们 ..
-
前言 大型企业的绩效考核系统一直是一个难于稳定的系统,总是面临着没完没了的需求变化。就其原因主要是软件架构僵化,业务逻辑与数据耦合度过高,造成需求的任何一点修改,都要对整个应用进行伤筋动骨的改 ..
-
传统企业大数据架构的问题 [图片] 上图是大家都很熟悉的基于 Hadoop 体系的开源大数据架构图。在这个架构中,大致可以分成三层。最下一层是数据采集,通常会采用 kafka 或 ..
-
【摘要】 多维分析是针对一个事先准备好的数据立方体实施旋转、切片(切块)、钻取等交互操作的过程,经常也被直接称为 OLAP(On-line Analysis Processing)。OLAP ..
-
Java虚拟机参数的配置有时候会对SPL的性能产生很大影响,本文从排序函数sortx的使用出发,探索如何通过优化JVM参数配置来提升性能。对分析过程不感兴趣的同学可以直接阅读结论章节。 1 内 ..
-
[链接] 1. 常规分组 当分组聚合的结果集不大时,可以使用groups。例如有学生成绩表存储在集文件中,表结构如下: Scores ..
-
1. 小维表 用SPL进行关联,当维表不大时可以读入内存。 1.1 &nb ..
-
【摘要】 介绍了如何使用集算器的组表进一步优化 JOIN 运算的方法。${article} 上一篇《优化 Join 运算的系列方法》介绍了如何使用集算器优化JOIN性能,其中数据存储使用的是集 ..
-
识别手写的阿拉伯数字,对于人类来说十分简单,但是对于程序来说还是有些复杂的。 [图片] 不过随着机器学习技术的普及,使用10几行代码,实现一个能够识别手写数字的程序,并不是一件难事。这是因为有 ..
-
集算器不仅有大数据计算,还有诗和远方。最近看到不少写诗机器人的新闻,于是尝试用集算器简单地实现一个。这个实现真的很简单,简单到只有10几行代码,请看实现步骤: 1下载字典和诗词 从网上找一个用 ..
-
5 综合案例 实际业务中,多表关联运算十分常见,外键表、同维表、主子表这几种关联类型可能会混合出现。下面我们来看一个综合案例。 5.1 表结构和查询目标 某电商平台中和订单编号这 ..
-
3 半内存时的外键表 外键指针化的前提是事实表和维表都可以装入内存,但实际业务中涉及的数据量可能很大,那就不能采用这种方法了。3.1 维表内存化 如果只是事实表很大,而维表仍然可以 ..