计算&AI •
995 引用 •
1077 回帖 •
471 关注
博客
关注
-
Java虚拟机参数的配置有时候会对SPL的性能产生很大影响,本文从排序函数sortx的使用出发,探索如何通过优化JVM参数配置来提升性能。对分析过程不感兴趣的同学可以直接阅读结论章节。 1 内 ..
-
背景与方法 本例程适应场景:数据维护的实时性不高,可以在指定时刻定期执行,一般数小时或天为单位;总数据量很大,需要拆成多个分表存储;支持追加和更新两种模式。每次数据维护量可能较大,可以使用游标 ..
-
一、 查询要求 Q12 语句查询某一年在指定的两种货运模式下,早于交货日期发货而消费者迟于交货日期收到货物的订单中,按货运模式分组统计订单优先 ..
-
【摘要】 用实例、分步骤,详细讲解多维分析(OLAP)的实现。点击了解 ${article} 实践目标 本期目标,是在前期基础上实现预汇总和冗余排序,继续提升计算速度。 实践的步骤: 1、 预 ..
-
一、 查询要求 Q5 语句查询出在某一年某一地区各个国家的收入,这些收入是通过那些定购零件的顾客和供应零件的供应者都在那个国家的交易获得的。这 ..
-
问题描述 发电设备中会放置传感器(DCS)来采集数据以监控设备运转的状况,某集团设计的电力监控统计系统,需要按固定频率实时采集多个传感器(以下称为测点)上测量的数据后保存,然后提供按任意时间区 ..
-
ETL 是将数据从来源端经过清洗(extract)、转换(transform)、加载(load)至目的端的过程。正常的 ETL 过程应当是 E、T、L 这三个步骤逐步进行,也就是先清洗转换之后 ..
-
有些 JAVA 项目不方便用数据库完成计算任务,需要交由 JAVA 计算层完成,本文深度对比了四类 JAVA 计算层工具(类库),包括 scala\ 集算器 SPL\ SQLite\ CSVJ ..
-
一、 查询要求 Q11 语句通过扫描某给定国供应商的库存,找到在所有零件总价值中占重要百分比的各个零件,查询结果显示零件编号和价值,并按价值降 ..
-
有些时候,数据的次序在分组时是有意义的。我们有时会把具有相同字段值或者同时满足某些条件的相邻记录分到同一组。比如蝉联奥运会金牌榜第一名届数最长的国家是哪个, ..
-
一、问题提出 时间序列数据主要由电力行业、化工行业、气象行业、地理信息等各类型实时监测、检查与分析设备所采集、产生的数据,这些工业数据的典型特点是:产生频率快(每一个监测点一秒钟内可产生多条数 ..
-
在电商系统中,漏斗转化分析是很重要的数据分析计算。电商的用户在系统中会进行多个操作事件,例如页面浏览、搜索、加购物车、下单、付款等。这些事件有一定的先后顺序,事件顺序越靠后,完成该事件的用户数 ..
-
MongoDB是非关系数据库,以类似JSON的BSON格式存储数据,它提供了一整套命令操作数据,轻量计算引擎语言SPL支持嵌套的数据结构,很容易加载JSON数据,可以用SPL扩展MongoDB ..
-
在《 http://c.raqsoft.com.cn/article/1600226611215》(以下简称前文) 一文中我们介绍了如何使用历史数据进行商业预测的过程。不同的商业需求,还会有些 ..
-
【摘要】 总是有大批 TXT/CSV/XLS 要处理,而现有的一些技术又存在很多不足:JAVA 代码繁琐对人员要求高;SQL 计算封闭,无法计算库外数据;Python 外围开源包安装配置麻烦, ..
-
简介: SPL 作为一门语言,循环、动态、子程序、并行这些都是完备的,允许程序简单快速的实现算法。 [图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图 ..
-
一、 查询要求 Q13 语句根据消费者的订单数量确定消费者的分布,包括过去和现在都没有订单记录的消费者。它计算统计多少消费者没有订单,多少有 ..
-
Q1 运行环境 esProc 目前是纯 Java 软件,只要有 JDK1.8 及以上版本的 JVM 环境的任何操作系统都可以运行,包括常见的 VM 和 Container。 esProc 正常 ..
-
OLAP(Online Analytical Processing)是指在线联机分析,基于数据查询计算并实时获得返回结果。日常业务中的报表、数据查询、多维分析等一切需要即时返回结果的数据查询任 ..
-
集合运算是指集合间的和、交、并、差、异或、包含等基本运算。结构化数据经常是以集合形式出现的,为了方便地计算这类数据,SPL 提供了丰富的集合运算方法和函数。 ..
-
内存列式计算 什么是列式存储 内存中的序表,一般是采用行式存储。例如员工表包含字段 id、name、birthday,在内存中大致是这样存储的: [图片] 每行(也就是每条记录)存成一个 Ob ..
-
在SPL中,从数据源将数据读成游标以后,就可以进行所有SQL式的运算,如过滤、汇总、跨列计算、排序、分组汇总、Top-N、分组Top-N、去重、分组去重、关联查询等。游标上的运算分为延迟计算和 ..
-
【摘要】 集算器 ETL 工具可以从多种数据源中抽取数据,进行过滤计算排序及关联运算等,再将结果 ..
-
部分预汇总 多维分析后台的运算本质是分组汇总,可以直接对数据执行这个计算。但是,当数据量非常大的时候,很难做到即时响应。 预汇总是个容易想到的办法,即事先把各种汇总结果计算好,保存为中间结果( ..
-
组表是SPL重要的文件存储格式。组表文件不支持在读取时同时写入,为保证高性能,组表还常常要求数据有序存储。数据不是一成不变的,还需要持续追加或更新,新产生数据的次序通常和组表要求的次序也不同。 ..