计算&AI •
1022 引用 •
1098 回帖 •
474 关注
博客
关注
-
多年前开发了一套报表,当时的多数据集(涉及一报表从多库关联取数) 在报表内计算是通过 select 函数加条件的方式实现 关联取数。 如 [图片]多数据集(两个数据源) 报表内关联取数 [图片 ..
-
1. 采样( 随机的将数据分成30% 和70%) esProc A 1 =now() 2 =file('C:\\Users\\Sean\\Desktop\\esProc_vs_p ..
-
遍历复用的原理 对外存数据表做遍历计算时,大部分时间都用来从硬盘上读取数据了。所以我们会希望一次读取能做尽量多的事情,也就是尽量做到能复用遍历过程中读出来的数据。 比如我们对订单 ..
-
外存索引是在原表之外建立的,被查找字段值和原表记录物理位置的关联表。在查找时,用指定值从这个关联表中迅速获得原表物理位置,再去读取原表记录。 这样,索引中会存储很多被查找字段值。要在其中找到指 ..
-
我们知道一个完整的数据挖掘项目通常包含以下流程(1)业务理解、(2)数据理解、(3)数据准备、(4)数据预处理和建模、(5)模型评估、(6)模型部署应用。而要完成一个数据挖掘任务,必须要具备两 ..
-
一、 查询要求 Q19语句查询得到对一些空运或人工运输零件三个不同种类的所有订单的总折扣收入。零件的选择考虑特定品牌、包装和尺寸范围。 Q19 ..
-
一、 查询要求 Q6语句查询得到某一年中通过变换折扣带来的增量收入。这是典型的'what-if'判断,用来寻找增加收入的途径。预测收入变化查询 ..
-
问题描述 时空碰撞定义 数据集A中有n个源对象A1,…,An的时空信息,每条信息有三个属性,分别是ID(iA)、位置(lA)、时间(tA),可以认为同一个Ai在A中不会同时出现两次,即没有两条 ..
-
问题描述 在SQL 提速:高并发帐户查询(下面简称前文)中讨论过单表高并发查询方案。有时情况复杂,查询还会涉及关联运算。比如:帐户查询时,明细数据还要与网点表等维表做关联计算,最终结果中要包含 ..
-
使用存储过程跑批一直是常态,存储过程将 SQL 过程化可以满足相对复杂的跑批场景,同时在数据库内运行(数据不出库)性能相对较好。不过,存储过程的缺点也很多。编辑调试困难,缺乏有效的开发环境;移 ..
-
XML 计算起来不够方便,通常要用计算类库完成,本文将比较四类 XML 的计算库,包括 dom4j、MySQL、Scala、集算器 SPL,重点考察这些工具在语法表达、部署配置、数据源方便的差 ..
-
Elasticsearch 是一个分布式搜索服务器,它提供了Restful API更新数据、搜索数据。提交的数据、搜索结果都是JSON格式,计算引擎语言SPL有json()函数解析JSON字符 ..
-
在数据分析时,经常遇到内存无法放下的数据,需要借助硬盘完成数据分析,本文对比 Python 和 SPL 对这种数量级数据的运算分析能力,至于更大级别如 ..
-
分组后再汇总,通常会得到一个比原集合更小的集合,相当于做了聚合;逆分组相当于分组的逆运算,用一个较小的数据表通过某种规则计算出一个更大的数据表;转置也就是常说的行转列,相当于是分组的变种,逆转 ..
-
伴随信息时代的发展,新技术、新框架、新语言层出不穷,解决问题的技术视角其实从来没有改变。所有应用都需要和存储系统相关联,无论存储是 SQL 还是 NOSQL 的。业务系统和数据库遵循不同的开发 ..
-
把集合中具有相同属性的成员分配到同一个组,这就是分组运算。比如员工表根据部门分组,每组的员工都具有相同的部门;销售表可以根据销售年份分组,每组都是同一个年份 ..
-
一、 查询要求 Q4 语句查询计算给定的某一年的某一季度的按优先权分组的各组订单数量,在每个订单中至少有一行由顾客在它的提交日期之后收到。查询 ..
-
问题描述 数据结构与规模 帐户明细表 T 数据结构: 字段名称 字段类型 字段注释 示例数据 Id String 帐号 28 位数字 Tdate Date 日期 2023-10-22 Tamt ..
-
一、 SQL 及分析 查询SQL语句如下: select l_returnflag, l_linestatus, sum(l_quantity) as sum_qty, sum(l_exten ..
-
一、 SQL 及分析 查询SQL语句如下: select * from ( select l_orderkey, sum(l_extendedprice * (1 - l_discount)) ..
-
【摘要】 转置功能常用报表等前端展现,将查询出来的数据转置成指定的显示格式。比如行转列,列转行,以及比较复杂的动态转置等等。SQL 和 SPL ..
-
在统计分析应用中,从明细数据计算出来的各种指标是支撑业务的重要数据。但是,要做到快速而且灵活的多指标计算,后台数据源面临多个难题。 多指标计算的一个难题是涉及的明细数据量非常大。政府、金融、能 ..
-
SQL 正在消耗数据科学家的生命 SQL 难写 数据科学家几乎都会用 SQL 做探索分析,SQL 看上去很简单,也有一定的交互性,做数据探索分析似乎很不错。 比如要进行过滤、分组等计算,简单一 ..
-
早期还有些人使用C++,Java开发量化交易的策略模型,但目前这个领域几乎被Python垄断了,原因大概有以下两点: Python的语法便捷,操作界面也简单易学,毕竟量化分析师还不是职业的程序 ..
-
很多程序员尝试用 Stream 取代 SQL,但 Stream 缺乏专业的数据对象,在结构化计算方面远不如 SQL 专业。作为对比,SPL 有完善的结构化数据对象,且提供了不依赖于数据库的结构 ..