计算&AI •
1062 引用 •
1118 回帖 •
475 关注
博客
关注
-
SQL 中的去重计数 COUNT DISTINCT 一直比较慢。 去重本质上是分组运算,需要把遍历过的分组字段值都保持住,用于后续的比对。结果集太大时,还要把数据写到硬盘上做缓存,性能低下。 ..
-
学生成绩表 score 的示例数据如下: [图片] 《下载测试数据》 1、统计各科前 3 名 统计结果要如下展示,每个名次一行,每个学科一列,并列名次的多人用逗号连结: [图片] 计算结果的格 ..
-
SQL 对关联的定义过于简单,关联就是两个表做笛卡尔积后再过滤,在语法上写成 A JOIN B ON …的形式。Python 关联基本上是延用 SQL 的方式,概念和方法都差不多。 esPro ..
-
MongoDB 自带的查询语法功能比较繁琐,简单的任务也要写很长代码,复杂计算更难实现,比如: SPL assists MongoDB: Only keep the running total ..
-
业务数据经常存在层次关系,比如订单包含日期、客户和订单明细,订单明细又包含价格、数量、产品,产品则包含名称和分类。 json 的可嵌套结构很适合描述这种关系,比如订单数据: [ { 'orde ..
-
数据分析或报表类应用中有时会遇到各类复杂的 SQL,嵌套了多层的、关联了自己的、动态转置的,比如: From SQL to SPL:Create columns from distinct v ..
-
数据分析经常出现跨行计算,比如比上期、比同期、移动平均等等。针对有序数据集实现跨行计算,会涉及集合相邻成员引用的问题。 比如某商家某年 12 个月的销售额已经按月份次序准备好,现在要计算最大月 ..
-
Java 计算 csv 文件的代码太麻烦,借助数据库又会导致架构复杂。esProc 提供了 JDBC 驱动和计算类库,可以在 Java 中嵌入 SPL 语句,将 csv 文件当数据表直接查询, ..
-
数据存储本质上是在灵活性、性能、易用性之间找平衡。DuckDB 和 esProc SPL 都提供自有的二进制存储形式,但在数据组织上有很大不同。 DuckDB 仍然是常规数据库机制,数据组织在 ..
-
针对数据集合的每个成员进行计算是很常见的任务,用循环语句当然能实现,但比较麻烦,算个简单的求和都要写很多句代码。 编程语言经常把这些运算封装成函数,比如 Python 的 sum 函数,求订单 ..
-
esProc SPL 支持简单 SQL,可以直接在 csv 等结构化文本文件上执行 SQL 语句,这样,不用数据库也可以用 SQL 计算了。 先下载 esProc SPL:https://ww ..
-
esProc SPL 提供了游标运算,可以用非常简单的代码操作大 csv 文件,稍加改动就能变成并行计算,还有图形化界面,比 Pyhton 方便多了。 先去这里下载 esProc SPL:ht ..
-
集合在计算机中一般都存储为数组形式,其成员天然会有个位置。数据表本质上是记录的集合,也会被存储成数组,作为成员的记录也有位置的概念。而实际应用中确实有很多分析计算都是位置相关的,但 SQL 把 ..
-
DuckDB 和 esProc SPL 都能嵌入到应用作为计算引擎,这里比较一下哪个更轻量一些。“轻量”不仅指体积大小,也体现在开发维护的简洁性上。 DuckDB 用起来确实方便,Python ..
-
DuckDB 和 esProc SPL 都支持多样数据源处理,这里比较一下两者的差异。 支持的数据源种类 DuckDB 支持的数据源类型覆盖了常见的文件格式(如 CSV、Parquet、JSO ..
-
esProc SPL 处理多层 JSON 数据要比 DuckDB 方便很多,尤其需要保留 JSON 层次以及进行复杂计算时。 DuckDB 的 JSON 处理能力还是不错的,read_json ..
-
DuckDB 可以直接读取 CSV、Parquet、JSON 等常见文件,只用一句 SQL 就能完成文件加载和查询,例如SELECT * FROM 'data.csv' WHERE price ..
-
标准 SQL 中提供了五种最常用的聚合运算:SUM/COUNT/AVG/MIN/MAX,都是对集合计算出单值。 比如日志表中找出用户 1001 第一次登录的时间,SQL 很简单: SELECT ..
-
DuckDB 风头正劲,这不是没道理的。作为桌面分析工具的当红明星,它把 SQL 玩得贼溜,CTE 递归查询、窗口函数套三层、复杂 JOIN,样样拿得出手。甚至跑个亿级数据的聚合统计,甩个SE ..
-
对于桌面数据分析用户,如果说 DuckDB 是轻巧灵活的 'SQL 瑞士军刀',那 esProc SPL 简直就是自带 Python 技能的 '全能工具箱',既保留 SQL 的便捷,又突破 S ..
-
在很多业务场景中需要在 word 文档中嵌入报表。比如下图这个报告: .. [图片] [图片] 这是一个某大学年度毕业生就业报告,报告中的表格和统计图的数据来自数据库,如果通过报表工具,制作这 ..
-
股价在上涨时通常会形成趋势,如果能抓住这些趋势,通常会带来不错的收益,本文就介绍一种常见的趋势交易策略。 在介绍买入策略之前先定义一些名词: 1. 最近的波谷:股价低于之前和之后 N 天的股价 ..
-
股市中,当天的股价和前几天的股价可能存在线性关系,据此我们制定策略如下: 1. 把当天之前100天的数据作为训练数据; 2. 训练数据中,每天的后一天的收盘价作为目标变量; 3. 训练数据中, ..
-
交易策略如下: 1. 把第二天是否上涨作为目标(target),收盘价大于前一天,target为1,否则target为-1。 2. 增加两个特征,最高价减最低价(max_dif),收盘价减开盘 ..
-
MACD从均线指标EMA衍化而来,对把握趋势性行情有着很好的应用效果,它的顶底背离是一种经过检验的“抄底逃顶”方法,是不少中长期投资者在实战中都会考虑的指标。本文就以SPL来实现MACD背离策 ..