计算&AI •
872 引用 •
934 回帖 •
446 关注
博客
关注
-
是的!你没看错,SPL,Structured Process Language,就是这样一种写在格子里的开源程序设计语言,专门用于处理结构化数据。 我们知道,几乎所有编程语言都是写成文本的,那 ..
-
SQL 正在消耗数据科学家的生命 SQL 难写 数据科学家几乎都会用 SQL 做探索分析,SQL 看上去很简单,也有一定的交互性,做数据探索分析似乎很不错。 比如要进行过滤、分组等计算,简单一 ..
-
应用计算困境 顾开发还是顾架构? Java 是当前应用开发最常用的语言,但是 Java 写数据处理的代码并不简单,比如针对两个字段的分组汇总要写成这样: Map> summary = n ..
-
在现代商业环境中,数据分析已成为企业决策的重要工具。通过数据分析,企业可以更好地了解市场趋势、客户行为以及内部运营情况,从而制定出更科学的策略,提高竞争力。然而,数据分析并不是一项简单的任务, ..
-
问题描述 时空碰撞定义 某时间区间(例如7天)被分成多个固定时长(如15分钟)的时间切片,对象a和对象b在同一时间切片内的相同位置出现过,称为一次碰撞。 规则1:相同时间切片内,多次碰撞只记一 ..
-
SPL 作为专门用于结构化和半结构化数据的处理技术,在实际应用时经常能比 SQL 快几倍到几百倍,同时代码还会短很多,尤其在处理复杂计算时优势非常明显。用户在看到这些应用效果后对 SPL 往往 ..
-
随着大数据时代的来临,数据量不断增长,传统小机上跑数据库的模式扩容困难且成本高昂,难以支撑业务发展。很多用户开始转向分布式计算路线,用多台廉价的 PC 服务器组成集群来完成大数据计算任务。Ha ..
-
一、 测试背景 由于众所周知的世界经贸形势,拥有全面自主可控的IT解决方案成为摆在国家面前的一项重要任务。但是,由于目前 ..
-
SQL,在数据处理和分析领域基本上类似“普通话”的地位,几乎是一项必备的能力,但是要使用 SQL,又离不开关系数据库系统,也就是 RDBMS,这就好比普通话主要还是得在中国说才管用。当然,如果 ..
-
实时热数据报表,是指能够实时查询全量冷热数据的报表。早期业务只基于单个 TP 数据库时,这种报表并不是什么问题。但数据量大了,要拆分到专门的 AP 数据库后,就不一样了。因为冷热数据分离后,再 ..
-
本文讨论股票连涨问题,为了避免歧义,这里约定:股票连涨天数包括起始的 1 天,比如连涨 5 天意味着这 5 天内股票都在上涨,实际上只有从第 2 天开始的 4 次上涨。 数据结构和样例数据: ..
-
数据结构和样例数据: [图片] 其中 sid 是股票代码,tdate 是交易日期,close 是收盘价。 1. 查找股价上穿中位数 T 日股价中位数是指从上市日收盘价到 T 日收盘价的中位数。 ..
-
数据结构和样例数据: [图片] 其中 sid 是股票代码,tdate 是交易日期,close 是收盘价。 1. 计算每日收盘价的 12 日 EMA 某支股票上市第 1 天的 n 日 EMA 为 ..
-
订单数据表记录了近几年的销售订单信息。 [图片] 员工信息表记录了所有员工的基本信息。 [图片] 1. 汇总并关联成宽表 将原始的订单数据汇总到年。然后再和员工信息表进行关联,做成这样一张表格 ..
-
本篇接续《数据分析编程从 SQL 到 SPL:用户事件统计》, 延用用户行为表 actions,记录各个用户 9 种事件的发生时间: [图片] 【下载测试数据】 3、连续 4 天活跃度排名前 ..
-
数据结构 国家表 world.country [图片] Code 是国家编码,Name 是国家名称,Population 是国家人口。 国家语言表 world.countrylanguage ..
-
背景 报表经常会基于多种数据源,如 RDB、NoSQL、文本、Excel、MQ 等。 [图片] 借助逻辑数据仓库可以一定程度上实现多源混算,但其架构往往过于复杂和沉重,需要繁琐的预处理过程以运 ..
-
简化后的用户行为表 actions 的部分数据如下,记录各个用户 9 种事件的发生时间: [图片] 【下载测试数据】 1、计算每个用户会话次数 一个用户超过 2 天无操作或 e8 事件后 2 ..
-
背景 与一般事务处理(TP)系统相比,报表中的 SQL 更频繁地使用各种计算函数,计算逻辑也更加复杂,对 SQL 的依赖更强。报表开发中可能应对数据库的变化,不同数据库的 SQL 语法虽大体相 ..
-
本文讨论股票连涨问题,为了避免歧义,这里约定:股票连涨天数包括起始的 1 天,比如连涨 5 天意味着这 5 天内股票都在上涨,实际上只有从第 2 天开始的 4 次上涨。 数据结构和样例数据: ..
-
数据分析师的日常离不开各种数据操作,过滤、分组、汇总、排序……,面对这些基本需求,SQL 用起来确实得心应手。比如,查个用户分组销售额、筛选一批重要客户,这样的任务用 SQL 写出来就像英语一 ..
-
Excel 数据分析师们的江湖难题 在数据江湖中,Excel 数据分析师们就像一群手握“倚天剑”的侠客,凭借着 Excel 的强大交互性和简便操作,在数据的世界里快意恩仇,行侠仗义。然而,江湖 ..
-
数据分析需要探索式 对于数据分析,许多任务并非固定的查询,而是需要灵活的分析和判断。比如,电商数据中的用户行为分析、产品推荐、库存优化,或者金融行业的风险评估和客户分类等,都往往没有预先固定的 ..
-
[链接]编程学习 从[链接]开始,还有个[链接]。 这本书就是面向非专业人员编写的,不需要编程经验,有高中数学基础就可以了。 第 1-4 章介绍基本的程序逻辑(变量、分支、循环等),也是大多数 ..
-
[链接]概念与语法 先从[链接]开始。 第 1-4 章介绍基本的程序逻辑,这部分主要面向没有编程经验的初学者,专业程序员可以用十几分钟时间迅速过一遍,了解 SPL 编程的基本风格和语法,需要注 ..