计算&AI •
796 引用 •
800 回帖 •
419 关注
博客
关注
-
在分组时,我们经常需要把满足同一个条件的记录分配到同一组中。比如根据城市人口将城市分为大、中、小型城市,根据年收入将家庭分为富裕、中产、小康、贫困等等。根据 ..
-
有时候我们会按照序号顺序将数据进行分组和排序,把序号相同的成员分到同一组。比如按 1 到 12 月的顺序统计上一年每个月的销售总额,按照周一到周日的顺序统计 ..
-
在分组时经常会要求结果集必须按基准集合的次序出现,这种对齐分组在日常统计中是很常见的。比如按北上广深的顺序,统计某公司在这些城市的总销售额;按指定的部门顺序 ..
-
目标 集算器能直接针对数据文件写SQL查询,也能写SPL脚本支持复杂计算,为了容易给外部程序提供计算结果,提供了嵌入式JDBC驱动。本篇介绍Kettle中通用JDBC集成SPL的方法,及不同的 ..
-
在数据库之间进行数据转储,需要先将源数据库的数据导出到某文件,再把该文件中的数据导入到目标数据库中。还会有些较复杂的场景,需要对导出的文件进行一些处理后再导入到目标库。本文将探讨几种数据库转储 ..
-
有些时候,数据的次序在分组时是有意义的。我们有时会把具有相同字段值或者同时满足某些条件的相邻记录分到同一组。比如蝉联奥运会金牌榜第一名届数最长的国家是哪个, ..
-
【摘要】 从原理上分析 SQL 语句慢的原因,用代码示例给出提速办法。点击了解 ${article} 问题描述 高并发帐户查询的应用场景有很多,例如:手机银行查流水、网上营业厅查明细、手游帐户 ..
-
T+0 查询是指实时数据查询,数据统计时可以查询到最新产生的数据。对应的还有 T+1、T+7 等,对应表示只能查询 1 天或 7 天以前的数据,显然这种 T+N 查询的数据是非实时的。本文将要 ..
-
在数据库外的结构化数据计算方面,Stream 迈出了从无到有的一步;Kotlin 稍稍加强了这种能力,但编译性语言的特性使它无法走得更远;要想真正解决库外结构化数据计算的难题,还需要 SPL ..
-
一个集合X中可能存在过大或过小的异常值,希望计算一个范围,剔除集合X中过大或过小的异常值,这个范围的上下限就是阈值,较大值称为阈值上限,记为threshold_up,较小值称为阈值下限,记为t ..
-
对于按照一定次序排列的数据进行计算,经常会遇到跨行引用的情况,比如股票价格相比前一天的涨幅是多少,求某支股票的 20 日均价等等。 ..
-
把集合中具有相同属性的成员分配到同一个组,这就是分组运算。比如员工表根据部门分组,每组的员工都具有相同的部门;销售表可以根据销售年份分组,每组都是同一个年份 ..
-
【摘要】 从原理上分析 SQL 语句慢的原因,用代码示例给出提速办法。点击了解 ${article} 问题描述 我们把用来实现某种标记的“是否”型数据称为二值标签。在二值标签总数不太多,只有几 ..
-
不同类型数据库的函数语法或多或少有些差异,要想让功能相同的SQL查询语句在不同类型的数据库中都能被顺利执行,就要把各数据库都有的那些差异化函数语法进行翻译,即SQL移植。本文将探讨几种SQL移 ..
-
一个完整的微服务包括服务治理(注册 / 发现 / 注销)、服务网关、服务容错、服务通信、服务监控、服务安全、部署与编排等诸多内容。使用原生开发语言从头开发往往不太现实,因此在实现微服务时通常会 ..
-
文本文件可能是结构化的,也可能是无结构的,比如是一篇文章,一则日志,也可以是一份工资清单。未结构化的文本不能直接应用类似 SQL 式的运算,而要用更基础的文字处理运算。 下面我们根据文本文件的 ..
-
分区段查找数据,是指将数据按照指定的分段区间进行分组查询。比如根据考试成绩返回评价(优、良、中、差);根据家庭年收入返回家庭所处的资产等级(贫困、小康、中产 ..
-
XML 的多层结构计算起来难度较大,XPath 的计算能力严重不足,只能在计算需求较弱的互联网应用早期发挥作用,如今的计算需求日益复杂多变,需要 SPL 这种能力更强的 XML 计算语言。点击 ..
-
TopN 查询,即从数据中查找前 N 名 / 后 N 名。TopN 查询除了直接取值,还有查询 TopN 所在记录的详细信息,有时候还要查询 TopN 所在 ..
-
JSON 的多层结构比二维结构格式复杂,计算起来难度很大,早期的类库只能解析 JSON,没有计算能力;JsonPath 虽然提供了原始的计算语言,但计算能力较弱;SPL 是专业的计算语言,支持 ..
-
Spring Cloud 是一款优秀的微服务开发框架,基于 Spring Cloud 的可以快速搭建微服务;esProc SPL(以下简称 SPL)是一款优秀的轻量级计算引擎,基于 SPL 可 ..
-
SPL提供了httpfile函数用于访问HTTP服务器上的页面、WebService及Restful服务,通过传送服务所需的参数,获得服务返回的数据或下载文件。 httpfile函数的完整语法 ..
-
把集合中具有相同属性的成员分配到同一个组,这就是分组运算。比如员工表根据部门分组,每组的员工都具有相同的部门;销售表可以根据销售年份分组,每组都是同一个年份 ..
-
应用中有时会把某个数据库中的部分数据转储到另一个数据库,如果同类数据库且数据结构相同,则可以使用数据库DUMP工具来做。如果是异构数据库则一般会使用文本文件作为中介,但文本文件可能丢失数据类型 ..
-
【摘要】 从原理上分析 SQL 语句慢的原因,用代码示例给出提速办法。点击了解 ${article} 问题描述 漏斗转化分析属于分组时序计算,其应用场景很多,电商购买转化分析就是其中之一。在用 ..