计算&AI •
796 引用 •
800 回帖 •
419 关注
博客
关注
-
用 SPL 实现高性能计算,通常要将数据转存成 SPL 的格式。初次接触 SPL 的程序员对此比较陌生,参考本文可以快速上手,完成常见数据转存的工作。 这里给出了适合一般场景的样例代码,特殊情 ..
-
【摘要】 银行数据查询业务中,经常会碰到数据量很大的清单报表。由于用户输入的查询条件可能很宽泛,因此会从数据库中查出几百上千万甚至过亿行的记录,比如银行流水记录;为了避免内存溢出,一般都会使用 ..
-
销售过程是一个多环节的过程,哪个步骤有了过大瑕疵,都会导致业绩急剧下滑。而诊断出哪个步骤有瑕疵,除了无形的经验,还有量化的诊断方式,就是今天要讨论的主角:转化漏斗模型。 示例数据 为了详细讨论 ..
-
Python作为一门程序设计语言,在易读、易维护方面有独特优势,越来越多的人使用 Python 进行数据分析和处理,而 Pandas 正是为了解决数据分析任务而创建的,其包含大量能便捷处理数据 ..
-
【摘要】 零售行业门店多、客户多、库存多,经常面临的问题:1、各个业务系统之间彼此不相关联,造成信息孤岛,很难从数据中发现隐藏的问题或商机。2、日积月累,报表查询越来越慢,甚至影响业务,如市场 ..
-
【摘要】 本文介绍如何将各种结构的 Excel 文件解析成结构化数据,如普通行式、复杂表头、自由格式、交叉表、主子表、大文件等,并用 esProc SPL 举例实现。请点击 ${article ..
-
【摘要】 对于建模,大家有很多刻板印象:既需要统计学专家,又要懂 IT 技术和业务专业知识,不同部门对模型的需求不同,建模周期长等等。易明智能建 ..
-
【摘要】 本章我们讨论了关系数据库中普通的键值索引存在的弱点,以及如何进行物理设计以提高性能,如 ..
-
[图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [ ..
-
【摘要】 JSON 作为一种轻量级的数据交换格式,因其易于读写和交互的特点,已逐渐成为主流的数据类型之一。常见的编程语言大多都对 JSON 的读取与解析提供了接口,但是接下来如何把多层 JSO ..
-
【摘要】 基于数据库系统的 T+0 全量实时查询,在数据量很大时一般只能进行数据库扩容(包括分库手段),成本高昂;如果采用文件系统和生产数据库混合运算,就可以实现低成本高性能的 T+0 查询! ..
-
前言 访问多个异构数据源是大型企业应用软件非常常见的需求,人们也开发出了很多办法试图解决这个困难问题,但是这些办法往往都只是对某一种特定的场景,一直都没有异构特别理想的通用解决方案。今天,我们 ..
-
**【摘要】** 数据库 Mongodb 不能通过元素值来查询下标,在数组中实现排名次序,但可以利用集算器 SPL 语言 ..
-
[图片][图片][图片][图片][图片][图片][图片][图片][图片][图片] [链接]
-
先说观点:因为还没找到更好的。 接下来说原因,首先来看看大数据平台都在干什么。 原因 结构化数据计算仍是重中之重 大数据平台主要是为了应对海量数据存储和分析的需求,海量数据存储的确不假,除了生 ..
-
【摘要】 这一节我们对 SQL 和集算器 SPL 在序列值查找、分栏、动态行、动态列、指定序排序 ..
-
我们知道,数据库的数据处理能力是封闭的。所谓封闭性,这里是指要被数据库计算和处理的数据,必须事先装入数据库之内,数据在数据库内部还是外部是很明确的。 数据库一般有 OLTP 和 OLAP 两个 ..
-
简介: SPL 的集合是彻底的离散化集合,集合成员可以游离在集合之外,这让许多复杂的运算简单化,会让程序既写的简单,又跑得快。 [图片][图片][图片][图片][图片][图片][图片][图片] ..
-
结构化数据的计算处理一直以 SQL 为主。不过随着技术的不断发展,现在经常为了满足扩展性的需要而使用 Java 来处理数据。这样可以显著降低数据库与应用的耦合性(数据库仅用于存储),整体架构更 ..
-
一、 问题背景与适用场景 在《[链接]》中我们验证了有序归并算法提高关联性能的效果,那么还有没有进一步提升的空间呢?能不能再减少数据的读取量从而再提速呢? 通常主子关 ..
-
问题描述 X 公司资产负债表,访问人员众多,访问频次很高,明细数据约 6000 万,业务人员要等待 60 秒以上才能看到结果,响应速度严重影响业务,急需优化。 报表表样如下: [图片] 解决过 ..
-
问题介绍 要在 Java 代码中实现类似 SQL 中的 GroupBy 分组聚合运算,是比较繁琐的,通常先要声明数据结构(Java 实体类),然后用 Java 集合进行循环遍历,最后根据分组条 ..
-
【摘要】 键值查询是很常见的查询场景,在数据表上建有索引后,即使表中数据记录数巨大(几亿甚至几十亿行),用键值查询出单条记录也会很快,因为建立索引后的复杂度只有 logN 次,10 亿行数据也 ..
-
看看问题 S银行POS交易情况报表很慢,业务人员要等待一个多小时(3700秒)才能看到结果,严重影响业务。报表表样如下: [图片] 解决步骤 首先,要理解业务和计算特征。POS交易情况表连接数 ..
-
**【摘要】** 交叉汇总作为数据统计的一种分类统计计算,用 MongoDB 实现比较困难,但可以利用集算器 SPL 语 ..