计算&AI •
795 引用 •
796 回帖 •
415 关注
博客
关注
-
一、 问题背景与适用场景 在《[链接]》中我们见证了有序归并算法提升主子表的关联性能,在集算器中,还有进一步提高性能的办法—附表。集算器组表支持主子表保存在同一文件中 ..
-
一、 问题背景与适用场景 在主子表关联查询中,有时会遇到这样一种情况:按条件过滤后的事实表数据量很小,能够全部装载进内存或仅比内存略大一点;而要关联的维表数据量很大, ..
-
【摘要】 大表自己关联自己的情况是比较常见的需求,关系数据库实现起来性能不尽如人意。有没有更好的计算方法,可以快速计算大数据量明细表的自关联性能问题?点击 ${article} 了解集算器高性 ..
-
什么是自动建模? 自动建模也称为自动化机器学习,自动化 ML 或 AutoML,它是将机器学习模型开发过程中耗时的反复性任务自动化的过程。 业务人员、初学者、数据科学家、分析师和开发人员都可以 ..
-
**【摘要】** Mongodb 对表数据的子查询计算不如关系数据库操作方便,但通过集算器 SPL 语言来实现就容易多了 ..
-
从 SQL 到SPL基本查询语法迁移 之多表操作 上一篇我们针对单表的情形了解了如何把数据计算从 SQL 查询迁移到集算器,或者更准确地说,迁移到集算器所使用的SPL集算语言。这个迁 ..
-
【摘要】 用实例、分步骤,详细讲解多维分析(OLAP)的实现。点击了解 ${article} 实践目标 本期目标,是在完成数据类型转化基础上,实现维度排序压缩,进一步提升计算速度。 实践的步骤 ..
-
Excel文件是很常见的文件格式,读写时需要注意如下一些问题: 1、 标题行:此行是各列的名称,也可以没有标题行,第一行就是数据记录。 2、 大文件:文件数据很多,不能 ..
-
经常听人说,数据库的IO性能不佳,但说归说,并没有感性认识。我们现在就来实际测试一下,常用的Oracle和MySQL的JDBC读取性能如何。 之所以测试JDBC,是因为大部分应用是JAVA写的 ..
-
结构化文本是很常见的文件格式,对结构化文本的计算也是很常见的需求。在实现这种计算时,一种很容易想到的办法是将文件导入数据库后再计算,但这会消耗大量时间以及昂贵的数据库资源,而且有的场合下并没有 ..
-
【摘要】 SQL 的分组聚合功能,使用起来非常不灵活。当你想要针对分组后的部分子集进行某些特殊的操作时,你可 ..
-
取出各组的前N行数据是较常见的运算,比如:每个月每种产品销量最高的五天是哪五天,每位员工涨薪最多的一次是哪次,高尔夫会员成绩最差的三次是哪三次,等等。在SQL中,这类运算要用窗口函数以及kee ..
-
【摘要】 用实例、分步骤,详细讲解多维分析(OLAP)的实现。点击了解 ${article} 实践目标 本期目标是练习如何搭建多维分析后台的基础宽表,并通过 SPL 和 SQL 访问基础宽表。 ..
-
【摘要】 对于 IT 维护能力不强企业,面对经常性的数据采集上报需求建设一个较重的上报系统不太切合实际,使用 Excel 手动填写汇总又过于原始、人力消耗过大。本文介绍一种轻量级采集上报方案, ..
-
【摘要】 集算器专注于结构化数据分析与处理, 是一门新型的快速开发语言,它有什么特性呢?去乾学院 ..
-
【摘要】 高手相争,非到千招之外难分胜负;十八般武艺,又岂能一个人样样精通?面对 Python ..
-
【摘要】 日常生活中,我们会遇到各种各样的数据,小到公司通讯录,大到互联网用户行为分析。在进行数据分析处理的过程中,查询是必不可少的环节,如何更加高效地进行数据查询。点击:性能优化教案 - 查 ..
-
现代Java应用架构越来越强调数据存储和处理分离,以获得更好的可维护性、可扩展性以及可移植性,比如火热的微服务就是一种典型。这种架构通常要求业务逻辑要在Java程序中实现,而不是像传统应用架构 ..
-
[图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [ ..
-
本文介绍SPL读写文本文件和Excel文件的基本方法,包括简单的文件目录操作。 文本文件 读写结构化文本 结构化文本的格式比较规范,即每行一条记录,列之间用分隔符区分。SPL可用import/ ..
-
一、 问题背景与适用场景 什么是后半有序?如果数据集T已经按字段a、b有序,现在我们要将T按b排序或分组时,因为在a值相同的段内,b都是有序的,这种要排序或分组的字段 ..
-
随着微服务的流行,越来越多应用采用微服务架构开发。如何简单高效地在微服务中完成数据处理成为大家不得不面对的问题。以往单体应用架构下,我们可以借助数据库实施计算,SQL 是专用的集合计算语言,依 ..
-
解决Birt等报表工具制作报表的几个难题 在上一篇《Birt 如何实现不规则月份统计》中,我们讲解了如何帮助 Birt 制作这种报表的详细过程,在本文中我们再继续讨论几个类似的制作难题,并把说 ..
-
【摘要】 在计算时,如果其中每一步都需要使用到前一步或者前几步的结果,这时就需要使用递归了。递归既常见又让人头疼,有什么简单的方法可以解决各种递 ..
-
一、 问题背景与适用场景 在《[链接]》中,我们测试了将数据表事先全部加载进内存并做好关联后的查询性能优化问题,但如果内存不够大,不能将维表和事实表全部装入,那怎么办 ..