计算＆AI •
902 引用 •
973 回帖 •
449 关注
博客
关注
-
我们知道，大数据运算性能的瓶颈常常是在外存（也就是硬盘）IO上，因为外存访问性能要比内存低一两个数量级。因此，做性能优化时，减少硬盘的访问量有时要比减少CPU计算量更为重要。同一个任务，如果能 ..
-
经常听人说，数据库的IO性能不佳，但说归说，并没有感性认识。我们现在就来实际测试一下，常用的Oracle和MySQL的JDBC读取性能如何。 之所以测试JDBC，是因为大部分应用是JAVA写的 ..
-
一、 测试背景 由于众所周知的世界经贸形势，拥有全面自主可控的IT解决方案成为摆在国家面前的一项重要任务。但是，由于目前 ..
-
1555587476131 在制作业务报表时，经常会遇到一些单独依靠报表工具难以解决的问题。本文将针对几个 Jasper 报表工具用户在国外论坛中提出的现实问题，介绍如何用集算器 SPL 语言 ..
-
解决Birt等报表工具制作报表的几个难题 在上一篇《Birt 如何实现不规则月份统计》中，我们讲解了如何帮助 Birt 制作这种报表的详细过程，在本文中我们再继续讨论几个类似的制作难题，并把说 ..
-
集算器实现 Birt 等报表工具中不规则月份统计 业务报表中，常常需要基于时间段进行分组统计，特别是按月份分组统计。一般情况如果按自然月就简单了，但有时候也会需要按不规则月份来分组。例如，某企 ..
-
【摘要】 把 Excel 文件导入关系数据库是数据分析业务中经常要做的事情，但许多 Excel 文件的格式并不规整，需要事先将其中的数据结构化后再用 SQL 语句写入数据库。而一般情况下， ..
-
有时我们需要用程序来自动生成 Excel 文件，但 Excel 本身带的 VBA 并不好用，而集算器作为数据处理工具实现这个需求就会方便很多。本文将介绍如何用集算器生成 Excel 文件， ..
-
多年前开发了一套报表，当时的多数据集（涉及一报表从多库关联取数） 在报表内计算是通过 select 函数加条件的方式实现 关联取数。 如 [图片]多数据集（两个数据源） 报表内关联取数 [图片 ..
-
【摘要】 定期将大数据导出到历史库以减轻生产库的压力，再基于分库计算技术，不难实现高性能的 T+0 查询报表。但如何导出却是个问题。 冷导出相对容易，但导出过程中必须停止服务。若要保证提供不间 ..
-
【摘要】 键值查询是很常见的查询场景，在数据表上建有索引后，即使表中数据记录数巨大（几亿甚至几十亿行），用键值查询出单条记录也会很快，因为建立索引后的复杂度只有 logN 次，10 亿行数据也 ..
-
【摘要】 随着数据量增大，数据库性能明显降低，这时会考虑分库方案（把原来一个库中的数据按一定规则分摊到多个库中）。从而分摊单库压力，来缓解当下的性能问题。可谓分库一时爽，一直分库一直爽。 但是 ..
-
[图片] [图片] [图片] 概述 [图片] 应用结构 [图片] 减轻代码量 [图片] 多样性数据源 [图片] 热切换 [图片] 文件计算 [图片] 常规计算 [图片] 使用SQL [图片] ..
-
[图片] [图片] [图片] [图片] 报表与计算层 [图片] 报表 [图片] 传统与创新 [图片] [图片] 困难计算 [图片] 特殊格式 [图片] 多样性数据源 [图片] 非数据库上的SQ ..
-
【摘要】 数据分析场景中，充斥着聚合运算，常见的有求和、计数、均值、最大最小值等等，想要得到正确的结果值，遍历技术必不可少，如何更加高效地对数据进行遍历？点击：性能优化教案 - 遍历，来乾学院 ..
-
【摘要】 日常生活中，我们会遇到各种各样的数据，小到公司通讯录，大到互联网用户行为分析。在进行数据分析处理的过程中，查询是必不可少的环节，如何更加高效地进行数据查询。点击：性能优化教案 - 查 ..
-
【摘要】 数据分析场景中，充斥着聚合运算，常见的有求和、计数、均值、最大最小值等等，想要得到正确的结果值，遍历技术必不可少，如何更加高效地对数据进行遍历？点击：性能优化技巧 - 遍历，来乾学院 ..
-
【摘要】 日常生活中，我们会遇到各种各样的数据，小到公司通讯录，大到互联网用户行为分析。在进行数据分析处理的过程中，查询是必不可少的环节，如何更加高效地进行数据查询。点击：性能优化技巧 - 查 ..
-
【摘要】 当数据量巨大时，使用大批量随机键值集获取对应记录集合，不仅仅考验数据库软件本身，更在于程序员对数据的理解！如何在硬件资源有限的情况下将性能发挥到极致？点击：[链接]，来乾学院一探究竟 ..
-
【摘要】 当数据量巨大时，使用大批量随机键值集获取对应记录集合，不仅仅考验数据库软件本身，更在于程序员对数据的理解！如何在硬件资源有限的情况下将性能发挥到极致？点击：超大数据下大批量随机键值的 ..
-
现代数据分析业务（如常见的报表应用）经常要从不同系统中提取数据，这些数据分散在各个地方，格式和存储形式也不一样，更新速度也不统一。CRM 里的销售数据、财务系统里的财务数据，ERP 里的库存数 ..
-
SQL 用于数据分析其实会很浅 SQL 被广泛用于数据分析，经常会被当成数据分析师的默认技能。的确，数据库环境下会写 SQL 是很方便，想查什么写句 SQL 似乎就能搞定。比如，查个用户分组销 ..
-
实时热数据报表，是指能够实时查询全量冷热数据的报表。早期业务只基于单个 TP 数据库时，这种报表并不是什么问题。但数据量大了，要拆分到专门的 AP 数据库后，就不一样了。因为冷热数据分离后，再 ..
-
背景 报表经常会基于多种数据源，如 RDB、NoSQL、文本、Excel、MQ 等。 [图片] 借助逻辑数据仓库可以一定程度上实现多源混算，但其架构往往过于复杂和沉重，需要繁琐的预处理过程以运 ..
-
背景 与一般事务处理（TP）系统相比，报表中的 SQL 更频繁地使用各种计算函数，计算逻辑也更加复杂，对 SQL 的依赖更强。报表开发中可能应对数据库的变化，不同数据库的 SQL 语法虽大体相 ..
