计算&AI •
798 引用 •
800 回帖 •
420 关注
博客
关注
-
背景 前一阵,润乾在线文档系统的全文检索变得非常慢,有时二十多秒才返回结果,甚至超时失败。全文检索服务是用的第三方服务 ..
-
【摘要】 海量用户会带来高并发有关联查询,例如:网上银行、手机银行、手机营业厅、手游网游等等。数据量巨大,还要关联机构表等维表,如何保证秒级的查询速度?点击 ${article} 了解集算器高 ..
-
简介: 目前大数据已经成为热词,但是如果真的获取了很多数据,是不是一头雾水,有一种淹死在数据海洋里面的感觉,这里我们介绍一系列在数据游泳的方法,让你畅游在数据的海洋里,体会大数据的乐趣! [图 ..
-
【摘要】 “税收数据手册”主要工作是税务数据部门定期汇集各业务部门的发布表样及业务口径,要求运维公司等提供表中数据内容,由业务部门审核确认,并提交给印刷厂排版印制,最后获得纸质文档,通过分发、 ..
-
【摘要】 SQL 用起来虽然方便,但往往执行效率较差,且优化空间小;想用强大的 SPL,但学习需要时间,手头 ..
-
【摘要】 定期将大数据导出到历史库以减轻生产库的压力,再基于分库计算技术,不难实现高性能的 T+0 查询报表。但如何导出却是个问题。 冷导出相对容易,但导出过程中必须停止服务。若要保证提供不间 ..
-
简介: 回归预测是指预测的目标是连续型的变量,数据探索和预处理时与分类预测有哪些相同,哪些不同,让我们用房价预测作为案例来实战分析这些问题。 [图片][图片][图片][图片][图片][图片][ ..
-
简介: 数据挖掘作为现在的热门词汇,那么什么是数据挖掘,它又是干什么的,它是怎么工作的,真的有那么神奇吗?这里我们用中学生能理解的语言告诉您这些问题的答案。 [图片][图片][图片][图片][ ..
-
简介 titanic 幸存者预测案例是数据挖掘的入门案例,非常适合初学者来学习,这里我们就以此数据作为切入点来讲述数据挖掘的过程,感受数据挖掘的魅力。 [图片][图片][图片][图片][图片] ..
-
【摘要】 工业设备生成的数据,通常由实时数据库进行初级采集。但实时数据过于原始,无法被信息管理系统、商业智能、数据挖掘等应用直接使用,一般需要进行标准化二次采集,形成规范一致的结构化数据服务于 ..
-
在《[链接]》中我们测试过 Oracle的JDBC读出性能,现在再来测试一下写入情况。 1. ..
-
【摘要】 在实际的报表开发过程中,当我们遇到问题,往往并不能一开始就想到最优的解决办法。我们可以试着先用最简单、最容易的办法实现,然后再一步步进行优化;对比每种方案的存在的缺陷及改进后所带来的 ..
-
linux 打开数据文件的时间,实际测试要 10-20 毫秒。 主要原因是操作系统要按照目录去找文件。 所以性能要求非常严格的时候,要尽量减少文件的个数。 传统数据库比如 oracle,没有打 ..
-
【摘要】 数据仓库代表的是一种对数据的管理和使用的方式,它应当是一整套包括了 etl、数据管理、算法实现在内的完整的理论体系。但实际项目中的数据仓库总会存在不尽人意之处,比如数据源难以抽取、缺 ..
-
【摘要】 用户客群(标签)多的可以达到几千个,每个客群可能包括几十万甚至上千万的用户。要统计几个客群共同用户,同时要按照客户维度过滤。以 SQL 为基础的数据库技术(包括 Hadoop)一直很 ..
-
【摘要】 企业为了提高供应链的整体效率,通常都会把库龄计算作为整体经营业绩的考核指标之一。通过全局范围的库龄分析,及时了解热销商品和滞销商品及其分布情况,合理地进行库存调度和市场促销,可以大大 ..
-
【摘要】 石油化工行业,经常要构造特殊中间表,以物料、时间、指标名等为参数,查询出对应层级的指标值!由于前端报表模块已经定型,用户不希望再改变,所以只能按照数据库的思路造出这种中间数据集以适用 ..
-
【摘要】 随着某产权交易所的业务发展,内部产生了大量的交易数据(如:交易的标的、价格、目前交易的阶段等),这对于参与交易的相关单位非常具有参考价值!同样地,其它地区的交易所也含有很多类似的重要 ..
-
1 概要 数据整理是为业务人员进一步分析数据或进入 BI 系统前最重要的环节。随着数据时代的到来,数据来源越来越多样 (文件、大数据平台、数据库…),为数据整理带来了很多挑战。在企业里数据通常 ..
-
【摘要】 使用存储过程可以完成复杂逻辑控制,但存储过程难以调试和扩展,无法移植,所以越来越多被禁止使用。在应用端硬编码可以有效替代存储过程,但复杂度太高。通过集算器脚本可以完全替代存储过程,实 ..
-
【摘要】 管理驾驶舱是领导专用利器,岂能怠慢!内存数据库一体机可以提供秒级响应速度,可是成本太高!!点击 ${article} 了解集算器高性价比方案! 本文预计阅读时间 3 分钟。 [图片] ..
-
[图片] [图片] [图片] 概述 [图片] 应用结构 [图片] 减轻代码量 [图片] 多样性数据源 [图片] 热切换 [图片] 文件计算 [图片] 常规计算 [图片] 使用SQL [图片] ..
-
【摘要】 对于 IT 维护能力不强企业,面对经常性的数据采集上报需求建设一个较重的上报系统不太切合实际,使用 Excel 手动填写汇总又过于原始、人力消耗过大。本文介绍一种轻量级采集上报方案, ..
-
【摘要】全国产数据库面临软硬件强依赖国外技术的尴尬,硬件缺芯(90% 以上的高端芯片依赖进口),软件缺新(依赖国外的理论、模型,甚至代码)。如何让基于国产硬件运行的国产数据库性能达到甚至超越国 ..
-
多年前开发了一套报表,当时的多数据集(涉及一报表从多库关联取数) 在报表内计算是通过 select 函数加条件的方式实现 关联取数。 如 [图片]多数据集(两个数据源) 报表内关联取数 [图片 ..