计算＆AI •
877 引用 •
940 回帖 •
447 关注
博客
关注
-
组表是集算器提供的高性能存储格式，其原理在于将数据事先排序并以压缩方式紧致存储，好处是占用空间更小，可利用有序进行快速定位。 但这种存储方式在数据更新时会遇到麻烦，这是因为新数据也要和历史数据 ..
-
【摘要】 一般的报表工具或 BI 系统都是怎么实现大清单报表的呢？ •数据全部读出，直接报表呈现 •游标方式逐步读入呈现 •使用数据库的分页机制按页读出 传统模式实现问题： 1）全量读模式，全 ..
-
【摘要】 事实表和维表进行关联计算时，需要对维表进行频繁的随机访问，因此维表要尽量放在内存中，才能提高关联计算的性能。如果维表较大，单机内存放不下，就应该考虑用集群方式，将维表分段读入多台机器 ..
-
1. 采样( 随机的将数据分成30% 和70%) esproc A 1 =now() 2 =file('C:\\Users\\Sean\\Desktop\\esproc_vs_p ..
-
1. 添加Age 、Fullname 字段 esproc： A 1 =now() 2 =file('C:\\Users\\Sean\\Desktop\\esproc_vs_pyt ..
-
1. 增加记录：在第二的位置增加一条记录 esproc A 1 =now() 2 =file('C:\\Users\\Sean\\Desktop\\esproc_vs_pytho ..
-
【摘要】 银行自助分析系统用户多，数据量大，系统速度还要求飞快。与此同时，后台数据仓库却已经负担了太多的应用，无法为大量连接提供高性能查询。点击 ${article}，去乾学院看看集算器如何解 ..
-
【摘要】 ETL 常常做成 ELT 甚至 LET！ 这样做带来的恶果是：1）数据库臃肿、负担重，数据管理混乱；2）性能低下，时间成本高（ 数据库写入很慢），影响 ETL 窗口时间。 解决方案: ..
-
【摘要】 某省车险每天新增保单 1-2 万，三年历史保单 2 亿条数据。跑批时要计算新增保单对应的历史保单，计算复杂、数据量大、耗时很长。点击 ${article}，去乾学院看看集算器如何比存 ..
-
【摘要】 手机银行查流水、网上银行查收入、游戏账号查明细、手机营业厅查充值记录等等都属于海量账户查询场景。此场景的特点是：访问人数特别多，全量数据超大，而且不能让用户等待！点击 ${artic ..
-
【摘要】 日常数据处理中经常会发生一些临时数据计算需求。这种临时性计算具有相当的普遍性。那么，我们是用什么方法来处理这种具有普遍性的临时计算需求呢？ 去乾学院看个究竟吧！ ${article} ..
-
引言 边缘计算是随着物联网的发展而新兴起来的全新数据技术架构，由于业务需求和技术要求较以往有很大不同，本身也还在发展中，传统的技术框架和编程模式不再完全适用，很多企业在开发实施过程中遇到了很多 ..
-
前言 访问多个异构数据源是大型企业应用软件非常常见的需求，人们也开发出了很多办法试图解决这个困难问题，但是这些办法往往都只是对某一种特定的场景，一直都没有异构特别理想的通用解决方案。今天，我们 ..
-
【摘要】 传统关系型数据仓库的问题包括：成本高、计算封闭、性能差、管理难。那么，关系数据仓库问题多，为什么还要用呢？为什么不直接使用文件系统存储？我们为什么需要一种文件型数据仓库 / 集市！！ ..
-
把 Excel 文件导入关系数据库是数据分析业务中经常要做的事情，但许多 Excel 文件的格式并不规整，需要事先将其中的数据结构化后再用 SQL 语句写入数据库。JAVA程序猿经常选择使用P ..
-
【摘要】 看起来很简单的集合运算放在大数据的场景下，如果还想获得高性能就需要充分了解数据特征和计算特征才能设计出高效算法 ..
-
【摘要】 报表性能对用户的影响十分恶劣，所有用户查报表时都希望立等可取，超过 5 秒钟用户就会很不满意，更别提要求毫秒级响应的情况了。引起报表性能的原因有很多（数据量大、计算复杂、报表格式混乱 ..
-
【摘要】 介绍了如何使用集算器的组表进一步优化 JOIN 运算的方法。${article} 上一篇《优化 Join 运算的系列方法》介绍了如何使用集算器优化JOIN性能，其中数据存储使用的是集 ..
-
【摘要】 主子表是数据库最常见的关联关系之一，最典型的包括合同和合同条款、订单和订单明细、保险保单和保单明细、银行账户和账户流水、电商用户和订单、电信账户和计费清单或流量详单。当主子表的数据量 ..
-
【摘要】 由于数据量或计算复杂度原因，经常需要在数据库中创建中间表，但中间表会带来很多问题！若采用专业的数据计算引擎，又会带来怎样的好处呢？去乾学院看个究竟吧！${article} [图片][ ..
-
【摘要】 多样性数据源普遍存在，且本身没有计算能力，常规手段总是需要建设专门的数据仓库及 ETL 转入工作，增加额外工作量，且实时性也不好。若采用专业的数据计算引擎，这些不足将迎刃而解！去乾学 ..
-
【摘要】 基于数据库系统的 T+0 全量实时查询，在数据量很大时一般只能进行数据库扩容（包括分库手段），成本高昂；如果采用文件系统和生产数据库混合运算，就可以实现低成本高性能的 T+0 查询！ ..
-
【摘要】 无论存储过程还是 JAVA 程序实现的数据计算层，都会存在很多不足和不方便！若采用专业的数据计算引擎，又会带来怎样的好处呢？去乾学院看个究竟吧！${article} [图片][图片] ..
-
【摘要】 报表做不完，客户总抱怨，老板一直催，报表没完没了怎么办？ 投入很多技术力量做报表，还是疲于应付？ 技术高手用来做报表，感觉很浪费？ 缺少低成本高效率的报表开发应对方案？ 如果你也面临 ..
-
【摘要】 报表或数据查询一次等的花儿都谢了； 晚上跑批跑不完，第二天影响业务； 数据库太慢，很多计算性能太低。 查询慢、跑批慢、数据库压力大怎么办？本文将介绍一种新的计算体系和开发工具，可以解 ..
