数据蒋堂 •
175 引用 •
108 回帖 •
590 关注
博客
关注
-
TP 太撑上 AP，这几乎是业界的通识，而且也有了多年的成功实践，这还有什么可讨论的吗？ 上了 AP 库确实能缓存 TP 库的计算压力，而且 AP 库通常计算性能更好，还能给用户带来更优的体验 ..
-
没错，就是著名的 JOIN。 JOIN 一直是数据库计算的老大难问题，业界想了很多办法来计算它。如果不做任何优化，那就是两个关联表循环遍历，这是个乘法级的复杂度，数据量稍大一点就受不了。成熟的 ..
-
手头有些 csv/xls 文件，比如这样的： [图片] [图片] 这种数据很适合用 SQL 做查询，但可惜 SQL 只能用在数据库，要安装个数据库并把这些文件导入，为这么个目标搞的整个应用系统 ..
-
就是非常不起眼的帐号去重计数，用 SQL 写就是 COUNT(DISTINCT …)。 帐号去重计数在商业分析中很常见也有重要的业务意义。这里的帐号可能是用户 ID、银行帐户、手机号、车牌号、 ..
-
Oracle 是普遍使用的数据库，它不是专业的分析型数据库，在数据量较大时常常会计算性能不佳，影响用户体验。现在有不少新的分析型数据库在性能上比 Oracle 更快，甚至可以说远超。那么在 O ..
-
Hibernate,Mybatis 以及新兴的 JOOQ 等 ORM 技术能够方便地将数据库表映射成 Java 对象，并提供自动读写能力。ORM 技术使得用 Java 开发数据库应用变得更为高 ..
-
大数据时代的分布式数仓（如 MPP）是个热门技术，甚至到了提到数据仓库言必称分布式的地步。 但是，分布式数仓真有必要吗？毕竟这些分布式数仓产品都不便宜，无论是采购成本还是运维成本都很高。是不是 ..
-
年代久远的数据使用频率通常会变低，这时候怎么存储和计算就是个问题。 使用频率低并不等于完全不再使用。如果把这些数据都从数据库中归档出去，再查询统计时又要再次导入数据库，费时费力。经常会发生查询 ..
-
微服务这些年比较时髦，用 Java 取代 SQL 及存储过程开发业务逻辑，确实能获得架构上的优势，细节这里就不展开了，微服务能流行当然有它的道理。 但微服务真地“微”吗？ 我们知道，面对同样业 ..
-
更多地使用 Java 而避免存储过程和复杂 SQL 是当前应用开发的一个潮流，这会在架构上带来优势，但用 Java 实现 SQL 式的运算并不是非常方便，很多任务要从头写起，开发效率其实反而会 ..
-
数据库可以说是通用软件领域中最挣钱的产品了，这些年的市场也是相当热闹。这个时刻说数据库会消失，是不是有点胡扯了？ 且听我一家之言。 数据库的任务主要是解决数据的存储和计算，只要应用软件还在做， ..
-
低代码这个词突然热闹起来，冒出一堆创业团队搞这东西。以前只知道代码有长短，现在才知道代码还有高低。 低代码是干吗的？说是用来做某种软件的开发平台，某种软件主要是指管理信息系统，俗称 MIS。M ..
-
SQL 可以说是在数据处理和分析领域最常用的程序语言了，有很多想从事这个数据业务但还没入门的同学都在问这个问题。但是，这个问题大概率是个无意义的问题。 且听我道来。 问这个问题的同学，要先问一 ..
-
大数据和人工智能时代，数据分析是个热门话题，数据分析师貌似也是个热门职业。很多门外汉想学，但面对浩瀚繁杂的技术，也搞不清该从哪里开始。于是，经常有人问这个问题，当然还有问得更具体的，怎么能学会 ..
-
[图片] 做一次标题党，其实我们做软件的当然没办法改变芯片的性能，也不可能真地让国产芯片超越 Intel。 这个话题从去年做过的一次性能测试说起，先看测试结果： [图片] 这些题目原本是某大用 ..
-
我们再来研究如何利用 JOIN 的特征实现性能优化，这些内容的细节较多，我们挑一些易于理解的情况来举例，更完善的连接提速算法可以参考乾学院上的《性能优化》图书及课程。 六、外键预关联 先看全内 ..
-
事物是普遍联系的，很多有业务意义的查询也会涉及多个数据表的关联。 BI 类软件通常会提供自助查询功能，有些软件还能支持关联查询，但实际使用的大多数还是单表的，关联查询功能很少被业务人员使用。涉 ..
-
我们继续讨论集合运算中的 Lamba 语法，引入和次序相关的运算能力。 SQL 延用了数学上的无序集合概念，遍历集合时也不关注次序。但计算机只能一步步地执行，循环时总会有个次序，充分利用这个次 ..
-
索引是经常用到的技术，但有些程序员对索引的原理了解不深，发现数据查询性能有问题立刻想起建索引，当然经常也没啥效果，反而消耗资源。那么到底什么时候该用索引以及该怎么用？我们来分析索引清理背后的技 ..
-
市场上绝大多数（甚至可以说是全部）云数据仓库都是基于 SQL 的，毕竟数据仓库的主要功能是分析计算，其它 NoSQL 技术的优势主要在 TP，在 AP 方面远远不敌 SQL。参与竞争的云服务商 ..
-
SPL？不是经常宣传来用于数据仓库计算的、叫板 SQL 的语言吗？还能做量化？ 没错，SPL 不仅能做大数据高性能算法，还能做股票量化交易策略，不仅可以做，而且方便得很。 长话短说。近三两年来 ..
-
我们之前做过一些性能优化的案例，不算很多，还没有失手过。少则提速数倍，多则数十倍，极端情况还有提速上千倍的。提速一个数量级基本上是常态。下面是一些案例材料： [链接] [链接] [链接] [链 ..
-
编程这件事现在有点热门了，经常能在网上看到有人问该怎么学编程。不用说，问这种题的同学都是对编程没啥经验的，有不少甚至是完全零基础的。 要搞清该怎样学编程，先得问自己一个问题：为什么要学编程？学 ..
-
[图片] 我们在《多维分析预汇总的存储容量》中计算过，如果想做到 O(1) 的复杂度，至少要考虑界面用到的各种维度组合，这在维度总量稍多一点时就不可行了。 这样，我们就只能放弃 O(1) 复杂 ..
-
[图片] 在进一步讨论如何在有限空间内实现多维分析的预汇总之前，我们有必要再了解一下预汇总方案还有什么功能上的不足，也就是要搞清还有什么查询需求很可能无法通过预汇总数据获取。 1. 非常规聚合 ..
