数据蒋堂 •
222 引用 •
16 回帖 •
377 关注
博客
关注
-
[链接]前言 大数据的技术本质就是高性能，有了足够的性能，大数据分析才能实实在在地落地。 性能优化要在确定有限的硬件条件下实施，软件并不能改变硬件的速度，我们能做的是设计更低复杂度的算法，使实 ..
-
[链接]前言 编程，如同驾驶，越来越成为现代人的一项基本技能。掌握编程技能，能够用编程处理日常工作生活中的问题，其好处是无庸多言的。 但是，当前 IT 领域的程序语言几乎全部是面向专业人员设计 ..
-
自从 Hadoop 兴起之后，业界好象就有了这么一种共识：不再关注单机的运算性能，全靠集群堆。大家都在比谁的集群能更大，至于单机能力是否被充分发挥了，那没人关心。Hadoop 体系的诸多技术都 ..
-
SPL？不是经常宣传来用于数据仓库计算的、叫板 SQL 的语言吗？还能做量化？ 没错，SPL 不仅能做大数据高性能算法，还能做股票量化交易策略，不仅可以做，而且方便得很。 长话短说。近三两年来 ..
-
BI 和 AI 中都有个 I，对应的英文单词都是 Intelligence，看起来是同一个意思。 其实不然，即使我们只在商业领域中讨论问题，BI 和 AI 中的 I 也有很大的不同。 广义地来 ..
-
所谓低代码，直观来讲，就是让代码写起来更简单容易。完成同样的任务时，代码量（也就可以理解为工作量）会比其它技术更少；另外，还有个重要指标是要对开发人员的要求足够低，如果都要 N 年经验的高手来 ..
-
数据库可以说是通用软件领域中最挣钱的产品了，这些年的市场也是相当热闹。这个时刻说数据库会消失，是不是有点胡扯了？ 且听我一家之言。 数据库的任务主要是解决数据的存储和计算，只要应用软件还在做， ..
-
我们之前做过一些性能优化的案例，不算很多，还没有失手过。少则提速数倍，多则数十倍，极端情况还有提速上千倍的。提速一个数量级基本上是常态。下面是一些案例材料： [链接] [链接] [链接] [链 ..
-
低代码这个词突然热闹起来，冒出一堆创业团队搞这东西。以前只知道代码有长短，现在才知道代码还有高低。 低代码是干吗的？说是用来做某种软件的开发平台，某种软件主要是指管理信息系统，俗称 MIS。M ..
-
[链接] [链接]八、有序归并 我们再来看同维表和主子表的 JOIN，这两种情况的优化提速手段是类似的。 我们前面讨论过，HASH JOIN 算法的计算复杂度（即关联键的比较次数）是 sum( ..
-
[链接] [链接]七、进一步的外键关联 我们继续讨论外键 JOIN，并延用上一篇的例子。 当数据量大到无法全部放进内存时，前述的地址化方法就不再有效了，因为在外存无法保存事先算好的地址。 一般 ..
-
[链接] 我们再来研究如何利用 JOIN 的特征实现性能优化，这些内容的细节较多，我们挑一些易于理解的情况来举例，更完善的连接提速算法可以参考乾学院上的《性能优化》图书及课程。 [链接]六、外 ..
-
http://c.raqsoft.com.cn/article/1620171465902 五. 解决关联查询 我们重新审视和定义了等值 JOIN 运算，并简化了语法。一个直接的效果显然是让语 ..
-
[链接] [链接]四. 维度对齐 我们再回顾前面的双子表例子的 SQL： SELECT Orders.id, Orders.customer, A.x, B.y FROM Orders LEF ..
-
[链接] [链接]三. JOIN 的简化 我们先看如何利用关联都涉及主键这个特征来简化 JOIN 的代码书写，分别讨论这三种情况。 1. 外键属性化 先看个例子，设有如下两个表： employ ..
-
[链接] [链接]二. 等值 JOIN 的剖析 我们来考察下面三种等值 JOIN： 1. 外键关联 表 A 的某个字段和表 B 的主键字段关联（所谓字段关联，就是前一节说过的在等值 JOIN ..
-
连接运算（JOIN）一直是 SQL 中的老大难问题。在关联表稍多一点的时候，代码书写就变得很容易出错了。而且因为 JOIN 语句的复杂，导致关联查询也一向是 BI 软件的软肋，几乎没有 BI ..
-
报表的业务稳定性天生很差，业务开展过程中会催生出许多新的查询统计需求，这就会造成了没完没了的报表，这也是许多行业软件开发商头疼的事情。投入很多人力依然搞得灰头土脸，也花了不少钱买了报表工具和 ..
-
看到有不少同学在问这个问题，但这个问题大概率是个无意义的问题，而这个帖子可能也回答不了这个问题。 问这个问题的同学，要先问一下自己，学 SQL 打算做什么？ 希望学会后能写 SQL 语句做数据 ..
-
[链接]后记 本书共 60 节，讲述了几十种结构化大数据的基础高性能算法或存储方案。我们已经在较多实际场景灵活应用过这些方法，使用 SPL 实现的算法，和传统关系数据库上的 SQL 相比，经常 ..
-
[链接] [链接]9.7 多作业负载均衡 和单机上的多线程并行类似，第一节中讲述的多机并行框架也会等待最慢的分机返回结果后才会继续。我们可以尽量使分机计算的数据量更均衡，但并不能保证各分机执行 ..
-
[链接] [链接]9.6 备胎式容错 事先把数据加载进内存，能够获得比外存好得多的性能。数据量太大超出单机内存时，也可以利用集群的分机分段加载，同时分担计算量。我们前述的多机并行框架以及集群表 ..
-
[链接] [链接]9.5 冗余式容错 做集群运算时必须要考虑容错。单机时如果发生机器失效，那运算也就失效了。而集群时仅有少量几个分机失效仍然可能让集群继续有工作能力。 要容错必须要用冗余。如果 ..
-
[链接] [链接]9.4 分段维表 维表需要被随机访问，而外存不具备这样的能力，所以我们尽量要把维表装入内存。如果维表大到一台分机的内存装不下时，我们就试图在多个分机的内存中加载它。 较大的维 ..
-
[链接] [链接]9.3 复写维表 我们来讨论外键关联，先看小维表的情况，也就是可以把维表装入分机内存的情况。 那么，把维表装入哪个分机的内存呢？ 在所有分机都装入一份。 集群下的事实表很大， ..
