数据蒋堂 •
164 引用 •
97 回帖 •
562 关注
博客
关注
-
数据库可以说是通用软件领域中最挣钱的产品了,这些年的市场也是相当热闹。这个时刻说数据库会消失,是不是有点胡扯了? 且听我一家之言。 数据库的任务主要是解决数据的存储和计算,只要应用软件还在做, ..
-
低代码这个词突然热闹起来,冒出一堆创业团队搞这东西。以前只知道代码有长短,现在才知道代码还有高低。 低代码是干吗的?说是用来做某种软件的开发平台,某种软件主要是指管理信息系统,俗称 MIS。M ..
-
SQL 可以说是在数据处理和分析领域最常用的程序语言了,有很多想从事这个数据业务但还没入门的同学都在问这个问题。但是,这个问题大概率是个无意义的问题。 且听我道来。 问这个问题的同学,要先问一 ..
-
大数据和人工智能时代,数据分析是个热门话题,数据分析师貌似也是个热门职业。很多门外汉想学,但面对浩瀚繁杂的技术,也搞不清该从哪里开始。于是,经常有人问这个问题,当然还有问得更具体的,怎么能学会 ..
-
[图片] 做一次标题党,其实我们做软件的当然没办法改变芯片的性能,也不可能真地让国产芯片超越 Intel。 这个话题从去年做过的一次性能测试说起,先看测试结果: [图片] 这些题目原本是某大用 ..
-
事物是普遍联系的,很多有业务意义的查询也会涉及多个数据表的关联。 BI 类软件通常会提供自助查询功能,有些软件还能支持关联查询,但实际使用的大多数还是单表的,关联查询功能很少被业务人员使用。涉 ..
-
我们继续讨论集合运算中的 Lamba 语法,引入和次序相关的运算能力。 SQL 延用了数学上的无序集合概念,遍历集合时也不关注次序。但计算机只能一步步地执行,循环时总会有个次序,充分利用这个次 ..
-
索引是经常用到的技术,但有些程序员对索引的原理了解不深,发现数据查询性能有问题立刻想起建索引,当然经常也没啥效果,反而消耗资源。那么到底什么时候该用索引以及该怎么用?我们来分析索引清理背后的技 ..
-
市场上绝大多数(甚至可以说是全部)云数据仓库都是基于 SQL 的,毕竟数据仓库的主要功能是分析计算,其它 NoSQL 技术的优势主要在 TP,在 AP 方面远远不敌 SQL。参与竞争的云服务商 ..
-
SPL?不是经常宣传来用于数据仓库计算的、叫板 SQL 的语言吗?还能做量化? 没错,SPL 不仅能做大数据高性能算法,还能做股票量化交易策略,不仅可以做,而且方便得很。 长话短说。近三两年来 ..
-
我们之前做过一些性能优化的案例,不算很多,还没有失手过。少则提速数倍,多则数十倍,极端情况还有提速上千倍的。提速一个数量级基本上是常态。下面是一些案例材料: [链接] [链接] [链接] [链 ..
-
编程这件事现在有点热门了,经常能在网上看到有人问该怎么学编程。不用说,问这种题的同学都是对编程没啥经验的,有不少甚至是完全零基础的。 要搞清该怎样学编程,先得问自己一个问题:为什么要学编程?学 ..
-
[图片] 我们在《多维分析预汇总的存储容量》中计算过,如果想做到 O(1) 的复杂度,至少要考虑界面用到的各种维度组合,这在维度总量稍多一点时就不可行了。 这样,我们就只能放弃 O(1) 复杂 ..
-
[图片] 在进一步讨论如何在有限空间内实现多维分析的预汇总之前,我们有必要再了解一下预汇总方案还有什么功能上的不足,也就是要搞清还有什么查询需求很可能无法通过预汇总数据获取。 1. 非常规聚合 ..
-
多维分析一般是交互式操作的,也就要求有极高的响应速度,而多维分析涉及的数据量常常很大,几千万上亿行甚至更大都有,临时统计很可能跟不上界面的操作。为了保证性能,一些多维分析产品采用了预汇总方案, ..
-
这几天有机缘结识了一位 AI 领域的大牛师弟,普及了一些 GPT 大模型的知识,趁着风头正热,做了些简单研究。 现在的神经元函数通常都是一个多元线性函数再加一个非线性的激活函数,之所以要加后者 ..
-
[链接] [链接]以下是附录 我们在摘要中说,离散数据集的设计目标是为了解决关系代数的各种问题。但前面的文字仅是在定义离散数据集的数据类型及其上的运算,并没有涉及背后的原因。仅仅阅读上面的正文 ..
-
自从 Hadoop 兴起之后,业界好象就有了这么一种共识:不再关注单机的运算性能,全靠集群堆。大家都在比谁的集群能更大,至于单机能力是否被充分发挥了,那没人关心。Hadoop 体系的诸多技术都 ..
-
BI 和 AI 中都有个 I,对应的英文单词都是 Intelligence,看起来是同一个意思。 其实不然,即使我们只在商业领域中讨论问题,BI 和 AI 中的 I 也有很大的不同。 广义地来 ..
-
所谓低代码,直观来讲,就是让代码写起来更简单容易。完成同样的任务时,代码量(也就可以理解为工作量)会比其它技术更少;另外,还有个重要指标是要对开发人员的要求足够低,如果都要 N 年经验的高手来 ..
-
[链接] [链接]八、有序归并 我们再来看同维表和主子表的 JOIN,这两种情况的优化提速手段是类似的。 我们前面讨论过,HASH JOIN 算法的计算复杂度(即关联键的比较次数)是 sum( ..
-
[链接] [链接]七、进一步的外键关联 我们继续讨论外键 JOIN,并延用上一篇的例子。 当数据量大到无法全部放进内存时,前述的地址化方法就不再有效了,因为在外存无法保存事先算好的地址。 一般 ..
-
[链接] 我们再来研究如何利用 JOIN 的特征实现性能优化,这些内容的细节较多,我们挑一些易于理解的情况来举例,更完善的连接提速算法可以参考乾学院上的《性能优化》图书及课程。 [链接]六、外 ..
-
http://c.raqsoft.com.cn/article/1620171465902 五. 解决关联查询 我们重新审视和定义了等值 JOIN 运算,并简化了语法。一个直接的效果显然是让语 ..
-
[链接] [链接]四. 维度对齐 我们再回顾前面的双子表例子的 SQL: SELECT Orders.id, Orders.customer, A.x, B.y FROM Orders LEF ..