• 润乾报表新版发布,自带开源报表中心,拥有完整 BI 功能 “高大上”的商业智能(BI)系统,一直是某些著名厂商的天下。国外的…和…,价格那是相当的昂贵,国内的…及…,价钱那也是一样的不菲。难道 ..
  • SQL,在数据处理和分析领域基本上类似“普通话”的地位,几乎是一项必备的能力,但是要使用 SQL,又离不开关系数据库系统,也就是 RDBMS,这就好比普通话主要还是得在中国说才管用。当然,如果 ..
  • •      •    1 回帖   3,523 浏览    •   2018-08-15 14:45:58

    报表没完没了怎么办 

    [图片] 应用系统软件项目中有一个普遍现象,就是报表总也做不完。不管是领导需要的宏观数据统计重点的变化,还是业务部门的计算口径的变化,都会造成报表需求的频繁变更。报表项目组就要不断修改现有报表 ..
  • •      •    2,740 浏览    •   2018-08-15 14:46:21

    为什么会有这么多中间表? 

    [图片] 中间表的由来 中间表是数据库中专门存放中间计算结果的数据表。报表系统中的中间表是普遍存在的。那么,这些中间表是如何出现的?为什么中间表会越来越多?中间表会给项目组带来什么样的困扰,如 ..
  • 问题的提出 BI 系统的常见结构是:前端是 BI 应用,负责多维分析的用户操作和结果呈现;后台是数据库 / 数据仓库,负责数据计算和存储。前端和后台之间用 SQL 作为接口。 实际应用中,常常 ..
  • 销售过程是一个多环节的过程,哪个步骤有了过大瑕疵,都会导致业绩急剧下滑。而诊断出哪个步骤有瑕疵,除了无形的经验,还有量化的诊断方式,就是今天要讨论的主角:转化漏斗模型。 示例数据 为了详细讨论 ..
  • •      •    2,688 浏览    •   2018-08-10 14:54:36

    怎样生成有关联的测试数据 

    [图片] 在向用户推荐新的数据处理技术,特别是涉及性能优化的场景时,经常会碰到生成测试数据的需求。毕竟,新方案要经过验证才能提交,而优化过程也不是一次就做完的,需要多次不断的迭代改进,这就需要 ..
  • •      •    1,128 浏览    •   2018-08-10 14:51:37

    遍历复用 

    [图片] 减少外存(硬盘)访问量一直是提高大数据计算性能的永恒话题,我们也讨论过列存、压缩等直接减少访问量甚至存储量的手段。除了这些存储层面的方法外,在算法和计算实现环节,也可以想办法减少外存 ..
  • •      •    1,089 浏览    •   2021-11-09 08:53:31

    数据压缩随笔 

    [图片] 我们知道,外存(硬盘)的性能远远低于内存,即使是同样复杂度的运算(CPU 计算量相同),如果能减少外存的访问量,也会大大提高整体性能。甚至有时我们需要用 CPU 换硬盘,即宁可多消耗 ..
  • [图片] 最近碰到几家用户在使用 HBase 或者试图使用 HBase 来做高性能查询,场景也比较类似,就是从几十亿甚至上百亿记录中按键值找出相关记录来。按说,这种 key-value 式的数 ..
  • [图片] 用户在选购 BI 解决方案的时候,常常会更关注界面环节的功能指标,比如美观性、操作的流畅性、移动端支持等等。毕竟,BI 是要给业务人员使用的,这些看得见的内容一般不容易被遗漏。 然而 ..
  • [图片] 经常有用户会问这个问题,你家的产品能处理多大数据量?似乎是这个值越大产品就越牛。 这个问题,其实没多大意义。 能处理多大的数据量,还有个很关键的因素是期望的响应时间,在脱离这个因素单 ..
  • [图片] 大数据的性能是个永恒的话题。但是,在实际工作中我们发现,许多人都不知道如何进行最简单的性能估算,结果经常被大数据厂商忽悠:)。 这个办法在以往也提到过,不过没有以这个题目明确地点出来 ..
  • •      •    1,087 浏览    •   2018-08-10 14:41:42

    大清单报表的打印? 

    [图片] 我们谈了大清单报表的呈现方法,其实有时候这些报表还需要打印,比如银行打印流水对账单。 那么,打印是不是也要像呈现那样做一个缓存机制呢? 没有这个必要。打印和浏览不同,一般是从头到尾过 ..
  • •      •    1,985 浏览    •   2018-08-10 14:41:21

    大清单报表应当怎么做? 

    [图片] 在数据查询时,有时会碰到数据量很大的清单报表。用户输入的查询条件很宽泛,可能会从数据库中查出几百上千万行甚至过亿的记录。如果等着把这些记录全部检索出来再生成报表呈现,那需要很长时间, ..
  • •      •    1,104 浏览    •   2018-08-10 14:40:58

    大数据技术的 4 个 E 

    [图片] 大数据的 4 个 V 说法在业界已经尽人皆知,这是指的大数据本身的特征。现在我们来考察一下用于处理大数据的技术应该具有的特性。为方便记忆,类似 4 个 V,我们把这些特性总结成 4 ..
  • •      •    951 浏览    •   2018-08-10 14:40:37

    做基础软件很悲壮? 

    [图片] 这几天中国数据库界出了一件悲伤的事情,南大通用创始人崔维力先生突然因病去世。我和崔先生神交已久,但却未曾谋面,一直希望有机会当面沟通讨教,这一下就成永远的遗憾了。 崔先生的英年早逝( ..
  • •      •    946 浏览    •   2018-08-10 14:39:59

    做基础软件要投入很多钱? 

    [图片] 现在有个说法,国家对基础软硬件的投入太少,经常会说微软、Oracle、Intel 这些巨头每年的研发费有多少多少,我们的投入连个零头都不到,当然做不出什么象样的东西了。 看起来还真是 ..
  • •      •    979 浏览    •   2018-08-10 14:39:36

    国产操作系统还能怎么做? 

    [图片] 一家之言,开个脑洞。 操作系统在市场上的关键点,并不在于进程管理、文件系统这些看起来很核心的东西,这些东西真地可以抄(借鉴一下没关系的)。操作系统要普及成功,关键在于上面开发技术的方 ..
  • •      •    1,716 浏览    •   2018-08-10 14:37:01

    国产数据库通通都没戏! 

    [图片] 这标题摆明了就是招人骂,一下子把国内做数据库的同行们都得罪了,甚至连自己都没落下(我也算做数据库的,而且当然也是国产的)。 这观点已经有 N 年了,而且也多次讲过。这次正好有个热点来 ..
  • •      •    1,088 浏览    •   2018-08-10 14:36:27

    人工智能中的“人工” 

    [图片] 自从 AlphaGo 赢了之后,人工智能就变得非常热门了。不过,大家在关注“智能”时,却很少把注意力放在“人工”上,似乎感觉上了人工智能之后,一切都能自动化了。其实,这份智能的背后有 ..
  • •      •    1,064 浏览    •   2018-08-10 14:32:29

    存储和计算技术的选择 

    [图片] 前一阵子公司有个售前来沟通某个用户的情况:数据量比较大,又涉及很多复杂的关联计算,在数据库中用 SQL 计算性能很差。本来这种场景是比较适合集算器的集文件(集算器特有的压缩二进制格式 ..
  • •      •    1,195 浏览    •   2018-08-10 14:31:23

    区块链技术的一些疑问 

    [图片] 下面是我在学习了解区块链技术过程中产生的疑问,思考问题的过程中也会让自己对这项技术理解得更深刻。我不算初学者(知道区块链已有五年之久了),但一直也没有深入学习,不能算链圈的专业人士, ..
  • •      •    914 浏览    •   2018-08-10 14:30:55

    数据蒋堂新一年 

    [图片] 时光匆匆,《数据蒋堂》已经走过一年。在这里,也庸俗地感谢一下读者们的一路相伴! 老实说,这一年写这玩意儿有点难度的,主要原因是时间周期卡得有点死,每周一篇执行起来是不太容易,一开始小 ..
  • •      •    4,986 浏览    •   2020-03-05 15:17:52

    如何优化多数据集关联报表 

    【摘要】 关联计算在集合运算中的复杂度无出其右,在报表业务中经常引发查询性能问题,如何优化是大家经常面临的难题!这里《${article}》尝试列举各种报表关联情况,并给出优化方案,提升多数据 ..
关注乾学院公众号