推广 •
368 引用 •
105 回帖 •
0 关注
知道
关注
-
JOIN 一直是数据库性能优化的老大难问题,参与 JOIN 的大表越多,性能就越差。 想让 JOIN 跑得快,关键是要对 JOIN 分类,这样可以利用各种类型的特征来实施高效的提 ..
-
HANA是常见的内存数据库,理论上足以替代Spark,但不开源这一点劝退了很多人。Sqlite是开源的内存数据库,但只支持嵌入式调用,数据量和计算性能都受到极大限制。Redis既开源又支持高性 ..
-
HANA/SPARK/Redis都是常见的内存数据库,但架构复杂沉重,很多场景并不适用。提到简单轻量的内存数据技术,SQLite是比较常见的,优点是体积轻巧,架构简单,可直接嵌入JAVA代码。 ..
-
流行的大数据技术有Hadoop, Storm, Hive、Spark等,这些都是大集群方案,适合有海量规模数据的巨大企业。实际上,流行的大数据技术通常也源自这类头部互联网企业。很多场景下,数据 ..
-
关于存储过程的缺点讨论由来已久。这里我们不妨再盘点一下存储过程的主要缺点。 移植性差 移植性是指存储过程能否从原有数据库方便移植到到另一类数据库上。存储过程缺乏让存储过程语法变得很不通用,很难 ..
-
和DBLink原理类似的有Federated Database和Linked Server,这类数据库组件的配置都很复杂,而且大多数计算要先把数据取到本地,不能充分利用远程数据库的计算能力。C ..
-
有些数据库自带跨数据库运算功能,比如DBlink和Linked Server,但都不开源,配置也复杂,而且大多数计算要先把数据取到本地,性能比较差。对于支持跨数据库运算的开源库,Scala可以 ..
-
很多数报表工具没有现成的接口访问Salesforce,只能在自定义数据集里硬写代码,难度非常大。有些报表工具封装了相应的接口,可以通过SOQL\SOSL访问Salesforce。这种办法虽然可 ..
-
Hadoop生态系统由核心应用HDFS,以及外围应用Hive、HBase、Spark等组成。具有官方JDBC接口的Hive是最容易被报表工具访问的,其他应用只提供了API接口,访问起来就困难多 ..
-
Json/XML是多层结构的数据,很多报表工具没有直接支持,必须引入相关的第三方类库,比如JsonPath/Dom4J。这些类库计算能力较弱,代码繁琐冗长,集成过程也很麻烦。有些报表工具封装了 ..
-
报表工具一般都支持txt/csv/xls等文件数据源,但因为重展示轻计算的产品特性,一般只能对格式规则的文件进行简单计算,至于复杂些的计算任务或格式不够规则的文件,就只能另寻他法了。容易想到的 ..
-
很多报表工具都没有提供 Webservice/Restful 接口,只能通过自定义数据集硬写代码去访问。个别报表工具虽然提供了取数接口,但因为报表工具普遍只擅长展示,所以很多时候还是要另想办法 ..
-
MongoDB 是常见的 NoSQL 数据库,有些报表工具不提供 MongoDB 的接口,只能在自定义数据集里硬写代码去访问。还有些报表工具如 Birt 和 JasperReport,内置了访 ..
-
随着业务的发展,在数据分析(OLAP)应用中,数据库 / 数据仓库存储的数据越来越多,承担的计算任务越来越重,就会出现响应速度越来越慢的情况。仅仅依靠数据库扩容的办法解决这个问题是不可取的,一 ..
-
与 SQL 数据库 / 数据仓库相比,作为搜索引擎的 Elastic Search 更适用于高并发查询。比如帐户明细查询,从几千万甚至上亿条历史数据中,查找一个帐户的几条到几千条明细数据。其主 ..
-
订单和明细表如下图,订单表主键是订单号(id),明细表主键是订单号(id)和产品号(productid)。订单和明细表要按照订单号关联计算,比如:按客户和订单日期分组汇总订单金额,分组字段是订 ..
-
把SAP BW里的数据取出来,就可以利用计算语言实现逻辑复杂的统计查询。SQL的计算能力足够强,可以先用informatica、Talend等ETL工具取数,再写入数据库,最后执行SQL。但这 ..
-
使用官方或第三方封装的接口,通过官网的SOQL或SOSL语言把数据取出来,就可以随心所欲的做统计查询了。方法一,用JDBC\ODBC驱动取数,比如ascendix salesforce-jdb ..
-
简短地说,esProc SPL 是[链接]。和其它与文本的程序语言不同,[链接];作为数据计算引擎,使用[链接]。 esProc SPL 是[链接],其[链接],它可以在[链接],提供[链接] ..
-
[链接]1. 数据准备(跑批)几小时,时间不够用,后面全耽误,月末年终尤其紧张 SQL/ 存储过程太慢,数据要先导入,慢;计算时重复遍历表、反复中间结果落地,慢。跑批有时间窗口(通常是晚上几个 ..
-
润乾报表一万一套,三万买断! 1. 开源报表不好用,全凭自己编程序;商用报表又太贵,全给厂商打工了 很多软件都有开源的,报表工具也一样,但是开源报表都不好用,要么功能不全要么功能很差,需要自己 ..
-
BI,Business Intelligence,中文名称:商业智能,或者商务智能 BI 中的这个 Intelligence,智能,虽说在不同时期有不同的定义和解读,但究其根本,其实都是想通过 ..
-
BI 建设的目标 随着“大数据”时代的全面到来,企业在经历了多年的信息化建设和积累后,也进入了自己的“大数据”时代,这些从日常经营中产生、积累的海量真实数据,就成了企业的宝藏,一座隐藏着的,需 ..
-
必须有个报表工具 数据项目中,基本都会有报表需求,量往往还都不少,而且由于报表的稳定性天生比较差,在系统运行过程中,随着业务的磨合以及数据的累积、变化,用户还总会有新的、更合理的统计分析需求冒 ..
-
几乎所有的信息系统都会有报表,但在建设初期,调研了解需求时通常不会把报表作为重点,而更多的是看重业务规则、系统功能等。一是因为项目人员潜意识里就没太把报表当回事,报表处于最后的呈现环节,通常也 ..