推广 •
368 引用 •
105 回帖 •
0 关注
知道
关注
-
随着业务的发展，在数据分析（OLAP）应用中，数据库 / 数据仓库存储的数据越来越多，承担的计算任务越来越重，就会出现响应速度越来越慢的情况。仅仅依靠数据库扩容的办法解决这个问题是不可取的，一 ..
-
除了数据库，报表工具本身通常也可以连接一些非关系数据库的数据源，包括 NoSQL、文件（CSV/Excel/JSON）、Hadoop、RESTful 等。但这类数据源的计算能力较弱，往往需要将 ..
-
中间表是数据库中专门存放中间计算结果的数据表。中间表往往是为了前端查询统计更快或更方便而在数据库中建立的汇总表，这种表是由原始数据加工而成的中间结果，因此被称为中间表。 中间表的出现可能主要有 ..
-
与 SQL 数据库 / 数据仓库相比，作为搜索引擎的 Elastic Search 更适用于高并发查询。比如帐户明细查询，从几千万甚至上亿条历史数据中，查找一个帐户的几条到几千条明细数据。其主 ..
-
大数据量时，硬盘扫描和读取的时间占比很大。采用列式存储，在总列数很多而计算涉及的列很少时，只要读取需要的列即可，能够减少硬盘访问量，提高性能。事实上，很多数据仓库产品都采用了列式存储。 &nb ..
-
列式存储在很多场景下都具有性能优势，也被不少数据仓库产品采用。大数据量时，硬盘扫描和读取的时间占比很大。采用列存，在总列数很多而计算涉及的列很少时，从硬盘上仅读取需要的列即可，可以减少硬盘访问 ..
-
报表开发主要有两部分工作，一是报表数据准备，将原始数据加工成报表能用的结果集，这步通常使用 SQL、存储过程、Java 等方式实现；二是报表数据呈现，将已加工好的数据以图表方式呈现出来，这步通 ..
-
多维分析应用中，事实表会有很多维表，比如，订单表的维表如下图： [图片] 这些维表和事实表的关联运算就是 SQL 中的 JOIN，数据库技术一般采用 HASH JOIN 算法实现。这个算法每次 ..
-
订单和明细表如下图，订单表主键是订单号（id），明细表主键是订单号（id）和产品号（productid）。订单和明细表要按照订单号关联计算，比如：按客户和订单日期分组汇总订单金额，分组字段是订 ..
-
有些报表的数据准备过程比较复杂，很难用 SQL 写出来，这时就可以使用存储过程来实现。存储过程支持多步运算，可以编写复杂的计算过程，同时库内计算可以充分利用数据库的计算能力。 不过，存储过程的 ..
-
有些报表的数据准备动作比较复杂，不能简单地用 SQL 写出来，于是常常会用 Java 来完成报表的数据准备。这虽然很灵活，但缺点也十分明显。在实现难度上，Java 缺乏专门面向结构化数据计算的 ..
-
标签是指用“是否”型数据来实现某种标记，计算时要过滤出指定几个标签都为“是”的数据，再做进一步统计。比如：用标签表示客户是否为白领、是否活跃、是否注册等等，要统计“活跃”、“注册”两个标签都为 ..
-
高并发帐户查询，是要在几千万甚至几亿的帐户历史数据中，快速找到某个帐户的几条到几千条明细。计算很简单，把数据查出来就可以了，关键是大并发时，响应速度要达到秒级甚至更快！ 在数据库中，用索引查找 ..
-
WHERE 中的 IN 是要过滤出某字段值包含在给定枚举值集合中的记录，比如：查出某几个城市的客户、某些类型的订单等等。 数据库做 IN 过滤时，要用字段值和值集合的成员作比较计算。若采用顺序 ..
-
计算 TopN 的 SQL 语句，描述出来的算法是把数据大排序后取出前 N 名。有些数据库优化做的比较好，全集 TopN 没有做大排序，性能尚可。但对于分组后计算组内 TopN 这种更复杂的情 ..
-
把SAP BW里的数据取出来，就可以利用计算语言实现逻辑复杂的统计查询。SQL的计算能力足够强，可以先用informatica、Talend等ETL工具取数，再写入数据库，最后执行SQL。但这 ..
-
使用官方或第三方封装的接口，通过官网的SOQL或SOSL语言把数据取出来，就可以随心所欲的做统计查询了。方法一，用JDBC\ODBC驱动取数，比如ascendix salesforce-jdb ..
-
一个应用系统部署时可能连接不同的数据库，这时如果报表开发中使用了某种数据库独有的语法（数据库方言），那么报表的移植性就会很差。如何增强报表在面对不同数据库时的移植性呢？ 要解决这个问题就要避免 ..
-
数据表SSEC是上证指数历史数据，部分数据如下： TDATE CLOSING OPENING HIGHEST LOWEST VOLUME … … … … … 2020-01-02 3085.2 ..
-
数据表EMPLOYEE是员工数据，部分数据如下： EID NAME GENDER STATE HIREDATE SALARY 1 Rebecca F California 2005/3/11 ..
-
数据表EMPLOYEE是员工数据，部分数据如下： EID NAME GENDER STATE HIREDATE SALARY 1 Rebecca F California 2005/3/11 ..
-
开启MongoDB的Connector服务后，可以通过MySQL JDBC执行SQL。官方工具的优点是适配性极佳，几乎无须配置就能使用，缺点是计算能力较弱，比如不支持窗口函数，所以官方给的建议 ..
-
用MongoDB官方的查询语言就可以做join，但只能用$lookup函数实现left jon，其他类型的连接就要在$lookup的基础上自行修改了，而且很难改出来cross join。另外， ..
-
可以用官方的Json风格的语法查询或统计MongoDB，优点是稳定可靠，缺点是语法古怪难掌握，很多基本计算都不支持，计算能力一般，而且代码非常繁琐。另一种方法是使用函数式编程风格的Hibern ..
-
WebService/Restful返回的XML/Json属于多层数据，解析难度低，但计算难度高。传统方法是先用Dom4J/JsonPath之类的开源类库去解析，再用XPath/JsonPat ..
