推广 •
368 引用 •
105 回帖 •
0 关注
知道
关注
-
MongoDB 是常见的 NoSQL 数据库，有些报表工具不提供 MongoDB 的接口，只能在自定义数据集里硬写代码去访问。还有些报表工具如 Birt 和 JasperReport，内置了访 ..
-
随着业务的发展，在数据分析（OLAP）应用中，数据库 / 数据仓库存储的数据越来越多，承担的计算任务越来越重，就会出现响应速度越来越慢的情况。仅仅依靠数据库扩容的办法解决这个问题是不可取的，一 ..
-
ClickHouse（简称 CH）是最近很受关注的开源分析数据库，据说挺神的，做 OLAP 计算很快。很多被性能问题折磨的用户都有兴趣尝试一下。 CH 到底是不是真有那么神呢？我们做一些对比测 ..
-
与 SQL 数据库 / 数据仓库相比，作为搜索引擎的 Elastic Search 更适用于高并发查询。比如帐户明细查询，从几千万甚至上亿条历史数据中，查找一个帐户的几条到几千条明细数据。其主 ..
-
信息化的项目中基本都有报表的需求，如果比较简单，量也少，那开发人员手工在页面里画就可以，如果数量多，又复杂，而且需求多变，还手工做的话就不现实了，因为做起来太费劲，而且工作量太大了，这时候就需 ..
-
提到人工智能，大家首先想到就是智能，其实不然，在智能的背后还有很多人工，正所谓有多少智能就有多少人工。以数据挖掘为例，众所周知 AI 模型很厉害可以智能地帮我们从数据中挖掘有用的价值，可以帮我 ..
-
随着大数据技术的发展，我们越来越多的需要从大量的历史数据中挖掘规律，做预测。 数据挖掘、机器学习技术是 AI 预测的基础，而使用这项技术的前提通常就是要会编程。但遗憾的是编程还是一项十分专业的 ..
-
订单和明细表如下图，订单表主键是订单号（id），明细表主键是订单号（id）和产品号（productid）。订单和明细表要按照订单号关联计算，比如：按客户和订单日期分组汇总订单金额，分组字段是订 ..
-
把SAP BW里的数据取出来，就可以利用计算语言实现逻辑复杂的统计查询。SQL的计算能力足够强，可以先用informatica、Talend等ETL工具取数，再写入数据库，最后执行SQL。但这 ..
-
使用官方或第三方封装的接口，通过官网的SOQL或SOSL语言把数据取出来，就可以随心所欲的做统计查询了。方法一，用JDBC\ODBC驱动取数，比如ascendix salesforce-jdb ..
-
多维分析应用中，事实表会有很多维表，比如，订单表的维表如下图： [图片] 这些维表和事实表的关联运算就是 SQL 中的 JOIN，数据库技术一般采用 HASH JOIN 算法实现。这个算法每次 ..
-
WebService/Restful返回的XML/Json属于多层数据，解析难度低，但计算难度高。传统方法是先用Dom4J/JsonPath之类的开源类库去解析，再用XPath/JsonPat ..
-
SQL 注入或者 SQL 植入是 WEB 应用程序与数据库交互过程中，由于对用户输入数据的合法性、规范性检测做的不严而导致的一种常见的漏洞，这种漏洞如果被攻击者加以利用，在查询语句的结尾添加非 ..
-
用MongoDB官方的查询语言就可以做join，但只能用$lookup函数实现left jon，其他类型的连接就要在$lookup的基础上自行修改了，而且很难改出来cross join。另外， ..
-
计算 TopN 的 SQL 语句，描述出来的算法是把数据大排序后取出前 N 名。有些数据库优化做的比较好，全集 TopN 没有做大排序，性能尚可。但对于分组后计算组内 TopN 这种更复杂的情 ..
-
可以用官方的Json风格的语法查询或统计MongoDB，优点是稳定可靠，缺点是语法古怪难掌握，很多基本计算都不支持，计算能力一般，而且代码非常繁琐。另一种方法是使用函数式编程风格的Hibern ..
-
大数据量时，硬盘扫描和读取的时间占比很大。采用列式存储，在总列数很多而计算涉及的列很少时，只要读取需要的列即可，能够减少硬盘访问量，提高性能。事实上，很多数据仓库产品都采用了列式存储。 &nb ..
-
开启MongoDB的Connector服务后，可以通过MySQL JDBC执行SQL。官方工具的优点是适配性极佳，几乎无须配置就能使用，缺点是计算能力较弱，比如不支持窗口函数，所以官方给的建议 ..
-
方法一，用JAVA代码将XML字符串存入数据库，再用SQL计算XML，这样做的好处是利用了SQL的计算能力，缺点是SQL是基于二维结构化记录的，不擅长多层XML的计算，而且入库过程繁琐，性能非 ..
-
列式存储在很多场景下都具有性能优势，也被不少数据仓库产品采用。大数据量时，硬盘扫描和读取的时间占比很大。采用列存，在总列数很多而计算涉及的列很少时，从硬盘上仅读取需要的列即可，可以减少硬盘访问 ..
-
很多行业都会有展现明细数据类的大清单报表需求，比如电信行业月底要看本月的全部充值记录，银行业要看当月交易记录清单，数据量会达到百万甚至千万级别 千万级别的数据，如果等全部取出算完再呈现，需要很 ..
-
可以用一些类库解析json，比如sf.json\Gson\JsonPath等，但大多数没有进一步计算的能力，个别类库只能做最简单的条件查询，常见的计算几乎都要硬编码。内嵌数据库有较强的计算能力 ..
-
多维分析涉及的数据量往往很大，基于明细数据进行汇总效率很低，因此会采用预汇总的方式加快查询速度。事先将要查询的结果计算好（预汇总），使用时直接读取预汇总结果就可以获得实时响应，满足交互分析的需 ..
-
间接的方式是用JAVA内嵌数据库，即先入库再执行SQL，这种方式可以充分利用SQL的计算能力，缺点是时效性非常差，而且入库过程繁琐，要检查表名重复、删表、建表、解析文件、插入数据、建索引等等， ..
-
通用查询是业务系统中很常见的需求，相较于普通的、固定的查询，它可以让用户自由的增删查询字段，灵活的设置过滤条件，更精细准确的查出自己想要的数据 商用报表工具大部分都提供这个功能，应用中可以通过 ..
