推广 •
368 引用 •
105 回帖 •
0 关注
知道
关注
-
很长时间以来,Java 已经提供了 SAX 和 DOM 内置实现,解析 XML 不需要外部库。为了简化 XML 处理需求,高级声明性语言 XQuery、XPath 等应运而生,可以满足的 XM ..
-
Github上有很多类库都能解析txt/csv,之后可以让Hibernate写入数据库,或手工拼出insert语句入库,最后用数据库查询。这种方法可以利用SQL的强大计算能力,但结构太复杂,时 ..
-
Hadoop生态系统由核心应用HDFS,以及外围应用Hive、HBase、Spark等组成。具有官方JDBC接口的Hive是最容易被报表工具访问的,其他应用只提供了API接口,访问起来就困难多 ..
-
Stream 是 Java8 中处理集合的关键抽象概念,它可以指定你希望对集合进行的操作,执行非常复杂的查找、过滤和映射数据等操作,类似于使用 SQL 执行的数据库查询,还可以并行计算。简而言 ..
-
在不需要 IT 人员协助处理的前提下,能够支持业务人员自己做数据上报的工具需要满足以下几点: 1)业务人员制作采集模板的报表工具需要是业务人员不用学就会用的,一般建议采用类 excel 报表工 ..
-
SQL 和 NoSQL 数据库之间最大的区别之一是 JOIN。虽然 MongoDB 推出 $lookup 作为 NoSQL 数据库中使用关系数据时的一种补充,但即使是很简单的两表关联,用 $l ..
-
流行的大数据技术有Hadoop, Storm, Hive、Spark等,这些都是大集群方案,适合有海量规模数据的巨大企业。实际上,流行的大数据技术通常也源自这类头部互联网企业。很多场景下,数据 ..
-
自助报表需求,现在已经是越来越普遍,各行业的应用软件中,不管是主动还是被动,也都在思考并在努力实现自助报表功能 这样做对于用户来说,可以自由灵活的去分析了解数据,不再拘泥于固定格式的数据报表, ..
-
提到 automl 名气最大的当属 Google automl 了,但是很多人并不真正了解 Google automl 到底能做什么,适不适合小白使用。今天就来详细介绍下 Google aut ..
-
多维分析涉及的数据量往往很大,基于明细数据进行汇总效率很低,因此会采用预汇总的方式加快查询速度。事先将要查询的结果计算好(预汇总),使用时直接读取预汇总结果就可以获得实时响应,满足交互分析的需 ..
-
把数据取出来算还是在数据库里算,是个经典但也是个常被忽略的问题,被忽略是因为“拿个锤子看什么都像钉子”的惯性思维无处不在。这个问题的答案通常认为是取决于数据的大小和处理需求;如果数据量较小,可 ..
-
BIRT 是比较流行的开源报表工具,独立的 IDE 与向导、丰富的设置开发报表很是方便,但 BIRT 对付某些复杂和特殊的报表会有一些困难。主要原因是 BIRT 的数据准备能力较弱,虽然提供了 ..
-
WHERE 中的 IN 是要过滤出某字段值包含在给定枚举值集合中的记录,比如:查出某几个城市的客户、某些类型的订单等等。 数据库做 IN 过滤时,要用字段值和值集合的成员作比较计算。若采用顺序 ..
-
为了保证微服务的可扩展性数据库往往主要做数据持久化,而不过多承担数据处理的工作,数据处理主要在应用端通过 Java 完成。这样可以解耦应用和数据库,数据库更换或扩容都不会对微服务产生过大影响, ..
-
JOIN 一直是数据库性能优化的老大难问题,参与 JOIN 的大表越多,性能就越差。 想让 JOIN 跑得快,关键是要对 JOIN 分类,这样可以利用各种类型的特征来实施高效的提 ..
-
关键字:中间值 重复 多条记录 这个计算步骤比较多,首先需要用 distinct 去重得到值的集合,还要根据它的个数算出中间位置在哪,得到中间位置的值,再查询所有等于中间值的记录。SQL 里比 ..
-
和DBLink原理类似的有Federated Database和Linked Server,这类数据库组件的配置都很复杂,而且大多数计算要先把数据取到本地,不能充分利用远程数据库的计算能力。C ..
-
有一些文件的JDBC驱动可以直接在txt/csv上执行SQL,比如simoc csvjdbc/xiao321 csvjdb,但计算能力太弱,使用价值不大。JAVA内嵌数据库有一定计算能力,比如 ..
-
列式存储在很多场景下都具有性能优势,也被不少数据仓库产品采用。大数据量时,硬盘扫描和读取的时间占比很大。采用列存,在总列数很多而计算涉及的列很少时,从硬盘上仅读取需要的列即可,可以减少硬盘访问 ..
-
有些报表的数据准备动作比较复杂,不能简单地用 SQL 写出来,于是常常会用 Java 来完成报表的数据准备。这虽然很灵活,但缺点也十分明显。在实现难度上,Java 缺乏专门面向结构化数据计算的 ..
-
数据库之间搬动数据,需要先将源数据导出到中介文件后,或对文件中的数据进行修改,再导入到目标数据库。使用文本文件(txt/csv)最常见,其通用性强且没有内容大小的限制,但是会丢失数据类型,读数 ..
-
计算 TopN 的 SQL 语句,描述出来的算法是把数据大排序后取出前 N 名。有些数据库优化做的比较好,全集 TopN 没有做大排序,性能尚可。但对于分组后计算组内 TopN 这种更复杂的情 ..
-
易明建模,一键式自动建模,又快又好还免费。 易明建模只需要一键式操作,就可完成数据预处理,模型搭建和模型评估的一系列环节, 借助易明建模工具没有专业背景的程序员和普通业务人员也能建模,并且建出 ..
-
该用开源 BI 还是商用 BI? 如果开源 BI 好用,那一定是选开源 BI!!!!!!!! 开源 BI, 相对于商用 BI,有两大优势 1 免费,节省成本 商用 BI,国内的基本都是几十万一 ..
-
不同类型数据库的函数语法或多或少存在差异,要想让功能相同的 SQL 查询语句在不同类型的数据库中都能被顺利执行,就要把各数据库都有的那些差异化函数语法进行翻译。 使用 ORM 技术能够将程序 ..