推广 •
368 引用 •
105 回帖 •
0 关注
知道
关注
-
Hadoop生态系统由核心应用HDFS，以及外围应用Hive、HBase、Spark等组成。具有官方JDBC接口的Hive是最容易被报表工具访问的，其他应用只提供了API接口，访问起来就困难多 ..
-
Json/XML是多层结构的数据，很多报表工具没有直接支持，必须引入相关的第三方类库，比如JsonPath/Dom4J。这些类库计算能力较弱，代码繁琐冗长，集成过程也很麻烦。有些报表工具封装了 ..
-
报表工具一般都支持txt/csv/xls等文件数据源，但因为重展示轻计算的产品特性，一般只能对格式规则的文件进行简单计算，至于复杂些的计算任务或格式不够规则的文件，就只能另寻他法了。容易想到的 ..
-
很多报表工具都没有提供 Webservice/Restful 接口，只能通过自定义数据集硬写代码去访问。个别报表工具虽然提供了取数接口，但因为报表工具普遍只擅长展示，所以很多时候还是要另想办法 ..
-
MongoDB 是常见的 NoSQL 数据库，有些报表工具不提供 MongoDB 的接口，只能在自定义数据集里硬写代码去访问。还有些报表工具如 Birt 和 JasperReport，内置了访 ..
-
把SAP BW里的数据取出来，就可以利用计算语言实现逻辑复杂的统计查询。SQL的计算能力足够强，可以先用informatica、Talend等ETL工具取数，再写入数据库，最后执行SQL。但这 ..
-
使用官方或第三方封装的接口，通过官网的SOQL或SOSL语言把数据取出来，就可以随心所欲的做统计查询了。方法一，用JDBC\ODBC驱动取数，比如ascendix salesforce-jdb ..
-
WebService/Restful返回的XML/Json属于多层数据，解析难度低，但计算难度高。传统方法是先用Dom4J/JsonPath之类的开源类库去解析，再用XPath/JsonPat ..
-
用MongoDB官方的查询语言就可以做join，但只能用$lookup函数实现left jon，其他类型的连接就要在$lookup的基础上自行修改了，而且很难改出来cross join。另外， ..
-
可以用官方的Json风格的语法查询或统计MongoDB，优点是稳定可靠，缺点是语法古怪难掌握，很多基本计算都不支持，计算能力一般，而且代码非常繁琐。另一种方法是使用函数式编程风格的Hibern ..
-
开启MongoDB的Connector服务后，可以通过MySQL JDBC执行SQL。官方工具的优点是适配性极佳，几乎无须配置就能使用，缺点是计算能力较弱，比如不支持窗口函数，所以官方给的建议 ..
-
方法一，用JAVA代码将XML字符串存入数据库，再用SQL计算XML，这样做的好处是利用了SQL的计算能力，缺点是SQL是基于二维结构化记录的，不擅长多层XML的计算，而且入库过程繁琐，性能非 ..
-
可以用一些类库解析json，比如sf.json\Gson\JsonPath等，但大多数没有进一步计算的能力，个别类库只能做最简单的条件查询，常见的计算几乎都要硬编码。内嵌数据库有较强的计算能力 ..
-
间接的方式是用JAVA内嵌数据库，即先入库再执行SQL，这种方式可以充分利用SQL的计算能力，缺点是时效性非常差，而且入库过程繁琐，要检查表名重复、删表、建表、解析文件、插入数据、建索引等等， ..
-
POI提供了全面的功能用以解析和生成xls，但它提供的API过于底层，即使一些简单的读写动作，也要编写大量代码从头写起。全面就意味着要照顾的细节多，各种任务都会显得非常繁琐，硬写代码的量很大。 ..
-
POI可以解析xls，但不提供进一步查询计算的能力，取出数据后都要自己硬写。内嵌数据库可以查询计算，但又不能解析，而且入库过程非常耗时，架构又臃肿得很。直接在xls上执行SQL是个快速轻便的好 ..
-
有一些文件的JDBC驱动可以直接在txt/csv上执行SQL，比如simoc csvjdbc/xiao321 csvjdb，但计算能力太弱，使用价值不大。JAVA内嵌数据库有一定计算能力，比如 ..
-
Github上有很多类库都能解析txt/csv，之后可以让Hibernate写入数据库，或手工拼出insert语句入库，最后用数据库查询。这种方法可以利用SQL的强大计算能力，但结构太复杂，时 ..
-
能嵌入JAVA代码被调用，又能进行数据计算的开源库，数据库类的有HSQLDB/Derby/H2等。这几个和SQLite的毛病一样，入库过程非常繁琐，要检查表名是否重复、建表结构、读文件、解析字 ..
-
Java有什么开源包能做查询统计的？ 做查询统计的开源包，Python上著名的Pandas，JAVA上自然就有大批模仿者，其中Tablesaw和Joinery比较有名，但成熟度、计算能力、函数 ..
-
所谓类似SQL的运算，专业点的说法是结构化数据运算，也就是过滤、分组、排序、连接等等。JAVA上做这种运算的开源包挺多的，但好用的真不多。Stream是亲儿子，但计算能力不行。Scala计算能 ..
-
对于字母符号数值混排的文本文件，可以拷入Excel再拆解，但公式过于复杂，普通人难以掌握。用VBA\JAVA\Python等开发语言也可以解决这个问题，但代码冗长繁琐，还要使用难懂的正则表达式 ..
-
可以用vlookup之类的函数解决这个问题，虽然整个过程不算太难，但只要数据发生变动，每次就要重复这个过程，这就显得太繁琐了。用VBA可以让这个过程自动化，但写法过于复杂，一般人很难掌握。 用 ..
-
有时我们希望把参数列表分行存储在文本文件里，执行SQL时再拼到in函数里，从而查询出符合条件的记录。 但SQL不能解析文本文件，直接拼到in函数里有困难，所以很多人先把文件导入数据库临时表，再 ..
-
出于各种原因，有时我们要将一个大Excel拆成一些小文件。这种算法可以用VBA实现，但代码很非常难写，还容易发生内存溢出。 用esProc就简单多了，比如把大文件拆成每1500行一个的小文件， ..
