-
列式存储在很多场景下都具有性能优势,也被不少数据仓库产品采用。大数据量时,硬盘扫描和读取的时间占比很大。采用列存,在总列数很多而计算涉及的列很少时,从硬盘上仅读取需要的列即可,可以减少硬盘访问 ..
-
很多行业都会有展现明细数据类的大清单报表需求,比如电信行业月底要看本月的全部充值记录,银行业要看当月交易记录清单,数据量会达到百万甚至千万级别 千万级别的数据,如果等全部取出算完再呈现,需要很 ..
-
可以用一些类库解析json,比如sf.json\Gson\JsonPath等,但大多数没有进一步计算的能力,个别类库只能做最简单的条件查询,常见的计算几乎都要硬编码。内嵌数据库有较强的计算能力 ..
-
SPL 提供了丰富的针对文件系统的函数,能方便地处理目录以及文件。 1 目录 SPL 用 directory 函数列出文件目录或者文件,并以序列形式返回。 ..
-
无监督实时异常发现算法 算法背景 实际生产中会定时产生一些数据(比如:炼油设备的压力、液位、电气设备的电流、电压等),称为时间序列。生产活动发生异常时,很可能会有前兆反映在这些时间序列中,也就 ..
-
多维分析涉及的数据量往往很大,基于明细数据进行汇总效率很低,因此会采用预汇总的方式加快查询速度。事先将要查询的结果计算好(预汇总),使用时直接读取预汇总结果就可以获得实时响应,满足交互分析的需 ..
-
间接的方式是用JAVA内嵌数据库,即先入库再执行SQL,这种方式可以充分利用SQL的计算能力,缺点是时效性非常差,而且入库过程繁琐,要检查表名重复、删表、建表、解析文件、插入数据、建索引等等, ..
-
通用查询是业务系统中很常见的需求,相较于普通的、固定的查询,它可以让用户自由的增删查询字段,灵活的设置过滤条件,更精细准确的查出自己想要的数据 商用报表工具大部分都提供这个功能,应用中可以通过 ..
-
POI提供了全面的功能用以解析和生成xls,但它提供的API过于底层,即使一些简单的读写动作,也要编写大量代码从头写起。全面就意味着要照顾的细节多,各种任务都会显得非常繁琐,硬写代码的量很大。 ..
-
递归运算是指直接或者间接地调用自身的运算方法。比如我们熟悉的汉诺塔问题,就是典型的递归运算。在实际应用中递归查询问题也很常见,比如我们想知道某个部门有哪些上 ..
-
数据表EMPLOYEE是员工数据,部分数据如下: EID NAME GENDER STATE HIREDATE SALARY 1 Rebecca F California 2005/3/11 ..
-
数据表EMPLOYEE是员工数据,部分数据如下: EID NAME GENDER STATE HIREDATE SALARY 1 Rebecca F California 2005/3/11 ..
-
WHERE 中的 IN 是要过滤出某字段值包含在给定枚举值集合中的记录,比如:查出某几个城市的客户、某些类型的订单等等。 数据库做 IN 过滤时,要用字段值和值集合的成员作比较计算。若采用顺序 ..
-
我小白手一个,依葫芦画瓢,没有成功,可以在设计器里浏览成功,发布后就报错 报错提示:单元格 G3 的下拉数据窗口指定的数据集 ds1 不存在!
-
自助报表需求,现在已经是越来越普遍,各行业的应用软件中,不管是主动还是被动,也都在思考并在努力实现自助报表功能 这样做对于用户来说,可以自由灵活的去分析了解数据,不再拘泥于固定格式的数据报表, ..
-
POI可以解析xls,但不提供进一步查询计算的能力,取出数据后都要自己硬写。内嵌数据库可以查询计算,但又不能解析,而且入库过程非常耗时,架构又臃肿得很。直接在xls上执行SQL是个快速轻便的好 ..
-
在分组时,我们经常需要把满足同一个条件的记录分配到同一组中。比如根据城市人口将城市分为大、中、小型城市,根据年收入将家庭分为富裕、中产、小康、贫困等等。根据 ..
-
有一些文件的JDBC驱动可以直接在txt/csv上执行SQL,比如simoc csvjdbc/xiao321 csvjdb,但计算能力太弱,使用价值不大。JAVA内嵌数据库有一定计算能力,比如 ..
-
数据表SSEC是上证指数历史数据,部分数据如下: TDATE CLOSING OPENING HIGHEST LOWEST VOLUME … … … … … 2020-01-02 3085.2 ..
-
为了保证微服务的可扩展性数据库往往主要做数据持久化,而不过多承担数据处理的工作,数据处理主要在应用端通过 Java 完成。这样可以解耦应用和数据库,数据库更换或扩容都不会对微服务产生过大影响, ..
-
中间表是数据库中专门存放中间计算结果的数据表。中间表往往是为了前端查询统计更快或更方便而在数据库中建立的汇总表,这种表是由原始数据加工而成的中间结果,因此被称为中间表。 中间表的出现可能主要有 ..
-
算法背景 之前介绍了有边界的线性拟合算法,《有边界的线性拟合算法》,它的约束条件是所有系数都须在[0,1]范围内,但实际生产环境不仅仅是这个基本的限制。 已知条件 自变量矩阵X,在生产环境中称 ..
-
有时候我们会按照序号顺序将数据进行分组和排序,把序号相同的成员分到同一组。比如按 1 到 12 月的顺序统计上一年每个月的销售总额,按照周一到周日的顺序统计 ..
-
Github上有很多类库都能解析txt/csv,之后可以让Hibernate写入数据库,或手工拼出insert语句入库,最后用数据库查询。这种方法可以利用SQL的强大计算能力,但结构太复杂,时 ..
-
标签是指用“是否”型数据来实现某种标记,计算时要过滤出指定几个标签都为“是”的数据,再做进一步统计。比如:用标签表示客户是否为白领、是否活跃、是否注册等等,要统计“活跃”、“注册”两个标签都为 ..