计算&AI •
798 引用 •
800 回帖 •
423 关注
博客
关注
-
传统企业大数据架构的问题 [图片] 上图是大家都很熟悉的基于 Hadoop 体系的开源大数据架构图。在这个架构中,大致可以分成三层。最下一层是数据采集,通常会采用 kafka 或 ..
-
【摘要】 当数据量巨大时,使用大批量随机键值集获取对应记录集合,不仅仅考验数据库软件本身,更在于程序员对数据的理解!如何在硬件资源有限的情况下将性能发挥到极致?点击:超大数据下大批量随机键值的 ..
-
内存计算指数据事先存储于内存,各步骤中间结果不落硬盘的计算方式,适合性能要求较高,并发较大的情况。 HANA、TimesTen等内存数据库可实现内存计算,但这类产品价格昂贵结构复杂实施困难,总 ..
-
【摘要】 当有了报表工具之后 (固定报表),一些中国式复杂样式、指标参数任意组合的报表并不难实现,只是当原始数据量一大,查询响应就会非常慢,用户体验变差,当多并发请求时,还会对正常业务产生影响 ..
-
【摘要】 当有了报表工具之后 (固定报表),一些中国式复杂样式、指标参数任意组合的报表并不难实现,只是当原始数据量一大,查询响应就会非常慢,用户体验变差,当多并发请求时,还会对正常业务产生影响 ..
-
5 综合案例 实际业务中,多表关联运算十分常见,外键表、同维表、主子表这几种关联类型可能会混合出现。下面我们来看一个综合案例。 5.1 表结构和查询目标 某电商平台中和订单编号这 ..
-
3 半内存时的外键表 外键指针化的前提是事实表和维表都可以装入内存,但实际业务中涉及的数据量可能很大,那就不能采用这种方法了。3.1 维表内存化 如果只是事实表很大,而维表仍然可以 ..
-
【摘要】 解析了 JOIN 运算的分类和原理,并且介绍了多种优化 JOIN 运算的方法。${article} JOIN是关系数据库中常用运算,用于把多个表进行关联,关联条件一般是判断某个关联字 ..
-
随着互联网的快速发展,大数据时代的到来,数据资源的处理成了各行各业都面临的热点问题。除了通过特别专业、特别特别昂贵、特别特别特别复杂的分析平台来处理特别 x4 海量的数据外,我们还常常会遇到 ..
-
【摘要】 基于数据库系统的 T+0 全量实时查询,在数据量很大时一般只能进行数据库扩容(包括分库手段),成本高昂;如果采用文件系统和生产数据库混合运算,就可以实现低成本高性能的 T+0 查询, ..
-
【摘要】 无需构建前置数据 (仓) 库,用更低的成本就可以轻松应对项目中各类大数据集报表查询的难题!让我们一起去乾学院看个究竟吧:${article}! 一 问题背景 绝大多数的应用系统中,一 ..
-
股市中,当天的股价和前几天的股价可能存在线性关系,据此我们制定策略如下: 1. 把当天之前100天的数据作为训练数据; 2. 训练数据中,每天的后一天的收盘价作为目标变量; 3. 训练数据中, ..
-
交易策略如下: 1. 把第二天是否上涨作为目标(target),收盘价大于前一天,target为1,否则target为-1。 2. 增加两个特征,最高价减最低价(max_dif),收盘价减开盘 ..
-
MACD从均线指标EMA衍化而来,对把握趋势性行情有着很好的应用效果,它的顶底背离是一种经过检验的“抄底逃顶”方法,是不少中长期投资者在实战中都会考虑的指标。本文就以SPL来实现MACD背离策 ..
-
海龟策略:在股价超过过去N个交易日的股价最高点时买入,在股价低于过去N个交易日的股价最低点时卖出(N通常设为20)。上述的若干个最高点和最低点会组成一个通道,称为“唐奇安通道(Donchian ..
-
esProc 弹性计算是运行在局域网或私有云的企业内通用计算软件,分成三个部分,服务端由 QVA 和 QVM 构成,应用端由应用程序(以下简称 APP)和 QVS 组成,存储端是 NFS、HD ..
-
-
Download PDF [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片 ..
-
提到数据库首先想到的会是 Oracle、DB2、SQL Server、MySQL、PostgreSQL 等大名鼎鼎的产品,这些数据库都采用独立进程的方式运行,即独立部署数据库服务通过接口与应用 ..
-
计算框架五花八门,有用于流式计算的Flink,用于边缘计算的eKuiper、用于大规模分布式计算的MapReduce,还有Spark、Samza、Storm、Omega、Kubernetes、 ..
-
一、元数据权限( 控制表和字段) WEB系统经常是多用户的,要控制不同用户看到不同范围的元数据信息,有两种实现方式,一是给每种用户创建独立的元数据,部署成多个DQL服务,然后根据当前用户用JD ..
-
一、 部署DQL 服务 DQL服务器的启动程序是{安装目录}/esProc/bin/startDQLSERVER.bat(linux下是……startDQLSERVER.sh),运行它之前,先 ..
-
一、 准备数据 我们选用1G规模的TPCH数据来实践DQL查询,TPCH生成如下8个表的数据文件(*.tbl): [图片] 文件内容是文本格式,第一行是字段名,之后是数据行,行内数据以|分隔, ..
-
所有时间单位均为秒。 环境配置 CPU 2 颗 KunPeng 920-4826,共 96 核 CPU 2 颗 LongXin 3C5000,共 32 核 CPU 2 颗 Phytium S2 ..
-
Q1 运行环境 esProc 目前是纯 Java 软件,只要有 JDK1.8 及以上版本的 JVM 环境的任何操作系统都可以运行,包括常见的 VM 和 Container。 esProc 正常 ..