计算&AI •
902 引用 •
973 回帖 •
449 关注
博客
关注
-
下载测试文本 结构化文本计算需求 结构化文本文件是常见的数据存储方式,比如这个score.txt,记录了所有班级学生的成绩,第一行是列名,之后每一行是一个学生的数据,行内用制表符分隔。 [图片 ..
-
SPL针对多种云对象存储(亚马逊S3、阿里云OSS、谷歌GCS、微软Azure)各实现了一套命令,能像读写本地数据文件一样方便的读写云上的数据,这样就容易把SPL灵活的计算能力应用到云数据。下 ..
-
TPC 官网提供了 C 语言生成程序,下载编译后执行,就可以生成 TPCH 数据了。 但是, 很多人对 C 语言及其环境不熟悉,就卡在这一步了。 这里按照官方规则,写了一段 SP ..
-
一、元数据权限( 控制表和字段) WEB系统经常是多用户的,要控制不同用户看到不同范围的元数据信息,有两种实现方式,一是给每种用户创建独立的元数据,部署成多个DQL服务,然后根据当前用户用JD ..
-
一、 部署DQL 服务 DQL服务器的启动程序是{安装目录}/esProc/bin/startDQLSERVER.bat(linux下是……startDQLSERVER.sh),运行它之前,先 ..
-
一、 准备数据 我们选用1G规模的TPCH数据来实践DQL查询,TPCH生成如下8个表的数据文件(*.tbl): [图片] 文件内容是文本格式,第一行是字段名,之后是数据行,行内数据以|分隔, ..
-
SPL提供了两种方式连接数据库:JDBC/ODBC直连方式;JNDI连接池方式。 在Mysql中有一个MyCompany库,库里有employees表,下面尝试各种方式连接它。 [图片] 直连 ..
-
1、 测试任务 本任务原型为某大型电器企业ERP系统中的产品库龄统计。 原始数据是如下的一对主子表: 库存表(store): 字段名 数据类型 字段含义 store 字符串 仓库ID prod ..
-
Elasticsearch 是一个分布式搜索服务器,它提供了Restful API更新数据、搜索数据。提交的数据、搜索结果都是JSON格式,计算引擎语言SPL有json()函数解析JSON字符 ..
-
InfluxDB是时序数据库,数据存储在它的bucket中,多个bucket又组成一个organization。每条数据由measurement、多个维度、多个字段值、时间戳构成: airSe ..
-
Kafka是一种分布式的信息流平台,它的客户端分为生产者、消费者两种,生产者提交数据,消费者读取数据。Kafka中传递的事件消息没有固定格式,消费者、生产者自由约定一些个性化格式,比如是JSO ..
-
Cassandra是一种分布式的NoSQL数据库。JAVA中可以使用DataStax执行Cassandra的CQL,CQL语言能简单地维护、读写数据,但不支持关联、分组聚合等操作,计算能力比关 ..
-
FTP是常用的文件传输服务。JAVA虽然也提供了从FTP server读写文件的接口,但用起来不够便捷,因此,SPL进一步地提供了方便函数。 创建/ 关闭FTP 连接 使用方式类似关系数据库的 ..
-
Redis是K-V数据库,value可以是String、Hashmap、List、Set、Sortedset。针对每种value提供了一系列不同的操作命令,加上一些管理命令,总计三百多个。这些 ..
-
HBase是基于HDFS的K-V数据库,有关系数据库中类似的概念:库(namespace)、表、行、列、字段值、主键等。 HBase存取数据和关系数据库大不相同,不支持SQL,提供了get、s ..
-
MongoDB是非关系数据库,以类似JSON的BSON格式存储数据,它提供了一整套命令操作数据,轻量计算引擎语言SPL支持嵌套的数据结构,很容易加载JSON数据,可以用SPL扩展MongoDB ..
-
Hadoop分布式文件系统(HDFS)提供了Java API读写其文件,集算器把实现读写HDFS文件的JAVA代码做了封装,形成更易用的SPL函数。通过这些函数,直接把HDFS文件数据加载到集 ..
-
目标 集算器能直接针对数据文件写SQL查询,也能写SPL脚本支持复杂计算,为了容易给外部程序提供计算结果,提供了嵌入式JDBC驱动。本篇介绍Kettle中通用JDBC集成SPL的方法,及不同的 ..
-
xml是一种常用的数据格式,它具有多层节点,并且每层节点上又可以定义多对属性值,比数据库的二维表结构复杂,直接对着xml数据做计算,还是有难度。SPL语言提供了xml()函数解析/生成xml, ..
-
JSON是一种容易理解的结构化数据格式,它经常以一个大字符串的形式在各种计算机语言中传递信息,SPL语言提供了json()函数加载/生成JSON,加载成序表、序列对象后,就方便做计算了。 加载 ..
-
业务系统的数据绝大多数存储在关系数据库(RDB)中,SPL能便捷地读写数据库中的数据。下面以Mysql中MyCompany库的一个employees表为例解释SPL的相关用法。 [图片] 读取 ..
-
什么是有序计算 使用过 SQL 的朋友对计算字段都不会陌生,比如 firstname+lastname,year(bi ..
-
背景 前一阵,润乾在线文档系统的全文检索变得非常慢,有时二十多秒才返回结果,甚至超时失败。全文检索服务是用的第三方服务 ..
-
【摘要】 庖丁解牛,给人的深刻印象是技艺酷炫!然而酷炫并非是庖丁的原意追求。本质上是对一个复杂的结构进行大量练习后,把细节融入了自己的身体,成为一种本能;流畅自然的动作给观赏者造成酷炫的感受, ..
-
销售过程是一个多环节的过程,哪个步骤有了过大瑕疵,都会导致业绩急剧下滑。而诊断出哪个步骤有瑕疵,除了无形的经验,还有量化的诊断方式,就是今天要讨论的主角:转化漏斗模型。 示例数据 为了详细讨论 ..