Hadoop分布式文件系统(HDFS)提供了Java API读写其文件，集算器把实现读写HDFS文件的JAVA代码做了封装，形成更易用的SPL函数。通过这些函数，直接把HDFS文件数据加载到集算器中进行计算。本文详细介绍这些函数的用法。

Java API方式连接HDFS

创建/关闭HDFS连接

使用方式类似数据库连接，SPL也用成对的“创建/关闭”方式连接HDFS。

创建HDFS连接

hdfs_open(url, user)，url是HDFS服务器的地址，user指定操作用户，缺省时默认为 "root"。

示例：

	A
1	=hdfs_open("hdfs://192.168.0.8:9000",   "root")

 

关闭HDFS连接

hdfs_close(hdfsConn)，hdfsConn是要被关闭的HDFS连接。

示例：A1创建连接，中间做一些读写、计算操作后，A3关闭A1创建的连接

	A
1	=hdfs_open("hdfs://192.168.0.8:9000",   "root")
2	……
3	=hdfs_close(A1)

目录、文件操作

获取文件列表/创建目录/删除目录

hdfs_dir(hdfsConn,  parent)，hdfsConn是HDFS连接，parent是要操作的父目录。

示例：用不同的选项表示不同的操作。A2中用@d选项，获得/user/root下的目录列表；A3中用@p选项，获得/user/root下的目录、文件完整路径列表；A4中用@m选项，在/user/root目录下创建子目录imageFolder；A5中用@r选项，删除imageFolder：

	A
1	=hdfs_open("hdfs://192.168.0.8:9000",   "root")
2	=hdfs_dir@d(A1,"/user/root")
3	=hdfs_dir@p(A1,"/user/root")
4	=hdfs_dir@m(A1,"imageFolder")
5	=hdfs_dir@r(A1,"imageFolder")
6	=hdfs_close(A1)

A2列出两个目录：

A3除了列出两个目录，还列出来一个orders.txt文件：

A4、A5执行成功后返回true：

上传到HDFS

hdfs_upload(hdfsConn, localFile, remoteFile)，hdfsConn是HDFS连接，localFile是本地文件，remoteFile是上传到HDFS的目标文件。

示例：A3中增加@d选项时，localFile、remoteFile都是文件夹，会上传整个文件夹下的文件。

	A
1	=hdfs_open("hdfs://192.168.0.8:9000",   "root")
2	=hdfs_upload(A1,"D:/employees.xlsx","/user/root/splFolder/employees.xlsx")
3	=hdfs_upload@d(A1,"D:/txtFolder/","/user/root/txtFolder/")
4	=hdfs_close(A1)

 

下载HDFS文件

hdfs_download(hdfsConn, remoteFile, localFile)，hdfsConn是HDFS连接，remoteFile是HDFS中要下载的文件，localFile是下载到本地的目标文件。

示例：和上传类似，也有@d选项下载整个文件夹。

	A
1	=hdfs_open("hdfs://192.168.0.8:9000",   "root")
2	=hdfs_download(A1,"/user/root/splFolder/employees.xlsx","D:/employees.xlsx")
3	=hdfs_download@d(A1,"/user/root/txtFolder/","D:/txtFolder/")
4	=hdfs_close(A1)

 

判断文件是否存在

hdfs_exists(hdfsConn, hdfsFile)，hdfsConn是HDFS连接，hdfsFile是要判断的HDFS文件或文件夹。

示例：

	A
1	=hdfs_open("hdfs://192.168.0.8:9000",   "root")
2	=hdfs_exists(A1,"/user/")
3	=hdfs_exists(A1,"/user/root/city.xlsx")
4	=hdfs_close(A1)

 

读写文件数据

上传下载HDFS文件，是和本地文件的交互过程，但有些场景下，需要把数据直接读取到内存中进行计算，或把内存中持续不断产生的数据直接保存到HDFS中，而不用通过本地文件中转(可能因为文件太大不能存本地，或中转导致太慢)。SPL提供了hdfs_file函数，支持用游标方式读取文件的一小段，一边读取一边计算，或一边计算一边把结果数据追加写入HDFS文件。

常见的数据文件格式有文本(txt/csv/json/xml)、Excel，除此之外，SPL还提供了高性能的二进制格式的集文件(btx)。

 

打开HDFS文件

hdfs_file(hdfsConn, hdfsFile:cs)，hdfsConn是HDFS连接，hdfsFile是文件，如果是文本格式，用cs指定文本字符集(UTF-8,GBK等等)。

 

orders表的数据用orders.txt、orders.xlsx、orders.btx三种文件格式存储，下面测试对它们的读写。

 

	A
1	=hdfs_open("hdfs://192.168.0.8:9000",   "root")
2	=hdfs_file(A1,"/user/root/orders.txt":"UTF-8")
3	=A2.read()
4	=A2.import@t()
5	=A2.cursor@t().fetch(2)
6	=A2.export@t(T)
7	=hdfs_file(A1,"/user/root/orders.xlsx")
8	=A7.xlsimport@t()
9	=A7.xlsexport@t(T)
10	=hdfs_file(A1,"/user/root/orders.btx")
11	=A10.import@b()
12	=A10.cursor@b().skip(10).fetch(5)
13	=A10.write@b(T)
14	=hdfs_close(A1)

A2打开HDSF文件orders.txt；

A3把整体orders.txt读成一个大字符串：

A4把orders.txt加载成序表(第一行是字段名，行内数据用TAB分割)：

A5用游标方式加载orders.txt前两行数据，这适合处理超大量数据，边加载边计算：

A6把内存中的数据序表T写入orders.txt。

A7打开Excel文件orders.xlsx，A8把其数据读入序表，A9把序表T写回orders.xlsx。

A10打开集文件orders.btx，A11读入数据，A12用游标方式读入，跳过前10条记录，读取第11~15条。A13把序表T写回orders.btx。

WEBHDFS方式连接HDFS

以上函数都是通过HDFS的JAVA API实现，需要在SPL环境中引入相应版本的Hadoop jar及配置文件。为了避免部署麻烦，Hadoop还提供了HTTP REST API方式的WEBHDFS。SPL基于这种方式也实现了两个函数：用webhdfs_file()实现文件数据的读写；剩余的所有操作(如上传下载任意文件、获取HDFS目录及文件列表、改变文件的访问权限、获取HDFS文件存储策略等等)，都通过调用webhdfs()函数实现。

 

读写文件数据

webhdfs_file(fileUrl, params)，fileUrl为目标文件的url，params为url中的参数。

下面还以orders的不同类型数据文件为例：

	A
1
2	=webhdfs_file("http://localhost:50070/webhdfs/v1/user/root/orders.txt":"UTF-8","user.name=root")
3	=A2.read()
4	=A2.import@t()
5	=A2.cursor@t().fetch(2)
6	=A2.export@t(T)
7	=webhdfs_file("http://localhost:50070/webhdfs/v1/user/root/orders.xlsx","user.name=root")
8	=A7.xlsimport@t()
9	=A7.xlsexport@t(T)
10	=webhdfs_file("http://localhost:50070/webhdfs/v1/user/root/orders.btx","user.name=root")
11	=A10.import@b()
12	=A10.cursor@b().skip(10).fetch(5)
13	=A10.write@b(T)
14

webhdfs由于采用http请求，不需要长链接了，也就免去了A1、A14中的open/close动作。

对各种数据文件支持的操作，和之前的hdfs_file是一致的，对文本支持整体读、整体写、游标读、追加写；但由于集文件追加数据时需要随机写，但HDFS的Java API不支持随机写，那也就不支持集文件的追加写了。

这两个读取文件数据的函数功能一样，但各有优缺点，hdfs_file()需要部署特定版本的Hadoop环境，集成麻烦，但性能较好；webhdfs_file()使用简便，兼容不同的HDFS版本，但性能会稍慢。

通用功能函数

webhdfs(url, localFile)，url是《HDFS WEBHDFS》中的任意操作；假如是上传文件的操作，localFile是待上传的本地文件；假如是下载文件的操作，localFile下载到本地的目标文件；其它操作时，不需要localFile参数，省略它即可。

示例

	A
1	=webhdfs("http://localhost:50070/webhdfs/v1/user/root/f1.zip ?op=CREATE&user.name=root","d:/f1.zip")
2	=webhdfs("http://localhost:50070/webhdfs/v1/user/root/f2.png ?op=CREATE&user.name=root&overwrite=true","d:/f2.png")
3	=webhdfs("http://localhost:50070/webhdfs/v1/user/root/f3.txt ?op=APPEND&user.name=root","d:/f3_part5.txt")
4	=webhdfs("http://localhost:50070/webhdfs/v1/user/root/f4.xlsx ?op=OPEN&user.name=root","d:/f4.xlsx")
5	=webhdfs("http://localhost:50070/webhdfs/v1/user/root/?op=LISTSTATUS&user.name=root")
6	=json(A5)
7	=A6.FileStatuses.FileStatus
8	=webhdfs("http://localhost:50070/webhdfs/v1/user/root/orders.txt ?op=SETOWNER&owner=user1&group=grp2")

A1上传f1.zip；

A2上传f2.png，参数中有overwrite=true，文件已经存在时，会强制替换；

A3上传f3_part5.txt，追加到f3.txt里；

A4下载f4.xlsx，这个通用函数可以上下载任意文件，包括txt、xlsx这类数据文件;

A5获得/user/root/目录下的文件列表， WEBHDFS所有的操作，要么不返回内容，要么返回一个JSON格式的结果：

A6把A5返回的JSON串转成嵌套的多层序表：

A7从A6中取出需要的那一层序表，能看到文件列表的详细内容：

A8设置HDFS文件的拥有者，更多操作就不一一展示。