读出 S3 上巨大 csv 的前 100 行

S3 上有多个巨大的 csv 文件,在同一个存储桶下,每个文件的列名不同。

请用 Java 实现:以 csv 的文件名为参数,返回该文件的前 100 行。

使用SPL脚本:


A

1

=s3_open("ASIAVSPDUYZ7XXXXXXX":"7/5xYPO7a+9Po+IE1ySbmu9UB2hWIkWek1Sqn6E4":"us-east-2":"https://s3.us-east-2.amazonaws.com")

2

=s3_file(A1, "bucket1",arg_fileName)

3

=A2.cursor@t().fetch(100)

4

=s3_close(A1)

5

return A3

A1:连接 S3 服务。

A2:以文件名为参数,加载存储桶下的文件。

A3:读取前 100 行。

A4:关闭 S3 连接

Java 集成 SPL 可参考 Java 如何调用 SPL 脚本

SPL 部署 S3 外部库可参考:https://doc.scudata.com/esproc/ext/glwbkbs.html#Deployment

问题来源:https://stackoverflow.com/questions/72220023/is-it-possible-to-download-the-first-100-lines-of-a-big-file-with-millions-of-li