将 MongoDB 导出成 csv


【摘要】

       将 Mongodb 数据结构转换成结构化的数据需求,我们可利用集算器 SPL 语言来进行辅助实现。若想了解更多,请前往乾学院:将 MongoDB 导出成 csv!

       来源:https://plus.google.com/+VicNgrail/posts/ebS9JUtFopw
       Mongodb 可以存储非结构化数据,尤其擅长存储 json 格式的数据。对于习惯于数据库表结构的用户或需要使用结构化数据的用户来说,往往希望能将非结构化的数据转换成结构化的数据,以方便后面的计算,而要将这些数据导出为标准的结构化数据经常存在一定的困难。针对这种情况,我们可以利用集算器 SPL 语言来辅助 MongoDB,方便地导出结构化数据,下面用例子说明。


Collection carInfo 的部分数据如下:
{
  “_id” : ObjectId(“5518f6f8a82a704fe4216a43”),
  “id” : “No1”,
  “cars” : {
    “name” : “Putin”,
    “car” : [“porche”, “bmw”]
  }
}
 
{
  “_id” : ObjectId(“5518f745a82a704fe4216a44”),
  “id” : “No2”,
  “cars” : {
    “name” : “jack”,
    “car” : [“Toyota”, “Jetta”, “Audi”]
  }
}
……

需要将其导出为CSV文件,期望的数据格式如下:

   a_100png

使用集算器SPL的代码如下

A
1 =mongo_open("mongodb://localhost:27017/local?user=test&password=test")
2 =mongo_shell(A1,"carInfo.find(,{_id:0})")
3 =A2.conj((t=~,~.cars.car.new(t.id:id,   t.cars.name:name, ~:car)))
4 =file("D:\\data.csv").export@t(A3;",")
5 >mongo_close(A1)

A1: 连接MongoDB,连接字格式为mongo://ip:port/db?arg=value&…

A2: 使用find函数从集合carInfo中取数,形成游标。过滤条件是空,取出_id之外的所有字段。

A3: 取出需要的字段,拼接合成结构化二维表,结果仍然是游标。其中~表示A2中的每个document,并对cars.car字段进行拆分成行后组成序表,函数conj表示对序表纵向合并。

A4: A3导出为逗号分隔的csv文件,其中@t表示导出时带列名。SPL引擎会自动管理缓存,每次从游标取一批记录到内存进行计算。

A5: 关闭MongoDB

如果用户想自己管理每批处理的数据,也可以用下面的代码:

A B
1 =mongo_open("mongodb://localhost:27017/local?user=test&password=test")
2 =mongo_shell(A1,"carInfo.find(,{_id:0})")
3 for A2,1000 =A3.cars.car.new(A3.id:id,   A3.cars.name:name, ~:car)
4 =file("D:\\data.csv").export@ta(B3;",")
5 >mongo_close(A1)

A3: 循环从游标读数,每次读1000条到内存。A3的作用范围是缩进的B3B4,其间可以用A3来引用循环变量。A3中的数据如下:

a_101png

B3:将本批次数据转换为结构化二维表,如下:

a_102png

B4:将本批次的计算结果追加到文件中,其中@a表示数据追加。

       简言之,SPL得到数据集合的游标后,将每个documentcar字段拆分后组成序表,将序表合并或以追加方式保存为文件即可。显然,对于这类非结构化数据向结构化数据的转换,SPL语言的处理非常高效且简明。


相关文章:

MongoDB 连接运算   
MongoDB 外键关联   
MongoDB 本地化排序   
MongoDB 子查询     
MongoDB 分组统计    
MongoDB 分组 topN    
MongoDB 关联运算   
MongoDB 子文档 List 字段 
协助 MongoDB 计算之交叉汇总 
将 MongoDB 导出成 csv  
协助报表开发之 MongoDB join

以下是广告时间

对润乾产品感兴趣的小伙伴,一定要知道软件还能这样卖哟性价比还不过瘾? 欢迎加入好多乾计划。
这里可以低价购买软件产品,让已经亲民的价格更加便宜!
这里可以销售产品获取佣金,赚满钱包成为土豪不再是梦!
这里还可以推荐分享抢红包,每次都是好几块钱的巨款哟!
来吧,现在就加入,拿起手机扫码,开始乾包之旅



嗯,还不太了解好多乾?
猛戳这里
玩转好多乾