定时执行导出 btx,ctx
大数据处理的时候,需要将 db 转为 btx,ctx,然后在 btx 或 ctx 的基础上进一步处理。
问
数据表转为 btx 或 ctx,这个过程,如果每次采用手工触发,比较麻烦,是否可以采用定时任务。比如采用 10 分钟一次进行更新。
一般更新 btx 或 ctx 的周期多长,一般最佳实践是什么?
"大数据处理的时候,需要将 db 转为 btx,ctx,然后在 btx 或 ctx 的基础上进一步处理。 问 数据表转为 btx 或 ctx,这个过程,如果每次采用手工触发,比较麻烦,是否可以采 .."
大数据处理的时候,需要将 db 转为 btx,ctx,然后在 btx 或 ctx 的基础上进一步处理。
问
数据表转为 btx 或 ctx,这个过程,如果每次采用手工触发,比较麻烦,是否可以采用定时任务。比如采用 10 分钟一次进行更新。
一般更新 btx 或 ctx 的周期多长,一般最佳实践是什么?
通常以天为周期,在数据库相对闲的夜间处理。
新产生的热数据如果也要参与计算,建议使用混合计算的方案。
当然,如果数据量特别大,以天为周期仍然太大,那就再增加频度。数据迁移确实是个较麻烦的事,要根据实际情况设计方案。