mapreduce小文件合并问题(spark)

程门立雪的意思2022-10-05  6

Mapreduce小文件合并问题(spark)MapReduce小文件合并问题(Spark)介绍:30000个小文件,70G数据,10G可用内存。现在我们需要合并这些小文件,但是内存装不下。能否读取一些文件,合并一个文件,用一个MR解决问题?当然了。
转载请注明原文地址:https://juke.outofmemory.cn/read/1916181.html
最新回复(0)