针对大量数据的分发工作

海量数据的分发海量数据的分发简介:目前一个项目需要升级。具体要求是:主节点计算机每天接收1亿条数据，数据格式不统一，但每条数据都有格式描述；然后有30个子节点，主节点需要把数据分发给30多个子节点，而且不是简单的复制和划分。