Spark计算求助: 1000W的客人档案数据,两两匹配合并一定程度相同的客人档案为一个档案,怎么算?

Spark计算求助:1,000 W客档数据，两两匹配，将一定程度上相同的客档合并为一个文件，如何计算？Spark计算求助:1,000 W客档数据，两两匹配，将一定程度上相同的客档合并为一个文件，如何计算？介绍:Spark计算求助:1000W客文件数据，两两匹配，将相同的客文件合并为一个文件。比如经过逻辑判断，数据A和数据C应该是一个人，所以合并成一个数据。也就是说，1000W数据中有同一个人。