单机海量哈希去重算法

单机海量哈希去重算法介绍单机海量哈希去重算法:在单机环境下，1TB左右的硬盘上充满了md5哈希，里面有重复的。怎样才能尽快剔除重复的？ 内存大小限制为512MB。现在有两个T，一个TB是数据，另一个TB用来存储结果。智虎问，被屏蔽了，segme。