spark 出现很严重的数据倾斜，跑批时间很长，有时候会导致java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE报错

Spark有严重的数据偏斜，需要很长时间来运行批处理。有时候，会导致Java。lang . illegalargumentexception:size excedes integer . max _ value报告错误。spark有严重的数据偏差，长时间批量运行。有时会导致Java . lang . illegalargumentexception:size excedes integer . max _ value错误介绍:目前正在开发一个统计指标的脚本，运行批次中存在严重的数据倾斜。 有时候可以引用Java . lang . illegalargumentexception:size excedes integer . max _ value