Como aprendi Apache Spark — Parte 4: Shuffle — onde a performance começa a ficar avançada

No artigo anterior, vimos que existe uma relação fundamental no Apache Spark: Dados ↓ Partitions ↓ Tasks ↓ Parallelism ↓ Performance Também vimos que nem sempre os dados permanecem nas mesmas partições durante todo o processamento. Operações como: df.repartition(...) df.groupBy(...) df.join(...) podem exigir uma redistribuição dos dados. E é nesse... Weiterlesen: Como aprendi Apache Spark — Parte 4: Shuffle — onde a performance com…