Les 10 clés pour optimiser vos jobs Spark

Temps de lecture estimé : 5 minutes

Beaucoup de développeurs passent le plus clair de leur temps à essayer d’optimiser leurs jobs Spark. En effet, on pense parfois qu’augmenter les ressources mémoires/CPU, le nombre de partitions ou mettre en cache les données permet d’améliorer les performances. Si vous faites cela et que ça ne marche pas toujours ou si ça marche mais que vous ne savez pas pourquoi, voici dix clés incontournables pour optimiser vos jobs Spark et comprendre ce qui se passe sous le capot.