У меня проблема с pyspark. Я могу запустить мой кластер, когда я загружаю pysparkshell из командной строки, иначе:
pyspark --total-executor-cores 5 --executor-memory 3g
но когда я запускаю python и пытаюсь загрузить кластер, я получаю следующую проблему:
ERROR TransportRequestHandler:193 - Error while invoking RpcHandler#receive() on RPC id 6381742667596359353
java.io.InvalidClassException: org.apache.spark.storage.BlockManagerId; local class incompatible: stream classdesc serialVersionUID = 6155820641931972170, local class serialVersionUID = -3720498261147521052
кто-нибудь имеет опыт работы с этим? Я не могу найти другую проблему, как эта онлайн