PySpark 2.1 в настоящее время не работает с Python 3.6.0. Об этом сообщается здесь . Он был разрешен 17 января 2017 года, но не был выпущен на сегодняшний день (17 марта 2017 года). Однако, глядя на зафиксированные изменения, вы можете исправить это самостоятельно, загрузив следующие два файла Python:
https://github.com/apache/spark/blob/master/python/pyspark/serializers.py https://github.com/apache/spark/blob/master/python/pyspark/cloudpickle.py
и сохранение их в следующее место (переписывание существующих файлов):
C: Users prudra Desktop Udemy искровым 2.1.0-бен-hadoop2.7 питон pyspark
или более общие файлы должны быть сохранены в pythonpysparkподпапку вашей установки Spark.