УСТАНОВИТЕ PYSPARK на Windows 10 JUPYTER-NOTEBOOK С АНАКОНДНЫМ НАВИГАТОРОМ
ШАГ 1
Загрузить пакеты
1) spark-2.2.0-bin-hadoop2.7.tgz Скачать
2) java jdk 8 version Скачать
3) Anaconda v 5.2 Скачать
4) scala-2.12.6.msi Скачать
5) hadoop v2.7.1 Скачать
ШАГ 2
СДЕЛАЙТЕ ПАКЕТ СПАРКА В C: / ПРИВОД И ПУТЬ ВСЕ ВНУТРЕННУЮ ЭТО Это будет выглядеть так
ПРИМЕЧАНИЕ: ВО ВРЕМЯ УСТАНОВКИ СКАЛА ДАЙТЕ ПУТЬ СКЛАДЫ ВНУТРЕННИЙ ПАПКИ
ШАГ 3
СЕЙЧАС УСТАНОВЛ НОВЫЕ ОКНА ОКРУЖАЮЩЕЙ СРЕДЫ ПЕРЕМЕННЫЕ
-
HADOOP_HOME=C:sparkhadoop
-
JAVA_HOME=C:Program FilesJavajdk1.8.0_151
-
SCALA_HOME=C:sparkscalain
-
SPARK_HOME=C:sparksparkin
-
PYSPARK_PYTHON=C:UsersuserAnaconda3python.exe
-
PYSPARK_DRIVER_PYTHON=C:UsersuserAnaconda3Scriptsjupyter.exe
-
PYSPARK_DRIVER_PYTHON_OPTS=notebook
-
ТЕПЕРЬ ВЫБЕРИТЕ ПУТЬ СПАРКА : ИЗМЕНИТЬ И ДОБАВИТЬ НОВУЮ
Добавить " C: spark spark bin a €? To variable" Патч "Windows
ШАГ 4
- Создайте папку, в которой вы хотите хранить выходы и файлы Jupyter-Notebook
- После этого откроется команда командной строки Anaconda и имя папки cd
- затем введите Pyspark
thats это ваш браузер появится с Juypter localhost
ШАГ 5
Проверка pyspark работает или нет!
Введите простой код и запустите его
from pyspark.sql import Row
a = Row(name = 'Vinay' , age=22 , height=165)
print("a: ",a)