PySpark - Ortam Kurulumu

Bu bölümde PySpark'ın ortam kurulumunu anlayacağız.

Note - Bu, bilgisayarınızda Java ve Scala'nın yüklü olduğu düşünülmektedir.

Şimdi aşağıdaki adımlarla PySpark'ı indirip kuralım.

Step 1- Resmi Apache Spark indirme sayfasına gidin ve orada bulunan Apache Spark'ın en son sürümünü indirin. Bu eğitimde kullanıyoruzspark-2.1.0-bin-hadoop2.7.

Step 2- Şimdi indirilen Spark tar dosyasını çıkarın. Varsayılan olarak, İndirilenler dizinine indirilecektir.

# tar -xvf Downloads/spark-2.1.0-bin-hadoop2.7.tgz

Bir dizin oluşturacak spark-2.1.0-bin-hadoop2.7. PySpark'ı başlatmadan önce, Spark yolunu ayarlamak için aşağıdaki ortamları ayarlamanız vePy4j path.

export SPARK_HOME = /home/hadoop/spark-2.1.0-bin-hadoop2.7
export PATH = $PATH:/home/hadoop/spark-2.1.0-bin-hadoop2.7/bin
export PYTHONPATH = $SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH
export PATH = $SPARK_HOME/python:$PATH

Veya yukarıdaki ortamları küresel olarak ayarlamak için onları .bashrc file. Ardından, ortamların çalışması için aşağıdaki komutu çalıştırın.

# source .bashrc

Artık tüm ortamları ayarladığımıza göre, Spark dizinine gidelim ve aşağıdaki komutu çalıştırarak PySpark kabuğunu çağıralım -

# ./bin/pyspark

Bu, PySpark kabuğunuzu başlatacaktır.

Python 2.7.12 (default, Nov 19 2016, 06:48:10) 
[GCC 5.4.0 20160609] on linux2
Type "help", "copyright", "credits" or "license" for more information.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 2.1.0
      /_/
Using Python version 2.7.12 (default, Nov 19 2016 06:48:10)
SparkSession available as 'spark'.
<<<