PySpark Учебник

Apache Spark написан на языке программирования Scala. Для поддержки Python с помощью Spark сообщество Apache Spark выпустило инструмент PySpark. Используя PySpark, вы также можете работать с RDD на языке программирования Python. Это благодаря библиотеке Py4j, которой они могут добиться этого. Это вводное руководство, которое охватывает основы документов, управляемых данными, и объясняет, как работать с их различными компонентами и субкомпонентами.

Это руководство подготовлено для тех профессионалов, которые стремятся сделать карьеру в области языков программирования и фреймворка обработки в реальном времени. Это руководство призвано помочь читателям начать работу с PySpark вместе с его различными модулями и подмодулями.

Прежде чем перейти к различным концепциям, приведенным в этом руководстве, предполагается, что читатели уже знают, что такое язык программирования и фреймворк. В дополнение к этому будет очень полезно, если читатели хорошо знакомы с Apache Spark, Apache Hadoop, языком программирования Scala, распределенной файловой системой Hadoop (HDFS) и Python.