PySpark - Giới thiệu

Trong chương này, chúng ta sẽ làm quen với Apache Spark là gì và PySpark đã được phát triển như thế nào.

Spark - Tổng quan

Apache Spark là một khung xử lý thời gian thực nhanh như chớp. Nó thực hiện các tính toán trong bộ nhớ để phân tích dữ liệu trong thời gian thực. Nó đi vào hình ảnh nhưApache Hadoop MapReducechỉ thực hiện xử lý hàng loạt và thiếu tính năng xử lý thời gian thực. Do đó, Apache Spark được giới thiệu vì nó có thể thực hiện xử lý luồng trong thời gian thực và cũng có thể xử lý hàng loạt.

Ngoài thời gian thực và xử lý hàng loạt, Apache Spark cũng hỗ trợ các truy vấn tương tác và các thuật toán lặp lại. Apache Spark có trình quản lý cụm riêng, nơi nó có thể lưu trữ ứng dụng của mình. Nó tận dụng Apache Hadoop cho cả lưu trữ và xử lý. Nó sử dụngHDFS (Hệ thống tệp phân tán Hadoop) để lưu trữ và nó có thể chạy các ứng dụng Spark trên YARN cũng.

PySpark - Tổng quan

Apache Spark được viết bằng Scala programming language. Để hỗ trợ Python với Spark, Apache Spark Community đã phát hành một công cụ, PySpark. Sử dụng PySpark, bạn có thể làm việc vớiRDDscũng bằng ngôn ngữ lập trình Python. Đó là vì một thư viện được gọi làPy4j rằng họ có thể đạt được điều này.

PySpark cung cấp PySpark Shellliên kết API Python với lõi tia lửa và khởi tạo ngữ cảnh Spark. Đa số các nhà khoa học dữ liệu và chuyên gia phân tích ngày nay sử dụng Python vì bộ thư viện phong phú của nó. Tích hợp Python với Spark là một lợi ích cho họ.