Spark SQL - Sumber Data

Antarmuka DataFrame memungkinkan Sumber Data yang berbeda untuk bekerja di Spark SQL. Ini adalah tabel sementara dan dapat dioperasikan sebagai RDD biasa. Mendaftarkan DataFrame sebagai tabel memungkinkan Anda menjalankan kueri SQL atas datanya.

Dalam bab ini, kami akan menjelaskan metode umum untuk memuat dan menyimpan data menggunakan Sumber Data Spark yang berbeda. Setelah itu, kami akan membahas secara rinci opsi spesifik yang tersedia untuk sumber data bawaan.

Ada berbagai jenis sumber data yang tersedia di SparkSQL, beberapa di antaranya tercantum di bawah -

Sr Tidak	Sumber data
1	Kumpulan Data JSON Spark SQL dapat secara otomatis menangkap skema set data JSON dan memuatnya sebagai DataFrame.
2	Tabel Sarang Hive dibundel dengan pustaka Spark sebagai HiveContext, yang diwarisi dari SQLContext.
3	File Parket Parket adalah format kolom, didukung oleh banyak sistem pemrosesan data.