Spark SQL - źródła danych

Interfejs DataFrame umożliwia różnym źródłom danych pracę w Spark SQL. Jest to stół tymczasowy i może być obsługiwany jak normalny RDD. Zarejestrowanie ramki DataFrame jako tabeli umożliwia uruchamianie zapytań SQL dotyczących jej danych.

W tym rozdziale opiszemy ogólne metody ładowania i zapisywania danych przy użyciu różnych źródeł danych Spark. Następnie omówimy szczegółowo konkretne opcje, które są dostępne dla wbudowanych źródeł danych.

W SparkSQL dostępne są różne typy źródeł danych, z których niektóre są wymienione poniżej -

Sr. No	Źródła danych
1	Zestawy danych JSON Spark SQL może automatycznie przechwycić schemat zestawu danych JSON i załadować go jako DataFrame.
2	Hive Tables Hive jest dostarczany w pakiecie z biblioteką Spark jako HiveContext, która dziedziczy po SQLContext.
3	Pilniki do parkietu Parkiet to format kolumnowy, obsługiwany przez wiele systemów przetwarzania danych.