Spark SQL: fuentes de datos

Una interfaz DataFrame permite que diferentes fuentes de datos funcionen en Spark SQL. Es una mesa temporal y se puede operar como un RDD normal. El registro de un DataFrame como tabla le permite ejecutar consultas SQL sobre sus datos.

En este capítulo, describiremos los métodos generales para cargar y guardar datos usando diferentes fuentes de datos de Spark. A partir de entonces, discutiremos en detalle las opciones específicas que están disponibles para las fuentes de datos integradas.

Hay diferentes tipos de fuentes de datos disponibles en SparkSQL, algunas de las cuales se enumeran a continuación:

No Señor	Fuentes de datos
1	Conjuntos de datos JSON Spark SQL puede capturar automáticamente el esquema de un conjunto de datos JSON y cargarlo como un DataFrame.
2	Mesas Colmena Hive viene incluido con la biblioteca Spark como HiveContext, que hereda de SQLContext.
3	Archivos de parquet Parquet es un formato columnar, compatible con muchos sistemas de procesamiento de datos.