Spark SQL-데이터 소스

DataFrame 인터페이스를 사용하면 다양한 데이터 소스가 Spark SQL에서 작동 할 수 있습니다. 임시 테이블이며 일반 RDD로 작동 할 수 있습니다. DataFrame을 테이블로 등록하면 해당 데이터에 대해 SQL 쿼리를 실행할 수 있습니다.

이 장에서는 다양한 Spark 데이터 소스를 사용하여 데이터를로드하고 저장하는 일반적인 방법을 설명합니다. 그런 다음 기본 제공 데이터 원본에 사용할 수있는 특정 옵션에 대해 자세히 설명합니다.

SparkSQL에는 다양한 유형의 데이터 소스가 있으며, 그중 일부는 아래에 나열되어 있습니다.

Sr. 아니오	데이터 소스
1	JSON 데이터 세트 Spark SQL은 JSON 데이터 세트의 스키마를 자동으로 캡처하고이를 DataFrame으로로드 할 수 있습니다.
2	Hive 테이블 Hive는 SQLContext에서 상속되는 HiveContext로 Spark 라이브러리와 함께 번들로 제공됩니다.
삼	마루 파일 Parquet는 많은 데이터 처리 시스템에서 지원하는 열 형식입니다.