SparkSQL-データソース

DataFrameインターフェースにより、さまざまなデータソースがSparkSQLで機能することができます。これは一時テーブルであり、通常のRDDとして操作できます。DataFrameをテーブルとして登録すると、そのデータに対してSQLクエリを実行できます。

この章では、さまざまなSparkデータソースを使用してデータをロードおよび保存するための一般的な方法について説明します。その後、組み込みデータソースで使用できる特定のオプションについて詳しく説明します。

SparkSQLで利用できるデータソースにはさまざまな種類があり、その一部を以下に示します。

シニアいいえ	データソース
1	JSONデータセット Spark SQLは、JSONデータセットのスキーマを自動的にキャプチャし、それをDataFrameとしてロードできます。
2	ハイブテーブル Hiveは、SQLContextを継承するHiveContextとしてSparkライブラリにバンドルされています。
3	寄木細工のファイル Parquetは列形式であり、多くのデータ処理システムでサポートされています。