SparkSQL-データソース

DataFrameインターフェースにより、さまざまなデータソースがSparkSQLで機能することができます。これは一時テーブルであり、通常のRDDとして操作できます。DataFrameをテーブルとして登録すると、そのデータに対してSQLクエリを実行できます。

この章では、さまざまなSparkデータソースを使用してデータをロードおよび保存するための一般的な方法について説明します。その後、組み込みデータソースで使用できる特定のオプションについて詳しく説明します。

SparkSQLで利用できるデータソースにはさまざまな種類があり、その一部を以下に示します。

シニアいいえ データソース
1 JSONデータセット

Spark SQLは、JSONデータセットのスキーマを自動的にキャプチャし、それをDataFrameとしてロードできます。

2 ハイブテーブル

Hiveは、SQLContextを継承するHiveContextとしてSparkライブラリにバンドルされています。

3 寄木細工のファイル

Parquetは列形式であり、多くのデータ処理システムでサポートされています。