Spark BigQueryコネクタを使用したカスタムSQL

Question

BigQueryからデータを読み取るためのカスタムSQLがいくつかあります。どうすればそれを実行できますか？オプションをクエリとして使用しようとしましたが、機能しません。クエリオプションを無視し、テーブル全体を読み取ります。

 Dataset<Row> testDS = session.read().format("bigquery")
                    //.option("table", <TABLE>)
                    .option("query",<QUERY>)
                    .option("project", <PROJECT_ID>)
                    .option("parentProject", <PROJECT_ID>)
                    .load();

Answer 1

これqueryは、このオプションがコネクタで使用できないためです。見るhttps://github.com/GoogleCloudDataproc/spark-bigquery-connector/README.md オプションの完全なリストについては。

あなたが持っているいくつかのオプションがあります：

• カスタムSQLを使用してビューを作成し、ビューから読み取ります
• クエリの結果を使用して一時テーブルを作成し、それらを読み取ってから、テーブルを削除します。