Niestandardowy SQL przy użyciu łącznika Spark Big Query

Question

Mam niestandardowy sql do odczytu danych z BigQuery. Jak mogę to wykonać? Próbowałem użyć opcji jako zapytania, ale nie działa. Ignoruje opcję zapytania i odczytuje pełną tabelę.

 Dataset<Row> testDS = session.read().format("bigquery")
                    //.option("table", <TABLE>)
                    .option("query",<QUERY>)
                    .option("project", <PROJECT_ID>)
                    .option("parentProject", <PROJECT_ID>)
                    .load();

Answer 1

Dzieje się tak, ponieważ queryopcja nie jest dostępna w łączniku. Widziećhttps://github.com/GoogleCloudDataproc/spark-bigquery-connector/README.md aby uzyskać pełną listę opcji.

Masz kilka opcji:

• Utwórz widok za pomocą niestandardowego kodu SQL i czytaj z tego widoku
• Utwórz tymczasową tabelę z wynikami zapytania, przeczytaj je, a następnie usuń tabelę.