Benutzerdefiniertes SQL mit Spark Big Query Connector
Nov 24 2020
Ich habe einige benutzerdefinierte SQL, um die Daten von BigQuery zu lesen. Wie kann ich das ausführen? Ich habe versucht, Option als Abfrage zu verwenden, aber es funktioniert nicht. Die Abfrageoption wird ignoriert und die vollständige Tabelle gelesen.
Dataset<Row> testDS = session.read().format("bigquery")
//.option("table", <TABLE>)
.option("query",<QUERY>)
.option("project", <PROJECT_ID>)
.option("parentProject", <PROJECT_ID>)
.load();
Antworten
DavidRabinowitz Nov 26 2020 at 02:31
Dies liegt daran, dass die query
Option im Connector nicht verfügbar ist. Sehenhttps://github.com/GoogleCloudDataproc/spark-bigquery-connector/README.md für eine vollständige Liste der Optionen.
Sie haben mehrere Möglichkeiten:
- Erstellen Sie eine Ansicht mit Ihrem benutzerdefinierten SQL und lesen Sie aus der Ansicht
- Erstellen Sie eine temporäre Tabelle mit den Ergebnissen der Abfrage, lesen Sie diese und löschen Sie die Tabelle.