Benutzerdefiniertes SQL mit Spark Big Query Connector

Nov 24 2020

Ich habe einige benutzerdefinierte SQL, um die Daten von BigQuery zu lesen. Wie kann ich das ausführen? Ich habe versucht, Option als Abfrage zu verwenden, aber es funktioniert nicht. Die Abfrageoption wird ignoriert und die vollständige Tabelle gelesen.

 Dataset<Row> testDS = session.read().format("bigquery")
                    //.option("table", <TABLE>)
                    .option("query",<QUERY>)
                    .option("project", <PROJECT_ID>)
                    .option("parentProject", <PROJECT_ID>)
                    .load();

Antworten

DavidRabinowitz Nov 26 2020 at 02:31

Dies liegt daran, dass die queryOption im Connector nicht verfügbar ist. Sehenhttps://github.com/GoogleCloudDataproc/spark-bigquery-connector/README.md für eine vollständige Liste der Optionen.

Sie haben mehrere Möglichkeiten:

  • Erstellen Sie eine Ansicht mit Ihrem benutzerdefinierten SQL und lesen Sie aus der Ansicht
  • Erstellen Sie eine temporäre Tabelle mit den Ergebnissen der Abfrage, lesen Sie diese und löschen Sie die Tabelle.