SQL personalizzato utilizzando Spark Big Query Connector

Question

Ho un sql personalizzato per leggere i dati da BigQuery. Come posso eseguirlo? Ho provato a utilizzare l'opzione come query ma non funziona. Ignora l'opzione di query e legge la tabella completa.

 Dataset<Row> testDS = session.read().format("bigquery")
                    //.option("table", <TABLE>)
                    .option("query",<QUERY>)
                    .option("project", <PROJECT_ID>)
                    .option("parentProject", <PROJECT_ID>)
                    .load();

Answer 1

Questo perché l' queryopzione non è disponibile nel connettore. Vederehttps://github.com/GoogleCloudDataproc/spark-bigquery-connector/README.md per un elenco completo delle opzioni.

Ci sono un paio di opzioni che hai:

• Crea una vista con il tuo SQL personalizzato e leggi dalla vista
• Crea una tabella temporanea con i risultati della query, leggi quelli e quindi elimina la tabella.