SQL personalizado usando o conector Spark Big Query

Question

Eu tenho algum sql personalizado para ler os dados do BigQuery. Como posso executar isso? Tentei usar a opção como consulta mas não está funcionando. É ignorar a opção de consulta e ler a tabela completa.

 Dataset<Row> testDS = session.read().format("bigquery")
                    //.option("table", <TABLE>)
                    .option("query",<QUERY>)
                    .option("project", <PROJECT_ID>)
                    .option("parentProject", <PROJECT_ID>)
                    .load();

Answer 1

Isso porque a queryopção não está disponível no conector. Vejohttps://github.com/GoogleCloudDataproc/spark-bigquery-connector/README.md para uma lista completa de opções.

Existem algumas opções que você tem:

• Crie uma visão com seu SQL personalizado e leia a partir dela
• Crie uma tabela temporária com os resultados da consulta, leia-os e exclua a tabela.